一、知识蒸馏技术起源与理论奠基（2006-2014） 知识蒸馏的概念最早可追溯至2006年Buciluǎ等人提出的模型压缩思想，通过训练小型网络模拟大型网络行为实现性能迁移。2014年Hinton在《Distilling the Knowledge in a……
