一、知识蒸馏技术起源与基础理论构建（2006-2015） 知识蒸馏概念最早可追溯至2006年Bucila等人提出的模型压缩方法，通过训练小型网络模拟大型网络输出实现压缩。2015年Hinton在《Distilling the Knowledge in a Ne……
