一、知识蒸馏的起源与核心思想 知识蒸馏（Knowledge Distillation, KD）的概念最早由Hinton等人在2015年提出，其核心思想是通过软目标（Soft Target）传递教师模型（Teacher Model）的隐式知识，指导学生模型（Stu……
