一、知识蒸馏：AI模型的”师徒传承”机制 知识蒸馏（KD）的本质是通过教师-学生模型架构，将大型预训练模型（教师）的”知识”迁移到轻量级模型（学生）中。其核心原理在于利用教师模型输出的软标签（soft targets）替……
