一、蒸馏损失函数的核心概念与数学基础 蒸馏损失函数(Distillation Loss)作为模型压缩技术的核心组件,其本质是通过软目标(soft targets)传递教师模型的知识到学生模型。与传统的交叉熵损失不同,蒸馏损失更关……