一、技术本质与核心原理 知识蒸馏(Knowledge Distillation)是一种基于”教师-学生”范式的模型压缩技术,其核心目标是通过知识迁移将大型预训练模型(教师模型)的泛化能力转移至轻量级模型(学生模型)。这种迁移……