一、知识蒸馏:模型轻量化的核心技术 知识蒸馏(Knowledge Distillation)通过将大型教师模型的“软标签”(soft targets)和隐含知识迁移至小型学生模型,实现模型压缩与加速。其核心价值在于: 知识迁移机制:……