知识蒸馏Loss求解方法深度解析:理论与实践 摘要 知识蒸馏(Knowledge Distillation, KD)作为模型压缩与迁移学习的核心技术,其Loss函数的设计与求解直接影响模型性能。本文从基础理论出发,系统梳理知识蒸馏中Lo……