知识蒸馏中Temperature参数的作用机制 知识蒸馏的核心思想是通过软目标(soft target)传递教师模型的”暗知识”,而Temperature参数是控制软目标分布的关键超参数。在标准softmax函数中引入Temperature(τ)后,输……