动量蒸馏EMA:解析蒸馏指数在模型优化中的核心作用 一、动量蒸馏EMA的技术背景与核心概念 动量蒸馏EMA(Exponential Moving Average Distillation with Momentum)是深度学习模型优化领域的前沿技术,其核心在于通……