一、知识蒸馏技术演进与TinyBert定位 知识蒸馏作为模型轻量化核心手段，其本质是通过”教师-学生”架构实现知识迁移。传统方法（如DistilBERT）仅在输出层进行蒸馏，而TinyBert开创性地提出多阶段蒸馏框架，在嵌入层……
