一、知识蒸馏技术背景与NLP应用需求 知识蒸馏（Knowledge Distillation）作为一种模型压缩技术，通过将大型教师模型（Teacher Model）的”软标签”（Soft Targets）和隐式知识迁移至小型学生模型（Student Model），……
