一、知识蒸馏技术背景与GISM的提出 知识蒸馏(Knowledge Distillation)作为模型轻量化的核心技术,通过“教师-学生”架构将大型模型的泛化能力迁移至小型模型,在保持精度的同时显著降低计算开销。传统知识蒸馏在目……