从VIT到ResNet:知识蒸馏的跨架构迁移实践 一、知识蒸馏的核心价值与跨架构挑战 知识蒸馏(Knowledge Distillation)通过让轻量级学生模型(如ResNet)模仿高容量教师模型(如VIT)的输出分布,实现模型压缩与性能……