基于知识蒸馏的PyTorch网络实现指南 一、知识蒸馏核心原理 知识蒸馏(Knowledge Distillation)通过将大型教师模型(Teacher Model)的”软目标”(Soft Targets)迁移到小型学生模型(Student Model),实现模型压……