一、DeepSeek蒸馏技术基础解析 1.1 什么是模型蒸馏? 模型蒸馏(Model Distillation)是一种通过”教师-学生”架构实现模型压缩的技术。其核心思想是将大型预训练模型(教师模型)的知识迁移到轻量级模型(学生模型……