一、模型架构创新:从轻量化到混合专家的技术跃迁 在资源受限场景中,轻量化模型正成为开发者的重要工具。当前主流技术方案提供0.6B至4B参数量的微型模型,这类模型通过结构化剪枝、知识蒸馏等技术,将核心算子压……