一、开源MoE模型技术背景与核心突破 1.1 MoE架构的进化与优势混合专家模型(Mixture of Experts, MoE)通过动态路由机制将输入分配至不同专家子网络,突破传统Transformer的算力瓶颈。本次开源的模型采用分层稀疏……