一、超大规模模型架构演进背景 在AI大模型技术快速发展的当下，模型架构设计已成为决定模型性能的核心要素。当前主流技术路线主要分为Dense架构与MOE（Mixture of Experts）架构两大方向，二者在参数规模、计算效……
