一、技术背景与架构选择 当前大模型领域存在两大主流架构路径：Dense架构与MoE（Mixture of Experts）架构。Dense架构采用单一神经网络堆叠，参数规模与计算量呈线性增长，适用于对延迟敏感的实时推理场景；MoE架……
