大模型架构

大模型MoE（Mixture of Experts）混合专家架构通过稀疏激活机制，在不增加推理计算量的前提下大幅扩展模型参数规模，成为当前千亿级模型训练的主流方案。MoE的核心思路…

MoE混合专家模型架构概念与设计动机 混合专家模型（Mixture of Experts，MoE）是一种通过稀疏激活机制扩展模型参数容量而不等比例增加推理计算量的架构方案。传统稠密…