专家并行推理

• 大模型MoE混合专家架构实战：稀疏激活路由机制与专家并行训练配置

  混合专家（Mixture of Experts, MoE）是人工智能大模型开发中提升参数规模与推理效率的关键架构。MoE通过稀疏激活机制，让每个token仅路由到部分专家网络进行计…

  人工智能 23小时前