稀疏激活

• MoE混合专家模型路由机制原理与稀疏激活实现

  MoE（Mixture of Experts）混合专家模型通过稀疏激活机制，在不增加推理计算量的前提下大幅扩展模型参数规模。大模型开发中，MoE架构已成为训练万亿参数模型的主流方案…

  人工智能 4小时前