稀疏激活机制

• MoE混合专家模型稀疏激活机制与Top-K路由算法工程实现

  混合专家模型（Mixture of Experts, MoE）是大规模人工智能模型训练与推理中的关键架构创新。通过稀疏激活机制，MoE在不增加推理计算量的前提下大幅扩展模型参数规模…

  人工智能 7小时前