一、万亿参数MoE架构：重新定义模型规模与效率的平衡点 在GPT-4、PaLM-2等闭源模型参数规模突破万亿级后，开源社区长期面临”规模-效率”的两难选择：传统Dense架构模型参数增长带来算力与能耗的指数级上升，而简单……
