一、内存墙困境:大模型落地的最后一道屏障 当模型参数规模突破千亿级,内存需求呈现指数级增长。以1.3TB的MoE(Mixture of Experts)模型为例,其内存占用主要来自三个维度: 全量参数存储:每个专家网络包含数……