分布式训练
-
PyTorch 2.x分布式训练实战：DDP与FSDP并行方案对比
PyTorch 2.x分布式训练是深度学习框架落地大规模模型的基本功。单卡放不下模型时，DDP和FSDP是两条主流路径：DDP做数据并行，每张卡持有一份完整模型副本；FSDP把参数…
-
PyTorch FSDP分布式训练实战：全分片数据并行配置与显存优化
PyTorch FSDP分布式训练是什么 PyTorch FSDP（Fully Sharded Data Parallel）是PyTorch 2.0引入的全分片数据并行方案，将模型…
-
大模型分布式训练实战：DeepSpeed ZeRO并行策略与显存优化方案
大模型分布式训练的显存瓶颈 大语言模型训练过程中，显存容量是最核心的物理限制。以175B参数模型为例，仅模型参数本身需要350GB存储空间（FP16格式），加上梯度、优化器状态（A…
-
大模型分布式训练实战：DeepSpeed ZeRO并行策略与多卡训练配置
大模型训练面临的核心瓶颈是显存容量。单张A100 80GB难以容纳百亿参数模型的完整训练状态，分布式训练成为必选项。DeepSpeed的ZeRO（Zero Redundancy O…
-
大模型训练分布式优化ZeRO-3与DeepSpeed Zero阶段显存分配策略实战配置
大模型训练过程中，显存瓶颈是最常遇到的工程问题。一个百亿参数模型用FP16精度存储就需要近200GB显存，单张A100 80GB根本无法装下。ZeRO（Zero Redundanc…
-
大模型MoE混合专家架构原理与稀疏激活分布式训练工程实战
大模型MoE（Mixture of Experts）混合专家架构通过稀疏激活机制，在不增加推理计算量的前提下大幅扩展模型参数规模，已成为GPT-4、Mixtral、DeepSeek…