GPU服务器算力规划：多卡互联与显存带宽选型实战

AI模型部署到GPU服务器，第一步不是装驱动，而是算力规划：卡型、卡数、互联方式和存储带宽怎么配。配置错了，要么显存不够跑不起来，要么多卡并行效率只有单卡的六成。这篇文章从推理与训练两类场景拆解GPU服务器算力规划的关键指标与选型方法。

GPU算力规划的核心指标：显存、算力与互联带宽

规划一个GPU服务器配置，先看四个数：单卡显存（决定能装多大模型）、FP16/FP8算力（决定推理吞吐与训练速度）、显存带宽（决定长上下文推理效率）、卡间互联带宽（决定多卡并行效率）。四个指标共同决定算力资源规划的结果，只盯显存会漏掉大多数问题。

以主流推理场景为例：70B参数的模型，FP16权重约140GB，单张80GB显存的卡装不下，必须做张量并行拆分或量化到INT8。拆分意味着每张卡都要参与通信，卡间互联带宽直接决定生成速度，这就是NVLink与PCIe差距被放大的原因。

多卡互联选型：NVLink、NVSwitch与PCIe的实际差异

多卡通信的选型直接影响大模型并行效率。NVLink是英伟达的高带宽点对点互连，服务器级平台通过NVSwitch构成全互联网络，任意两张卡之间带宽均匀；PCIe Gen5 x16单向带宽约64GB/s，与NVLink差距明显。实测中，8卡PCIe平台的Llama2-70B张量并行推理速度，比同等NVLink平台低30%到50%。

选型要点：4卡以下、模型不大，PCIe互联可以接受；8卡跑大模型或全量微调，必须上NVLink/NVSwitch；混合部署场景优先把模型切分放在NVLink域内，数据并行与流水线并行放在跨机网络。

从模型规模反推显存与卡数的规划方法

显存规划可以按公式粗算：训练总显存约等于模型参数×（精度字节+优化器系数）加梯度加激活值。LoRA微调7B模型（FP16、AdamW）约需28GB至40GB，单张48GB卡可跑；全参微调则需要张量并行分摊。推理场景显存约等于权重（参数×字节）加KV Cache加激活值，长上下文场景KV Cache占比显著增大。

# 估算70B模型FP16推理最小显存（GB）
params_gb = 70e9 * 2 / 1024**3      # FP16权重
kv_gb = 4096 * 128 * 2 * 2 / 1024**3 # 长上下文KV Cache近似
print(f"约需 {params_gb + kv_gb:.1f} GB，4卡80GB即可装下")

这个粗略公式用于第一步筛选，实际部署以显存监控为准。

算力资源规划落地：从单机多卡到集群扩展

规划时先回答一个问题：单机多卡还是多机集群？单机多卡的优势是低延迟、易管理；受限于单机供电与散热，8卡功耗可达6000W级别。模型规模超过单机承载时，需要跨机扩展，此时网络升级到IB或RoCE，算力规划要同时考虑网络交换、存储带宽与机架供电配套。

规划建议：推理优先算显存和带宽，训练优先算并行策略与网络；机型选型预留量化升级余量；容量监控接入规划流程，扩容不靠经验估算。模型迭代一次，算力资源规划就要重算一轮。