AI服务器算力资源规划：从GPU选型到集群调度的全链路配置

AI服务器GPU选型决策框架

算力资源规划的第一步是明确工作负载特征。大模型训练、推理、微调对GPU的需求差异极大，选错硬件的代价是数百万预算打了水漂。

当前主流GPU的定位如下：

# GPU选型对照表（2026年7月）
# 训练场景
NVIDIA H200 141GB HBM3e  - 70B参数模型全参训练
NVIDIA H100 80GB HBM3    - 7B-30B参数模型训练/微调
AMD MI300X 192GB HBM3    - 显存敏感型训练任务

# 推理场景
NVIDIA L40S 48GB         - 中小模型推理+视觉任务
NVIDIA A10 24GB           - 7B以下模型推理
华为昇腾910B 64GB        - 国产化替代推理

# 性价比微调
NVIDIA RTX 6000 Ada 48GB - LoRA/QLoRA微调性价比首选
NVIDIA RTX 4090 24GB     - 7B模型LoRA微调

选型核心指标不是单纯看FLOPS，而是显存容量 x 显存带宽 x 卡间互联带宽。训练场景下NVLink带宽（H100为900GB/s）直接决定数据并行效率；推理场景下显存容量决定单卡能跑多大的模型、能装多少KV Cache。

服务器硬件配置与IDC部署

GPU服务器的供电和散热是IDC机架级别的约束。一台8xH100服务器功耗约10.2kW，8xH200约12kW，普通42U机柜（单柜供电12-15kW）只能放一台GPU节点。

高密度部署的硬件检查清单：

# 服务器上架前检查项
1. 供电：单路PDU能否承载目标功耗 x 1.3冗余系数
2. 散热：冷热通道封闭 + 后门热交换器（RDHx）
3. 网络：每节点至少2x200Gb InfiniBand（训练）或2x100Gb RoCE（推理）
4. 存储：NVMe SSD本地缓存 + 并行文件系统（Lustre/GPFS）
5. BMC：IPMI/Redfish管理口独立网络

# 典型8xH200训练节点配置
dell_poweredge_xe9680:
  cpu: 2xIntel Xeon Platinum 8480+ (56C/112T)
  ram: 2TB DDR5 4800MHz (16x128GB)
  gpu: 8xNVIDIA H200 141GB HBM3e
  nvlink: NVLink 4.0 全互联
  network: 8xConnectX-7 400Gb InfiniBand
  storage: 8x3.84TB NVMe U.2 + 2x15.36TB NVMe U.2
  psu: 4x3200W 钛金

高可用集群架构设计

AI训练集群的高可用不是”服务器挂了自动切换”这么简单。训练任务运行时间长（几小时到几天），节点故障的容错策略与Web服务完全不同。

典型的高可用分层架构：

# 训练集群高可用架构
Layer 1: Slurm/K8s调度器（Active-Standby）
Layer 2: 共享存储（Ceph/Lustre 双活集群）
Layer 3: InfiniBand网络（双交换机冗余）
Layer 4: GPU节点（Elastic Training故障节点自动剔除）
Layer 5: Checkpoint机制（定期保存训练快照）

# Slurm配置示例
# /etc/slurm/slurm.conf
SlurmctldHost=ctrl-01
SlurmctldHost=ctrl-02
SlurmctldParameters=enable_configless
StateSaveLocation=/var/spool/slurmctld
SlurmdSpoolDir=/var/spool/slurmd
AccountingStorageType=accounting_storage/slurmdbd
AccountingStorageHost=db-01
JobCheckpointDir=/shared/checkpoints
JobAcctGatherFrequency=30

# 弹性训练：节点故障自动缩容
SuspendTime=300
SuspendProgram=/usr/local/bin/suspend_nodes
ResumeProgram=/usr/local/bin/resume_nodes
ResumeRate=0
ResumeTimeout=600

故障排查与监控告警

GPU服务器的故障排查有一套专门的工具链。DCGM（Data Center GPU Management）是NVIDIA提供的数据中心级GPU管理接口：

# DCGM健康检查
dcgm-diag -r 3

# 输出示例：
# GPU 0: PASS
# GPU 1: FAIL - Memory errors detected (ECC)
# GPU 2: PASS
# GPU 3: WARN - Temperature 89C (threshold 90C)

# 持续监控脚本
#!/bin/bash
while true; do
    dcgmi diag -r 1 --json > /tmp/gpu_health.json
    ERRORS=$(cat /tmp/gpu_health.json | jq '.[].GPU[].Error')
    if [ -n "$ERRORS" ]; then
        curl -X POST $WEBHOOK_URL \
          -H 'Content-Type: application/json' \
          -d "{\"text\":\"GPU健康检查异常: $ERRORS\"}"
    fi
    sleep 300
done

常见故障模式与处置：

# GPU故障速查表
1. ECC错误持续增长   → 硬件损坏，立即隔离节点，提交RMA
2. GPU温度超90C     → 检查风扇/水冷，清理防尘网，降频运行
3. NVLink降级        → 重新插拔GPU或重置NVLink
4. 显存泄漏          → kill卡住的训练进程，nvidia-smi --gpu-reset
5. IB链路flapping    → 检查光模块和线缆，更换备件

算力资源规划的成本优化

算力成本优化的核心逻辑是”按需供给，错峰调度”。训练任务对时间不敏感时，可以调度到低优先级队列，利用闲置算力。推理服务则根据流量波动自动伸缩。

# Slurm分区配置（按优先级和GPU类型分）
PartitionName=high-prio  Nodes=gpu-[001-020] MaxTime=72:00:00 Priority=1000
PartitionName=low-prio   Nodes=gpu-[001-020] MaxTime=168:00:00 Priority=100
PartitionName=preemptible Nodes=gpu-[021-040] MaxTime=336:00:00 Priority=1 PreemptMode=REQUEUE

# 推理服务弹性伸缩（K8s HPA）
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: llm-inference-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: vllm-deployment
  minReplicas: 2
  maxReplicas: 20
  metrics:
    - type: Pods
      pods:
        metric:
          name: vllm_request_latency_p99
        target:
          type: AverageValue
          averageValue: "2000m"  # 2秒P99延迟触发扩容

服务器安全加固是算力资源规划的收尾环节。GPU节点的安全策略与常规Web服务器不同——需要放开RDMA和NCCL的高端口范围，但SSH和API端口要严格限制。网络隔离采用管理网络+计算网络双平面架构，管理网络走SSH/IPMI，计算网络专跑RDMA流量，两者物理隔离。