Kubernetes容器编排GPU调度实战：AI推理集群资源分配与弹性伸缩

GPU调度在K8s中的实现原理

在AI推理集群中，GPU是稀缺且昂贵的资源。Kubernetes通过设备插件（Device Plugin）机制实现GPU的发现与调度，NVIDIA官方提供的k8s-device-plugin是最广泛使用的方案。该插件在节点上注册nvidia.com/gpu资源，kube-scheduler据此将Pod调度到具有可用GPU的节点上。

GPU调度的核心难点在于：GPU不像CPU那样支持细粒度的资源切分，默认情况下一个GPU只能分配给一个容器。这意味着如果你的推理服务只需要4GB显存，但GPU有80GB，剩余76GB处于闲置状态，造成严重的资源浪费。

MIG与时间片分时复用方案

针对GPU资源浪费问题，NVIDIA提供了两种解决方案：

MIG（Multi-Instance GPU）：适用于A100/H100等支持MIG的GPU，将单块GPU划分为多个独立实例，每个实例拥有独立的显存和计算单元。在K8s中配置MIG的步骤如下：

1. 在节点上启用MIG模式：nvidia-smi -i 0 -mig 1

2. 创建MIG分区，例如将A100 80GB划分为7个1g.10gb实例：nvidia-smi mig -cgi 1g.10gb,1g.10gb,1g.10gb,1g.10gb,1g.10gb,1g.10gb,1g.10gb -C

3. 在k8s-device-plugin的ConfigMap中设置MIG策略为mixed，让插件同时暴露整卡和MIG实例

4. 在Pod的资源配置中指定MIG实例：resources.limits.nvidia.com/mig-1g.10gb: 1

时间片分时复用（Time-Slicing）：适用于不支持MIG的消费级GPU（如RTX 4090），通过在驱动层实现GPU的时间片轮转，让多个容器共享同一块GPU。配置方式：

1. 创建时间片配置文件：

version: v1
sharing:
  timeSlicing:
    renameByDefault: false
    resources:
    - name: nvidia.com/gpu
      replicas: 4

2. 将配置文件挂载到k8s-device-plugin的Pod中

3. 重启device-plugin后，节点上显示的GPU数量会从1变为4

时间片方案不提供显存隔离，多个容器共享同一块GPU的显存，存在OOM风险，适用于低负载推理场景。

弹性伸缩与HPA配置

AI推理服务的流量通常呈现明显的波峰波谷特征，通过HPA（Horizontal Pod Autoscaler）实现按需扩缩容至关重要。与CPU/内存指标不同，GPU利用率指标需要额外部署DCGM Exporter来采集。

部署DCGM Exporter：

kubectl apply -f https://raw.githubusercontent.com/NVIDIA/dcgm-exporter/main/deployment/default.yaml

配置Prometheus采集DCGM指标后，创建基于GPU利用率的HPA：

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: ai-inference-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: ai-inference
  minReplicas: 2
  maxReplicas: 20
  metrics:
  - type: Pods
    pods:
      metric:
        name: DCGM_FI_DEV_GPU_UTIL
      target:
        type: AverageValue
        averageValue: "70"

该HPA会在GPU平均利用率超过70%时触发扩容，低于70%时逐步缩容。需要注意扩容冷却时间，避免流量尖峰导致的频繁扩缩。

拓扑感知调度优化

多GPU节点的调度还需考虑GPU拓扑亲和性。同一PCIe Switch下的GPU之间NVLink通信延迟最低，跨NUMA节点的GPU通信延迟则显著增加。启用拓扑感知调度：

kubectl label node gpu-node-1 nvidia.com/gpu.topology=NV8

配合NVIDIA的GPU拓扑感知调度器扩展，可以将需要多GPU的推理Pod优先调度到NVLink互联的GPU组上，降低跨GPU通信开销。对于使用TensorRT的多GPU推理服务，这一优化可将推理延迟降低15%-30%。

故障自愈与资源回收

GPU故障（显存ECC错误、驱动崩溃）在规模化集群中时有发生。配置节点健康检查与自动隔离：

1. 部署NVIDIA GPU Operator中的Node Feature Discovery组件
2. 配置kubelet的Eviction机制，当检测到GPU健康异常时自动驱逐该节点上的Pod
3. 设置PodDisruptionBudget确保最少可用副本数

对于长时间运行的推理服务，建议在Deployment中配置livenessProbe，当GPU推理进程挂起时自动重启容器。