一、环境准备与离线资源管理

1.1 硬件兼容性验证

在CentOS7离线环境中部署GPU容器前，需首先确认硬件兼容性。建议使用NVIDIA Tesla/Quadro/GeForce系列显卡，通过lspci | grep -i nvidia命令确认设备识别状态。离线场景下需提前获取显卡的PCI设备ID（如10de:1eb8），用于后续驱动匹配。

1.2 离线软件包收集

构建离线安装仓库需包含以下核心组件：

NVIDIA驱动包（如NVIDIA-Linux-x86_64-470.57.02.run）
CUDA工具包（推荐11.6版本，包含离线rpm包）
Docker引擎（19.03+版本，支持nvidia-docker2）
NVIDIA Container Toolkit（最新稳定版）

建议使用reposync工具同步在线仓库至本地目录：

reposync -r epel -p ./local_repo
reposync -r nvidia-docker -p ./local_repo
createrepo ./local_repo

二、GPU驱动离线安装

2.1 驱动安装前准备

禁用默认nouveau驱动：

echo "blacklist nouveau" > /etc/modprobe.d/blacklist-nouveau.conf
echo "options nouveau modeset=0" >> /etc/modprobe.d/blacklist-nouveau.conf
dracut --force

安装依赖包（从本地仓库）：

yum install --disablerepo=* --enablerepo=local_repo \
 dkms kernel-devel-$(uname -r) make gcc

2.2 离线驱动安装流程

执行驱动安装脚本（需提前将驱动包放入/tmp目录）：

chmod +x /tmp/NVIDIA-Linux-x86_64-*.run
sh /tmp/NVIDIA-Linux-x86_64-*.run --silent --dkms

验证驱动加载：

nvidia-smi  # 应显示GPU状态信息
modinfo nvidia | grep version  # 确认内核模块版本

三、容器运行时配置

3.1 Docker离线安装

安装基础依赖：

yum install --disablerepo=* --enablerepo=local_repo \
 yum-utils device-mapper-persistent-data lvm2

配置本地仓库：

cat > /etc/yum.repos.d/local_docker.repo <<EOF
[local_docker]
name=Local Docker CE
baseurl=file:///path/to/local_repo/docker-ce
enabled=1
gpgcheck=0
EOF

安装Docker CE：

yum install --disablerepo=* --enablerepo=local_docker \
 docker-ce docker-ce-cli containerd.io
systemctl enable --now docker

3.2 NVIDIA Container Toolkit部署

安装工具包（从本地仓库）：

yum install --disablerepo=* --enablerepo=local_repo \
 nvidia-container-toolkit nvidia-container-runtime

配置Docker守护进程：

cat > /etc/docker/daemon.json <<EOF
{
 "default-runtime": "nvidia",
 "runtimes": {
     "nvidia": {
         "path": "/usr/bin/nvidia-container-runtime",
         "runtimeArgs": []
     }
 }
}
EOF
systemctl restart docker

四、功能验证与测试

4.1 基础环境验证

运行测试容器：
```
docker run --rm --gpus all nvidia/cuda:11.6.0-base nvidia-smi
```
预期输出应显示容器内正确识别GPU设备。

验证CUDA版本：

docker run --rm --gpus all nvidia/cuda:11.6.0-base nvcc --version

4.2 高级功能测试

多GPU容器测试：

docker run --rm --gpus '"device=0,1"' nvidia/cuda:11.6.0-base nvidia-smi -L

性能基准测试：

docker run --rm --gpus all nvidia/cuda:11.6.0-base \
 /opt/cuda/samples/1_Utilities/deviceQuery/deviceQuery

五、离线环境维护建议

5.1 更新管理策略

建立版本控制机制：

为每个组件创建版本目录（如/opt/nvidia/470.57.02）
使用符号链接管理当前活动版本

增量更新方案：

# 示例：更新驱动时的备份流程
cp -r /etc/nvidia /etc/nvidia.bak.$(date +%Y%m%d)
tar czf /root/nvidia_backup_$(date +%Y%m%d).tar.gz /etc/nvidia

5.2 故障排查工具包

建议准备以下离线诊断工具：

strace：用于分析驱动加载问题
dmesg：实时监控内核日志
nvidia-debugdump：收集GPU错误日志
docker inspect：分析容器运行时状态

六、生产环境优化建议

6.1 资源隔离配置

启用cgroups限制：

cat > /etc/systemd/system/docker.service.d/gpu-limit.conf <<EOF
[Service]
CPUQuota=80%
MemoryLimit=16G
EOF
systemctl daemon-reload
systemctl restart docker

设备白名单机制：

# 在/etc/nvidia-container-runtime/config.toml中配置
[device-list]
path = "/dev/nvidia0"
path = "/dev/nvidiactl"
path = "/dev/nvidia-uvm"

6.2 安全加固措施

禁用非必要协议：

echo "options nvidia NVreg_RestrictProfilingToAdminUsers=1" > /etc/modprobe.d/nvidia.conf
echo "options nvidia NVreg_EnablePCIeGen3=0" >> /etc/modprobe.d/nvidia.conf

容器权限控制：

# 在docker daemon.json中添加
{
 "userns-remap": "default",
 "ipc-mode": "private"
}

通过上述完整流程，可在CentOS7离线环境中构建起稳定可靠的GPU容器计算平台。实际部署时建议先在测试环境验证所有组件的兼容性，特别是针对特定业务场景的CUDA库版本匹配。对于大规模部署场景，可考虑使用PXE+kickstart实现自动化离线安装。

CentOS7离线部署：构建容器化GPU计算环境全指南