Linux服务器Cgroup v2资源限制与容器资源隔离配置实战

Cgroup（Control Group）是Linux内核提供的资源限制和隔离机制，服务器运维中用于控制进程组的CPU、内存、IO等资源使用。Cgroup v2从Linux 4.5开始引入，在5.12版本后趋于稳定，逐步替代Cgroup v1成为主流方案。Linux系统管理中，Cgroup v2的核心改进在于统一层级结构，所有资源控制器挂载在同一棵cgroup树下，而非v1的每控制器独立树。

Cgroup v2与Cgroup v1架构差异分析

Cgroup v1的架构问题在于各控制器相互独立，进程可以存在于不同控制器的不同层级中，导致资源归属混乱。例如一个进程在CPU控制器中属于GroupA，在内存控制器中属于GroupB，难以实现一致的资源策略。Cgroup v2通过统一层级解决此问题，所有控制器共享同一组织结构，资源策略一致性得到保证。

# 查看cgroup挂载方式
mount | grep cgroup
# Cgroup v2输出: cgroup2 on /sys/fs/cgroup type cgroup2 (rw,nosuid,nodev,noexec,relatime)

# 查看cgroup版本
stat -fc %T /sys/fs/cgroup
# 输出 cgroup2 表示v2，tmpfs 表示v1

# 查看可用控制器
cat /sys/fs/cgroup/cgroup.controllers
# 输出示例: cpu memory io pids rdma

如果系统仍使用Cgroup v1，可通过内核启动参数切换：在GRUB配置中添加 systemd.unified_cgroup_hierarchy=1，重启后生效。生产环境切换前需确认容器运行时兼容性，Docker 20.10+和containerd 1.4+均支持Cgroup v2。

CPU与内存资源限制配置实战

Cgroup v2的CPU控制通过cpu.weight和cpu.max两个参数实现。cpu.weight是相对权重值，范围1-10000，默认100，用于在CPU资源争抢时按比例分配；cpu.max是绝对上限，格式为”$MAX $PERIOD”（微秒），例如”100000 100000″表示每100ms周期内最多使用100ms CPU时间，等效1个CPU核心。

# 创建cgroup并设置CPU限制
mkdir -p /sys/fs/cgroup/myapp
cd /sys/fs/cgroup/myapp

# 设置CPU权重（相对值，争抢时按比例分配）
echo 500 > cpu.weight  # 默认100，设为500表示获得5倍默认权重

# 设置CPU上限（绝对限制）
# 格式: "最大配额 周期"，单位微秒
# 以下配置: 每100ms周期内最多用50ms，即限制0.5核
echo "50000 100000" > cpu.max

# 内存限制（字节）
echo 2147483648 > memory.max   # 2GB硬限制
echo 1073741824 > memory.high   # 1GB软限制，超过后触发回收

# 将进程加入cgroup
echo $PID > cgroup.procs

# 查看资源使用情况
cat cpu.stat
# 输出示例:
# usage_usec 12345678
# user_usec 9876543
# system_usec 2469135
# nr_periods 1000
# nr_throttled 50
# throttled_usec 500000

cat memory.current  # 当前内存使用量
cat memory.peak     # 历史峰值

memory.max是硬限制，进程内存超过此值会触发OOM Killer杀掉进程。memory.high是软限制，超过后内核开始回收页面缓存，但不立即杀进程。建议memory.high设为memory.max的50%-70%，作为缓冲区域避免突发内存导致OOM。

IO带宽控制与设备访问管理

Cgroup v2的IO控制器限制进程对块设备的读写带宽和IOPS。配置格式为”$MAJOR:$MINOR rbps wbps riops wiops”，其中MAJOR:MINOR是设备号，rbps/wbps是读写带宽限制，riops/wiops是读写IOPS限制。服务器安全加固场景下，通过Cgroup IO限制防止单个服务耗尽磁盘带宽导致其他服务响应超时。

# 查看块设备号
ls -l /dev/sda
# brw-rw---- 1 root disk 8, 0 Aug 19 10:00 /dev/sda
# 设备号: 8:0

# 限制IO带宽
echo "8:0 rbps=104857600 wbps=52428800 riops=1000 wiops=500" > io.max
# 以上配置: 读100MB/s，写50MB/s，读IOPS 1000，写IOPS 500

# 查看IO使用统计
cat io.stat
# 输出示例:
# 8:0 rbytes=12345678 wbytes=9876543 rios=1234 wios=567

Docker与containerd集成配置

容器运行时通过Cgroup v2实现资源隔离。Docker和containerd在Cgroup v2模式下使用systemd作为cgroup driver，资源限制通过–cpu、–memory等参数映射到Cgroup v2配置。

# Docker Compose资源限制示例
version: "3.9"
services:
  web:
    image: nginx:latest
    deploy:
      resources:
        limits:
          cpus: "2.0"        # 对应cpu.max
          memory: 4G         # 对应memory.max
        reservations:
          cpus: "0.5"        # 对应cpu.weight
          memory: 1G         # 对应memory.high
    # Cgroup v2下等效配置:
    # cpu.max = 200000 100000
    # memory.max = 4294967296
    # cpu.weight = 50
    # memory.high = 1073741824

# Kubernetes Cgroup v2配置
# /etc/containerd/config.toml
[plugins."io.containerd.grpc.v1.cri"]
  enable_cgroup_driver = "systemd"

# Kubelet配置
# /var/lib/kubelet/config.yaml
# cgroupDriver: systemd

systemd服务资源管理与故障排查

systemd服务集成了Cgroup v2资源管理。通过Service段配置Slice和资源参数，无需手动操作Cgroup文件系统：

# /etc/systemd/system/myapp.service
[Service]
ExecStart=/usr/bin/myapp
CPUWeight=500
CPUQuota=200%        # 等效2核
MemoryMax=4G
MemoryHigh=2G
IOReadBandwidthMax=/dev/sda 100M
IOWriteBandwidthMax=/dev/sda 50M
# systemd自动映射到Cgroup v2参数

排查Cgroup v2资源限制问题时，cgroup.procs和cgroup.threads文件列出当前cgroup中的进程和线程。cpu.stat中的nr_throttled计数持续增长表示CPU限流频繁，应增大cpu.max配额或优化应用CPU使用。memory.events中的oom事件计数可定位OOM发生频率，配合dmesg日志分析被杀进程。systemd-cgtop命令实时查看各cgroup的资源使用排行，systemd-cgls显示cgroup树结构。