Linux服务器cgroup v2资源限制配置与容器隔离实战

cgroup v2架构变化与统一层级模型

cgroup v2是Linux内核4.5版本引入的第二代控制组架构，在5.12版本后趋于稳定并被主流发行版默认启用。与cgroup v1的多层级独立控制器不同，v2采用统一层级（Unified Hierarchy）模型，所有资源控制器挂载在同一cgroup树结构下，简化了管理复杂度。

在服务器运维场景中，cgroup v2的核心价值在于精细化的资源隔离与限制能力。通过cgroup可以限制进程组的CPU、内存、IO和PID等资源使用量，防止单个异常进程耗尽系统资源。这一机制也是Docker、containerd等容器运行时的底层隔离基础。

cgroup v2的文件系统挂载在/sys/fs/cgroup目录下，通过读写该目录中的控制文件实现资源配置。与v1需要分别操作不同子系统目录不同，v2中所有资源配置都在同一层级路径下完成。

CPU资源限制与权重分配配置

cgroup v2的CPU控制通过cpu控制器实现，主要配置文件为cpu.max和cpu.weight。cpu.max设置CPU带宽上限，格式为”$MAX $PERIOD”，例如”100000 100000″表示每100000微秒周期内最多使用100000微秒CPU时间，即限制为1个核心。cpu.weight设置CPU权重，范围1-10000，默认100，用于在CPU资源争抢时按权重分配。

创建cgroup并设置CPU限制的完整操作：

# 创建cgroup
sudo mkdir /sys/fs/cgroup/myapp

# 限制为2个CPU核心（200000/100000）
echo "200000 100000" | sudo tee /sys/fs/cgroup/myapp/cpu.max

# 设置CPU权重为200（默认100）
echo 200 | sudo tee /sys/fs/cgroup/myapp/cpu.weight

# 将进程加入cgroup
echo $PID | sudo tee /sys/fs/cgroup/myapp/cgroup.procs

cpu.max的限制是硬上限，进程无法突破。当系统CPU空闲时，受限进程仍只能使用配置的额度。cpu.weight仅在CPU资源紧张时生效，空闲时所有进程均可使用全部CPU。

内存限制与OOM控制器配置

内存控制是cgroup v2中最常用的资源限制功能。memory.max设置内存使用上限，memory.swap.max设置交换分区使用上限，memory.high设置内存使用软上限（超过后触发内存回收压力）。

# 限制最大内存为2GB
echo 2147483648 | sudo tee /sys/fs/cgroup/myapp/memory.max

# 限制swap为512MB
echo 536870912 | sudo tee /sys/fs/cgroup/myapp/memory.swap.max

# 设置内存软上限为1.5GB
echo 1610612736 | sudo tee /sys/fs/cgroup/myapp/memory.high

当进程组内存使用超过memory.max时，内核触发cgroup级别的OOM Killer。可以通过memory.oom控制器控制OOM行为：设置为”oom”启用默认OOM行为，设置为”disable”则禁用OOM Killer，进程在内存不足时被阻塞等待内存释放。

# 查看内存使用情况
cat /sys/fs/cgroup/myapp/memory.current
cat /sys/fs/cgroup/myapp/memory.peak
cat /sys/fs/cgroup/myapp/memory.events

memory.events文件记录内存压力事件统计，包括低、中、高压力事件计数和OOM事件计数，是排查内存问题的重要参考。

IO带宽限制与设备级流控

cgroup v2的io控制器支持对块设备的读写带宽进行限制。配置文件io.max格式为”$MAJOR:$MINOR rbps=$VAL wbps=$VAL riops=$VAL wiops=$VAL”，分别控制读写字节速率和IOPS。

# 获取设备号
lsblk -o NAME,MAJ:MIN

# 限制/dev/sda1（8:1）读写速度为100MB/s
echo "8:1 rbps=104857600 wbps=104857600" | sudo tee /sys/fs/cgroup/myapp/io.max

# 限制IOPS为1000
echo "8:1 riops=1000 wiops=1000" | sudo tee /sys/fs/cgroup/myapp/io.max

io.weight设置IO权重，范围1-10000，默认100。与cpu.weight类似，仅在IO资源争抢时生效。

PID数量限制与进程级隔离

pids控制器限制cgroup内进程数量上限，防止fork炸弹或异常进程创建耗尽系统PID资源。

# 限制最大进程数为500
echo 500 | sudo tee /sys/fs/cgroup/myapp/pids.max

# 查看当前进程数
cat /sys/fs/cgroup/myapp/pids.current

在容器场景中，通过pids.max限制容器内进程数量是服务器安全加固的重要手段，防止单个容器内异常进程蔓延影响宿主机。

systemd cgroup集成与服务资源管控

systemd深度集成了cgroup v2，通过systemctl set-property命令可以直接对服务进行资源限制，无需手动操作cgroup文件系统。这是Linux系统管理中最推荐的资源限制方式。

# 限制nginx服务最大内存2GB
sudo systemctl set-property nginx.service MemoryMax=2G

# 限制CPU使用为2核
sudo systemctl set-property nginx.service CPUQuota=200%

# 限制最大进程数500
sudo systemctl set-property nginx.service TasksMax=500

# 限制IO读写速度
sudo systemctl set-property nginx.service IOReadBandwidthMax=/dev/sda 100M
sudo systemctl set-property nginx.service IOWriteBandwidthMax=/dev/sda 100M

上述配置会持久化到/etc/systemd/system.control目录，重启后仍然生效。也可以在unit文件中直接配置资源限制：

[Service]
MemoryMax=2G
CPUQuota=200%
TasksMax=500
IOWeight=500

通过systemd的资源限制功能，可以在不依赖容器技术的情况下实现对系统服务的精细化资源管控，适用于物理机架设和IDC数据中心的运维场景。