Linux服务器内存泄漏排查全流程与实战命令

内存泄漏的典型表现与快速判断

Linux服务器内存泄漏是运维工作中最常见也最棘手的问题之一。典型表现包括：可用内存持续下降但无法定位消耗进程、进程RSS缓慢增长不释放、OOM Killer日志频繁出现、swap使用率异常升高。排查内存泄漏的第一步是确认泄漏类型：是单个进程泄漏还是系统级内存压力。

快速判断的命令组合：free -h查看整体内存水位，ps aux –sort=-%mem | head -20列出内存占用Top 20进程，cat /proc/meminfo | grep -i slab检查内核Slab缓存是否异常增长。如果free -h显示used很高但所有进程RSS之和远小于used值，大概率是Slab缓存或Page Cache未释放导致的系统级内存压力。

进程级内存泄漏的定位方法

确认是进程级泄漏后，需要定位到具体的进程和代码位置。第一步用top -o %MEM或htop持续观察，记录内存持续增长的进程PID。第二步使用pmap -x PID查看进程的内存映射详情，关注[anon]段的增长情况。[anon]段持续增长通常意味着堆内存未释放。

对于Java应用，使用jmap -histo:live PID查看堆对象统计，jmap -dump:format=b,file=heap.hprof PID导出堆转储后用MAT或VisualVM分析。对于Go应用，使用go tool pprof http://localhost:6060/debug/pprof/heap在线分析堆分配。对于C/C++应用，推荐使用Valgrind或AddressSanitizer编译运行，前者适合离线检测，后者对性能影响更小可在生产环境的灰度节点使用。

内核Slab缓存泄漏的排查路径

内核Slab缓存泄漏是另一类常见问题，特点是/proc/meminfo中Slab占用量持续增长，但用户态进程的RSS总和正常。排查步骤如下：

1. 执行slabtop -o -s c按缓存大小排序，观察哪个Slab缓存占用最大且持续增长
2. 执行cat /proc/slabinfo | grep -i dentry检查dentry缓存，高并发文件操作场景下dentry缓存会大量积聚
3. 执行cat /proc/sys/vm/drop_caches确认当前值（默认0），必要时写入2清除dentry和inode缓存
4. 对于dentry缓存持续增长的场景，调整vm.vfs_cache_pressure参数，默认值100，增大到150-200可加速dentry回收

实际案例：某Nginx反向代理服务器在运行3天后Slab缓存增长到8GB，slabtop显示dentry缓存占7.5GB。根因是上游服务频繁返回4xx导致Nginx错误日志文件句柄未及时释放。解决方案是配置open_file_cache的max和inactive参数，并将open_file_cache_errors设为off。

容器环境下的内存泄漏排查

容器环境的内存排查有额外复杂度。Docker和Kubernetes通过cgroup限制容器内存，但容器内的free命令默认看到的是宿主机内存信息，会产生误判。正确的做法是读取cgroup的内存计数器：cat /sys/fs/cgroup/memory/memory.usage_in_bytes获取容器实际内存使用，cat /sys/fs/cgroup/memory/memory.limit_in_bytes获取内存限制。

Kubernetes环境下的OOM问题排查流程：kubectl describe pod POD_NAME查看Last State中的OOMKilled信息，kubectl top pod监控Pod内存趋势，kubectl logs -p POD_NAME查看OOM前的应用日志。如果Pod频繁OOMKilled但JVM堆内存未达到限制，大概率是JVM的Native Memory（线程栈、Direct Buffer、Metaspace）超出了cgroup限制，需要调低-Xmx或增大container memory limit。

内存泄漏修复后的验证与监控

修复内存泄漏后需要建立持续验证机制。短期验证：在测试环境对修复版本执行72小时压力测试，每小时记录进程RSS和系统可用内存，确认曲线趋于平稳而非持续增长。长期监控：部署Prometheus + Grafana内存监控看板，设置以下告警规则：

– 进程RSS超过配置阈值80%时Warning告警
– 可用内存低于总内存10%时Critical告警
– Slab缓存占比超过总内存20%时Warning告警
– OOM Killer事件触发时Critical告警

告警规则的阈值需要根据业务基线调整，避免因阈值过低产生大量误报。同时建议在Grafana看板中增加内存趋势预测线，当预测模型显示内存将在N天内耗尽时提前预警。