Linux服务器故障排查：从系统日志到内核崩溃的定位方法

服务器故障排查的系统化思路

服务器故障排查的第一原则是：先定界再定位。定界是判断故障发生在网络层、系统层还是应用层；定位是在确定的层级内找到根因。很多运维人员拿到故障工单就直接开始排查，往往在多个方向间反复跳跃，浪费大量时间。

标准排查路径为：连通性检查 → 资源使用检查 → 进程状态检查 → 日志分析 → 内核级排查。每一步都有明确的退出条件——如果ping不通，不需要看应用日志；如果CPU打满，不需要排查磁盘IO。

服务器安全加固过程中引入的防火墙规则、SELinux策略、内核参数调优，本身也可能是故障源头。排查时要将近期变更纳入考量范围。

系统资源耗尽类故障定位

资源耗尽是最常见的服务器故障类型，表现为服务响应变慢或完全不可达。

CPU跑满的排查步骤：

# 1. 确认高CPU进程
top -c -o %CPU

# 2. 查看进程线程级CPU占用
ps -T -p <PID> -o pid,tid,%cpu,comm

# 3. 对线程进行性能分析
perf top -p <PID> -t <TID>

# 4. 查看系统级CPU上下文切换
vmstat 1 5

# 5. 检查是否存在CPU steal（云服务器特有）
cat /proc/vcpu/stats

内存不足的排查要区分物理内存耗尽和虚拟地址空间耗尽。OOM Killer是Linux内核在物理内存不足时的兜底机制，它的触发逻辑和选择策略都记录在dmesg中：

# 查看OOM Killer记录
dmesg -T | grep -i "out of memory"
journalctl -k | grep -i "killed process"

# 查看当前内存压力
cat /proc/zoneinfo | grep -A3 "Node" | grep -E "min|low|high"

# 查看进程内存映射
pmap -x <PID> | sort -k3 -n -r | head -20

vm.min_free_kbytes参数控制内核保留的最低内存量，设置过低会导致频繁的直接内存回收（direct reclaim），表现为系统偶发性卡顿。建议物理内存64GB以上的服务器设置至少1GB的保留量。

磁盘IO瓶颈与文件系统故障

磁盘IO瓶颈的典型表现是iowait升高、进程D状态堆积。iostat是排查磁盘性能的基础工具：

# 查看磁盘IO统计
iostat -xz 1 10

# 关注指标：
# %util > 80%：磁盘接近饱和
# await > 10ms：IO延迟偏高（SSD）
# svctm：平均服务时间
# aqu-sz：平均队列深度

当%util高但吞吐量低时，通常是小IO随机读写导致的——数据库的随机读写模式最容易出现这种情况。解决方案包括调整IO调度器、升级存储介质或优化应用IO模式。

文件系统故障排查要关注superblock损坏、journal回放失败、inode耗尽三类问题。ext4的日志回放失败可以通过fsck -y修复，但在生产环境执行fsck前必须卸载分区，否则可能造成数据损坏。XFS则使用xfs_repair，它不支持在线修复，必须在umount状态下执行。

内核崩溃与panic分析

内核panic是最严重的服务器故障类型，机器直接重启且无法通过SSH登录。排查依赖kdump机制——内核崩溃前将内存映像转储到预留区域，重启后通过crash工具分析。

kdump配置：

# 1. 安装kdump工具
yum install kexec-tools

# 2. 配置crashkernel保留内存
cat /etc/default/grub | grep crashkernel
# GRUB_CMDLINE_LINUX="crashkernel=256M"

# 3. 启用并验证kdump服务
systemctl enable kdump
systemctl start kdump
kdumpctl status

内核崩溃后分析vmcore文件：

# 使用crash工具分析
crash /usr/lib/debug/lib/modules/$(uname -r)/vmlinux /var/crash/vmcore

# 在crash交互环境中常用命令：
sys      # 查看系统基本信息
bt       # 查看崩溃时的调用栈
log      # 查看内核日志
ps       # 查看进程列表
dev      # 查看设备信息

服务器故障排查是一个需要积累经验的技术方向。建立标准化排查流程、维护故障知识库、配置完善监控告警，是降低MTTR（平均修复时间）的关键。在高可用集群架构下，单节点故障应通过服务自动迁移来消化，排查则作为事后复盘的输入。