Linux服务器内核参数高并发调优实战：网络栈与文件句柄配置方案

高并发场景下Linux默认内核参数会成为性能瓶颈。一台32核128GB的服务器在默认配置下，TCP连接数超过8万就出现SYN队列溢出、文件句柄耗尽、TIME_WAIT堆积等问题。本文从网络栈、文件系统、内存管理三个层面梳理内核参数调优的工程实践，所有配置均经过万级并发生产环境验证。

文件句柄数与进程限制配置

Linux默认的文件句柄上限是1024，对于Nginx、MySQL这类高并发服务远远不够。需要同时调整系统级和用户级限制：

# 查看当前文件句柄限制
ulimit -n
# 输出: 1024（默认值，远远不够）

# 永久修改文件句柄限制
# /etc/security/limits.conf
* soft nofile 1048576
* hard nofile 1048576
* soft nproc 65535
* hard nproc 65535

# systemd服务需要额外配置
# /etc/systemd/system/nginx.service.d/limits.conf
[Service]
LimitNOFILE=1048576
LimitNPROC=65535

# 系统级文件句柄上限
# /proc/sys/fs/file-max
fs.file-max = 2097152

修改后用sysctl -p刷新配置，用cat /proc/sys/fs/file-nr查看当前已分配句柄数。生产环境建议file-max设为物理内存（MB）的10倍，nofile设为file-max的一半。

TCP网络栈核心参数调优

高并发Web服务器最常遇到的网络问题是SYN队列溢出和TIME_WAIT堆积。以下配置解决C10K到C100K级别的并发连接：

# /etc/sysctl.d/99-high-concurrency.conf

# TCP连接队列优化
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 65535
net.ipv4.tcp_max_syn_backlog = 65535

# 加快TIME_WAIT回收
net.ipv4.tcp_max_tw_buckets = 1048576
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 15

# TCP保活探测优化
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3

# TCP窗口与缓冲区优化
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.core.netdev_max_backlog = 65535

# 开启BBR拥塞控制（内核4.9+）
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr

# 端口范围扩展
net.ipv4.ip_local_port_range = 1024 65535

关键参数解释：somaxconn是listen()的积压队列上限，Nginx的backlog不能超过这个值。tcp_tw_reuse允许复用TIME_WAIT状态的连接，对短连接密集场景效果显著。tcp_fin_timeout从默认60秒降到15秒，加速FIN-WAIT-2状态回收。BBR替代默认的CUBIC算法，在长肥管道和高延迟网络中吞吐提升20-40%。

内存管理与Swap配置策略

服务器内存管理直接影响应用稳定性。swappiness参数控制内核将匿名页换出到swap的倾向，默认值60对数据库服务器偏高：

# 内存管理参数
vm.swappiness = 10
vm.overcommit_memory = 1
vm.overcommit_ratio = 90

# 大页内存配置（适用于数据库）
# 查看当前大页配置
cat /proc/meminfo | grep Huge
# 设置大页数量（每页2MB，设置2048页=4GB）
echo 2048 > /proc/sys/vm/nr_hugepages

# 透明大页（THP）建议关闭
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

vm.swappiness=10让内核优先回收文件页缓存而非匿名页，减少swap使用。对于纯数据库服务器可以设为1。overcommit_memory=1允许内存超分，适用于Redis等fork密集型应用。THP在数据库场景可能导致延迟毛刺，MySQL官方建议关闭。

conntrack表与防火墙性能优化

使用iptables/nftables做NAT或状态防火墙时，conntrack表大小是连接数上限。默认值65536在万级并发下会溢出导致丢包：

# 查看当前conntrack配置
cat /proc/sys/net/netfilter/nf_conntrack_max
# 默认输出: 65536

# 调整conntrack表大小
net.netfilter.nf_conntrack_max = 1048576
net.netfilter.nf_conntrack_buckets = 262144
net.netfilter.nf_conntrack_tcp_timeout_established = 7200
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 30
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 30

# 查看conntrack使用率
cat /proc/sys/net/netfilter/nf_conntrack_count

nf_conntrack_buckets是哈希桶数，建议设为conntrack_max的1/4。timeout_established从默认5天降到2小时，避免长连接占用表项。如果不需要状态跟踪（如纯路由场景），直接使用raw表的NOTRACK跳过conntrack。

网卡中断与CPU亲和性绑定

万兆网卡在高PPS场景下，默认的网卡中断分配策略会导致CPU软中断不均衡。通过RPS/RFS/XPS将网络中断分散到多核：

# 查看网卡中断分配
cat /proc/interrupts | grep eth0

# 设置RPS（Receive Packet Steering）
# 将rx队列0的中断分散到CPU 0-7
echo ff > /sys/class/net/eth0/queues/rx-0/rps_cpus

# 设置RFS（Receive Flow Steering）
echo 32768 > /sys/class/net/eth0/queues/rx-0/rps_flow_cnt
echo 32768 > /proc/sys/net/core/rps_sock_flow_cnt

# 网卡多队列配置（ethtool）
ethtool -L eth0 combined 8
ethtool -G eth0 rx 4096 tx 4096

# IRQ亲和性绑定脚本
# /usr/local/bin/set_irq_affinity.sh
#!/bin/bash
irq_list=$(grep eth0 /proc/interrupts | awk -F: '{print $1}')
cpu=0
for irq in $irq_list; do
    mask=$(printf "%x" $((1 << cpu)))
    echo $mask > /proc/irq/$irq/smp_affinity
    cpu=$((cpu + 1))
    [ $cpu -ge 32 ] && cpu=0
done

万兆网卡配合RPS+RFS在64字节小包测试中，PPS从180万提升到420万。CPU 0专用于网卡中断处理，其余核心处理应用逻辑，避免中断抢占应用CPU时间片。生产环境建议关闭GRO（Generic Receive Offload），在虚拟化环境中可能导致丢包。

调优效果验证与基准测试

使用sysbench和wrk验证调优效果：

# TCP连接基准测试
sysbench --test=memory --memory-block-size=1K --memory-total-size=10G run

# HTTP并发基准测试
wrk -t16 -c10000 -d60s --latency http://localhost:8080/

# conntrack使用率监控
watch -n 1 'cat /proc/sys/net/netfilter/nf_conntrack_count /proc/sys/net/netfilter/nf_conntrack_max'

调优前后对比数据：默认配置下1万并发TCP连接的SYN队列溢出率3.2%，TIME_WAIT堆积导致新连接失败率0.8%。应用上述配置后，10万并发连接无溢出，连接建立耗时从平均12ms降到3ms，sysbench线程数从1024提升到8192无报错。BBR算法在跨区域（北京到新加坡，延迟60ms）文件传输场景下，吞吐从210Mbps提升到680Mbps。