Nginx高并发配置优化与Linux内核参数联合调优实战

Nginx高并发架构的核心瓶颈

Nginx高并发性能受三个层面制约：Nginx自身配置（worker进程数、连接数、缓冲区）、操作系统内核参数（TCP栈、文件描述符、内存管理）、硬件资源（CPU、内存、网卡带宽）。单独调优任一层面效果有限，必须联合调优才能突破瓶颈。

典型的10万并发场景下，默认配置的Nginx在3万连接左右就会出现连接拒绝、响应延迟飙升的问题。通过系统化调优，单机承载10万+长连接是可行的。

Nginx Worker进程与连接数优化

Worker进程数设置为CPU核心数，避免上下文切换开销。每个Worker的最大连接数根据可用内存计算：

# nginx.conf 核心配置
worker_processes auto;
worker_cpu_affinity auto;

events {
    worker_connections 65535;
    use epoll;
    multi_accept on;
    accept_mutex off;
}

# 单个连接内存占用约64KB
# 65535连接 x 64KB 约等于 4GB

TCP连接保活与复用优化

HTTP长连接复用减少TCP握手开销，upstream keepalive避免Nginx与后端频繁建连：

http {
    keepalive_timeout 65s;
    keepalive_requests 10000;

    upstream backend {
        server 10.0.0.1:8080;
        server 10.0.0.2:8080;
        keepalive 128;
        keepalive_requests 10000;
        keepalive_timeout 60s;
    }

    server {
        location /api/ {
            proxy_pass http://backend;
            proxy_http_version 1.1;
            proxy_set_header Connection "";
        }
    }
}

缓冲区与内存分配调优

http {
    client_body_buffer_size 16K;
    client_header_buffer_size 1K;
    client_max_body_size 20m;
    large_client_header_buffers 4 8K;

    proxy_buffering on;
    proxy_buffer_size 8K;
    proxy_buffers 8 16K;
    proxy_busy_buffer_size 32K;

    gzip on;
    gzip_min_length 1024;
    gzip_comp_level 4;
    gzip_types text/plain application/json application/javascript text/css;
}

Linux内核TCP参数联合调优

Nginx高并发依赖内核TCP栈的配合。核心参数调整：

# /etc/sysctl.conf 核心参数
fs.file-max = 1048576
fs.nr_open = 1048576

net.core.somaxconn = 65535
net.core.netdev_max_backlog = 65535
net.ipv4.tcp_max_syn_backlog = 65535

net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_tw_buckets = 65536

net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216

net.ipv4.tcp_congestion_control = bbr
net.core.default_qdisc = fq

net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_synack_retries = 2

应用配置：sysctl -p。BBR算法在高延迟网络下相比默认的cubic可提升20%-40%的吞吐量。

文件描述符限制解除

# /etc/security/limits.conf
nginx soft nofile 1048576
nginx hard nofile 1048576
nginx soft nproc 65535
nginx hard nproc 65535

# nginx.conf
worker_rlimit_nofile 1048576;

连接拒绝故障排查

高并发下出现Connection Refused或502/504错误时，按以下路径排查：

1. 检查连接队列是否溢出：netstat -s | grep overflowed，如果数字持续增长，增大somaxconn。

2. 检查TIME_WAIT数量：ss -ant | grep TIME-WAIT | wc -l，超过5万需启用tcp_tw_reuse。

3. 检查upstream是否响应超时：grep upstream /var/log/nginx/error.log，适当增加proxy_read_timeout。

4. 检查Worker进程负载，启用状态页监控active connections和waiting数量：

server {
    location /nginx_status {
        stub_status on;
        allow 127.0.0.1;
        deny all;
    }
}

# Active connections: 当前活跃连接数
# Reading: 读取请求的连接数
# Writing: 写入响应的连接数
# Waiting: 等待新请求的长连接数

实战调优效果对比

在4核8GB云服务器上的压测对比（wrk -t12 -c10000 -d60s）：

默认配置：QPS 8500，P99延迟420ms，5%连接失败

调优后配置：QPS 23000，P99延迟85ms，0%连接失败

关键提升来自：BBR拥塞控制（吞吐+40%）、长连接复用（连接数-70%）、缓冲区优化（延迟-60%）、连接队列扩容（失败率归零）。调优不是一次性的，需结合业务流量特征持续监控调整。