Linux内核网络栈深度调优与BBR v3拥塞控制算法配置

Linux内核网络栈的默认配置面向通用场景，在高带宽低延迟的服务器环境中存在明显瓶颈。TCP拥塞控制算法、网卡中断分发、套接字缓冲区大小等参数直接影响数据传输吞吐和延迟。BBR（Bottleneck Bandwidth and RTT）是Google提出的拥塞控制算法，通过探测瓶颈带宽和最小RTT替代传统基于丢包的拥塞判断，在高带宽长肥管道中显著提升吞吐量。

TCP拥塞控制算法对比与BBR v3配置

Linux内核默认使用CUBIC拥塞控制算法，基于丢包信号调节发送窗口。CUBIC在浅缓冲网络中表现良好，但在深缓冲交换机组成的数据中心网络中，缓冲区填满后才触发丢包，导致高延迟和吞吐量波动。BBR通过测量实际瓶颈带宽和最小RTT构建网络模型，不依赖丢包信号，能更精确地控制发送速率。

BBR v3相比v2进一步改进了RTT测量精度和多流公平性。启用BBR：

# 查看当前拥塞控制算法
sysctl net.ipv4.tcp_congestion_control

# 查看可用算法
sysctl net.ipv4.tcp_available_congestion_control
# 输出示例: net.ipv4.tcp_available_congestion_control = reno cubic bbr

# 临时启用BBR
sysctl -w net.ipv4.tcp_congestion_control=bbr

# 永久启用，写入sysctl配置
cat >> /etc/sysctl.d/99-bbr.conf << 'EOF'
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr
EOF

sysctl -p /etc/sysctl.d/99-bbr.conf

# 验证
sysctl net.ipv4.tcp_congestion_control
# 输出: net.ipv4.tcp_congestion_control = bbr

fq（Fair Queue）队列调度器是BBR的推荐搭档。BBR依赖精确的 pacing rate 控制发送节奏，fq qdisc为每个流提供独立队列和 pacing 机制，避免多流之间相互干扰。

内核版本需要4.9以上支持BBR v1，5.15以上支持BBR v2，6.8以上支持BBR v3。可通过以下命令检查：

# 检查内核版本
uname -r

# 检查BBR模块是否加载
lsmod | grep bbr
# 或检查内置支持
grep BBR /boot/config-$(uname -r)

# BBR v3需要确认内核编译选项
grep CONFIG_TCP_CONG_BBR /boot/config-$(uname -r)
# CONFIG_TCP_CONG_BBR=m 表示模块化编译

套接字缓冲区与内核网络参数调优

TCP套接字缓冲区大小决定单连接的窗口上限，直接影响吞吐量。默认值针对低带宽场景，10Gbps网络中需大幅提升。

# /etc/sysctl.d/99-network-tuning.conf

# TCP读写缓冲区（min/default/max，单位字节）
net.ipv4.tcp_rmem = 4096 87380 67108864
net.ipv4.tcp_wmem = 4096 65536 67108864

# 全局内存分配限制
net.core.rmem_max = 67108864
net.core.wmem_max = 67108864
net.core.rmem_default = 16777216
net.core.wmem_default = 16777216

# TCP窗口缩放（高带宽必需）
net.ipv4.tcp_window_scaling = 1

# backlog队列长度
net.core.netdev_max_backlog = 250000
net.core.somaxconn = 65535

# 连接复用与回收
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_tw_buckets = 1048576

# Keepalive探活
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3

# SYN队列与重试
net.ipv4.tcp_max_syn_backlog = 65535
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_synack_retries = 2

# 应对C10K/C100K连接数
net.ipv4.ip_local_port_range = 10000 65535
net.ipv4.tcp_tw_reuse = 1

# 禁用慢启动重启（长连接场景）
net.ipv4.tcp_slow_start_after_idle = 0

# 应用配置
sysctl -p /etc/sysctl.d/99-network-tuning.conf

tcp_rmem和tcp_wmem的max值设为64MB，10Gbps RTT=1ms的链路理论BDP（带宽时延积）约为1.25MB，64MB窗口足以覆盖跨区域高延迟链路。

网卡中断绑核与RPS/RFS多队列分发

多队列网卡的硬件中断默认由CPU 0处理，高流量下单个CPU核成为瓶颈。通过将网卡中断绑定到不同CPU核心，配合RPS（Receive Packet Steering）实现软中断负载均衡。

# 查看网卡队列数
ethtool -l eth0
# 示例输出: Channel parameters for eth0:
#   Pre-set maximums: RX: 0 TX: 0 Combined: 16
#   Current hardware settings: RX: 0 TX: 0 Combined: 8

# 设置队列数为CPU核数
ethtool -L eth0 combined 16

# 查看当前中断分配
cat /proc/interrupts | grep eth0
# 输出示例:
#    31:  1234567  IR-PCI-MSI  edge   eth0-rx-0
#    32:  2345678  IR-PCI-MSI  edge   eth0-rx-1
#    ...

# 绑定每个队列中断到独立CPU核
# 获取eth0所有RX队列中断号
for irq in $(grep eth0-rx /proc/interrupts | awk -F: '{print $1}' | tr -d ' '); do
    cpu=$((irq % 16))
    echo $cpu > /proc/irq/$irq/smp_affinity_list
done

# 验证绑定
cat /proc/irq/31/smp_affinity_list  # 输出: 0
cat /proc/irq/32/smp_affinity_list  # 输出: 1

RPS将接收软中断分发到多个CPU核处理，不依赖网卡多队列硬件支持：

# 设置eth0的RPS掩码，使用CPU 0-15
# 十六进制掩码计算：16个CPU = 0xFFFF
echo 65535 > /sys/class/net/eth0/queues/rx-0/rps_cpus
echo 65535 > /sys/class/net/eth0/queues/rx-1/rps_cpus

# RFS（Receive Flow Steering）保持同一流在同一CPU处理
echo 32768 > /proc/sys/net/core/rps_sock_flow_entries

# 每个队列设置RPS流表大小
for i in /sys/class/net/eth0/queues/rx-*/rps_flow_cnt; do
    echo 4096 > $i
done

# 持久化方式：写入udev规则或systemd service

BBR性能基准测试与生产验证

使用iperf3和netperf对比CUBIC与BBR的吞吐表现：

# 服务端
iperf3 -s

# 客户端测试 - CUBIC
sysctl -w net.ipv4.tcp_congestion_control=cubic
iperf3 -c 192.168.1.10 -t 60 -P 4
# 单流: ~2.3 Gbps  四流: ~6.8 Gbps

# 客户端测试 - BBR
sysctl -w net.ipv4.tcp_congestion_control=bbr
iperf3 -c 192.168.1.10 -t 60 -P 4
# 单流: ~8.1 Gbps  四流: ~9.2 Gbps

跨区域测试（RTT 30ms，10Gbps链路）中BBR优势更明显。CUBIC受缓冲膨胀影响，RTT从基线30ms飙升至200ms以上，实际吞吐仅3Gbps。BBR维持RTT在35ms左右，吞吐稳定在8.5Gbps。

生产环境切换BBR需注意：BBR与部分代理协议的交互行为可能与CUBIC不同。HAProxy和Nginx的 upstream 连使用BBR无问题，但若上游链路存在QoS限速设备，BBR的探测行为可能导致瞬时超限。建议先在非生产环境验证，逐步推广。监控层面通过ss -ti命令可查看单连接的BBR状态：

ss -ti dst 192.168.1.10
# 输出包含: bbr bw:8120Mbps mrtt:0.972ms pacing_rate:8420Mbps

配合sar -n DEV采集网络设备级吞吐统计，建立切换前后的基线对比，确保BBR带来的性能提升无副作用。