告别TCP: time wait bucket table overflow

随着访问量的增大，系统默认的承受能力达到上限，系统日志频繁出现。/var/log/messages中常见的“kernel: TCP: time wait bucket table overflow”这个信息，会发现每隔5s就会报出几行。此时查看连接状态如下：

[root@IPTV001 ~]# netstat -an | awk '{print $6}' | sort | uniq -c | sort -rn
   6216 TIME_WAIT
     30 LISTEN
     21 ESTABLISHED
     20 CONNECTED
     14 
      4 STREAM
      2 FIN_WAIT1
      1 I-Node
      1 Foreign
      1 FIN_WAIT2
      1 established)
      1 CLOSE_WAIT
      1 and
      1 987101641
      1 8614
      1 8613
      1 8597

可以看见 TIME_WAIT值还是比较大的

修改 vi /etc/sysctl.conf

net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
fs.file-max=65535
fs.inotify.max_user_instances = 8192
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_max_syn_backlog = 65536
net.ipv4.tcp_max_tw_buckets = 20000
net.ipv4.route.gc_timeout = 100
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_synack_retries = 1
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 262144
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_max_orphans = 262144
net.netfilter.nf_conntrack_max = 1048576
net.netfilter.nf_conntrack_tcp_timeout_established = 1200

说明：

net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；

net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；

net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。

net.ipv4.tcp_fin_timeout = 30 表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。

net.ipv4.tcp_keepalive_time = 1200 表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为20分钟。

net.ipv4.ip_local_port_range = 1024 65000 表示用于向外连接的端口范围。缺省情况下很小：32768到61000，改为1024到65000。

net.ipv4.tcp_max_syn_backlog = 65536 表示SYN队列的长度，默认为1024，加大队列长度为65536，可以容纳更多等待连接的网络连接数。

net.ipv4.tcp_max_tw_buckets = 20000 表示系统同时保持TIME_WAIT套接字的最大数量，如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息。默认为180000，改 为5000。对于Apache、Nginx等服务器，上几行的参数可以很好地减少TIME_WAIT套接字数量，但是对于Squid，效果却不大。此项参 数可以控制TIME_WAIT套接字的最大数量，避免Squid服务器被大量的TIME_WAIT套接字拖死。

执行以下命令使配置生效：

sysctl -p

观察几分钟后，报错消失，TIME_WAIT连接数减少了。

root@IPTV001 ~]# netstat -an | awk '{print $6}' | sort | uniq -c | sort -rn
   4962 TIME_WAIT
     30 LISTEN
     22 ESTABLISHED
     20 CONNECTED
     14 
      4 STREAM
      2 FIN_WAIT1
      1 I-Node
      1 Foreign
      1 established)
      1 and
      1 987101641
      1 8614
      1 8613
      1 8597