Linux 服务器 TIME_WAIT 连接堆积:从排查到内核调优的实战笔记
上周一台跑定时同步任务的 Linux 服务器出了怪现象:CPU 和内存都不高,磁盘也够用,可业务日志里却隔三差五出现 Cannot assign requested address,curl 一会儿成功一会儿失败。登录上去一看,ss 输出里密密麻麻全是 TIME_WAIT 连接,数量一度超过两万。这篇文章就记录这次排查的过程和结论。
一、TIME_WAIT 是什么
TCP 连接主动关闭的一方,在发送最后一个 ACK 之后会进入 TIME_WAIT 状态,并停留 2MSL(Linux 默认约 60 秒),目的是防止旧连接的延迟报文干扰新连接,以及确保对方收到最后的 ACK。它本身不是错误,而是一种保护机制。
问题出在量上:当一台机器作为客户端频繁发起短连接时,每次连接都由它主动关闭,就会留下大量 TIME_WAIT。它们不占多少内存,却会占用本地端口。一个连接由四元组唯一确定,本地端口用完了,新的连接就建不起来,于是出现开头那种“地址分配失败”的报错。
二、先确认,再动手
不要一上来就改内核参数。先用几条命令确认事实:
ss -s
ss -tan state time-wait | wc -l
ss -tan state time-wait | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -nr | head
cat /proc/sys/net/ipv4/ip_local_port_range
第一条看总体,第二条统计 TIME_WAIT 总数,第三条按对端 IP 汇总,看是不是某个上游服务最集中,最后一条确认本地端口范围。默认范围一般是 32768-60999,只有约两万八千个端口。如果 TIME_WAIT 接近这个数量,端口耗尽的判断基本就坐实了。
还要分清角色:TIME_WAIT 留在主动关闭的一方。如果这台机器是服务端,通常是客户端先关,服务端进入的是 CLOSE_WAIT;反过来,机器作为客户端调上游接口、每次请求都新建连接,才会在本机堆积 TIME_WAIT。角色搞反了,调优方向就全错了。
三、治本:减少短连接
最有效的办法不是调参数,而是少建连接。检查三点:第一,HTTP 调用有没有开 keep-alive,连接复用是否真的生效;第二,客户端有没有用连接池,还是每次请求都 new 一个客户端;第三,定时任务是不是把一次批量同步拆成了几千次单条请求。
我们那次的根因就是同步脚本每次只拉一条记录就断开,改成批量拉取加连接复用后,TIME_WAIT 从两万多直接掉到几百,报错随之消失。参数调优只能缓解,架构层面的复用才是治本。
四、内核参数怎么调
如果业务确实需要大量短连接,再考虑内核参数,而且要逐项验证:
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_max_tw_buckets = 20000
tcp_tw_reuse 允许在 TIME_WAIT 状态下复用端口建新连接,主要对客户端角色有效,需要对端支持时间戳。tcp_fin_timeout 缩短 FIN_WAIT_2 的等待时间,可以适当降低,但不要设得过小。扩大端口范围能直接增加可用端口数。tcp_max_tw_buckets 是 TIME_WAIT 数量上限,超过后内核会直接回收最旧的记录,设得过大反而失去保护意义。
有两个坑要避开:第一,不要再启用 tcp_tw_recycle,它在新内核中已被移除,而且在 NAT 环境下会导致连接失败;第二,不要把 TIME_WAIT 时间改成几秒了事,2MSL 的存在有它的道理,绕过保护机制往往会在别处付出代价。改完用 sysctl -p 生效,并观察至少一个业务高峰。
五、复查清单
调优后按这份清单复查:TIME_WAIT 数量是否回落到端口范围的一半以下;Cannot assign requested address 是否不再出现;高峰时段新建连接的延迟是否恢复正常;有没有新的连接超时或 RST 增多。任何一项异常,都要先回滚最近一次改动,再继续排查。
结语
TIME_WAIT 堆积很少是单点故障,它通常是“短连接太多 + 端口范围太小”共同作用的结果。排查时先统计、再定性角色、然后治本复用连接,最后才动内核参数。按这个顺序走,既能快速止血,也不会把一个小问题调成一个更大的问题。
- 点赞
- 收藏
- 关注作者
评论(0)