用 eBPF 排查线上连接泄漏:一次从现象到根因的复盘

举报
yd_219600272 发表于 2026/11/12 09:16:54 2026/11/12
【摘要】 一、现象:连接数只涨不跌报警来自一台网关机器:ESTABLISHED 每小时多出几百个,凌晨低峰也不回落。CPU、内存、QPS 全都正常,业务方也没有报错,唯一异常是 ss -s 里的 total sockets 在缓慢爬升。这类"没有故障的故障"最容易拖,因为止损压力不够,等到文件描述符耗尽时已经是大事故。二、第一反应:先看应用层我们先把嫌疑放到连接池上:把池的最大连接数、空闲回收时间、k...

一、现象:连接数只涨不跌

报警来自一台网关机器:ESTABLISHED 每小时多出几百个,凌晨低峰也不回落。CPU、内存、QPS 全都正常,业务方也没有报错,唯一异常是 ss -s 里的 total sockets 在缓慢爬升。这类"没有故障的故障"最容易拖,因为止损压力不够,等到文件描述符耗尽时已经是大事故。

二、第一反应:先看应用层

我们先把嫌疑放到连接池上:把池的最大连接数、空闲回收时间、keepalive 全部打出来,又用 netstat 按状态分组看,发现 CLOSE_WAIT 的数量最多。CLOSE_WAIT 意味着对端已经发了 FIN,本端始终没有 close,通常是代码漏掉 defer,或者异常路径没有走到关闭逻辑。顺着这条线查了一轮业务代码,改了两处确实存在的泄漏,但曲线只是变缓,并没有停止上涨。

三、用 eBPF 看清 syscall 层

既然代码层看不出来,就把视角降到内核。用 bpftrace 挂 connect 和 close 的探针,按进程聚合计数,看两者的差值:

bpftrace -e 'tracepoint:syscalls:sys_enter_connect { @c[comm] = count(); } tracepoint:syscalls:sys_enter_close { @cl[comm] = count(); }'

结果很直接:某个 worker 的 connect 计数比 close 高出固定比例,而这个 worker 并不是业务代码所在进程,而是负责 TLS 握手的前置代理。也就是说,泄漏点在握手失败的分支上。

四、根因:握手超时后没有归还

继续沿着 fd 追踪,发现握手超时的那条路径里,socket 被放进了重试队列,但重试队列的容量上限是按"连接数"算的,而每条记录又持有一个 fd。队列满时新元素被丢弃,旧的 fd 却没人回收,于是形成"计数不涨、fd 一直涨"的假象——这也是监控面板上看不出问题的原因。修复方式很朴素:队列满时先关闭最旧的 fd 再入队,同时把队列长度做成独立的监控指标,一旦逼近上限就告警。

五、验证与沉淀

修复上线后观察两天,ESTABLISHED 稳定在基线上下浮动,CLOSE_WAIT 从四位数回到两位数。事后复盘定了三条规则:一是任何持有 fd 的队列都必须有容量与淘汰策略;二是把"connect 与 close 的差值"做成常规指标,它比单看连接总数灵敏得多;三是排障时优先用 eBPF 看系统调用,而不是先在业务代码里猜。

最后一点体会:连接泄漏最麻烦的地方不是修,而是发现。它的指标曲线太平缓,缓到任何基于阈值的告警都不会响。真正有效的做法是盯住增长速率而不是绝对值,让缓慢的漂移在一天之内暴露出来。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。