Too many open files 报了两周,最后卡在每次新建 HttpClient

举报
yd_219479431 发表于 2026/11/17 09:33:26 2026/11/17
【摘要】 一、现象:重启能好,两天后又炸某个 Spring Boot 服务从凌晨开始间歇性抛异常:java.io.FileNotFoundException: /data/app/upload.tmp (Too many open files)同时 Redis 客户端报连不上、HTTP 调用抛 ConnectException,但网络和设备什么都没动。重启进程立刻恢复,两天后又开始报——这是资源缓慢泄...

一、现象:重启能好,两天后又炸

某个 Spring Boot 服务从凌晨开始间歇性抛异常:

java.io.FileNotFoundException: /data/app/upload.tmp (Too many open files)

同时 Redis 客户端报连不上、HTTP 调用抛 ConnectException,但网络和设备什么都没动。重启进程立刻恢复,两天后又开始报——这是资源缓慢泄漏的典型形状,不是流量高峰。

二、先确认上限到底是多少

第一反应是改 ulimit -n,但服务是 systemd 托管的,shell 里改的东西对它完全无效。要看进程真正生效的限制:

PID=$(pgrep -f app.jar | head -1)
cat /proc/$PID/limits | grep open
systemctl show app.service -p LimitNOFILE

实测读到的是 1024,而不是运维以为的 65535。正确做法是写进 unit 文件再重载:

[Service]
LimitNOFILE=65535

systemctl daemon-reload
systemctl restart app.service

容器场景还要单独看一层:宿主机的 nofile 不一定传得进来,要看 docker run 的 --ulimit nofile=,K8s 则看容器 securityContext 与节点 kubelet 的配置。

三、数一数 fd 用在哪:先看类型,再看状态

上限小只是放大器,泄漏才是根因。边压测边观察:

ls /proc/$PID/fd | wc -l
lsof -p $PID | awk '{print $5}' | sort | uniq -c | sort -rn | head

输出里绝大多数不是普通文件,而是 socket:

  61248 IPv4
   3102 REG
     58 CHR
     12 FIFO

再往下钻一层,看这些连接卡在什么状态:

ss -antp | grep "pid=$PID" | awk '{print $1}' | sort | uniq -c | sort -rn

CLOSE_WAIT 六万多条。这一步很关键:CLOSE_WAIT 意味着对端已经 FIN 断开,本端却始终没调 close(),是应用代码拿着连接不还;TIME_WAIT 才是内核在等 2MSL。两者的处置方向完全相反。

四、根因:每次调用都 new 了一个 HttpClient

代码里有一处工具方法,为了「避免线程共享出问题」,每次请求都新建客户端:

CloseableHttpClient client = HttpClientBuilder.create().build();
try {
    return client.execute(new HttpGet(url), handler);
}

每 new 一个客户端就带一套连接管理器、IOReactor 线程和 epoll/pipe 的 fd;实例用完没有 close,而 GC 不会替你关文件描述符,调用量把 fd 池一点点吃干。同样的写法在 OkHttpClient、各家对象存储 SDK 里都出现过,是同一个坑。

五、修法:全局单例,外加显式消费响应体

HttpClient 本身是线程安全的,正确姿势是复用一个,并把连接池和空闲回收显式配出来:

PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
cm.setMaxTotal(400);
cm.setDefaultMaxPerRoute(80);

CLIENT = HttpClients.custom()
    .setConnectionManager(cm)
    .setConnectionTimeToLive(30, TimeUnit.SECONDS)
    .evictIdleConnections(30, TimeUnit.SECONDS)
    .build();

另一半更容易漏:响应体必须读完并关闭,否则连接永远回不到池里。要么交给 response handler 解析,要么显式 EntityUtils.consume(entity)。顺手记下其他语言的等价规则:Go 里 resp.Body 必须 Close,Python 用 requests.Session() 而不是每次 requests.get(),Java 里所有流套 try-with-resources。

还有两类隐蔽泄漏值得一起排查:Files.walk(path) 返回的 Stream 内部持有目录句柄,不关闭就会稳定地涨 fd;批处理任务里 RandomAccessFile、ZipFile 忘 close 也非常常见。

六、结果与命令速查

改完压测两小时,fd 数量从持续爬升变成稳定在 900 左右,CLOSE_WAIT 峰值不超过 30 且几秒内回落,上线一周没有再告警。留一份自己用的速查:

cat /proc/PID/limits
ls /proc/PID/fd | wc -l
lsof -p PID | awk '{print $5}' | sort | uniq -c | sort -rn
ss -antp | grep pid=PID | awk '{print $1}' | sort | uniq -c

一句话总结:遇到 Too many open files,先分清是「上限太小」还是「用了不还」。上限用 /proc/PID/limits 确认真实值,泄漏用 fd 类型加 socket 状态定位——CLOSE_WAIT 堆积回去查自己的代码,TIME_WAIT 堆积才考虑连接复用与内核参数。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。