Too many open files 报了两周,最后卡在每次新建 HttpClient
一、现象:重启能好,两天后又炸
某个 Spring Boot 服务从凌晨开始间歇性抛异常:
java.io.FileNotFoundException: /data/app/upload.tmp (Too many open files)
同时 Redis 客户端报连不上、HTTP 调用抛 ConnectException,但网络和设备什么都没动。重启进程立刻恢复,两天后又开始报——这是资源缓慢泄漏的典型形状,不是流量高峰。
二、先确认上限到底是多少
第一反应是改 ulimit -n,但服务是 systemd 托管的,shell 里改的东西对它完全无效。要看进程真正生效的限制:
PID=$(pgrep -f app.jar | head -1)
cat /proc/$PID/limits | grep open
systemctl show app.service -p LimitNOFILE
实测读到的是 1024,而不是运维以为的 65535。正确做法是写进 unit 文件再重载:
[Service]
LimitNOFILE=65535
systemctl daemon-reload
systemctl restart app.service
容器场景还要单独看一层:宿主机的 nofile 不一定传得进来,要看 docker run 的 --ulimit nofile=,K8s 则看容器 securityContext 与节点 kubelet 的配置。
三、数一数 fd 用在哪:先看类型,再看状态
上限小只是放大器,泄漏才是根因。边压测边观察:
ls /proc/$PID/fd | wc -l
lsof -p $PID | awk '{print $5}' | sort | uniq -c | sort -rn | head
输出里绝大多数不是普通文件,而是 socket:
61248 IPv4
3102 REG
58 CHR
12 FIFO
再往下钻一层,看这些连接卡在什么状态:
ss -antp | grep "pid=$PID" | awk '{print $1}' | sort | uniq -c | sort -rn
CLOSE_WAIT 六万多条。这一步很关键:CLOSE_WAIT 意味着对端已经 FIN 断开,本端却始终没调 close(),是应用代码拿着连接不还;TIME_WAIT 才是内核在等 2MSL。两者的处置方向完全相反。
四、根因:每次调用都 new 了一个 HttpClient
代码里有一处工具方法,为了「避免线程共享出问题」,每次请求都新建客户端:
CloseableHttpClient client = HttpClientBuilder.create().build();
try {
return client.execute(new HttpGet(url), handler);
}
每 new 一个客户端就带一套连接管理器、IOReactor 线程和 epoll/pipe 的 fd;实例用完没有 close,而 GC 不会替你关文件描述符,调用量把 fd 池一点点吃干。同样的写法在 OkHttpClient、各家对象存储 SDK 里都出现过,是同一个坑。
五、修法:全局单例,外加显式消费响应体
HttpClient 本身是线程安全的,正确姿势是复用一个,并把连接池和空闲回收显式配出来:
PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
cm.setMaxTotal(400);
cm.setDefaultMaxPerRoute(80);
CLIENT = HttpClients.custom()
.setConnectionManager(cm)
.setConnectionTimeToLive(30, TimeUnit.SECONDS)
.evictIdleConnections(30, TimeUnit.SECONDS)
.build();
另一半更容易漏:响应体必须读完并关闭,否则连接永远回不到池里。要么交给 response handler 解析,要么显式 EntityUtils.consume(entity)。顺手记下其他语言的等价规则:Go 里 resp.Body 必须 Close,Python 用 requests.Session() 而不是每次 requests.get(),Java 里所有流套 try-with-resources。
还有两类隐蔽泄漏值得一起排查:Files.walk(path) 返回的 Stream 内部持有目录句柄,不关闭就会稳定地涨 fd;批处理任务里 RandomAccessFile、ZipFile 忘 close 也非常常见。
六、结果与命令速查
改完压测两小时,fd 数量从持续爬升变成稳定在 900 左右,CLOSE_WAIT 峰值不超过 30 且几秒内回落,上线一周没有再告警。留一份自己用的速查:
cat /proc/PID/limits
ls /proc/PID/fd | wc -l
lsof -p PID | awk '{print $5}' | sort | uniq -c | sort -rn
ss -antp | grep pid=PID | awk '{print $1}' | sort | uniq -c
一句话总结:遇到 Too many open files,先分清是「上限太小」还是「用了不还」。上限用 /proc/PID/limits 确认真实值,泄漏用 fd 类型加 socket 状态定位——CLOSE_WAIT 堆积回去查自己的代码,TIME_WAIT 堆积才考虑连接复用与内核参数。
- 点赞
- 收藏
- 关注作者
评论(0)