Too many open files:一次文件描述符耗尽的排查记录

举报
yd_274862470 发表于 2026/11/17 09:17:55 2026/11/17
【摘要】 上周在云服务器上部署一个新服务时,接口突然开始报错:Too many open files。服务本身没有改过代码,重启之后恢复,跑了半天又复发。最后定位到是文件描述符耗尽,记录一下排查过程。 现象:报错很分散最开始的报错并不集中:有的接口返回 500,有的日志里出现 accept4: too many open files,还有一个定时任务报 open /var/log/app.log: t...

上周在云服务器上部署一个新服务时,接口突然开始报错:Too many open files。服务本身没有改过代码,重启之后恢复,跑了半天又复发。最后定位到是文件描述符耗尽,记录一下排查过程。

现象:报错很分散

最开始的报错并不集中:有的接口返回 500,有的日志里出现 accept4: too many open files,还有一个定时任务报 open /var/log/app.log: too many open files。共同点是都和“打开文件”有关。Linux 里一切皆文件:普通文件、socket、管道都占用文件描述符(fd),进程能打开的 fd 数量是有上限的。

第一步:确认是谁的 fd 不够了

先看报错的进程:

cat /proc/<pid>/limits | grep "open files"
ls /proc/<pid>/fd | wc -l

第一个命令看上限,第二个看当前已用数量。我们的服务进程上限是 1024,已经用到了 1024,说明就是这个进程自己的 fd 打满了,而不是系统级 fs.file-max 不够。

第二步:fd 都被谁占了

ls -l /proc/<pid>/fd | awk '{print $NF}' | sort | uniq -c | sort -nr | head

结果显示大部分 fd 都是 socket,指向同一个下游地址。进一步用 ss -tanp 看到大量 CLOSE_WAIT 状态的连接:对方已经关闭了连接,我们这边没有 close,连接一直挂着,fd 只增不减。

根因:连接没有及时关闭

查代码发现,一处调用下游接口的逻辑里,HTTP 响应体在部分分支没有读取完就直接 return,Go 的 http.Client 会因此不复用连接,连接也不会及时释放。随着时间推移,CLOSE_WAIT 越积越多,直到打满 1024。

修复与验证

修复分两步。代码上,响应体用完必须 defer resp.Body.Close(),错误分支也不能漏掉;同时给客户端加上超时。部署后 ls /proc/<pid>/fd | wc -l 稳定在 100 左右,CLOSE_WAIT 清零。

另外把进程的 fd 上限从 1024 调到 65535:systemd 服务加 LimitNOFILE=65535,或者 shell 里 ulimit -n 65535。但要注意,调大上限只是给系统更多缓冲,不是根治办法,泄漏不修,早晚还会打满。

小结

遇到 Too many open files,先分清是进程级还是系统级上限;再用 /proc/<pid>/fd 和 ss 看 fd 的构成;CLOSE_WAIT 堆积往往意味着应用层没有正确关闭连接。调大上限能救急,修好泄漏才是根本。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。