Too many open files:一次文件描述符耗尽的排查记录
上周在云服务器上部署一个新服务时,接口突然开始报错:Too many open files。服务本身没有改过代码,重启之后恢复,跑了半天又复发。最后定位到是文件描述符耗尽,记录一下排查过程。
现象:报错很分散
最开始的报错并不集中:有的接口返回 500,有的日志里出现 accept4: too many open files,还有一个定时任务报 open /var/log/app.log: too many open files。共同点是都和“打开文件”有关。Linux 里一切皆文件:普通文件、socket、管道都占用文件描述符(fd),进程能打开的 fd 数量是有上限的。
第一步:确认是谁的 fd 不够了
先看报错的进程:
cat /proc/<pid>/limits | grep "open files"
ls /proc/<pid>/fd | wc -l
第一个命令看上限,第二个看当前已用数量。我们的服务进程上限是 1024,已经用到了 1024,说明就是这个进程自己的 fd 打满了,而不是系统级 fs.file-max 不够。
第二步:fd 都被谁占了
ls -l /proc/<pid>/fd | awk '{print $NF}' | sort | uniq -c | sort -nr | head
结果显示大部分 fd 都是 socket,指向同一个下游地址。进一步用 ss -tanp 看到大量 CLOSE_WAIT 状态的连接:对方已经关闭了连接,我们这边没有 close,连接一直挂着,fd 只增不减。
根因:连接没有及时关闭
查代码发现,一处调用下游接口的逻辑里,HTTP 响应体在部分分支没有读取完就直接 return,Go 的 http.Client 会因此不复用连接,连接也不会及时释放。随着时间推移,CLOSE_WAIT 越积越多,直到打满 1024。
修复与验证
修复分两步。代码上,响应体用完必须 defer resp.Body.Close(),错误分支也不能漏掉;同时给客户端加上超时。部署后 ls /proc/<pid>/fd | wc -l 稳定在 100 左右,CLOSE_WAIT 清零。
另外把进程的 fd 上限从 1024 调到 65535:systemd 服务加 LimitNOFILE=65535,或者 shell 里 ulimit -n 65535。但要注意,调大上限只是给系统更多缓冲,不是根治办法,泄漏不修,早晚还会打满。
小结
遇到 Too many open files,先分清是进程级还是系统级上限;再用 /proc/<pid>/fd 和 ss 看 fd 的构成;CLOSE_WAIT 堆积往往意味着应用层没有正确关闭连接。调大上限能救急,修好泄漏才是根本。
- 点赞
- 收藏
- 关注作者
评论(0)