用 lsof 找出占用已删除文件或正在撑大日志的进程
Linux 上经常会遇到两类和“文件还在被进程拿着”相关的问题:
- 某个大文件已经
rm掉了,但磁盘占用没有下降。 - 某个日志或数据文件在持续增大,需要确认是哪个进程在写。
这两类问题的共同点是:内核按打开的文件描述符(fd)管理文件内容,目录项被删掉或文件名被轮转,并不等于进程已经放手。lsof 就是用来把“哪个进程、哪个 fd、对应哪份文件、当前多大”列出来的工具。
1. 先确认文件是否仍被打开
对一个还在目录里的路径,直接查谁打开了它:
lsof -nP /var/log/myapp/app.log
-nP 避免反查主机名和端口服务名,输出通常更快。关注这些列:
COMMAND/PID/USER:谁在持有FD:文件描述符编号,后面的u/w/r表示读写模式SIZE或SIZE/OFF:当前文件大小NAME:路径
如果只想看写者,直接看 FD 列里带 w 或 u 的行即可。
需要判断文件是否还在增长时,隔几秒再跑一次同一个命令,对比 SIZE。不要把“文件变大”和“必须杀进程”直接画等号,先确认写者和业务身份。
2. 已删除但仍被占用的文件
在 Linux 上,unlink()(也就是普通的 rm)只是去掉目录项。只要还有进程打开着这份 inode,数据块就不会归还。lsof 里这类文件的 NAME 通常带 (deleted)。
常用两条入口:
# 列出链接数小于 1、即已被删除但仍打开的文件
lsof +L1
# 或者在全量输出里过滤
lsof -nP | grep '(deleted)'
lsof +L1 的含义是:只显示 link count 小于 1 的文件。这比在整机 lsof 结果里 grep 更直接,也不容易受空格或本地化差异影响。
输出里重点看 SIZE 很大的那些行,记下 PID 和路径。还可以用 /proc 交叉验证:
ls -l /proc/<PID>/fd
# 已删除文件通常显示为: /some/path (deleted)
查看该 fd 指向的对象大小:
ls -lL /proc/<PID>/fd/<FD>
# 或
stat /proc/<PID>/fd/<FD>
/proc/<PID>/fd/<FD> 是指向 inode 的符号链接;通过它仍可读取内容或查看大小,即使目录里已经没有这个文件名。
3. 处理时要分清“释放空间”和“停止写入”
确认进程后,常见做法有三种,按风险从低到高选择。
只想尽快收回已删除文件占用的空间,且不能立刻重启服务。
空间会在该进程关闭对应 fd 后释放。重启或平滑重载(例如向会重新打开日志的服务发送约定的 reload 信号)通常是正路。不要对生产进程直接 kill -9,除非已经评估过中断影响。
文件还在,但被不断写大,目录里的路径仍然存在。
单纯 rm 再创建一个同名空文件,旧 inode 往往仍被原进程握着,新文件是另一份 inode,空间问题不会立刻消失。更稳妥的是:
- 让程序重新打开日志(例如 logrotate 的
copytruncate,或服务自带的 reopen); - 或者在确认这是日志、截断可接受时,对同一个 inode 做截断:
: > /var/log/myapp/app.log
# 等价于
truncate -s 0 /var/log/myapp/app.log
截断会清空内容但保留 inode,已经打开这份文件的进程继续写入时,空间从 0 开始重新计算。这只适用于日志类、丢失已有内容可接受的场景,不要对数据库文件或正在被正常业务写入的数据文件这样做。
需要保留已删除文件里的残留内容。
在 fd 关闭前,可以从 /proc/<PID>/fd/<FD> 把数据拷出来:
cp /proc/<PID>/fd/<FD> /tmp/recovered.dat
拷贝的是当前还能读到的内容,不保证和“删除前的完整文件”一致,尤其是进程仍在追加写入时。
4. 几个容易踩的边界
lsof默认需要足够权限。查看其他用户的进程时,通常要用 root,否则列表会不完整。- 容器里看到的 PID 是容器命名空间内的 PID;到宿主机上对应时,要用容器运行时提供的映射,不能直接拿容器 PID 去宿主机
kill。 lsof +D 目录会递归该目录,目录很大时很慢,也更容易漏过已删除文件(因为路径已经不在目录树里)。查已删除文件优先用lsof +L1。- 文件大小在
lsof输出中是采样值。判断“正在增长”应间隔观察,而不是看一行就下结论。 - 关闭 fd 或截断日志只能解决“这份文件还被握着”的问题。如果根因是日志级别过高、访问量突增或程序泄漏,空间还会再被写满。
5. 小结
把问题拆成三步即可:用 lsof 找到持有该路径或 (deleted) 文件的 PID 和 fd,用 /proc/<PID>/fd 确认大小和内容还在,再选择重载、截断或拷贝,而不是先删文件或先杀进程。lsof +L1 适合查已删除但仍占空间的文件,lsof -nP <路径> 适合查正在被写大的日志。
- 点赞
- 收藏
- 关注作者
评论(0)