磁盘突然写满时,我通常按这个顺序排查(Linux 五个命令)
磁盘突然写满时,我通常按这个顺序排查(Linux 五个命令)
线上机器报「No space left on device」时,第一反应往往是加盘。但多数情况下是某个日志或缓存把分区占满了,先定位比先扩容更划算。下面五条命令大致按「先看整体、再看细节」排列。
1. df -h:先确认是哪个分区满了
df -h
关注 Use% 那一列。如果根分区满了但 /data 还很空,问题只出在一个挂载点上,不必急着扩容整机。
inode 用尽的情况 df -h 看不出来,需要补一条:
df -i
IUse% 到 100% 时报错和磁盘满一模一样,但空间其实还有,这类通常是大量小文件造成的,例如会话文件、缓存碎片。
2. du -sh *:找出目录里的大头
cd /var
du -sh * | sort -rh | head -10
从可疑的挂载点开始逐层往下钻。sort -rh 按大小倒序,head 只看前十名,避免刷屏。加 -x 可以限制不跨文件系统。
3. lsof +L1:找「已删除但没释放」的文件
这是最容易忽略的一类。日志被 rm 掉了,但写日志的进程还开着句柄,空间不会还回来:df 显示满,du 却找不到大文件。
lsof +L1 2>/dev/null | head -20
确认是这种情况后,处理方式不是删文件,而是让进程重新打开日志(systemctl reload 或重启服务),空间才会真正释放。
4. journalctl --disk-usage:systemd 日志单独算账
journalctl --disk-usage
journal 日志默认在 /var/log/journal,长期运行的机器上几个 GB 很常见,可以按时间收缩:
journalctl --vacuum-time=7d
5. find:按时间找最近疯长的文件
find /var/log -type f -size +100M -mtime -1 -exec ls -lh {} \;
筛出最近一天修改过、且大于 100MB 的文件,通常能直接命中失控的那个日志。
一点经验上的顺序
实际排查时,我习惯先用 df -h 和 df -i 区分「空间满」还是「inode 满」,再用 du 缩小范围。如果 du 的结果和 df 差得很多,基本就是第 3 步的句柄未释放问题。
另外,删日志前先确认服务是否还在往里写。直接 rm 一个正在被写入的文件,既不能让空间立刻释放,也可能丢掉正在写的日志。更稳妥的做法是清空内容(truncate -s 0)或者交给 logrotate 处理。
排查清楚原因再决定要不要扩容,通常能省下一次不必要的升配。
(本文是基于通用 Linux 知识整理的运维笔记,示例命令在多数发行版上适用;lsof、journalctl 在不同发行版上的可用性略有差异。)
- 点赞
- 收藏
- 关注作者
评论(0)