磁盘还有空间，写入却报“满了”

前阵子碰到一件怪事：服务写日志写到一半开始报错，提示磁盘空间不足。我上去一看，df -h 显示还有几十 G，远没到满的地步。第一反应是看错了盘，又查了一遍挂载点，确认报错的目录和 df 显示的盘是同一个。

空间没满，那就不是容量问题。换了个角度查：df -i。这一查就对上了，inode 用了 100%，一个都不剩。新文件要占 inode，inode 没了，磁盘再空也写不进去。

inode 是怎么吃光的？一般是小文件堆出来的。查了一下，某个缓存目录里躺着几百万个几 KB 的小文件，单个看都不起眼，加起来把 inode 表撑满了。动手清理之前先确认了两件事：这些文件是不是还在被进程用，有没有正在写的临时文件不能动。确认没用之后，分批删掉，inode 马上下来了，服务自己恢复了。

事后复盘，教训其实就两条。第一，磁盘监控不能只看容量，inode 使用率要单独列一项告警，和容量告警分开设阈值。第二，小文件多的目录要定期清，这类文件最容易在缓存目录里悄悄攒起来。

还有个容易踩的坑：删了文件，空间不一定马上回来。如果文件还被进程拿着，df 看到的空间不会释放，得找到那个进程重启，或者等它自己放手。lsof 里能看到 deleted 标记的文件就是这类。先确认是谁占着，再决定是重启服务还是等它退出，别上来就删生产文件。