Docker 容器日志把磁盘写满了？从排查到根治的实战笔记

凌晨被告警叫醒：服务器磁盘使用率 98%，业务接口开始超时。登录上去一看，罪魁祸首不是数据库，也不是上传文件，而是某个容器的日志文件——单个 json-file 日志已经膨胀到 40 多 GB。本文记录从排查到根治的完整过程。

一、先定位：磁盘到底被谁占了

不要一上来就删文件，先弄清楚“谁”在吃磁盘：

df -h                          # 看哪个挂载点满了
du -sh /var/lib/docker/* 2>/dev/null | sort -rh | head
du -sh /var/log/* | sort -rh | head

这次的结果很典型：/var/lib/docker/containers/<容器ID>/ 下的 *-json.log 占了 43 GB。Docker 默认的 json-file 日志驱动没有大小上限，容器只要不停地打日志，文件就会一直长大。

二、应急止血：先恢复服务

确认日志不是业务必需的审计数据后，直接截断（不要直接 rm：进程还持有句柄时，rm 并不释放空间）：

# 找到最大的日志文件
ls -lhS /var/lib/docker/containers/*/*-json.log | head
# 截断而不是删除，立即释放空间
: > /var/lib/docker/containers/<容器ID>/<容器ID>-json.log

也可以用 truncate -s 0，效果一样。截断后 df -h 立刻回落，服务恢复。

三、根治：给日志加上限

应急只是止血，根治要靠日志轮转。推荐在守护进程层面统一配置 /etc/docker/daemon.json：

{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m",
    "max-file": "3"
  }
}

改完重启 Docker 生效。单个容器想单独设置也可以：

docker run -d --log-opt max-size=100m --log-opt max-file=3 nginx

这样每个容器最多保留 3 个 100 MB 的日志文件，彻底告别“日志撑爆磁盘”。

四、顺手做的三件事

1. 应用少打无用日志：把 DEBUG 级别的日志只在联调时开启，生产默认 INFO；循环里的日志先问自己一句“这条不打行不行”。
2. 日志落盘到集中平台：把容器日志通过日志驱动或采集器送到集中日志服务，本地只留最近几天的量。
3. 加磁盘告警：使用率超过 80% 就告警，别等到 98% 才被叫醒；也可以写个定时任务，每天清理一次 7 天前的旧日志。

小结

磁盘满了的排查就记住三步：df 看挂载点、du 找大目录、截断大日志止血；根治靠 max-size + max-file 限制日志大小，再配上分级日志和磁盘告警。容器化时代，日志无人看管就会野蛮生长，给它设个上限，是每个运维和开发都该做的事。