Python日志轮转实践:按大小切分并安全保留备份
背景
日志会随请求量不断增长。若所有输出都写进一个文件,磁盘空间可能被占满,排查问题时也难以按时间定位。日志轮转是在达到大小或时间条件后,将当前文件改名为备份,再创建新文件继续写。本文用 Python 标准库完成按大小切分,适合单进程的小型服务和本地脚本。
按大小切分
先确定文件路径、单文件上限和保留份数。下面把 app.log 限制在 1 MiB,并保留五份历史文件,超过数量后最旧的备份会被清理。RotatingFileHandler 会负责重命名和清理,不必自己拼接文件名或手工删除旧日志。
import logging
from logging.handlers import RotatingFileHandler
logger = logging.getLogger("demo")
logger.setLevel(logging.INFO)
handler = RotatingFileHandler("app.log", maxBytes=1024 * 1024, backupCount=5, encoding="utf-8")
handler.setFormatter(logging.Formatter("%(asctime)s %(levelname)s %(name)s - %(message)s"))
logger.addHandler(handler)
logger.info("服务启动")
参数与验证
maxBytes 设置切分阈值,backupCount 控制保留数量;encoding=“utf-8” 能让中文日志在不同环境中保持可读。达到阈值时通常可看到 app.log、app.log.1 到 app.log.5。检查发生在写入过程中,因此单行较大时文件可能略微超过上限。测试时可临时把 maxBytes 调小,连续写入多条日志,再确认备份命名和清理行为符合预期。
如果希望按日归档,可改用 TimedRotatingFileHandler,设置 when=“midnight”、interval=1 和 backupCount=14,每天切分并保留两周。跨时区部署前,应先约定使用本地时间还是 UTC,避免日志日期与告警窗口不一致。
上线注意
生产环境要确保日志目录存在且运行用户有写权限;服务重复初始化时也要避免给同一 logger 添加多个 handler,否则一条消息可能被写入多次。多进程同时写同一文件时,不宜让多个 RotatingFileHandler 争抢重命名,可集中到队列监听器,或交给系统日志轮转工具。日志里还应避免记录密码、令牌等敏感字段。轮转限制了单文件增长,配合磁盘监控、合理的保留周期和定期验证,才能让日志既方便排障又不失控。
进一步检查
还可以在测试环境中观察轮转后的磁盘占用,并用磁盘告警覆盖异常情况。备份份数应结合日志产生速率和排障窗口确定;保留太少可能丢失线索,保留太多则会额外占用空间。容器部署时要确认挂载目录、容器生命周期与日志采集器配置一致,避免轮转后采集器仍盯着旧文件句柄。
- 点赞
- 收藏
- 关注作者
评论(0)