Python 日志轮转实战:logging 与 RotatingFileHandler 做一个可复用的小工具

举报
yd_240716394 发表于 2026/11/11 18:04:35 2026/11/11
【摘要】 写过命令行小工具的同学都遇到过一个问题:程序跑久了,日志文件越长越大。刚开始只有几 KB,一个月后变成几百 MB,用记事本打开都要卡半天,磁盘也被悄悄吃满。解决办法不是少记日志,而是让日志文件自动轮转:写满一定大小就换一个新文件,旧文件按编号保留几个,超过数量的自动删除。本文用 Python 标准库 logging 和 RotatingFileHandler,做一个开箱即用的日志小工具,全程...

写过命令行小工具的同学都遇到过一个问题:程序跑久了,日志文件越长越大。刚开始只有几 KB,一个月后变成几百 MB,用记事本打开都要卡半天,磁盘也被悄悄吃满。解决办法不是少记日志,而是让日志文件自动轮转:写满一定大小就换一个新文件,旧文件按编号保留几个,超过数量的自动删除。本文用 Python 标准库 logging 和 RotatingFileHandler,做一个开箱即用的日志小工具,全程不用装第三方库。

一、logging 的三个核心概念

先把结构理清楚,后面写代码才不会晕。Logger 是记日志的入口,程序里调用 logger.info 的对象就是它;Handler 决定日志写到哪里,可以是控制台,也可以是文件;Formatter 决定每条日志长什么样,比如时间、级别、模块名和消息。三个对象分工明确,组合起来就能覆盖绝大多数场景。初学者常犯的错误是直接用 logging.info 全局调用,级别和格式都不可控,项目一大就很难维护。正确做法是自己创建一个 Logger,再给它挂上 Handler。

二、RotatingFileHandler 的两个关键参数

RotatingFileHandler 是 logging.handlers 里专门做按大小轮转的处理器,有两个参数最重要。maxBytes 是单个文件写满多少字节后轮转,比如 1024乘1024 就是 1MB;backupCount 是保留几个旧文件,比如设为 5,就会保留 app.log.1 到 app.log.5,超过的旧文件自动删除。轮转发生时,当前 app.log 会变成 app.log.1,原来的 app.log.1 变成 app.log.2,以此类推,程序不需要重启,也不需要手动删文件。

三、完整代码:可复用的日志工具

把下面这段代码保存为 logger_util.py,任何项目 import 就能用:

import logging
from logging.handlers import RotatingFileHandler

def get_logger(name="app", log_file="app.log", level=logging.INFO):
        logger = logging.getLogger(name)
        logger.setLevel(level)
        if logger.handlers:
            return logger
        handler = RotatingFileHandler(log_file, maxBytes=1024*1024, backupCount=5, encoding="utf-8")
        formatter = logging.Formatter("%(asctime)s - %(levelname)s - %(name)s - %(message)s", datefmt="%Y-%m-%d %H:%M:%S")
        handler.setFormatter(formatter)
        logger.addHandler(handler)
        logger.propagate = False
        return logger

这里有三处细节值得注意。第一,if logger.handlers: return logger 是防重复添加的关键,get_logger 被调用两次也不会让同一条日志输出两遍,这个坑几乎每个新手都踩过。第二,encoding 设置为 utf-8,中文日志才不会乱码。第三,logger.propagate 设置为 False,避免日志同时冒泡到根 Logger 再输出一次。

四、使用步骤

第一步,把 logger_util.py 放到项目目录。第二步,在主程序里写两行:from logger_util import get_logger,再写 logger = get_logger("myapp", "myapp.log")。第三步,像平时一样记日志:logger.info("程序启动"),logger.warning("磁盘剩余空间不足"),logger.error("任务执行失败")。级别从低到高是 DEBUG、INFO、WARNING、ERROR、CRITICAL,默认只记录 INFO 及以上,想看调试信息就把 level 改成 logging.DEBUG。

五、验证轮转是否生效

想快速看到轮转效果,可以把 maxBytes 临时改小,比如改成 1024,也就是 1KB,然后写一个循环:

logger = get_logger("test", "test.log")
for i in range(200):
    logger.info(f"第 {i} 条测试日志,用于验证日志文件轮转功能是否正常工作")

跑完之后去看文件夹,会出现 test.log、test.log.1、test.log.2 这样的文件,说明轮转已经生效。验证完记得把 maxBytes 改回 1MB,否则正式运行时文件切得太碎。

六、按时间轮转的补充方案

如果需求是每天切一个文件,而不是按大小切,可以用同模块的 TimedRotatingFileHandler,参数 when 设置为 D 表示按天,interval 设置为 1,backupCount 同样控制保留天数。两种处理器用法几乎一样,只是触发条件不同:一个看文件大小,一个看时间。长期运行的服务适合按时间轮转,每天一个文件方便按日期查找;命令行小工具适合按大小轮转,不用管运行了多少天。

七、三个常见坑

第一个坑是重复添加 Handler,现象是同一条日志出现两遍甚至三遍,原因就是上面提到的 get_logger 被反复调用,解决办法就是先判断 logger.handlers 是否为空。第二个坑是级别设错,比如把 Logger 级别设为 WARNING,INFO 日志就一条都写不进去,排查时先检查 setLevel 的值。第三个坑是路径问题,log_file 写相对路径时,日志文件会生成在程序启动时的当前目录,而不是代码文件所在目录,部署到服务器上找不到文件,先检查启动目录。

小结

日志轮转的核心就三句话:Logger 负责记,Handler 负责写,RotatingFileHandler 负责在文件写满时自动切分。maxBytes 控制单个文件大小,backupCount 控制保留数量,再加上防重复添加和 utf-8 编码,一个几十行的小工具就能长期稳定工作。建议把 logger_util.py 收进自己的代码片段库,下次写新工具直接复用,不用每次都从头查文档。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。