用 Python mmap 从文件尾倒序分块读取大日志最后 N 行

举报
yd_246123679 发表于 2026/11/19 07:05:42 2026/11/19
【摘要】 针对大日志用 readlines 一次性加载导致内存升高的问题,介绍用 mmap 从文件尾按块反向扫描换行符,按偏移流式读取最后 N 行,并处理空文件、末尾无换行与超长行,最后用 tracemalloc 对比峰值内存。

问题场景

排查线上问题时,经常需要看大日志文件的最后 N 行。常见写法是 f.readlines()[-n:],它会把整个文件读入内存;日志达到数百 MB 或数 GB 时,内存峰值会明显升高,甚至触发 OOM。更合适的做法是只读取文件尾部:用 mmap 做只读映射,从文件末尾向前按固定块扫描换行符,记录最后 N 行的 (start, end) 偏移,再按偏移切片读取。这样 Python 堆中只保留块缓冲和最终返回的行。

实现思路

  1. 空文件直接返回空列表;n <= 0 也直接返回。
  2. 打开文件后使用 mmap.mmap(fileno, 0, access=mmap.ACCESS_READ),不把整个文件复制进 Python 堆。
  3. 从 size - 1 向前按 chunk_size 取块,在块内用 rfind 反向找换行字节。
  4. 每找到一个换行,就得到一行区间,直到收集到 N 行或到达文件头。
  5. 若文件以换行结尾,先把末尾换行视为最后一行的终止符,避免多出一个空行。
  6. 若某行长度超过 max_line_bytes,只读取该行末尾的指定字节并计数,避免单行过大。

下面的代码可直接运行,包含尾部读取、超长行截断、全量读取对比和 tracemalloc 峰值测量。示例要求 Python 3.9+。

import mmap
import os
import tracemalloc
from dataclasses import dataclass
from pathlib import Path

NEWLINE = 10
NEWLINE_BYTE = bytes((NEWLINE,))


@dataclass
class TailResult:
    lines: list[bytes]
    truncated: int = 0


def tail_lines_mmap(path, n, chunk_size=64 * 1024, max_line_bytes=None):
    if n <= 0:
        return TailResult([], 0)

    with open(path, 'rb') as f:
        size = os.fstat(f.fileno()).st_size
        if size == 0:
            return TailResult([], 0)

        with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
            if mm[size - 1] == NEWLINE:
                line_end = size - 1
                pos = size - 2
            else:
                line_end = size
                pos = size - 1

            spans = []
            while pos >= 0 and len(spans) < n:
                block_start = max(0, pos - chunk_size + 1)
                block = mm[block_start:pos + 1]
                idx = block.rfind(NEWLINE_BYTE)
                while idx != -1 and len(spans) < n:
                    nl = block_start + idx
                    spans.append((nl + 1, line_end))
                    line_end = nl
                    idx = block.rfind(NEWLINE_BYTE, 0, idx)
                pos = block_start - 1

            if len(spans) < n and (
                line_end > 0
                or (size > 0 and not spans)
                or (line_end == 0 and size > 0 and mm[0] == NEWLINE)
            ):
                spans.append((0, line_end))

            spans.reverse()
            lines = []
            truncated = 0
            for start, end in spans:
                length = end - start
                if max_line_bytes is not None and length > max_line_bytes:
                    lines.append(mm[end - max_line_bytes:end])
                    truncated += 1
                else:
                    lines.append(mm[start:end])
            return TailResult(lines, truncated)


def tail_lines_readlines(path, n):
    if n <= 0:
        return []
    with open(path, 'rb') as f:
        lines = f.readlines()
    return lines[-n:]


def peak_bytes(fn, *args):
    tracemalloc.start()
    result = fn(*args)
    current, peak = tracemalloc.get_traced_memory()
    tracemalloc.stop()
    return peak, result


def make_log(path, normal_lines=20000, long_line_bytes=2 * 1024 * 1024):
    with open(path, 'wb') as f:
        for i in range(normal_lines):
            f.write(f'line-{i:06d} '.encode() + b'x' * 100 + NEWLINE_BYTE)
        f.write(b'long-start ' + b'y' * long_line_bytes + NEWLINE_BYTE)
        f.write(b'last-line-without-newline')


if __name__ == '__main__':
    log = Path('demo.log')
    make_log(log)

    peak_mmap, result = peak_bytes(
        tail_lines_mmap, log, 5, 64 * 1024, 4096
    )
    peak_all, all_lines = peak_bytes(tail_lines_readlines, log, 5)

    print('mmap peak bytes:', peak_mmap, 'truncated:', result.truncated)
    print('readlines peak bytes:', peak_all)
    print('mmap last line prefix:', result.lines[-1][:40])
    print('readlines last line prefix:', all_lines[-1][:40])

运行方法

把代码保存为 tail_mmap.py,执行 python tail_mmap.py。脚本会生成一个 demo.log,其中包含普通行、一个超长行和一行没有结尾换行的最后一行,然后分别测量 tail_lines_mmap 与 tail_lines_readlines 的 tracemalloc 峰值,并打印最后一行前缀。实际峰值受 Python 版本、平台、日志内容影响,以本机输出为准。

观察重点有两个:tail_lines_mmap 的峰值主要与块缓冲和返回行有关,而 tail_lines_readlines 需要先持有整个文件的行列表;同时检查 truncated 是否大于 0,确认超长行按预期截断。

边界与限制

  • n <= 0 返回空结果;空文件返回空结果。
  • 文件以换行结尾时,末尾换行不额外产生空行;但文件中间的连续换行仍会产生空行。
  • 无结尾换行的最后一行会被正常读取,不会丢掉。
  • 超长行超过 max_line_bytes 时只保留行尾部分,并增加 truncated 计数;如果需要完整行,应去掉该参数并自行评估内存。
  • 扫描阶段只分配块大小的 bytes,但最终返回的 N 行仍会占用内存;N 很大时需要考虑总字节上限。
  • 换行按 \n 处理;Windows 风格 CRLF 会保留行尾的 \r,需要时可在读取后自行处理。
  • mmap 适合普通文件;管道、部分虚拟文件和 32 位平台上的超大文件可能不适用。
  • 文件在读取期间被并发追加或截断时,映射长度和偏移可能不一致,生产环境应配合日志轮转策略。
  • tracemalloc 统计的是 Python 层分配,不统计 mmap 映射的虚拟内存;因此它适合对比堆内存峰值,不等同于进程 RSS。
【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。