用 Python mmap 从文件尾倒序分块读取大日志最后 N 行
【摘要】 针对大日志用 readlines 一次性加载导致内存升高的问题,介绍用 mmap 从文件尾按块反向扫描换行符,按偏移流式读取最后 N 行,并处理空文件、末尾无换行与超长行,最后用 tracemalloc 对比峰值内存。
问题场景
排查线上问题时,经常需要看大日志文件的最后 N 行。常见写法是 f.readlines()[-n:],它会把整个文件读入内存;日志达到数百 MB 或数 GB 时,内存峰值会明显升高,甚至触发 OOM。更合适的做法是只读取文件尾部:用 mmap 做只读映射,从文件末尾向前按固定块扫描换行符,记录最后 N 行的 (start, end) 偏移,再按偏移切片读取。这样 Python 堆中只保留块缓冲和最终返回的行。
实现思路
- 空文件直接返回空列表;
n <= 0也直接返回。 - 打开文件后使用
mmap.mmap(fileno, 0, access=mmap.ACCESS_READ),不把整个文件复制进 Python 堆。 - 从
size - 1向前按chunk_size取块,在块内用rfind反向找换行字节。 - 每找到一个换行,就得到一行区间,直到收集到 N 行或到达文件头。
- 若文件以换行结尾,先把末尾换行视为最后一行的终止符,避免多出一个空行。
- 若某行长度超过
max_line_bytes,只读取该行末尾的指定字节并计数,避免单行过大。
下面的代码可直接运行,包含尾部读取、超长行截断、全量读取对比和 tracemalloc 峰值测量。示例要求 Python 3.9+。
import mmap
import os
import tracemalloc
from dataclasses import dataclass
from pathlib import Path
NEWLINE = 10
NEWLINE_BYTE = bytes((NEWLINE,))
@dataclass
class TailResult:
lines: list[bytes]
truncated: int = 0
def tail_lines_mmap(path, n, chunk_size=64 * 1024, max_line_bytes=None):
if n <= 0:
return TailResult([], 0)
with open(path, 'rb') as f:
size = os.fstat(f.fileno()).st_size
if size == 0:
return TailResult([], 0)
with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
if mm[size - 1] == NEWLINE:
line_end = size - 1
pos = size - 2
else:
line_end = size
pos = size - 1
spans = []
while pos >= 0 and len(spans) < n:
block_start = max(0, pos - chunk_size + 1)
block = mm[block_start:pos + 1]
idx = block.rfind(NEWLINE_BYTE)
while idx != -1 and len(spans) < n:
nl = block_start + idx
spans.append((nl + 1, line_end))
line_end = nl
idx = block.rfind(NEWLINE_BYTE, 0, idx)
pos = block_start - 1
if len(spans) < n and (
line_end > 0
or (size > 0 and not spans)
or (line_end == 0 and size > 0 and mm[0] == NEWLINE)
):
spans.append((0, line_end))
spans.reverse()
lines = []
truncated = 0
for start, end in spans:
length = end - start
if max_line_bytes is not None and length > max_line_bytes:
lines.append(mm[end - max_line_bytes:end])
truncated += 1
else:
lines.append(mm[start:end])
return TailResult(lines, truncated)
def tail_lines_readlines(path, n):
if n <= 0:
return []
with open(path, 'rb') as f:
lines = f.readlines()
return lines[-n:]
def peak_bytes(fn, *args):
tracemalloc.start()
result = fn(*args)
current, peak = tracemalloc.get_traced_memory()
tracemalloc.stop()
return peak, result
def make_log(path, normal_lines=20000, long_line_bytes=2 * 1024 * 1024):
with open(path, 'wb') as f:
for i in range(normal_lines):
f.write(f'line-{i:06d} '.encode() + b'x' * 100 + NEWLINE_BYTE)
f.write(b'long-start ' + b'y' * long_line_bytes + NEWLINE_BYTE)
f.write(b'last-line-without-newline')
if __name__ == '__main__':
log = Path('demo.log')
make_log(log)
peak_mmap, result = peak_bytes(
tail_lines_mmap, log, 5, 64 * 1024, 4096
)
peak_all, all_lines = peak_bytes(tail_lines_readlines, log, 5)
print('mmap peak bytes:', peak_mmap, 'truncated:', result.truncated)
print('readlines peak bytes:', peak_all)
print('mmap last line prefix:', result.lines[-1][:40])
print('readlines last line prefix:', all_lines[-1][:40])
运行方法
把代码保存为 tail_mmap.py,执行 python tail_mmap.py。脚本会生成一个 demo.log,其中包含普通行、一个超长行和一行没有结尾换行的最后一行,然后分别测量 tail_lines_mmap 与 tail_lines_readlines 的 tracemalloc 峰值,并打印最后一行前缀。实际峰值受 Python 版本、平台、日志内容影响,以本机输出为准。
观察重点有两个:tail_lines_mmap 的峰值主要与块缓冲和返回行有关,而 tail_lines_readlines 需要先持有整个文件的行列表;同时检查 truncated 是否大于 0,确认超长行按预期截断。
边界与限制
n <= 0返回空结果;空文件返回空结果。- 文件以换行结尾时,末尾换行不额外产生空行;但文件中间的连续换行仍会产生空行。
- 无结尾换行的最后一行会被正常读取,不会丢掉。
- 超长行超过
max_line_bytes时只保留行尾部分,并增加truncated计数;如果需要完整行,应去掉该参数并自行评估内存。 - 扫描阶段只分配块大小的
bytes,但最终返回的 N 行仍会占用内存;N 很大时需要考虑总字节上限。 - 换行按
\n处理;Windows 风格 CRLF 会保留行尾的\r,需要时可在读取后自行处理。 mmap适合普通文件;管道、部分虚拟文件和 32 位平台上的超大文件可能不适用。- 文件在读取期间被并发追加或截断时,映射长度和偏移可能不一致,生产环境应配合日志轮转策略。
tracemalloc统计的是 Python 层分配,不统计mmap映射的虚拟内存;因此它适合对比堆内存峰值,不等同于进程 RSS。
【版权声明】本文为华为云社区用户原创内容,未经允许不得转载,如需转载请自行联系原作者进行授权。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱:
cloudbbs@huaweicloud.com
- 点赞
- 收藏
- 关注作者
评论(0)