Python 生成器管道：用惰性求值高效处理大日志文件

背景

Python 的生成器（generator）通过 yield 实现惰性求值，处理大文件或无限序列时能显著降低内存占用。

示例

def read_lines(path):
    with open(path, encoding="utf-8") as f:
        for line in f:
            yield line.rstrip("\n")

def grep(lines, keyword):
    for line in lines:
        if keyword in line:
            yield line

for hit in grep(read_lines("app.log"), "ERROR"):
    print(hit)

要点

1. 生成器每次只产出一个元素，内存占用与文件大小无关。
2. 多个生成器可以像管道一样串联，代码清晰。
3. 生成器只能遍历一次，需要重复使用时请重新创建。

总结

在日志分析、数据清洗等场景下，用生成器管道代替一次性读入列表，是简单而有效的优化手段。