Python itertools.groupby:连续分组、排序与迭代器共享边界
先明确要处理哪一种分组
在日志分析或批量数据处理中,连续出现的同类记录与所有同类记录是两个不同问题。Python 标准库 itertools.groupby 按输入顺序切分连续段:当 key 的值变化时,就开始下一组。它不会自动把后面再次出现的相同 key 合并回来。
下面用只依赖标准库的最小示例说明三个容易混淆的边界。示例已在免费开发环境中保存并运行,三个断言通过;这里验证的是固定输入,不是业务系统的生产测试。
1. 相同 key 可以出现多个组
from itertools import groupby
values = ['A', 'A', 'B', 'A']
runs = [(key, list(group)) for key, group in groupby(values)]
assert runs == [('A', ['A', 'A']), ('B', ['B']), ('A', ['A'])]
print(runs)
第一个 A 段在 B 出现时结束,末尾的 A 开始一个新段。这个行为适合统计连续状态、运行长度或已经按 key 排好的数据。若业务问题是“某个用户一共出现多少次”,直接对未排序记录使用 groupby 往往会把同一用户拆成多段。
2. 先排序可以汇总,但排序会改变顺序
all_groups = [(key, list(group)) for key, group in groupby(sorted(values))]
assert all_groups == [('A', ['A', 'A', 'A']), ('B', ['B'])]
对于结构化记录,需要让 sorted 与 groupby 使用同一个 key 函数。例如按 user_id 分组时,两处都使用提取 user_id 的函数。排序后相同 key 会相邻,但原始全局输入顺序已经改变。Python 的稳定排序保留相同 key 记录之间的原相对顺序,不能把这一点误解为所有记录仍保持原顺序。
排序通常需要 O(n log n) 时间并保存待排序数据。如果输入本来就按同一个 key 有序,可以直接逐组处理,不必重复排序。key 也需要具备适合当前排序方式的可比较性,例如不要不加处理地混排整数与字符串。
如果目标只是按首次遇见 key 的顺序收集记录,且 key 可哈希,可以用 defaultdict(list):
from collections import defaultdict
buckets = defaultdict(list)
for value in values:
buckets[value].append(value)
这会保留每个桶内的输入顺序,并在现代 Python 中按 key 首次插入的顺序迭代桶。代价是所有记录都留在内存中。若只需要计数,改为累加计数即可,没必要保存每条记录。
3. 分组迭代器共享输入源
it = groupby([1, 1, 2])
_, first = next(it)
next(it)
assert list(first) == []
外层 groupby 与返回的组迭代器共享同一底层输入。推进外层迭代器会越过上一组尚未读取的元素,因此不能把组迭代器存起来,再在遍历结束后统一读取。
需要保留一组内容时,应在进入下一组之前物化,例如 list(group)。只需要总数或合计时,可以当场聚合,避免把整组都存下来。物化降低了流式处理的内存优势,应根据最终结果决定是否必要。
如何给自己的代码补测试
至少覆盖四类输入:空序列、全部同 key、交替 key,以及“相同 key 被其他 key 隔开”。再补一个共享迭代器测试,检查是否存在把 group 直接放入结果列表、稍后才消费的写法。
测试时先写清业务期望:是按连续段切分、按排序后的 key 汇总,还是按首次出现的 key 汇总。三种结果都可能合理,只有业务含义确定后,才能判断算法是否正确。
本文示例运行时输出连续段与排序分组,并打印 groupby demo OK。参考语义:Python 标准库文档 itertools.groupby、collections.defaultdict,以及 Python Sorting HOWTO 的稳定排序说明。
- 点赞
- 收藏
- 关注作者
评论(0)