Python 的 groupby 为什么把同一个用户分成两组
整理日志时,常会写出“按用户分组”的需求:把同一位用户的事件放到一起。itertools.groupby() 的名字很像数据库里的 GROUP BY,但行为并不相同。它只把相邻且键相等的元素合成一组;同一个键隔着别的记录再次出现,会得到另一组。这个区别决定了是否需要先排序,也决定了它是否适合处理流式数据。
先看相邻分组
下面的输入按发生顺序排列。用户 u1 的两条事件中间隔着一条 u2 事件,因此结果里会有两个 u1 组。
from itertools import groupby
events = [
{"user": "u1", "event": "打开页面"},
{"user": "u2", "event": "登录"},
{"user": "u1", "event": "点击按钮"},
]
groups = [(user, [row["event"] for row in rows])
for user, rows in groupby(events, key=lambda row: row["user"])]
assert groups == [
("u1", ["打开页面"]),
("u2", ["登录"]),
("u1", ["点击按钮"]),
]
groupby() 从左到右读取输入;当键变化时,当前组结束、新组开始。它不会回头寻找之前见过的 u1,因此特别适合“连续状态片段”一类问题,例如把连续相同状态的监控记录压成区间。若业务要的是“同一用户全部事件”,直接对未排序日志使用它就会漏掉跨片段的合并。
要全局按用户聚合,可以先排序
如果允许改变不同用户之间的展示顺序,可以先按用户键排序,再把相同用户的记录聚到一起。Python 的排序是稳定的,用户相同的记录仍按原来的相对顺序排列。
from itertools import groupby
events = [
{"user": "u1", "event": "打开页面"},
{"user": "u2", "event": "登录"},
{"user": "u1", "event": "点击按钮"},
]
ordered = sorted(events, key=lambda row: row["user"])
groups = [(user, [row["event"] for row in rows])
for user, rows in groupby(ordered, key=lambda row: row["user"])]
assert groups == [
("u1", ["打开页面", "点击按钮"]),
("u2", ["登录"]),
]
这里的“保留原顺序”只针对同一个用户内部。整体时间顺序已经变了,不能把排序后的列表当作原日志继续做时间线分析。排序还需要持有完整输入;面对不断到来的事件流,不应为了套用 groupby() 而无上限地缓存全部数据。若时间线与跨用户顺序都要保留,应另存原序列或选择不同的数据结构。
分组迭代器要及时消费
groupby() 产生的每个 rows 都和外层迭代器共享同一份输入。外层一旦前进到下一组,上一组尚未读取的记录可能被跳过。需要把各组留到之后使用时,应在当前循环内转成列表,而不是只保存 rows 迭代器。
from itertools import groupby
values = [1, 1, 2, 2]
saved = [(key, list(rows)) for key, rows in groupby(values)]
assert saved == [(1, [1, 1]), (2, [2, 2])]
转成列表会占用与该组大小相应的内存。若只需要逐条处理,直接在组内循环即可;不要为了“保存结果”把无限流的每组都积累起来。groupby() 的键函数应给出可稳定比较的键,不能依赖不断变化的外部状态,否则相邻记录是否属于一组会变得难以解释。
不想排序,就按键收集
若目标是保留用户第一次出现的顺序,同时把各人的事件合并,可以用字典。下面的写法不会修改原始日志;字典保存第一次遇到每个用户的顺序,每个用户的事件顺序也仍是原顺序。
events = [
{"user": "u1", "event": "打开页面"},
{"user": "u2", "event": "登录"},
{"user": "u1", "event": "点击按钮"},
]
by_user = {}
for row in events:
by_user.setdefault(row["user"], []).append(row["event"])
assert list(by_user.items()) == [
("u1", ["打开页面", "点击按钮"]),
("u2", ["登录"]),
]
这会把所有事件留在内存中。数据量很大时,应按业务边界分页、写入持久存储,或只维护计数等摘要。选择方法前先问清楚“分组”到底指连续片段、按键全局聚合,还是按时间展示;同一个词对应三种不同的结果,groupby() 只直接解决第一种。
- 点赞
- 收藏
- 关注作者
评论(0)