Python 的 any 为什么会让生成器少掉几条数据
Python 的 any 为什么会让生成器少掉几条数据
处理接口分页或大文件时,我们常用生成器按需产出记录。有时想先判断“有没有数据”,于是写下 any(rows),接着再遍历 rows。结果前面几条记录消失了。原因在于:any 会真实读取迭代器,并按元素的真假判断结果。
先看一段可以运行的代码
rows = (n for n in [0, 2, 0, 3])
print(any(rows)) # True
print(list(rows)) # [0, 3]
第一次调用依次取出 0、2。0 为假,继续读取;2 为真,立即返回 True。因此这两个元素都已消费,第二次遍历只能从剩下的 0 开始。短路只是停止继续读取,不会把已经取出的元素放回去。
如果把输入改成 [0, 0],any 会一直读到末尾,返回 False。这个结果只说明没有真值元素,无法说明输入是否为空。数字 0、空字符串和空字典都可能是业务上的有效记录。
另外,bool(rows) 也不能判断生成器里有没有记录。生成器对象本身通常为真,即使它已经耗尽。
列表和生成器为何表现不同
对列表调用 any,内部创建一个迭代器进行读取,列表内容仍然存在。生成器对象本身就是迭代器,迭代位置会持续向前。把列表先写成 it = iter(items) 后再调用 any(it),也会遇到消费问题。
这不只影响 any。next、sum、list 以及普通的 for 都会读取迭代器。排查“第二次没有数据”时,应检查前面有没有调试打印或校验逻辑提前遍历。
需要预读一条时,把它接回后续流程
如果需求确实是“区分空输入和非空输入”,可以用独立哨兵对象读取一条,再用 itertools.chain 拼回去:
from itertools import chain
def peek_iterable(values):
iterator = iter(values)
missing = object()
first = next(iterator, missing)
if first is missing:
return False, iter(())
return True, chain((first,), iterator)
has_rows, rows = peek_iterable(n for n in [0, 2, 0, 3])
print(has_rows) # True
print(list(rows)) # [0, 2, 0, 3]
哨兵用身份比较 is,不能用 None 或 0 代替,否则可能与真实数据冲突。调用方必须继续使用函数返回的 rows;原迭代器已经前进了一步。返回结果仍然只能消费一次,并没有变成可重复读取的列表。
预读也并非没有成本。取出第一条记录可能触发文件读取、网络请求或生成器中的其他动作,相关异常仍会正常抛出。若业务不需要预判,直接遍历并在循环内处理通常更清楚。
什么时候适合转成列表
数据规模明确且较小时,先做 rows = list(source),然后用 if rows: 判断数量,之后可以反复遍历。但列表会一次性消费整个输入并占用相应内存,不适合无限流或超大文件。
itertools.tee 能生成多个独立消费位置,不过两个分支进度相差较大时会缓存中间数据,也不会重复执行数据源来重新读取。选择方案前,先明确自己需要的是“存在真值元素”“存在任意记录”,还是“能够多次遍历”。这三个需求对应不同操作。
- 点赞
- 收藏
- 关注作者
评论(0)