偶发失败的单元测试怎么治:一次 flaky test 排查与加固实录
同一份代码在 CI 上十次里挂一次,本地连跑两百次全绿——这就是典型的 flaky test。它最坑的地方不是“红”,而是会让人开始不信任红:重试一下绿了就合并,于真正的回归也被当成噪声混过去了。下面把一次真实治理过程复盘一遍。
第一步:先分类,不要先去改代码
把一周内所有失败用例名从 CI 日志里收集起来,按四个类型归档:环境型(依赖网络、文件系统、时钟、外部服务)、顺序型(用例之间共享可变状态)、并发型(线程/异步竞态)、断言型(浮点精度、时间截断)。分类的方法很便宜但很有效:把 pytest-xdist 的 worker 数从 4 改成 1 再跑,失败模式变了就是顺序型或共享资源型;把用例顺序打乱(pytest-randomly)后能稳定复现,就把那次 seed 记下来当固定回归样本。
本次挖到的两个真实根因
根因一(顺序型):模块级的 @lru_cache 配置缓存被用例 A 写入后不会失效,用例 B 断言“首次读取会访问数据库”,只要 A 先跑 B 必挂。本地因为执行顺序固定面不自知。修法是加一个 autouse 的 function 作用域 fixture,每用例开始前 cache_clear(),把隐式依赖变成显式清理。
根因二(断言型):一个数值比对写的是 assert abs(a-b) < 1e-9,x86 一直过,换到 ARM 上因 BLAS 归约顺序不同漂到了 3e-9。改成 assert a == pytest.approx(b, rel=1e-6),并把开容的理由写成注释固定下来,避免后人又改回绝对容差。
时间类 flaky 的通用处理方式
凡是“跨小时/跨月/跨时区才会挂”的用例,本质都是直接读了全局时钟。把时间作为参数注入(或统一用 freezegun/monkeypatch 定住),CI 上凌晨跑与中午跑的结果才能一致。同理,随机数据要给显式 seed,并且 seed 来自运行参数而不是环境变量,否则永远复现不了。
不上隔离,只上“限时隔离”
治理流程固定成三步:一、对可疑用例用 pytest-repeat 连跑 30 次,能复现就归类;二、暂时修不了的打上 @pytest.mark.flaky 并用 xfail(strict=True),让它失败时直接报错而不是静默绿;三、修好后要求连续 20 次 CI 全绿才摘掉标记。关键是“静默跳过”必须有人跟,否则隔离会变成永久掩盖。
小结
flaky test 很少是“测试写错了”,多数是被测代码里藏着隐式的全局状态——缓存、时钟、随机、共享目录。把它当代码坏味道去清,比把它当环境问题去重试要有用的多。
- 点赞
- 收藏
- 关注作者
评论(0)