偶发失败的单元测试怎么治:一次 flaky test 排查与加固实录

举报
yd_219479431 发表于 2026/11/18 09:34:51 2026/11/18
【摘要】 同一份代码在 CI 上十次里挂一次,本地连跑两百次全绿——这就是典型的 flaky test。它最坑的地方不是“红”,而是会让人开始不信任红:重试一下绿了就合并,于真正的回归也被当成噪声混过去了。下面把一次真实治理过程复盘一遍。第一步:先分类,不要先去改代码把一周内所有失败用例名从 CI 日志里收集起来,按四个类型归档:环境型(依赖网络、文件系统、时钟、外部服务)、顺序型(用例之间共享可变状...

同一份代码在 CI 上十次里挂一次,本地连跑两百次全绿——这就是典型的 flaky test。它最坑的地方不是“红”,而是会让人开始不信任红:重试一下绿了就合并,于真正的回归也被当成噪声混过去了。下面把一次真实治理过程复盘一遍。

第一步:先分类,不要先去改代码

把一周内所有失败用例名从 CI 日志里收集起来,按四个类型归档:环境型(依赖网络、文件系统、时钟、外部服务)、顺序型(用例之间共享可变状态)、并发型(线程/异步竞态)、断言型(浮点精度、时间截断)。分类的方法很便宜但很有效:把 pytest-xdist 的 worker 数从 4 改成 1 再跑,失败模式变了就是顺序型或共享资源型;把用例顺序打乱(pytest-randomly)后能稳定复现,就把那次 seed 记下来当固定回归样本。

本次挖到的两个真实根因

根因一(顺序型):模块级的 @lru_cache 配置缓存被用例 A 写入后不会失效,用例 B 断言“首次读取会访问数据库”,只要 A 先跑 B 必挂。本地因为执行顺序固定面不自知。修法是加一个 autouse 的 function 作用域 fixture,每用例开始前 cache_clear(),把隐式依赖变成显式清理。

根因二(断言型):一个数值比对写的是 assert abs(a-b) < 1e-9,x86 一直过,换到 ARM 上因 BLAS 归约顺序不同漂到了 3e-9。改成 assert a == pytest.approx(b, rel=1e-6),并把开容的理由写成注释固定下来,避免后人又改回绝对容差。

时间类 flaky 的通用处理方式

凡是“跨小时/跨月/跨时区才会挂”的用例,本质都是直接读了全局时钟。把时间作为参数注入(或统一用 freezegun/monkeypatch 定住),CI 上凌晨跑与中午跑的结果才能一致。同理,随机数据要给显式 seed,并且 seed 来自运行参数而不是环境变量,否则永远复现不了。

不上隔离,只上“限时隔离”

治理流程固定成三步:一、对可疑用例用 pytest-repeat 连跑 30 次,能复现就归类;二、暂时修不了的打上 @pytest.mark.flaky 并用 xfail(strict=True),让它失败时直接报错而不是静默绿;三、修好后要求连续 20 次 CI 全绿才摘掉标记。关键是“静默跳过”必须有人跟,否则隔离会变成永久掩盖。

小结

flaky test 很少是“测试写错了”,多数是被测代码里藏着隐式的全局状态——缓存、时钟、随机、共享目录。把它当代码坏味道去清,比把它当环境问题去重试要有用的多。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。