云上测试系列第二讲：消除不稳定的测试用例

不稳定的测试用例是不增值的用例， 从ROI(Return On Investment)是首先要消除的，因为它们有时是所预想的有时莫名其妙的不是预想的，你通常会花大量时间去找不稳定的原因，你不能充分相信测试结果，因为信号不清晰，实在是没有必要测试这些用例。从投资角度和提高效率的角度，第一件要做的事就是要删除这种用例和进行用例管理。

如何筛选不稳定用例呢?一般可以同过几个办法：

1 持续不断的针对已知好的build跑用例，放在一个Loop里，如果500次中有一次失败，可以列入Flaky Test名单

2发现不稳定用例，就生成问题单限期解决，解决不了，就不要再跑了，从CI (Continuous Integration)用例上去除

3新的测试用例要保证不再Flaky

以下是某团队的工作实践图：

经验证明这种努力通常都是自上而下的推行，是持续不断的努力，有90+%稳定测试已是不易。

在执行当中：

1 应当有专门值日的工程师负责消除Flaky Test；

2 Flaky Test 用在生产环境的测试是很不好的，会有报错警的情况，工程师应当养成主动去消除Flaky Test的习惯，用KPI牵引；

3有好的工具匹配来记录Flaky Test的表现，为决策提供数据服务；

经过Flaky Test 的治理，团队才会相信CI的测试信号。

作者：吴昊