云上测试系列第二讲:消除不稳定的测试用例

举报
开发者学堂小助 发表于 2018/02/24 09:49:33 2018/02/24
【摘要】 不稳定的测试用例是不增值的用例,从投资角度和提高效率的角度,第一件要做的事就是要删除这种用例和进行用例管理。

ScreenShot00322.png

不稳定的测试用例是不增值的用例, 从ROI(Return On Investment)是首先要消除的,因为它们有时是所预想的有时莫名其妙的不是预想的,你通常会花大量时间去找不稳定的原因,你不能充分相信测试结果,因为信号不清晰,实在是没有必要测试这些用例。从投资角度和提高效率的角度,第一件要做的事就是要删除这种用例和进行用例管理。

如何筛选不稳定用例呢?一般可以同过几个办法:

1 持续不断的针对已知好的build跑用例,放在一个Loop里,如果500次中有一次失败,可以列入Flaky Test名单

2发现不稳定用例,就生成问题单限期解决,解决不了,就不要再跑了,从CI (Continuous Integration)用例上去除

3新的测试用例要保证不再Flaky

以下是某团队的工作实践图:

ScreenShot00321.png

经验证明这种努力通常都是自上而下的推行,是持续不断的努力,有90+%稳定测试已是不易。

在执行当中:

1 应当有专门值日的工程师负责消除Flaky Test;

2 Flaky Test 用在生产环境的测试是很不好的,会有报错警的情况,工程师应当养成主动去消除Flaky Test的习惯,用KPI牵引;

3有好的工具匹配来记录Flaky Test的表现,为决策提供数据服务;

经过Flaky Test 的治理,团队才会相信CI的测试信号。


作者:吴昊

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

举报
请填写举报理由
0/200