DevOps交付模式下的软件测试

众所周知，近10年IT领域有两个关键的风向转变，传统IT向云计算转变，传统瀑布和迭代开发模式向敏捷开发模式转变。这两个转变促成了DevOps产品交付模式的出现。互联网行业竞争激烈，许多公司专注于产品和商业模式的快速迭代创新，期望通过DevOps快速交付产品，缩短产品的上市周期。
华为DevOps模式下的软件测试体系的分享主要由 “测试对象的识别、测试组织与流程的演变、测试工具与技术的应用、测试用例的管理”四个领域的关键内容组成。

一、测试对象的识别
软件测试首先需要关注测试对象，不同种类的测试对象的测试策略和测试技术会有显著区别。测试对象即有传统的Web服务、移动APP，也有新兴的微服务和IoT设备。

测试对象的识别

1. 移动APP
Android和iOS手机客户端依然是互联网toC创业的首选产品模式。移动App可以分为Web App、混合App和本地App三种模式，2016年以React Native为代表的技术又带火了移动跨平台开发。跨平台开发可以帮助开发者复用大部分代码，但依然无法解决让开发者头疼的Android系统碎片化问题。移动兼容性测试仍然是针对Android机型碎片化的主要测试手段。
 
2. Web服务
B/S结构的Web服务依然是很典型的IT产品交付形式，尤其是面向企业客户的产品。同时很多遗留IT系统仍然使用SOA的架构方式。对新系统而言，前后端分离是B/S结构的标配。后端无论采用什么语言和框架，和前端的接口基本都是RESTful化的，甚至一些框架可以帮助生成Swagger标准的接口描述文档。MVC和MVVM模式的普及使得前端架构模式化，最重要完成了分层化，配合Jasmine等JavaScript单元测试框架，让前端代码质量不再是焦油坑。
 
3. 微服务
微服务架构被普遍认为是一种比分布式单体架构更优的架构模式，可以降低服务耦合度，减轻服务器资源浪费，提升交付和运维效率。微服务之间采用API的调用方式降低了服务的耦合度，微服务框架如Spring Boot对Swagger的内置支持也提高了微服务RESTful接口的标准化水平，这些都提升了服务的可测性。
微服务数量多，每个微服务职能独立，每个微服务使用独立流水线作快速交付，测试模式和传统单体大服务架构有显著区别，需要的不是一个大而全的测试工具，而是小而精、快的敏捷自动化测试工具。 
 
4. 物联网设备
物联网市场发展迅速，特别是智能家居、车联网、可穿戴设备、智慧工厂等领域。共享单车最近非常火热，其车锁和定位装置就是典型的物联网终端。物联网终端内置实时嵌入式系统，收集传感器数据做边缘计算，并通过Wi-Fi、4G、NB-IoT等接入方式连接手机设备或者云端服务。物联网设备运行环境苛刻，并且会涉及个人隐私数据甚至生命安全、工厂和基础设施的安全运行等，因此防黑客侵入的安全测试和防意外事故的遍历测试和压力测试等对物联网产品至关重要。

二、测试组织和流程的演变
公司的业务决定了公司的组织和流程。根据康威定律，开发团队的组织结构决定了产品架构。互联网公司专注于创造市场需要客户满意的产品，同时需要根据市场和政策环境及时调整产品竞争策略。产品的发布周期越来越短，产品需求频繁发生变更，产品架构频繁发生重构。这些都对测试活动和产品质量保证提出了巨大挑战。以上挑战决定了DevOps模式的测试组织和流程明显区别于传统敏捷模式：

1. 测试活动的质量目标发生变化
测试活动的质量目标由单纯验证产品功能需求、非功能需求扩展为保证客户满意和产品的业务可续。测试团队会站在用户的角度考察产品的易用性和可用性，同时会监控生产环境的PV、UV、峰值吞吐量等关键指标，并纳入测试场景设计。
 
2. DevOps的闭环敏捷模式
敏捷不仅仅体现在开发和测试活动中，业务面也使用敏捷的流程，形成闭环的敏捷。DevOps会向前连接市场团队和产品经理，向后连接客服团队，形成Market-Product-Develop-Operation-Customer的闭环敏捷价值链。产品信息的透明快速流动对敏捷的成功至关重要。测试人员会和产品经理同时获得到来自市场的产品反馈，这些反馈会变成测试需求融入测试活动。
 
3. QA和开发的角色融合
在两个披萨原则的团队中，全栈程序员端到端地负责产品的开发、测试和运维，承担了QA和运维人员的角色。极客风格的全栈程序员倾向于使用自动化的测试框架。自动化测试可以覆盖的越来越多，解放出来的手工测试人员会向开发转型。
 
4. 自动化的持续集成
持续集成的自动化程度越来越高，每个公司的实践会有不同，借助Jenkins等CI工具可以实现从代码提交到自动单元测试再到构建打包的持续集成，甚至和自动化部署、自动化测试打通。在持续集成链条上，自动化测试将覆盖开发环境、测试环境、类生产环境和生成环境上的测试。
 
5. 测试左移
产品经理使用业务语言描述产品需求，开发人员使用程序语言完成开发，双方对需求的理解有时会产生偏差。BDD的方式可以帮助开发人员和产品经理对需求达成一致的理解，配合TDD的开发方式可以保证开发结果满足需求预期。

三、测试技术的应用
产品架构的分层模型决定了测试金字塔依然有效。通过单元测试、服务和API测试、性能测试、前端测试、移动App测试的组合可以覆盖B/S架构和云服务+移动客户端形式产品的测试。DevOps模式下测试自动化水平高，通过集成流水线完成和CI/CD打通的持续测试。一些技术发展为自动化测试的效率和质量提升提供了利器。
 
1. Selenium
Selenium已经成为前端自动化测试的事实标准，主流浏览器都提供对Web Driver的支持，Page Object的设计模式可以实现模块化的测试，Selenium也支持对多浏览器的并发测试。Web Driver协议已经提交到W3C做标准化工作，未来将成为前端自动化测试的行业标准。

但是现在Selenium还有一些缺点，例如使用Selenium需要一定的编程能力，因此就限定了使用人员角色，不熟悉编程的产品经理和验收测试人员只能手工做验收测试。另外如果前端页面频繁变动，页面变动之后就得修改测试脚本，这种情况脚本维护成本大。

事实上没有一种测试类型是能够100%胜任产品测试的，前端自动化测试更适合针对相对稳定的页面做回归测试和冒烟测试，对覆盖不到的可以通过API级别测试或者手工测试来补充覆盖。
 
2. 容器化
Docker为代表的容器生态系统发展迅速，容器集群管理系统Docker Swarm和Kubernetes可以帮助统一部署、管理、维护Docker集群。Jenkins等CI工具也提供了对Docker的支持。由于Docker可以方便地将运行时环境连同应用一并打包到镜像中，因此可以快速创建和复制标准化的测试环境，并且保持测试环境和开发环境一致性。
 
3. Swagger
Swagger 作为设计、构建和文档化RESTful API的工具，其OpenAPI标准已经成为事实上的RESTful API定义标准。在Swagger Editor中，基于YAML语法定义RESTful API就可以自动生成API描述文档。一些框架如Spring Boot也提供了对Swagger的原生支持。Swagger描述文档可以作为前后端分离开发中的接口“契约”。测试人员可以把Swagger描述文件当作接口需求开发API测试。
 
4. 资源编排和自动部署工具
测试环境管理分两个层面，一个是环境的标准化，另外一个是环境管理的自动化。产品从开发到上线一般经过开发环境、测试环境、类生产环境、生产环境。每一个环境的差异都可能产生未知问题。手工搭建和管理测试环境费时并且易出错，测试人员需要求助于开发人员获取必要的操作系统信息、环境变量、数据库和中间件版本信息、配置脚本和安装步骤等才能顺利地搭建起一套测试环境。在环境统一这一层面，环境编排器可以帮助统一定义各种环境，保持标准化、可配置和易维护。在环境管理自动化这一层面，可以通过一些自动化管理工具完成批量系统设置，批量程序部署，批量运行命令等。华为软件开发云（DevCloud）的部署服务就为用户提供了基于Ansible的部署能力。
 
5. 云化的压力测试和移动APP测试
压力测试作为非功能性测试的重要一环，在传统模式下主要考量的是应用服务器与数据库的最大承载能力，在云环境下增加了对云主机弹性伸缩的能力测算。移动APP测试主要解决的是碎片化终端下的功能、性能及兼容性覆盖测试，主要考量的是覆盖的机型范围及如何高效自动化完成整体测试，形成全面的分析报告。

四、测试用例的管理项目管理产品架构
测试用例的管理是所有测试的基础，在测试的不同阶段（如回归测试、冒烟测试）都需要围绕测试用例进行校验，通过“需求-任务-用例-缺陷追溯”各环节的迭代来确保需求的测试覆盖率，并提供测试验收报告。华为软件开发云（DevCloud）测试管理服务孵化自内部测试平台工具。工具提供一站式测试管理解决方案，服务于华为许多产品线的研发团队，帮助完成测试用例的全量管理，实现软件研发全生命周期的持续自动化测试保障。

五、总结
华为软件开发云（DevCloud）是集华为研发实践、前沿研发理念、先进研发工具为一体的研发云平台，为开发者提供研发工具云服务，让软件开发简单高效。