获取您的EI红宝书：https://www.huaweicloud.com/ei/

                                                            

• AI测试是对基于AI的应用系统的测试；与任何系统一样，基于AI的系统具有功能性和非功能性需求。AI应用测试的主要流程包括场景分析，特征因子分析，数据构建，评测指标，自动化方案等

AI应用测试

AI测试任务分层

AI应用测试框架

关键角色

AI开发工程师

• 负责设计、开发实现、数据验收、自测、调优等工作

数据工程师

• 负责数据采集、数据清洗、数据整合、数据标注、数据质量检测等工作

测试工程师

• 负责测试数据采集、测试场景分析、测试方案、测试用例、测试策略、测试自动化、测试验收和评估等工作

测试流程和活动

① 结合需求描述，梳理典型应用场景，场景使用主体、特点等，将场景细化

② 基于场景分析，分析影响Al模型识别率的特征因子，建立特征因子库。不同的AI场景对特征因子要求和复杂度不一样，

• 比如CV应用场景的特征因子有拍摄因素（曝光、角度等）、环境因素（阴晴雨雪、背景等）、属性因素（人物年龄、肤色等）

③ 基于应用场景、特征因子等进行数据集构建,包括不限于:数据类别、不同因子比例、环境因素、特定要求等

④ 不同业务场景，关注不同的指标，评价的结果也不同，所以需要根据需求场景和侧重点，确定指标和相关定义。

• 比如：有些业务求全，所以召回率优先；有些业务求准,所以准确率优先；有的业务因类别不均衡，要看单个类别的准确率；还有的业务内存非常敏感，所以对模型大小优先。

⑤ 自动化批量测试及评测指标统计

流程二、特征因子分析

• 从输入数据方面出发，分析哪些因素会影响AI模型的识别效果，AI开发过程中，数据采集和数据处理是最重要的前提步骤

• 有好数据才会有好模型

• 有好的数据才有能会有好的结果

示例：人脸特征因子库

根据特征因子设置约束条件

• 人脸识别场景下，设置约束条件，引导用户拍摄高质量人脸照片，以此提升人脸识别率

其它场景特征因子举例

流程三、数据构建

构建数据集的流程

数据集（dataset）

• 数据集是指很多数据对象组成的集合

  • 训练集：用来训练模型
  • 测试集：用来评估模型和预测数据

数据采集

冷启动数据采集

• ①线下搜集历史数据

• ②在合法合规前提下，通过爬虫获取网络数据

• ③向第三方数据公司采购

线上数据回流

• AI应用上线后，在合法合规前提下，通过业务后台搜集真实的应用场景数据

数据清洗

数据清洗

• 通过删除、转换、组合等方法，处理数据集中的异常样本，为数据建模提供优质数据的过程

例：

• 原始文本数据

  • 【热门活动-获奖公告】【云声建议】10月建议好礼来袭，华为Sound音箱你心动了吗？(^▽^)一样的玩法，不一样的大奖━((′д｀)爻(′д｀))━!!!!

• 清洗后文本数据

  • 热门活动 获奖公告 云声建议 10月建议好礼来 袭，华为Sound音箱你心动了吗？

  • 一样的玩法，不一样的大奖

数据分析理解

• 样本分布分析

  • 帮助分析样本的分析，判断构建的数据集能够覆盖多样化的数据情况

• 负向样本分析

  • 如果某些样本的测试结果不好，能帮助进行对AI模型的特征因子分析，快速整理出规律，牵引AI应用优化方向

难例样本

新类别样本

流程四、评测指标

精度指标

• 在不同的AI技术领域有不同的常用指标

性能指标

• FPS（Frames Per Second），每秒能处理的图片数

• FLOPS（Floating-point Operations Per Second），模型所需的浮点数处理次数

• GPU 显存占用

• QPS（Query Per Second），衡量AI应用AP响应的 请求数/S