软件测试，我是如何开发一个AI测试工具的

笔者最近遇到了一个特殊的朋友，他是从功能测试刚刚转入做Ai测试的，他的出现也让我写技术博客上面出现了久违的兴奋。

这位测试的朋友给我提了一个AI自动化测试工具开发的需求，接下来我将结合实际情况给大家分享。

首先，朋友跟我说了几个需求和他公司的业务背景：

1. 他们公司是做类似于AI音响的产品

2. 他们公司有训练自己的AI模型，现在要对这个模型进行测试

3. 产品输出内容可以对标OpenAi等通用性大模型

4. 希望将各个行业的专业知识点整理测试点

5. 将执行或测试过程、测试报告等数据可视化

(上图为测试执行后的截图)

得知这些情况帮他做了些分析和安排，目前他的测试需求比较简单，大概可以分几个步骤：

第一阶段，关注测试业务，开发工具，尽量提升效率：

1. 思路：结合Ai将测试执行自动化，因为可以对标OpenAi，所以数据和预期结果可以用OpenAi，实际结果用自家模型生成的数据，判断对比也可以通过Ai的方式，比如让Ai打分这个生成的数据质量如何。

2. 实践：因为时间比较紧急，所以第一阶段可以先通过其他AI模型获取各个行业的知识点，当然数据需要进行人工筛选；再执行测试时调用其他AI模型的数据作为预期结果，然后用自家的模型生成实际结果；再调用比较成熟的AI模型用实际结果和预期结果进行对比和打分（对比和评分规则需要参与人员讨论）

第二阶段，关注测试工具效率和性能各项指标：

1. 第一阶段主要是通过工具关注黑盒测试方面，现在需要关注工具执行效率等方面了，比如可以用多线程的方式去跑了。

2. 除了关注数据正确性之外，这个时候需要关注接口性能、接口专项、应用性能、服务器性能等方面了。

第三阶段，关注可视化实现、从底层深度测试：

1. 第二阶段和第三阶段可能还会有些测试工具开发的需求，这个时候要开始规划整个测试工具和公司测试业务的衔接性了，比如各个环节自动触发测试。

2. 关注测试业务和测试数据可视化，比如开发个前端，实现测试过程、测试数据、测试报告的可视化，真正解放双手。

3. 截止目前还只是类似黑盒测试的业务测试，做完这些后他还需要更深层次的往底层向下测试。

以上就是我结合实际需求开发测试工具的过程和思路，同时也分享了下来几个阶段的部署和安排