概率性 · 黑盒性 · 非确定性 · 从功能验证到质量评估

在传统软件测试中，有一个几乎不被质疑的逻辑：

输入确定 → 输出确定 → 断言成立。

但当测试对象变成大模型系统、RAG 应用、Agent 系统时——

这个逻辑开始松动。

问题不是断言错了。

问题是：

系统本身已经不是“确定性系统”。

测试工程正在经历一次结构性变革。

目录

1. AI 系统测试为什么是一个新问题
2. 传统软件测试的确定性结构
3. AI 系统的结构性差异
4. 断言思维为何天然失效
5. AI 系统的三大核心特征
6. 大模型系统的测试分层模型
7. AI 测试的评测指标体系
8. 从功能测试到概率系统评估

1. AI 系统测试为什么是一个新问题

当前企业系统越来越多接入：

• 大模型能力
• RAG 知识检索
• Agent 决策逻辑
• MCP 工具调用

测试对象已经不再是单一规则系统。

而是：

规则系统 + 概率模型 + 检索系统 + 工具执行链路。

测试复杂度不是线性增加，而是结构升级。

2. 传统软件测试的确定性结构

传统系统的结构非常清晰：

特征：

• 输入结构化
• 规则可追溯
• 输出可预测
• 断言明确

测试人员的核心能力：

验证规则是否正确实现。

3. AI 系统的结构性差异

AI 系统结构更接近：

区别在于：

• 输出来自概率分布
• 同样输入可能多种结果
• 推理路径不可解释

这不是异常，这是设计本身。

4. 断言思维为何天然失效

在传统系统中：

assert actual == expected

在大模型系统中：

expected 可能不是唯一。

例如：

输入：“写一首唐诗。”

测试难点：

• 内容是否符合唐诗体裁？
• 是否押韵？
• 是否符合平仄？
• 是否真实存在？

断言逻辑不再是“等于判断”。

而是：

质量判断。

这就是结构变化带来的根本影响。

5. AI 系统的三大核心特征

1）概率性

模型输出是概率分布中的一个结果。

多次运行可能不同。

2）黑盒性

内部决策路径不可解释。

测试只能基于输入输出分析。

3）非确定性

相同输入，在不同温度、不同上下文下可能产生不同输出。

这三个特征直接打破传统测试假设。

6. 大模型系统的测试分层模型

如果从工程视角看，AI 系统测试可以分三层。

第一层：功能层

• 接口是否可用
• 参数是否传递正确
• 工具调用是否成功

这一层仍然可以用传统方法测试。

第二层：模型能力层

• 意图识别准确率
• 语义理解正确率
• RAG 检索命中率
• 幻觉率统计

这一层必须引入数据集测试。

第三层：安全与稳定层

• Prompt 注入测试
• 越权访问测试
• 长上下文稳定性
• 输出合规性

这一层属于 AI 专项测试。

7. AI 测试的评测指标体系

如果没有指标，只是体验式测试。

建议至少建立：

1. 准确率（Accuracy）
2. 一致率（Consistency Rate）
3. 幻觉率（Hallucination Rate）
4. 意图识别成功率
5. RAG 命中率
6. 输出稳定波动率

示意：

AI 测试的核心不是单次执行。

而是统计。

8. 从功能测试到概率系统评估

传统测试工程关注：

规则正确性。

AI 测试工程关注：

概率系统质量。

测试角色从：

断言编写者

转变为：

评测体系设计者。

这意味着测试工程的能力重心改变：

• 数据集构建能力
• 评测框架设计能力
• 指标建模能力
• 风险识别能力

这不是工具升级。

这是思维升级。

结语

大模型时代，断言没有消失。

它只是从“相等判断”变成“质量评估”。

测试对象从规则系统变为概率系统。

如果测试方法不升级， 测试结论就会失真。

未来真正有竞争力的测试工程师，不是最会写断言的人。

而是：

最理解概率系统结构的人。