能跑,但数据不对:AI 生成代码的测试开发
业务方给一句需求:上月各品类的 top 品牌成交额及同比。
模型几秒给出一段 SQL,SELECT、FROM、WHERE、GROUP BY 齐全,语法正确,执行有结果。
结果是错的。
错在三个地方。选了看着对但粒度不对的表。按关键词匹配选了同名字段。成交额取了实付金额,没剔退款。
这三类错误有个共同特征。程序不崩溃,不抛异常,日志干净。常规测试一条都拦不住。错误数据安静地流进看板。
对测试开发来说,这是一类特殊缺陷。不是功能失效,是语义失效。断言写出来也没用,因为你不知道正确答案是什么。
一、缺的不是测试代码,是判定标准
判断一个输出对不对,需要一套机制。测试开发里叫测试预言机。传统场景中它来自需求文档、接口约定、上一版本行为。
AI 生成 SQL 的场景里,这些都不在上下文里。
三类高频错误拆开看。
| 错误类型 | 表现 | 根因 |
|---|---|---|
| 选错表 | 从明细表、汇总表、快照表等十几张相似表里,挑一张看着对的 | 粒度不同,模型分不清 |
| 用错字段 | 按关键词匹配,选中不符需求的字段 | 同名字段含义不同,同含义字段名不同 |
| 口径对不上 | 成交额取了实付金额,没剔退款 | 约定在历史代码和个人经验里,不在文档 |
换更强的模型有用吗。实测选表和语法的稳定性确实提升,口径仍然偏。因为上下文里从来没有这些约定。模型再强,读不到没给它的东西。
本质是测试预言机缺失。让生成器自己判断对错,它只能猜。
二、把判定标准做成可校验的资产
解法不是补测试代码,是先把业务知识变成结构化资产:可读、可召回、可验证、可迭代。
这类资产装五类东西。
| 类型 | 内容 |
|---|---|
| 表本体 | 核心表的职能与粒度 |
| 字段语义 | 同一字段在不同平台下的真实含义 |
| 指标口径 | 分子分母、剔除规则、时间窗口 |
| 业务规则 | 跨平台映射、兜底逻辑、时间版本切换 |
| 生产证据 | 血缘、值域分布、历史写法 |
有一条设计是分水岭:每条规则可追溯到线上代码的具体位置。
规格如果不能追溯到源码,就无法判断它有没有过期。无法判断是否过期,就不能拿它当测试基准。这是资产和测试资产的分界。
分层也有工程收益。表结构随 DDL 变,口径随业务变,证据随数据变。变化频率不同,混在一起任何一处变动都要全量重建。分层后刷新可以落到具体一层。
三、资产从哪来:自动抽取与三道校验
最重的环节是构建。四种方案摆在一起看。
| 方案 | 做法 | 问题 |
|---|---|---|
| 只给 DDL | 提供字段名和类型 | 只说明表长什么样,没说表怎么用 |
| 人工整理知识库 | 读 SQL、写文档、持续更新 | 口径一直在变,写完很快过期 |
| 文档编译成知识库 | 把零散文档编译成自然语言知识页 | 很多口径没有文档;自然语言产物无法和线上代码比对 |
| 直接读生产代码 | 抽取运行中的 SQL 与元数据 | 产出可校验的结构化规则 |
先编译再查询的思路和这里一致。但生产里大量需求是语音会议形成共识、协作平台一句话就开工,补齐文档的成本最高。选择直接读生产代码,是因为口径就写在代码里。
入口选核心表加血缘。从业务交付表、看板展示表自动识别出这个场景真正在用的表,人工补充核实。这批表是起点,不是边界。顺着上下游再带出一批,最终本体里四成的表靠血缘分析发现。核心表决定从哪进去,上下游决定能捞回多少。
抽取结果不是自然语言,是结构化三元组。以店铺类型判断为例,一条规则拆成 CASE 组、分支序号、判断条件、结果动作、源码指纹、生产节点 ID。
为什么这么拆。不是模型看不懂自然语言,是自然语言没法校验。一句话描述不出它对应 SQL 哪一段,也说不出有没有过期。写成条件和动作,规则才能和 SQL 分支逐条对上。脚本对齐空格和大小写的写法差异,算出指纹逐条落库,绑定生产节点。
抽完不能直接用。旗舰模型也会编出 SQL 里根本没有的规则。三道关逐个过。
| 校验 | 怎么做 | 挡住什么 | 对应测试手段 |
|---|---|---|---|
| 对指纹 | 抹平空格、大小写后算指纹,同一段 SQL 必然一致 | 规则张冠李戴 | 快照比对 |
| 回溯 SQL | 每条规则拿回生产 SQL 找对应分支,找不到就删 | 模型凭空编规则 | 源码溯源 |
| 查格式 | 字段填全、格式正确 | 资产残缺不可用 | schema 校验 |
品牌案例中人工写的规则模型全部抽到,指纹条条对得上。留下的关键分支规则也都能回溯到 SQL,没有多余条目。
自动生成的测试资产必须先证明自己可信,才能拿去验证被测对象。模型会编规则,确定性脚本不会。
人工只在两处介入。核心表第一次进资产库时复核一遍;线上发现生成不对时,判断是不是资产本身的问题。其余的拉元数据、抽规则、对指纹、回溯、表刷新后重新检查,机器自己跑。
四、把资产送进生成链路:按需供给,不写死约束
资产库里上千条规则,全塞进上下文会稀释关键信号。上下文的物理容量和有效容量是两回事,塞满无关信息的长上下文,有效容量可能不如裁剪过的短上下文。
做法是按需召回。品牌需求那次是七路并行,相似实现、时间切换、血缘、值域画像、表族信息一起查。相关度最高的表本体没有全复制,只挑和本需求相关的规则。挑出来的恰好是这个需求最容易踩坑的地方。
这里有个刻意的设计:召回给材料,不给硬规则。
早期把规则写成必须遵守的指令,结果模型从会推理的工具退化成规则执行器。规则没覆盖的情况它就不处理了,生成质量不升反降。
核心在于把约束放在证据层,不放在行为层。资产负责把事实找全,怎么用交给模型判断。与其用更多约束堵错误的出口,不如把该看的资料找全。
另一条同样重要:召回是确定性程序逻辑,召回什么不由模型临场决定。同一个需求跑多少次,输入都一样。测试输入必须可复现,否则缺陷无法回归。
五、资产不能静态:三条反馈链路
静态资产一定会老化。代码重构了知识没跟上,口径变了规则还是旧的。
三条链路把真实使用中的修正持续回注。
| 链路 | 数据来源 | 回流什么 |
|---|---|---|
| 研发修改 diff | AI 初稿与上线 SQL 的对比 | 人工补的字段、过滤、join、CASE WHEN、口径修正 |
| 评测集驱动 | 扣分 case 的四类归因 | 补规则、补证据、调召回 |
| 线上使用日志 | 提问、结果、失败日志、人工修正 | 场景规则与使用约束 |
归因四分是这套机制里最值钱的部分,因为它决定修复落点。
| 归因 | 修复动作 |
|---|---|
| 资产缺口 | 补规则 |
| 召回不足 | 调检索 |
| 模型误用 | 改提示或换模型 |
| 需求隐含条件 | 补需求侧信息 |
混在一起修,会出现提示词反复改、问题反复在的情况。
反馈汇入池,人工确认后写回资产库。
资产还要和平台解耦。标准化成 Turtle、JSON、Markdown 加索引文件,SQL 生成日志、采纳统计、反馈、回归测试都是独立 Python 模块,平台只留薄入口。换工具不换知识,业务知识才能沉淀成团队资产,而不是某个工具的附属品。
六、验证:分层评测和发布门禁
方案做出来不等于有效。
评测集的 case 全部来自真实业务工单,每条带完整上下文,并绑定已上线的生产 SQL 作为标准答案。定时抓取加分类自动入库,随需求增长持续扩充。
检测分五层递进,从语法一路查到数据结果。
| 层级 | 检查内容 |
|---|---|
| 语法 | 关键字拼写、括号闭合、函数参数完整性 |
| 选表 | 所选表是否正确 |
| 字段 | 有无缺漏、口径是否一致、聚合是否正确 |
| 业务规则 | 提取标准答案的 CASE WHEN、WHERE、JOIN 节点,逐条在生成 SQL 中定位 |
| 数据结果 | 输出表与标准答案的运行结果对比 |
本质是分层测试。前两层是静态检查,中间两层查结构对齐,最后一层才是行为等价。越往下越贵,也越接近真实正确性。
两条硬规则控制评测本身的可靠性。
禁止读标准答案 SQL,也禁止通过节点 ID 反查代码。否则生成器直接复用答案,分数再高也说明不了问题。这和测试里隔离被测对象与预期结果是同一件事。
只读当前版本资产,禁止读其他版本、共享生产版本或个人工作区版本。版本间才有可比性。
打分用来量化不同版本资产的差异,最终结论用通过或不通过的二分结果做门禁。权重和八条真实 case 的实测结果放在一起看。
| 维度 | 权重 | 无资产 | 有资产 | 变化 |
|---|---|---|---|---|
| 语法 | 10 | 8/8 | 8/8 | 持平 |
| 选表 | 20 | 7/8 | 8/8 | +1 |
| 字段 | 20 | 4/8 | 7/8 | +3 |
| 业务规则 | 40 | 2/8 | 3/8 | +1 |
| 数据结果 | 10 | 2/8 | 2/8 | 持平 |
业务规则权重最高,因为它是当前最薄弱的环节,也是资产价值最集中的地方。
字段层提升最明显。业务规则只涨一条,但每条 case 含多条规则,按全部命中计分。拆开看,没有资产时映射规则基本全错,代码不可用;有资产后,原来靠猜的分支被历史代码和值域分布补齐,完整度改善明显。数据结果一栏没动,说明规则对齐不等于端到端正确,中间还有字段和逻辑的叠加误差。
结尾
这套体系划出的分工线很清楚。
可复现、可追溯的校验交给脚本和资产库。需要理解业务意图的部分留给人。
测试开发在这条边界上的工作,不是写更多断言,而是把什么算对从个人经验里挖出来,变成机器能查、能比对、能随代码更新的资产。资产更新到什么程度,测试结果就可信到什么程度。
本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。
- 点赞
- 收藏
- 关注作者
评论(0)