把固定输入存下来:给 AI 小工具做一个回归测试清单
昨天给 AI 小工具定了固定输入模板,今天做的事是把这套模板存下来,变成一份每次大改之前都要跑一遍的回归测试清单。模板只解决了“每次用什么输入测”,清单解决的是“改完之后怎么确认没把以前对的东西改坏”。
我的清单很小,只有五组输入,都是这几天真实用过的。第一组是短留言分类加一句回复,第二组是语气比较冲的留言,第三组是特别长的留言,第四组是一次问了两件事的留言,第五组是之前分类错过一次、后来改对了的留言。每一组都记下当时认为对的答案:分类是什么、回复大概长什么样、不能出现什么。五组加起来不到一页纸,跑一遍也就几分钟。
跑清单的规矩只有一条:大改之前先跑,小改可以不跑。什么叫大改?换了任务说明里的一句话、改了输出格式、或者动了分类规则,都算大改。只改一个词、调一下字数上限这种小改,跑不跑区别不大。大改之前跑一遍,改完再跑一遍,两次结果一对比,立刻能看出来这次改动是只影响了想改的那一组,还是顺带把别的组也改坏了。
这几天已经帮我拦住过一次。有一回我想让回复更口语化,改完跑清单,发现第二组那个语气冲的留言,回复从原来的一句具体回应变成了空洞的安抚,分类倒是没错,但回复质量掉了。如果没有清单,这次改动很可能就直接留下来了,直到哪天真收到类似的顾客留言才发现不对。清单的价值不在平时,而在这种时候:它把“感觉改好了”变成“五组里四组没变、一组变好了”,或者“有一组变坏了,先别提交”。
清单也要定期换血。用上几天之后,有些组已经稳定到每次都对,继续跑它只是走过场;有些新类型冒出来,比如顾客一次贴了三条留言、或者留言里带了图片说明,旧清单盖不住。这时候就把最稳定的那一组换掉,换成新遇到的类型。清单永远保持五组左右,太多跑起来费劲,太少又盖不住。
对我来说,回归清单就是固定输入模板的下半场。模板让每次改动都有对照,清单让每次大改都有底线。先跑起来是第一步,有对照地改是第二步,改完能证明没改坏是第三步。下一步我会把清单里的五组输入和期望答案单独存成一个文件,改动大的时候直接拿文件里的内容跑,不用每次翻聊天记录找当时的输入。
- 点赞
- 收藏
- 关注作者
评论(0)