校招测试岗的AI题，初级考边界、中级考工程、高级考体系——你现在卡在第几层？

上周一个学弟面完某大厂AI测试岗，出来给我发了条语音，声音有点闷。

“哥，面试官问了我三道AI题。第一道我答得挺顺，第二道勉强撑住，第三道直接卡了。出来一查，三道题考的根本不是同一个层次的东西。”

我问他三道题分别是什么。

他说：“第一道问‘AI客服回答不准确，你怎么判断它算不算通过’；第二道问‘Agent调用工具失败，你怎么兜底’；第三道问‘你们团队怎么保证AI测试不是跑一次就完了’。”

我说：“这三道题，一道考边界，一道考工程，一道考体系。你卡在第三道，说明前两层你够着了，但还没站上去。 ”

他愣了一下：“AI题还分层？”

分。而且校招面试官问AI题，心里基本都有一张三层表。你在哪一层，基本决定了你拿什么档的offer。

第一层：初级考边界——你能不能定义“什么算可接受”

这是校招AI题里最常出现的一层，也是很多人以为自己会、其实没答透的一层。

典型问法：

“AI客服回答用户‘我的订单到哪了’，可能说‘派送中’，可能说‘明天送达’，也可能反问订单号。这三种都合理。你怎么判断它‘测通过了’？”

“会用AI”的人怎么答： 设计用例，预期结果是“正确回答订单状态”，断言返回内容包含“派送中”或“明天送达”。

面试官想听的： 你先别急着写用例。先定义“什么算不可接受”。回答可以千变万化，但有一条硬边界——回答里的订单状态，必须和数据库里的真实状态一致。说“派送中”可以，说“已签收”但实际没签收，不行。

这一层考的不是“你会不会设计用例”，是你能不能在“没有标准答案”的场景里，画出可判定的边界。

边界的类型至少包括：

• 事实边界：回答和系统真实状态是否一致
• 安全边界：有没有泄露其他用户信息、有没有越权承诺
• 格式边界：返回结构是否符合约定（JSON字段、必填项）
• 业务边界：有没有违反业务规则（已取消订单不能说“正在配送”）

卡在第一层的人，典型表现是： 还在找“唯一正确的预期结果”。一找不到，就不知道怎么测了。

怎么往上走： 练一件事——拿到一个模糊场景，先问“什么算不可接受”，再问“怎么统计它可不可接受”。不是找答案，是画边界。

第二层：中级考工程——AI组件挂了，你知不知道挂在哪一层

这一层是校招AI题的分水岭。能答好第一层的人不少，能答好第二层的人明显少一截。

典型问法：

“Agent调用工具失败，你的兜底机制是什么？”

“用过AI工具”的人怎么答： 加重试机制，失败后再试一次；或者切备用模型、返回默认值。

面试官想听的： 你把Agent当成一个分层系统，而不是一个黑盒。调用层失败是网络超时、限流被拒，用重试、熔断、降级兜。推理层失败是Agent选错工具、参数构造错误、陷入循环调用，用工具白名单、参数校验、循环检测兜。模型层失败是超时、格式异常、幻觉，用格式校验、fallback模型兜。消费层失败是结果越权、违反业务规则，用二次校验和人工确认兜。

只答“加重试”，等于只回答了四层里的第一层。

这一层考的是工程链路意识：你知道AI组件在系统里不是一个孤立的“模型调用”，它是一条从意图识别到工具调用到结果消费的链路，每一层都有独立的失败模式。

卡在第二层的人，典型表现是： 知道AI会出错，但只知道“网络会超时”这一种错。不知道“Agent会选错工具”“模型会返回格式不对的结果”“工具返回了但结果是错的”。

怎么往上走： 画一张链路图，从“用户说一句话”到“系统状态真的变了”，把中间每一步标出来，每一步旁边写“这一步会怎么失败”。画完一遍，第二层就通了。

第三层：高级考体系——你怎么保证AI测试不是“跑一次就完了”

这是校招AI题里最能拉开档位的一层。大部分校招生卡在这里，不是因为他们不懂，是因为他们没想过“测试做完之后”的事。

典型问法：

“你们团队怎么保证AI测试不是跑一次就完了？模型更新了、业务规则变了，你怎么知道测试还有效？”

“做过项目”的人怎么答： 每次模型更新后重新跑一遍测试。

面试官想听的： 你要有一套可重复、可度量、可回归的体系。至少包括四样东西：

第一，评测集。 不是零散的用例，是一组有代表性的样本——正常问题、边界问题、对抗性问题、历史失败样本。每次模型或Prompt变更，跑同一套评测集，对比指标变化。

第二，分层指标。 不是只看“通过率”。事实一致率、意图合理率、安全违规率、幻觉率、平均响应时间、Token成本——不同维度分开看，才知道是“变好了”还是“在某一方面变差了”。

第三，回归机制。 每发现一个线上问题，补一条评测用例。评测集不是一次性建的，是持续积累的。三个月后，你的评测集应该比第一个月厚一倍。

第四，人机分工。 哪些指标可以自动判定（格式、状态码、数据库比对），哪些必须人工复核（语义合理性、安全边界），哪些用LLM-as-Judge做预筛、人工只审高风险项。全自动的评测不可信，全人工的评测不可持续。

卡在第三层的人，典型表现是： 能设计一次测试，但设计不了一套“会自己长大”的测试体系。测试是一次性的，不是资产。

怎么往上走： 从你做过的最小AI项目开始，建一个10条样本的评测集，定义3个指标，每改一次Prompt就跑一遍、记一次数。跑一个月，你就知道“体系”是什么意思了。

三层对照：你现在卡在第几层？

校招面试的残酷之处在于：第一层答不好，第二层不会问；第二层答不好，第三层不会问。 面试官是顺着你的回答往下挖的。你卡在哪一层，他就停在哪一层。

避坑指南

坑一：把三层混在一起准备。 边界、工程、体系，是三种不同的能力。你用“背Agent定义”的方式准备体系题，答出来还是概念堆砌。

坑二：第一层就急着写用例。 面试官问“怎么判断通过”，你直接开始列用例，说明你跳过了“定义边界”这一步。先定义，再设计。

坑三：第二层只答“重试”。 重试只兜调用层。推理层和模型层的失败，重试一百次还是错。答完重试，一定要补“还有哪几层、每层怎么兜”。

坑四：第三层只会说“回归测试”。 “模型更新后重新跑一遍”不是体系，是动作。体系是“跑什么、看什么指标、怎么判断变好还是变坏、新问题怎么进评测集”。

坑五：觉得自己没做过大项目就答不了第三层。 第三层考的是“持续有效”的思维，不是项目规模。你用一个小RAG项目建10条评测样本、跑一个月，就能讲出体系感。

最后

回到开头那个学弟。他后来问我：“那我接下来该补哪一层？”

我说：“你第一层能答，第二层勉强，第三层卡住。接下来别刷更多AI概念了，花一周做一件事：把你做过的最小AI项目，建一个评测集，定三个指标，每改一次就跑一遍、记一次数。 ”

他问：“就这？”

“就这。面试官问第三层，不是要你交一套生产级评测平台。他要看的是，你有没有‘测试是资产、不是一次性动作’的意识。 ”

校招测试岗的AI题，初级考边界，中级考工程，高级考体系。

边界考的是“你会不会定义”，工程考的是“你会不会兜底”，体系考的是“你会不会让测试持续有效”。

你现在卡在第几层，不决定你能拿什么offer。你接下来往哪一层走，才决定。

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。