腾讯 Hy4 的独立评测成绩：35 分，但"不知道就说不知道"的能力只有 11%

摘要

腾讯 Hy4 在第三方智能指数拿到 35 分、位居国内实验室第二，同时在 AA-Omniscience 上准确率 50%、幻觉率 89%——也就是说，它不知道答案的时候，89% 的情况会编一个出来而不是说不知道。这两个数字指向同一个问题：能力分和"知道自己不知道"的能力，是两套不同的东西。 本文拆开讲分数该怎么分层读、哪四个维度必须分开记、以及上线前必须补的三项测试。

先说两组摆在一起会很奇怪的数字。

腾讯 Hy4 正式版（2026 年 11 月 4 日发布）在 Artificial Analysis 的智能指数上得 35 分，是中国实验室里的第二名；在 FrontierCode 2.0 上 31%，为国内最高。但在 AA-Omniscience v1.1 这项评测里，它拿到 50% 的同时，幻觉率高达 89%。

50 分和 89% 幻觉率出现在同一份报告里。很多人的第一反应是"这两个总有一个是错的"，其实两个都没错——它们测的是不同东西。

另一边还有一个更贴近日常的细节：同一份成绩里，Hy4 的单任务成本约 0.78 美元，比 Grok 4.7 便宜约十倍，比 Claude Haiku 5.5 贵近一倍。性能、成本、可靠性三样东西，摆在同一页纸上，彼此不相关。

这两件事放在一起，正好构成模型选型时最常被忽略的那一半：评测分数回答的是"它能力有多强"，而你要的是"它在我的业务里能不能稳定干活"。

一、50 分和 89% 幻觉率，为什么可以同时成立

把 AA-Omniscience 这类评测拆开看就清楚了。它衡量的是模型"知道多少"——在一批知识型题目上答对了多少。答对比例 50%，说明它在一半题目上给出了正确答案。

幻觉率衡量的是另一件事：在它其实不知道的时候，有多少次是编一个出来而不是承认不知道。 如果剩下那一半没答对的题里，绝大多数不是"说不知道"而是"自信地给了个错答案"，幻觉率就会很高。换句话说，89% 不是"全部回答里错了 89%“，而是"不知道的时候有 89% 不肯承认”。

这两个指标可以同时很高，因为它们的分母不同——前者数全部题目，后者只数它其实不知道的那些：

模型可以在"知道很多"的同时"不知道就说"的能力很差。这对写代码、算数学影响不大——错了测试会红；但对知识型产品是致命的，因为它的错误是流畅的、格式正确的、看起来可信的。

这条对测试团队的直接含义是："模型能不能用"这个问题，不能用任何一个综合分回答。 你需要先确定你的业务容不容得下"编造"。

二、四个维度必须分开记

我把选型时要看的指标归成四类。它们互相不能替代，混成一个数就会误判：

第一类，能力分。 智能指数、编程评测、数理推理这些。它的作用是筛掉明显不够用的，不是用来排序的。9 个模型前五名差 1 到 2 分，这个差异在你的业务里根本体现不出来。

第二类，可靠性分，重点是幻觉率和指令遵循。 这一类决定它会不会"自信地做错"。特别提醒：指令遵循分数低，在长任务里会放大成灾难——单轮看不出，十轮之后它的理解已经偏了。

第三类，工程指标，这是排行榜从不体现的。 价格只是其中一项。更少被看的是：峰值并发下的成功率、限流时的错误码、超时行为、以及有没有可降级的备选模型。一个模型在单次调用上表现再好，接进每天几十万次调用的业务里，故障切换路径没验证过，一样是裸奔。

第四类，成本口径。 不是单 token 价格，是每个被接受的结果要花多少钱。一个便宜模型如果返工两次才通过，它比贵一倍但一次过的模型更贵。这一条在 AI 编码场景里尤其明显。

三、第三类指标怎么测：三个具体动作

前两类可以抄排行榜，第三类只能自己测。三个动作，都不复杂：

动作一，压到限流，看它怎么失败。 不是测"能撑多少 QPS"，是测限流那一刻发生了什么。返回 429 还是超时？超时了多久？重试会不会雪崩？有没有降级路径？这件事必须在预发环境里真的压一次，因为限流后的行为和你读文档想象出来的通常不一样。供应商侧的限流通常按账号配额生效，所以你压的其实是你自己的配额边界。

动作二，把"配额耗尽"当成一种正常失败态来设计。 任何按量计费、按配额限流的服务，配额耗尽都是迟早会发生的事，不是异常。你的系统里要有对应处理：高峰期降低并发、非关键任务排队、关键任务预留配额。这属于产品设计，但测试要验证它真的生效——而不是等到配额见底才发现队列没上限。

动作三，准备并验证降级路径。 一个核心链路只挂一个新模型，风险极高。至少要有一条"切到备选模型"的路，而且这条路要在正常情况下演练过——很多团队的降级开关写了，从来没按过，真按下去发现配置是错的。

四、评测分数还有一个很容易被忽略的问题：口径

SuperCLUE 2026 年 11 月的榜单里有一组数据很值得注意：在智能体编程这一项，19 个模型里有 16 个低于 60 分，占比约 84%；单题限时 3 小时，有的模型超时占比高达 69%。

这组数据说明两件事。一是评测的分母在变——同一批模型，如果在"智能体编程"这个维度上普遍低分，那说明的不是"这些模型都很差"，而是"这个维度本身很难"。二是有很多隐形变量：超时算不算失败、交互轮数算不算成本、token 消耗怎么折算。

同一份榜单，GPT-6.1-Sol 用 14.58 轮/题拿到 69.23 分，另有模型用 88.88 轮/题拿到 46.15 分；token 消耗最高的是最低的约 13 倍。这些数字比总分更能说明"用起来是什么体感"。

所以引用任何评测分数时，三件事必须一起说：谁测的、口径是什么、在哪个维度上。 少了任何一个，这个分数就不该被写进选型报告。

五、幻觉率怎么自己测：三档成本

排行榜上的幻觉率是别人在别人的题目上测出来的。你自己业务的幻觉率只能自己测。按成本排三档：

最低档，抽 50 条真实问题人工核。 从你的日志里捞 50 条真实用户提问，用新模型重跑一遍，让人逐条判断答案里的事实对不对。这一步花半天，能给出一个量级感——它不精确，但足够判断"这个模型能不能进下一步"。关键是问题要真实：自己编的题目往往比真实提问更规整，测出来的幻觉率会偏低。

中档，建一份带标准答案的事实库。 挑 100 条你业务里有确定答案的问题（订单状态、政策条款、参数规格），把正确答案写下来，然后自动比对。这一步的价值在于可以重复跑——换模型、换提示词、换版本，都能用同一份库对比。它测的偏"知识准确性"，测不了"流畅地编造"，所以要和人工抽检配合。

高档，构造"本该说不知道"的题。 这是最能暴露幻觉的一类：问一些你的系统里根本不存在的信息（不存在的订单号、没有的政策、虚构的产品型号），看它说"查不到"还是"给你编一个"。一个模型在"不知道"时的表现，比它在"知道"时准不准更能决定它能不能上线。 因为知道的时候往往有检索兜底，不知道的时候全靠它自己的判断。

三档的做法有一个共同前提：你要先定多少算过。 很多团队测完不知道结论，就是因为事前没写下阈值。建议在上线前把线画死，比如"本该说不知道的题里，编造率必须低于 2%"，然后按这个线判断，而不是跑完再看数字顺眼不顺眼。

六、什么情况下不用这么麻烦

坦率说，不是所有团队都需要这套东西。

如果模型只在一个内部小工具里、输出由人复核后再使用，那幻觉率高低影响有限，你只需要看能力和成本。

如果业务本身容错很高（比如生成营销文案草稿、整理会议纪要初稿），编造的代价是"人改一下"，那也不必为了 89% 这个数字放弃一个便宜好用的模型。

反过来，只要满足任一条，就必须把可靠性指标放到能力分前面：输出会直接进生产系统（自动改代码、自动下单）、输出会被当作事实引用（知识库问答、金融分析）、输出会进合规材料。这三类里，一次编造的成本远高于一年省下的 token 费。

写在最后

回到那两组数字。50 分说明它知道不少，89% 幻觉率说明它不知道自己不知道。这两个特质放在一起，构成一个很典型的现代模型画像：能力在涨，但它对"我不确定"的表达能力没跟上。

对测试团队来说，这意味着验收标准要跟着变：不是"它答得对不对"，而是"它答错的时候，有没有能力让你看出来"。前半句是评测机构的事，后半句只能你自己测。

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。