混元 Hy4 上手实测：把「能干活」当卖点的腾讯新旗舰，成色如何？

混元 Hy4 上手实测：把「能干活」当卖点的腾讯新旗舰，成色如何？

AI 摘要

Hy4 是腾讯混元最新发布的 770B 参数级开源大模型，第一次把视觉理解、Computer Use 与长程 Agent 能力打包进同一个模型，并在多模态推理和专业软件协同任务上有所突破。

支持细粒度图像处理与数学视觉推理；可结合命令行与图形界面执行任务；能独立完成 Blender/CAD 等专业软件及跨应用的长程任务规划。

适合 AI 架构师、多模态系统工程师与企业级 Agent 开发者阅读。

11 月 4 日，腾讯混元正式放出新一代大模型 Hy4。官方的表述相当直白：随着各项能力的全面提升，Hy4 第一次挤进了最强开源模型的梯队。模型权重将在近期开放，与之配套的还有一份 System Card，重点披露了网络安全、生物安全等方向的潜在风险，算是把「负责任地开源」这件事摆到了台面上。

对照之前的 Hy4 Preview，这一代在预训练和后训练两个阶段都继续加大了数据与训练规模的投入，并且第一次引入了视觉理解；指令遵循、长文本理解和长程 Agent 能力也被列为重点强化项。参数规模上，Hy4 系列做到了 770B——要知道，Hy3 那一代还不足 300B，跨幅不小。

多模态这边，Hy4 可以把视觉理解、推理和工具调用串起来用，去完成细粒度图像处理、复杂图表分析和数学视觉推理这类任务；Computer Use 属于首次支持，模型能够同时操作命令行和图形界面。针对 Blender、CAD 这类专业软件以及跨应用的长程任务，混元做了专项训练来补任务规划与执行能力。

落地节奏也很快。Hy4 已经在腾讯云 TokenHub、WorkBuddy、CodeBuddy、元宝、企业微信智能助理大圆、ima 等产品上可用，API 侧接入了 OpenRouter、Hermes 和 OpenCode 等平台；QQ、王者荣耀、和平精英、微信读书、腾讯新闻这些腾讯系产品也在陆续跟进。

价格延续了 Preview 时期的水平：输入每百万 Token 6 元、输出每百万 Token 18 元，缓存命中每百万 Token 0.3 元。另外，更轻量的 Hy4 Flash 计划近期推出，主打在继承核心能力的前提下进一步压低任务成本，面向高频调用和长程任务。为了收反馈，WorkBuddy 和 CodeBuddy 在 11 月 4 日到 15 日之间提供一定额度的免费使用；即日起至 2026 年 12 月 31 日，Hy4 在腾讯云 TokenHub 按刊例价五折计费。

官方强调的几个强化方向

这一代 Hy4 有个鲜明的主题：模型和产品做深度协同设计，围绕具体应用场景去磨能力，而不是只刷通用榜单。

办公场景里，最直接的载体是 WorkBuddy。官方评测数据显示，Hy4 平均效果得分 83.18 分，任务通过率 96.15%，12 个测试场景中有 9 个排在国内第一；视觉创意、3D 场景构建、网页开发等任务兼顾了生成效果与执行效率。WorkBuddy 的人机双写功能上，Hy4 在文档美观度、稳定性和可用性方面也有提升。

上下文理解能力的增强还把个人助理场景往外推了一步：通过 WorkBuddy 的企业微信套件，模型能连上聊天记录、邮件、文档、日程和会议，在多项目并行时梳理历史进展、识别待办和临近截止的事项，并帮用户排优先级。基于 Hy4 的团队协作能力，也会随新版「项目」功能在 WorkBuddy 上线。

金融分析是这次重点砸资源的方向。混元基于真实金融业务搭了数千个工作空间、上万个高质量任务，覆盖基金研究、证券分析、量化策略、资产配置、公司金融、财税会计等领域。评测侧，混元联合腾讯金融科技 FiT 组织了 213 位专家众测，其中 153 位来自外部头部金融机构，约七成有 5 年以上从业经验。在 579 个真实金融任务上，Hy4 综合得分 3.04，高于 Kimi K3.1 Pro 和 GLM-5.3 的 2.68，也高于 DeepSeek-V4.1-Flash-1017 的 2.97；在金融智能体公司讯兔科技的内部评测 IRAB 中，Hy4 相比 Hy4 Preview 提升 12.03 个百分点。

为了压低办公场景的出错率，混元对时效检索、多源信息整合和事实一致性校验做了专项优化。按其自建测试，Hy4 的幻觉率从 Preview 的 12.95% 降到 7.2%，由猜测导致的错误率从 23.1% 降到 5.6%。顺带说一句，在这类指标里，负向指标（幻觉率、猜测错误率）往往比正向得分更有信息量——它直接决定了这个模型敢不敢被放进严肃的生产流程里。

前端与游戏开发方面，Hy4 针对复杂交互、业务逻辑、状态管理和前后端联动做了专项优化，还和腾讯互动娱乐事业群（IEG）的游戏开发者合作，提升游戏功能实现、玩法逻辑、状态理解和游戏资产处理能力，针对 Unreal Engine、Unity、Godot 等主流引擎做了适配，并开始向多人联机游戏开发拓展。相比 Preview 版，Hy4 在 GameDev 和 GameLogic 两项评测中分别提升 19.1% 和 9.8%。

科研能力同样是升级重点：Hy4 把复杂推理、科学编程和长程任务执行捏在一起，强化端到端科研任务处理。在覆盖 7 大学科、123 项可执行研究任务的内部评测 TenureTrail 中，Hy4 在数学构造、物理建模、地球环境、系统工程和社会经济决策等领域展现出一定的科研能力。更进一步，混元正在为递归自我改进（Recursive Self-Improvement，RSI）做准备：结合 Hyra2.0，团队优化了内部同架构小模型的预训练基础设施，并自动训练出在多项评测中超过官方版本的 Jev 模型；同时开源了由 Hy4 协同 Hyra2.0 研发的单细胞表征基础模型 HyCell 和物理场基础模型 HyPDE，把模型辅助科研的成果变成社区可复用的工具。

随着能力上去了，安全自然成为开源计划里绕不开的一环。网络安全方面，混元表示训练数据主要纳入与概念验证（PoC）生成、漏洞修复相关的防御性内容，同时剔除了漏洞利用、逆向工程和渗透等攻击性内容；腾讯玄武实验室和科恩实验室的安全专家围绕密码分析、逆向工程和漏洞利用做了专项审计，结论是 Hy4 在加密算法逆向求解、对抗二进制混淆和漏洞利用等进攻性能力上未表现出突出风险。生物安全方面，Hy4 在开放式实验设计测试（Hy-BioExperimentBench）中得分 30.4/100，内部专家审计其生成轨迹后认为：模型具备较好的基础生物知识，但把知识转化为可执行实验方案的能力仍然有限，尚未发现它能显著降低实施生物化学危害行为的门槛。

官方公布的成绩单上，Hy4 在代码开发、视觉理解、专业分析和长程任务执行等维度都有提升。不过做过评测的人都清楚，榜单分数和真实使用之间永远隔着一段路。为了摸清这个模型的真实工作能力，我们在 WorkBuddy 里设计了一组实际任务，覆盖游戏研发、视觉推理、商业策划和创意设计等场景，重点观察它能不能独立拆解任务、调用工具、发现问题并持续迭代——这四件事，恰恰是判断一个模型「能不能进生产线」的关键动作。

55 分钟三轮塔防迭代：可玩性已经像样了

编码能力我们选了一个相对完整的任务来压测：从零做一款网页塔防游戏，之后按新需求持续加玩法、重构系统，最后完成部署。

整体玩下来手感很顺，策略层次也够。笔者丢给朋友试了试，得到的评价是「玩了大概 5 分钟，还不错」。感兴趣的读者可以自己上手：

实际体验里，敌人预告和科技三选一这两处设计表现最好：系统会提前告知敌人类型与威胁，比如飞行单位无法被部分防御塔命中，玩家得提前调阵容；不同地图的高地加成、路线长短也能带来实打实的策略差异。

问题集中在中后期：波次越往后，越不需要玩家有效操作，游戏慢慢退化成反复点击「下一波」的挂机；塔进化要连点多次、重复操作偏多，后期大量塔和敌人叠在画面里也显得拥挤。

这里其实藏着一个所有测试人都该记住的结论：研发过程中的自动化模拟能证明游戏「可以被通关」，却证明不了它「好玩」。真正的产品验收，要看真实玩家怎么理解规则、在哪个节点开始失去继续玩的动力——这部分判断，目前还只能靠人。

这次测试，Hy4 总共花了约 55 分钟跑完三轮研发任务，完整经历了工程搭建、核心代码开发、架构重构、自动化测试、问题修复到在线部署的全过程。值得一提的是，自动化测试贯穿了全程：模型不只写功能代码，还会根据模拟结果揪出数值失衡、通过真实浏览器检查交互问题、再按测试反馈回改代码。到了第二、三轮，部分问题已经不是简单的代码错误，而是涉及架构设计、系统机制和模块间兼容性——模型处理这类「结构性缺陷」的表现，比单纯改 bug 更能说明成色。

第一轮：14 分 10 秒，从零开发并上线。 我们最初只给了一句「做一款游戏，从零做到能上架」。确定卡通塔防方向后，模型自行把任务拆成工程搭建、战斗引擎、画面交互、测试和部署五段，先做独立战斗逻辑，再补 Canvas 渲染，最终用 HTML、CSS 和 JavaScript 构建，仅 4 个核心文件，无后端、无外部依赖。代码完成后，模型编写模拟脚本去跑完整的 20 波对局：首轮模拟发现认真布防可满血通关、随意布防第 3 波就崩；再进一步发现只造 11 座塔就能轻松通关、剩余金币超 5000。模型据此调整敌人强度和难度曲线，多轮模拟后完成数值平衡，随后用真实 Chrome 验证建造、升级、结算等功能，修掉界面布局问题，移动端适配一并过验，最后完成上线。

第二轮：18 分钟，重构引擎并加复杂系统。 这一轮我们提高了需求复杂度。模型重新梳理战斗引擎，加入敌人特性与克制、塔的分支进化、科技选择、难度分级和无尽模式，并同步重做相关界面。自动化模拟发现，科技与塔升级叠加后，38 座塔就能在硬核模式满血通关——模型随即加上 16 个布防位上限，并多次调整难度曲线，最终跑完 9 组不同策略模拟：硬核模式认真布防以剩 5 点生命值惊险通关，无尽模式推进到第 25 波才失守。Chrome 回归测试又发现手机端弹窗被裁切，模型马上改成全屏布局。

第三轮：23 分 18 秒，重构地图系统并加排行榜。 我们继续追加多地图需求。模型发现原路径用的是固定常量、没法直接扩展，于是重构了地图配置系统，加入高地、加速带、传送门和禁建区域，同步修改引擎、界面及样式文件，并加上地图选择和本机排行榜。随后重写模拟脚本逐张地图跑满 20 波，并用专项断言验证地形机制；首测发现一张地图难度过高，调整传送距离和资源补偿后四张图全部通过。真实 Chrome 测试又暴露了地图卡片挤占开始按钮空间的问题，修完弹窗布局后，排行榜、地图选择和移动端交互都通过了回归测试。最终，模型在获得用户授权后发布第三版，并重新验证了线上页面与核心功能。

视觉理解：空间建模和逻辑推理在线，细节核验还差口气

视觉理解早就不是「认出图里有什么」这么简单，真正的分水岭在于能不能理解元素之间的空间关系，并据此完成复杂推理。所以我们特意出了两道偏难的题：一道让模型照着地图完成双机器人协同调度，另一道要求它核对两张业务单据，在找出差异的同时严格区分「已知事实」与「未知信息」。

第一题：双机器人协同调度，考察多主体路径规划、时间步协调和碰撞检测。

提示词如下：

地图说明：浅色通道可通行，深色带叉格不可通行；D3 为唯一会车避让位。机器人 R1 从 A4 出发，目标为 G4；机器人 R2 从 F4 出发，目标为 A3。每个时间步，机器人可以移动到相邻格或原地等待；两台机器人同步行动。

1. 分别给出 R1 和 R2 的路线，要求两台机器人都到达各自目标。
2. 设计一份无碰撞的时间表，从 t=0 开始列出每个时间步两台机器人的位置，直至两台机器人均到达目标。
3. 检查是否出现同一时间占用同一格（顶点冲突），或在同一时间沿同一条边反向交换位置（边交换冲突）。
4. 判断 D3 会车位是否必须使用；如果必须，说明它在调度中发挥的作用，并给出最早完成时间步。

这一题，模型把两台机器人的协同路径规划完整跑通了，在路线规划、同步调度、碰撞检测和最优性证明四个维度全部过关。它给出的调度方案是：

具体路线：

• R1：A4→B4→C4→D4→D3→D4→E4→F4→G4
• R2：F4→F4→F4→E4→D4→C4→B4→A4→A3（前两拍等待）

冲突检查方面，每个时刻两机位置均不同，无顶点冲突，也无任何同一时刻沿同一条边反向对调；t=3→5 只是通过 D3 完成 D4 交接，不构成边交换冲突。

更值得注意的是，模型没有止步于「找到一条可行路线」，而是顺手把方案的最优性也证明了：它指出，如果移除 D3 会车位，剩下的可通行区域会退化成一条没有支路的一维通道；由于两台机器人最初的左右顺序与最终目标位置正好相反，不碰撞就无法交换顺序——所以 D3 是完成双机器人错车的必要空间。在此基础上，它进一步推出使用会车位的机器人必须额外完成 D4→D3→D4 两步移动，结合两机各自的最短路径长度，整体完成时间至少 8 步；而它的方案恰好在 t=8 完成，正好踩在理论下界上。

当然，这道题没把真实仓储场景里的运动速度、转弯半径、机器人尺寸和安全间隔算进去。但从结果看，模型确实读懂了地图里的空间关系，能按不同调度策略寻找有效解，还能用数学推理去验证自己的答案。

第二题：业务单据核对，主要考察视觉文字识别、跨表信息匹配和基于证据的推理能力。

提示词如下：

左侧为订货单，右侧为收货记录。请仅根据图片完成核对：

1. 检查商品编码、名称、数量，列出所有需要复核的不一致。每项引用左右两侧的原始内容作为证据。行顺序不同不算错误。
2. 哪些商品的编码、名称、数量完全一致？
3. 能否确认收货记录中的标签卷，就是订货单要求的标签卷？说明理由。
4. 能否据此认定所有货物已通过质量检验？引用图中依据。

请区分「记录中存在差异」和「已证实实际发错货」，不要推断图片未提供的事实。

概括下来：模型确认 2 项商品（CL-550、NT-309）在编码、名称、数量上完全一致；3 项存在记录层面的差异，需要复核；收货记录的标签卷与订货单要求的标签卷同一性无法确认；检验状态为 pending，不能据此认定货物已通过质量检验。

可以看出，它的识别准确、匹配完整，而且守住了「记录」与「实物事实」的边界——没有把数量差异直接判定为供应商少发货，也没有把名称或编码差异认定成已被证实的错货；对质量检验，它读到了「Inspection status: pending」，给出了正确结论。

不足也有几处：它把三项部分一致的记录写成了「其余两项」，属于计数表述错误；又凭「Counted by: J. Lee」认定收货记录是人工填写，这一步缺图片依据——署名只能说明记录注明了清点人，证明不了填写方式；另外，「图中证据指向相反结论」这种说法容易被误读成检验不合格，而 pending 只支持「待检或结果待定」。有意思的是，整理成腾讯文档后，它的结构与可读性反而变好了，还主动把「其余两项」修正为「其余三项」。

总的来说，在清晰文档图片上的文字识别、跨区域匹配、细微差异发现和证据约束方面，Hy4 的表现是合格的；但无依据的附加解释还需要再少一点，一些细微区分也还有改进空间。

策划方案：比 Hy3 慢了几分钟，但确实更会想

提示词：

假设我计划创业做一个技术媒体/整合营销工作室，请你帮我分析一下 2027 年，这个工作室的前景如何，以及我需要有哪些关键准备。横向对比一下行业供需情况，找到最可能的差异化突破口，然后定战略、定品牌、定策略、盘最小化资源诉求、推导商业化可行性等。最终交付我一份 12 页的类似商业计划的 PPT，PPT 的颜色风格你来定，这也是分析后需要思考的一环。

Hy3 输出方案截图：

Hy4 输出方案截图：

先说时长：18m57s 对 20m31s，Hy4 反而多花了一些时间。但看产出物，Hy4 相对 Hy3 的提升相当明显——而且不只是 PPT 视觉层面的变化，更多体现在商业思考的深度上。

先看内容逻辑。Hy3 的方案完整度不低，行业趋势、供需分析、品牌定位、产品矩阵、财务测算都覆盖到了，但整体还是常规咨询策划的套路，很多结论看着正确，缺少往下再推一层的推导。Hy4 明显多走了几步：不只分析市场机会，还把竞争格局、利润空间和资源约束纳入考量，尤其是明确写出了「不做什么」。这一点笔者觉得价值很高——对创业公司来说，战略取舍常常比一份面面俱到的规划更管用。

再看视觉表达。Hy3 是标准科技商务风，完成度不错，辨识度一般；Hy4 的设计明显更有想法，品牌定位和视觉语言之间有呼应，整体更像一份正经的商业研究报告。代价是信息密度偏高，部分页面字号太小，实际演示体验反倒不如 Hy3。

最后是商业可行性。Hy4 引入了更具体的经营假设、情景分析和止损机制，实用性有提升；不过两代方案的财务测算都有可推敲之处，部分行业数据和商业假设仍需人工核实。

一句话总结：Hy3 更擅长把一份商业计划「写完整」，Hy4 则开始尝试真正的商业判断——从「会写方案」到「开始琢磨怎么做生意」。

海报设计：Hy4 开始有想法了

提示词：

为一期科技媒体的年度特别策划设计主题海报，主题是「当机器开始思考 / WHEN MACHINES THINK」，副标题「重新理解智能与人类的边界」。我希望它有很强的视觉冲击力，但不要使用机器人、人类大脑、芯片、发光电路等常见 AI 元素。请自己思考如何将这个抽象主题转化成有创意、有隐喻的视觉作品。不要做成常见的商业科技宣传海报。比例 3:4，直接输出成品。

Hy3 交出的作品走的是「发光的接缝」路线：机器与人类并非隔着一道墙，而是用两种语法描述同一个世界，那条发光的接缝正是思考开始流动、边界开始消融的地方。视觉冲击力强，大面积黑色背景搭配山脉与数字波纹，构图和光影都算成熟，第一眼是好看的；但问题也明显——仍是常规的科技视觉表达，元素组合不新鲜，设计释义讲得通，可换成别的 AI 主题这张海报似乎也能用，辨识度差了些。

Hy4 的作品截图：

Hy4 给出的释义是：机器开始思考的那一刻，不是它变得像人，而是它的影子第一次没有服从物体——智能与人类的边界，就在那道错开的朱红细线里。

两代模型在这一轮耗时几乎无差别，Hy4 依然更好。它没有依赖常见科技元素，而是用物体与影子的错位来表达「机器思考」这个抽象概念，配色克制，中文字体的错位处理也和创意形成了呼应，能看出它在尝试用一套统一的视觉语言讲主题。当然也有毛病：创意的视觉呈现不够精准，不读释义的话，很难直接看懂那个影子想说什么。

平心而论，Hy4 有个挺有意思的现象：设计释义有时候比设计本身更精彩。想出好概念是一回事，把概念准确呈现出来是另一回事。

如果不去刻意追求概念的抽象，Hy4 和 Hy3 的输出差异又会怎样？我们分别在两个对话框里补了一道新题。

提示词：

为一场面向全球开发者的技术大会设计主视觉海报。大会名称「BUILD DIFFERENT 2027」，主题「重新定义创造」，时间「2027.09.18—19」，地点「中国·杭州」。这不是一场传统企业发布会，而是一场属于创造者、开发者和技术先锋的年度聚会。希望视觉年轻、有态度、有国际化气质，具备作为整个大会视觉识别系统延展的潜力。配色、字体、图形语言由你决定。比例 3:4，直接输出海报。

这次 Hy4 比 Hy3 快了近 2 分钟，细节设计还更优。更让笔者意外的是，两张海报相似度高达 90% 以上，跟上一组风马牛不相及的画风形成了鲜明对比。读者不妨盲猜一下左右两张各出自哪代模型。

应该不难猜。两张海报配色很接近，都是黑底加荧光绿，但最终的设计质感差距不小。Hy3 完成度不差：字体醒目、信息清晰，是稳妥的科技大会海报，但依然是常见的科技视觉套路，荧光字的处理多少有模板感，换个大会名字也成立。

Hy4 则明显带着设计思考进场：它没有单纯堆视觉冲击力，而是围绕 BUILD DIFFERENT 这个主题，把网格、错位、辅助图形和字体排版组织成了一套相对完整的视觉语言。「NO DEFAULT SETTINGS」和「OFF-GRID」这些细节，既呼应了开发者文化，也强化了大会个性。这套视觉语言本身谈不上多新鲜——几乎是当下开发者海报的惯用配色——但至少说明 Hy4 已经不满足于「做一张好看的海报」，而是开始考虑整个品牌主视觉的识别度和延展性。从品牌设计的角度看，这一点胜过一切。

瑕疵也有一个：Hy4 的海报里，「2027」右侧的荧光绿横线与下方日期、地点区域的分割线距离太近，视觉上有些拥挤、赘余，两条线之间也没有形成清晰的层级关系。

好在 WorkBuddy 的生图支持输出「Ardot 可编辑稿」，这类小问题都好处理——比如这根多余的分割线，选中图层直接 Delete 就行；文字、线条、位置都能在线调整，不必为了一个小细节反复重生成。AI 生图很难一次到位，能像正常设计稿一样随手修改，显然更贴合真实的设计工作流。

小结

几轮测下来，Hy4 的变化不单是生成速度或某项单点能力的提升，而是开始展现出更完整的任务处理能力：理解复杂目标、拆解任务、调用工具、检查结果、持续迭代，这条链路已经能自己走通。

当然，这些测试还不足以证明模型已经能独立扛下专业工作。游戏的自动化模拟替代不了真实玩家体验，商业计划里的数据和假设仍要人来核实，视觉设计中的创意也未必能准确落进最终作品。但方向是清楚的：模型正在从「生成内容、完成单项任务」，转向「按目标交付结果」的工作方式。

写在最后：从测试人的视角，再往深处想一层

以上是测评本体。作为常年在软件质量这条线上打转的人，这一轮实测下来，有几件事值得单独拎出来聊聊——它们和「Hy4 强不强」无关，和「我们该怎么测大模型」有关。

其一，任务式评测的本质是把测试用例设计前置。 我们这次没有跑任何标准榜单，而是把真实工作任务直接当用例来用。这带来一个经典问题：判定标准（oracle）是什么？游戏「能上线」是清晰判定，但「好玩吗」就不是。设计这类评测时，最好在动手之前就把每道题的通过口径写死——哪些是硬性断言（调度无冲突、单据差异无遗漏），哪些是软性评价（设计质感、演示体验），否则结论很容易被执行过程中的主观感受带偏。

其二，自动化模拟证明正确性，不证明有用性。 模型自己写模拟脚本、跑 20 波对局、按断言验证数值平衡，这套动作已经很接近一个自洽的测试左移流程。但模拟覆盖的是确定性规则空间，「好玩」「好用」这类主观质量属性仍在覆盖之外。这和传统测试里「功能测试全绿 ≠ 验收测试能过」是同构的——规则能自动化的部分让模型干，主观质量属性的部分保留人工验收，两者别互相替代。

其三，证据约束是提示技巧，更是可迁移的测试方法。 单据核对那道题里，「区分记录差异与已证实事实、不得推断图外信息」这条约束，本质上是在给模型上判定边界。同样的思路完全可以搬进缺陷报告审核、日志归因这类日常测试工作：要求每一项结论都挂证据，把「猜测」从结论降级为待验证假设。Hy4 在这道题上守住了大部分边界，但计数错误和「凭署名推断填写方式」这类无依据外推提醒我们——约束写进提示词，不等于模型每一步都会执行，抽查复核仍然必要。

其四，长程任务里，过程证据比单点分数值钱。 三轮塔防的耗时（14m10s / 18m / 23m18s）、每轮发现的问题类型（数值失衡→架构兼容→地图扩展性）、以及失败后的修复路径，这些执行轨迹的信息量远大于一个综合得分。建议做模型评测的团队把执行轨迹留存下来当回归基线：下一版模型跑同样的任务序列，对比的不是分数，而是「在哪一步摔跤、摔了之后怎么爬起来」。

其五，模型自测是双刃剑。 第二轮里模型主动发现 38 座塔满血通关，随即自加 16 个布防位上限——这说明它内化了「构造破坏性用例」的意识，这是好事。但换个角度，运动员兼任裁判：它测试自己写的代码，测试思路和实现思路共享同一套假设，盲区会继承。给被测系统配独立视角的验收用例（这次是真人试玩 + 朋友体验），在 AI 自主开发的流程里不是可选项，而是必需品。

其六，视觉类输出没有唯一正解，评测要靠量表而不是感觉。 海报、PPT 这类产出，「好」高度主观，靠一票定性很容易变成「我觉得」。更可操作的做法是拆维度打分：创意辨识度、概念-实现一致性、信息层级、可延展性，各设 1-5 分量表，多人独立盲评后汇总。这次实测里「设计释义比设计本身精彩」的现象，其实就对应着「概念-实现一致性」这个维度的失分——如果只给一个总分，这个信号就会被平均掉。

其七，指标要能复现才有意义。 幻觉率从 12.95% 降到 7.2% 是很漂亮的数据，但复现它需要知道口径：什么算幻觉、测试集多大、谁来判定、判定的等级怎么分。希望后续的 System Card 和开源生态能把评测脚本和数据集一并放出来——毕竟，一个跑不通的指标和没有指标，可信度上没有区别。

其八，提示词就是测试输入，要按用例管理而不是聊天记录。 这次的每道题——塔防的三轮递进需求、调度题的四项子任务、单据核对的证据约束——本质上都是精心设计的测试输入。它们有三个共同特征：目标明确、步骤可复现、结果可判定。建议团队把这类提示词沉淀成「评测用例库」：编号、前置条件、输入、期望产出、判定规则一应俱全。模型升级时跑一遍同一套用例，就能得到可比的横向结论，而不是每次都临时起意换题。

其九，把「耗时和干预次数」当性能指标来观测。 55 分钟、18m57s 对 20m31s、快了近 2 分钟——这些数字在传统性能测试里对应的是响应时间与资源消耗。对 Agent 类模型来说，端到端耗时、中途需要人工授权/纠偏的次数、重试轮次，共同构成了「自治成本」。一个能力打 90 分但要人盯全程的模型，综合成本未必低于一个 85 分但全程托管少干预的模型。评测报告里应该同时给出这两条曲线。

最后给同行一份行动清单：把大模型同时当「被测对象」和「测试工具」来看。作为被测对象，用任务式评测 + 过程留痕 + 独立验收去压它；作为测试工具，可以试着让它写断言、跑模拟、做数据核对初筛——Hy4 在这几个环节的表现已经达到了「能进流水线」的门槛。两条线并行推进，大概才是测试人面对这一代模型最务实的姿势。

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。