教 AI“看懂”游戏：识别操作的三层境界，与一个被忽略的真相

让 AI 玩游戏，第一道关卡从来不是“怎么打”，而是“看到了什么”。游戏画面里同时发生着太多事：角色在动、血条在变、技能在转、弹窗在跳。人类玩家靠眼睛和直觉就能在零点几秒内完成筛选，但要让机器做到同样的事，工程量远比想象中大。

目前把“识别”和“操作”串起来的方案，大致落在三个层次上。每一层对“看懂”的定义不同，适用的游戏类型和最终效果也截然不同。

最底层、也最成熟的做法，是把“识别”拆成几个具体的目标检测任务。 Marvel Rivals 有一个开源检测套件，训练了四个 YOLOv8 模型分别干四件事：认英雄（37 个不同角色，最终 mAP50 做到 0.825）、分敌我（蓝框队友、红框敌人，mAP50 0.847）、估算血量档位（满血、高血、半血、低血、空血，mAP50 0.642）、识别 UI 状态（技能冷却、大招充能、自身血量，mAP50 0.869）。这个项目从认不出 25% 的英雄起步，迭代了 115 天，经历了多轮数据采集、标注、训练和评估。它的诚实之处在于列出了局限性：模型主要用默认皮肤训练，换一套花哨的皮肤可能就认不准了；血量检测还需要更多数据才能达到可用精度。

这条路的好处是可控。每个模型只负责一件事，出了问题能定位到具体环节。但代价也很明显：它识别的是“元素”，不是“局面”。 知道敌人在哪、血还剩多少，不等于知道该冲锋还是该撤退。策略层仍然需要另外搭建，或者交给更上层的模型去处理。

往上一层，是用多模态大模型直接“读”屏幕。 有一个 Android 端的游戏智能体项目走的就是这条路：用 MediaProjection 持续截屏，把画面缩放后编码成 base64，发给 OpenAI 兼容的多模态模型，模型返回标准化的动作 JSON（点击、滑动、长按、等待），再通过无障碍服务注入手势。整个流程不需要针对任何游戏训练专用模型，换一个游戏只需要换一套提示词和知识库。它还带了一个朴素但实用的“知识库”机制：每轮请求把历史经验注入 system prompt，模型如果输出了新的经验，就自动追加到本地文件里。

这条路在回合制或节奏较慢的游戏中勉强能跑，但延迟是硬伤。截屏、编码、上传、推理、返回、执行，这一圈下来在实时战斗里就是送死。腾讯 WeTest 在讨论 LLM 驱动的游戏测试时也承认，传统基于坐标和图像匹配的脚本“对 UI 元素变化极度敏感”，而 LLM 多模态模型的优势在于能理解“那个红色的关闭按钮”这类语义，不需要为每个元素写定位代码。但这是测试场景，允许秒级的响应时间；放到需要实时操作的场景里，语义理解的优雅就得给延迟让路。

最反直觉、也最值得玩味的一层，是识别“操作本身”。 前面两层关注的是“屏幕上有什么”，这一层关注的是“玩家在做什么”。Mousify 这个工具走的就是这个方向：它解析《魔兽世界》《Dota 2》等游戏的日志，把击杀、死亡、技能释放序列提取出来，生成可视化的时间轴。它的目的是复盘，不是自动操作，但它揭示了一个被忽略的事实：游戏日志里藏着比屏幕截图更干净、更结构化的操作信息。 技能什么时候放的、放了什么、目标是谁，日志里写得清清楚楚，不需要靠像素去猜。

把这个思路反过来用，就是自动化：不猜“画面里发生了什么”，而是直接问“日志里记录了什么操作”。但前提是你得能读到日志，而线上游戏的日志接口通常不对第三方开放。这也是为什么真正在复杂游戏里跑通的自动化方案，要么走私服数据包，要么走游戏本身提供的 API，而不是硬啃屏幕像素。

那纯粹靠视觉的方案，在什么情况下真正值得用？答案是：当游戏不给你任何结构化接口，而你又愿意接受“慢半拍”的时候。 AimingAI 那个通用视觉辅助框架提供了另一个视角：它用 YOLO 做实时目标检测，但把识别结果交给一个基于 IOU 的跟踪算法来维持目标锁定，而不是每一帧都重新决策。这个设计很聪明——它承认了单帧识别的不可靠性，用跟踪来平滑抖动。但即便如此，它瞄准的是 FPS 游戏里的“目标”，而不是“该不该开枪”这种战术判断。

一个几乎没人明说的问题是：识别精度和操作时机之间，存在一个根本性的矛盾。 你把检测阈值调低，能认出更多目标，但误报也跟着上来；调高，漏报就来了。YOLO 在 Marvel Rivals 上 0.825 的 mAP50 听起来不错，但放到实战里，每五帧错一帧就足以让 AI 做出一个灾难性的决策。人类玩家能容忍模糊和误差，因为大脑会自动补全和纠错；机器目前还做不到这一点，它只能靠更频繁的检测和更保守的策略来对冲。

所以，如果你真的想让 AI 在一个游戏里“看懂操作并执行”，最务实的选择不是从视觉开始，而是先问一句：这个游戏有没有日志、API、或者任何可以结构化读取的状态通道？ 如果有，优先走那条路，把视觉留给真正需要它的场景。如果只能靠看屏幕，那就接受一个事实：你造的 AI 不是一个“玩家”，而是一个反应比人类慢、精度比人类低、但永远不会累的自动化工具。它适合做重复性的日常任务，不适合做需要瞬间判断的竞技对抗。

识别是手段，不是目的。AI 不需要“看见”和人类一样的东西，它只需要看见足以做出正确决策的东西。至于那个东西是像素、是日志、还是数据库里的一行记录，取决于你愿意在“公平”和“效率”之间站在哪一边。