让 AI“读懂”玩法：三条从观察到规则的路径，与一个被高估的捷径

上一篇文章聊的是“识别操作”——屏幕上有什么、玩家在做什么。但操作之上还有一个更根本的问题：规则是什么？ 知道敌人在哪、血条多少，不等于知道“为什么打它掉血”“为什么这个技能现在不能用”“什么条件下算赢”。这些是玩法的底层逻辑，人类玩家靠说明书和试错积累，而 AI 需要另一种方式去获取。

目前让 AI 识别游戏玩法的尝试，大致落在三个层次上。越往上，对“理解”的要求越高，工程上越不成熟，但离真正的“会玩”也越近。

最直接的一条路：让模型从游戏轨迹里反推规则代码。 2026 年发表的一项研究做了这件事：用大语言模型从游戏过程数据中逆向工程出 Video Game Description Language（VGDL）规则。研究者从 GVGAI 框架里选了九款代表性游戏，比较两种策略——一种是从观察直接生成代码，另一种是分两步走，先推断出一个结构因果模型（SCM），再翻译成 VGDL。结果是后者明显更好：在盲评中，SCM 方法生成的规则描述与真实规则的接近程度胜率达到最高 81%，逻辑不一致的规则也更少。

这个结果值得细看。直接让模型“看几局游戏然后写出规则”，听起来很自然，但模型容易抓错因果关系——看到角色碰到金币后分数增加，未必能推出“金币导致加分”而不是“时间流逝导致加分”。先强制模型构建一个因果图：什么导致什么、什么阻止什么、什么允许什么，然后再翻译成规则代码，相当于逼它先把逻辑理顺再动笔。这个中间步骤本身也很有用：学到的因果模型可以用于下游的因果强化学习、可解释智能体，甚至生成新的但逻辑一致的游戏。

但这条路有一个隐含前提：你得有干净的轨迹数据，而且游戏规则本身是可形式化的。 VGDL 是一套结构化的描述语言，适合街机风格的简单游戏。换成《塞尔达》那种规则藏在对话和物品描述里的游戏，或者《文明》那种数百条相互作用的机制，从轨迹反推完整规则的难度会指数级上升。

往上一层，是让智能体在交互中自己“悟”出玩法。 Voyager 在《我的世界》里的做法是另一个思路：不追求一次性写出完整规则，而是让 GPT-4 根据当前状态和已有技能库，生成一段可执行的代码（比如“砍一棵树”“做一把木镐”），执行后根据环境反馈和报错来迭代改进。技能以代码形式存进库，下次遇到类似情境直接复用。结果是它获得的独特物品是之前最好方法的 3.3 倍，解锁关键科技树里程碑的速度快 15.3 倍。

这条路精妙的地方在于，它把“识别玩法”拆解成了“识别下一步能做什么”。Voyager 不需要知道《我的世界》的完整合成表，它只需要在当前状态下试出一个能推进进度的动作，把代码存下来，然后继续。规则是在无数次“试错—报错—修正”中隐式积累起来的。论文里有一个细节：Voyager 的技能库在换到新世界后依然能用，说明它学到的东西有一定的泛化能力，不是死记硬背。

但它的局限也很明显：它只适用于有明确反馈信号的环境。 《我的世界》里挖错方块不会死，合成失败有报错，这些信号让迭代成为可能。换成需要长线规划、失败代价高昂的游戏，这种“边试边学”的方式成本会高到不可接受。

第三条路最“像人”，但也最依赖模型本身的推理能力。 有研究提出了一个叫 Cogito, Ergo Ludo 的智能体架构，核心是一个语言世界模型：LLM 在每局游戏结束后做一次复盘，分析轨迹，同时更新两样东西——对游戏规则的理解，和对策略的理解。和 Voyager 不同，它不生成可执行代码，而是维护一套自然语言描述的规则和玩法手册。比如“在这个游戏里，先行动的人有优势”“当对手只剩一张牌时，出大牌压制”。这些描述是可读的，人类能看懂它在想什么。

这个方向在简单游戏上有效，但放到复杂游戏里，问题就暴露了。Orak 基准测试里有一个很能说明问题的数据：在《Baba Is You》第一关，GPT-4o 纯文本输入得分 20.0，图像输入只有 6.7，文本加图像回到 20.0；而 Gemini-2.5-pro 文本 73.3，图像 20.0，两者结合 86.7。这说明模型对玩法的理解高度依赖输入形式。同一款游戏，给文字规则它能推理，给截图它就抓瞎。而大多数游戏并不会给你一份机器可读的规则说明书。

那有没有捷径？有，而且被严重高估了。 很多人第一反应是：让多模态模型直接看游戏视频，然后总结玩法。2025 年有一篇知乎文章尝试了这个思路：用 scenedetect 切分场景、Whisper 转写解说语音、GPT-4o-mini 逐段描述，最后拼出一份玩法规则。听起来很合理，但实际效果取决于解说视频的质量——如果 UP 主自己都没讲清楚核心循环，模型也总结不出来。而且这条路的产出是一份“人类可读的描述”，不是机器可执行的规则。你拿着这份描述去写自动玩脚本，中间还得靠人翻译。

真正把“看视频”做到极致的是 NitroGen：用 4 万小时、超过 1000 款游戏的视频数据训练一个视觉-动作模型，输入像素，输出手柄按键。它在未见过的游戏上微调后，某些任务的成功率比从零开始高 52%。但仔细看，NitroGen 学的是操作层面的映射，不是玩法层面的规则。它知道“看到这个画面该按什么键”，但你说不出它是否理解“为什么按这个键能赢”。这和上一篇文章聊的“识别操作”是同一类问题，只是规模更大。

所以，回到一个务实的问题：如果你想让 AI 真正“懂”一款游戏的玩法，应该从哪里下手？ 最可控的起点是找到规则的结构化表达——哪怕是部分规则。VGDL 那类研究证明了，只要规则能被形式化描述，LLM 就有能力从轨迹中反推出接近真实的版本。次优的选择是在有明确反馈的环境里让智能体自己积累技能，Voyager 的模式适合沙盒类、生存类游戏，那里试错成本低、反馈及时。最不推荐的是指望多模态模型看几段视频就学会玩法——它可能说出一套听起来合理的话，但经不起“那你打一局给我看看”的检验。

还有一个容易被忽略的事实：游戏玩法识别和游戏操作识别面临的根本困难不同。 操作识别的问题在感知层——像素抖动、延迟、遮挡。玩法识别的问题在推理层——因果关系、隐藏机制、长线依赖。前者可以靠更好的模型和更多的数据来缓解，后者需要的是结构化的先验知识和可验证的推理过程。把两者混为一谈，用同一套“多模态大模型看屏幕”的方案去解决，结果就是操作识别勉强能用，玩法识别一塌糊涂。

真正有意思的工作，可能出现在两条线的交叉点上：用操作层的感知数据去喂玩法层的推理，但玩法层的输出必须是可检验的——一段能跑的代码、一个能验证的因果图、或者一套在留出测试中确实能赢的策略。否则，所谓“AI 读懂了玩法”，不过是一段读起来通顺的幻觉。