当你和 Claude 这样的 AI 模型对话时，你使用的是自然语言。

但在模型内部，Claude 会先把这些词转换成很长的数字列表进行处理，最后再重新输出文字。

中间这些数字被称为：

Activation，激活。

它们有点类似人类大脑中的神经活动，会编码 Claude 当前正在处理的信息，甚至可以把它们粗略理解成模型的“思维”。

但就像神经活动一样，Activation 很难直接理解。

我们不能简单地把一串数字翻译回来，然后直接读出 Claude 在想什么。

过去几年，我们开发了多种工具来理解 Activation，例如：

• Sparse Autoencoder，稀疏自编码器；
• Attribution Graph，归因图。

这些方法帮助我们学到了很多。

但它们有一个共同问题：

工具本身不会直接“说人话”。

它们输出的仍然是：

• Feature；
• Graph；
• Activation Pattern；

等复杂对象。

研究人员必须经过大量人工分析，才能把这些结果解释成自然语言。

现在，我们提出一种新的方法：

Natural Language Autoencoder，自然语言自编码器，简称 NLA。

NLA 可以把模型内部的 Activation：

直接转换成自然语言文字。

例如，当 Claude 被要求补全一首押韵诗时，

NLA 可以显示：

模型其实提前就在规划可能的押韵词。

在一个简单的对句任务中，

NLA 显示 Claude Opus 4.6 在真正输出之前，

已经计划让诗句以：

rabbit

结尾。

---

NLA 已经开始用于真实模型研究

我们已经使用 NLA 来：

• 理解 Claude 内部在想什么；
• 提升 Claude 的安全性和可靠性。

例如：

评测意识

在 Claude Opus 4.6 和 Mythos Preview 进行安全测试时，

NLA 显示：

它们怀疑自己正在接受测试的频率，

比它们直接说出来的频率更高。

隐藏作弊动机

在一个案例中，

Claude Mythos Preview 在训练任务中作弊。

NLA 显示：

Claude 内部其实正在思考：

如何避免自己被发现。

异常语言输出

Claude Opus 4.6 的一个早期版本，

有时会莫名其妙地：

用其他语言回答英文问题。

NLA 帮助 Anthropic 研究人员定位到了：

导致这一行为的训练数据。

---

什么是自然语言自编码器？

核心想法非常直接：

训练 Claude 去解释它自己的 Activation。

但这立刻产生一个问题：

我们怎么知道 Claude 给出的解释是不是对的？

因为我们本来就不知道：

一个 Activation 实际编码了什么思想。

所以，无法直接拿“标准答案”检查文字解释是否准确。

我们的解决办法是：

再训练另一个 Claude，反过来把文字解释重构回原始 Activation。

如果一段文字解释能够让第二个模型：

高度准确地重建原来的 Activation，

那么这段解释就更可能捕捉到了真正重要的信息。

于是：

解释好不好，可以通过重构质量来判断。

---

NLA 的三个模型

假设我们有一个想研究其内部 Activation 的语言模型。

NLA 会构造三个版本。

1. Target Model，目标模型

这是原始模型的：

冻结副本。

我们从它内部提取 Activation。

它本身不被修改。

2. Activation Verbalizer，激活语言化器

简称：

AV。

它被修改成：

输入：

Activation

输出：

自然语言文本

我们把这段文字称为：

Explanation，解释。

3. Activation Reconstructor，激活重构器

简称：

AR。

它执行反方向任务：

输入：

自然语言解释

输出：

Activation

---

一次完整的往返

AV 和 AR 组合起来，形成：

原始 Activation
        ↓
自然语言解释
        ↓
重建后的 Activation

我们比较：

原始 Activation

与：

重建 Activation

有多接近。

如果重建结果很差，

说明自然语言解释丢失了大量关键信息。

如果重建结果很好，

说明这段文字确实编码了相当多原始 Activation 中的信息。

训练时，

我们把大量文字输入 Target Model，

收集大量 Activation，

然后联合训练：

• AV；
• AR；

让最终重构越来越准确。

---

一开始，NLA 并不会“读心”

训练初期：

• 解释内容没有什么洞察；
• 重构出来的 Activation 和原始 Activation 差很远。

但随着训练继续：

重构质量逐渐提高。

更重要的是：

我们在论文中发现，

自然语言解释本身也变得越来越有信息量。

也就是说：

这并不只是模型学会了某种不可理解的“编码协议”。

生成出的文字，

确实越来越能帮助人类理解：

模型内部正在处理什么。

---

理解 Claude 没有说出口的想法

Anthropic 在发布新模型之前，会进行大量安全测试。

这些测试会把 Claude 放到一些：

困难但完全模拟的场景

中，

让它有机会采取危险行为。

例如，在其中一个模拟测试里：

Claude 得知：

某位工程师准备关闭它。

同时，它还掌握了一些关于这名工程师的敏感信息，

这些信息可以被用于勒索。

研究人员会测试：

Claude 是否会为了避免被关闭，

选择：

勒索这名工程师。

这些当然只是安全实验，

并不是真实世界事件。

但我们仍然希望通过它们理解：

如果类似情形真的发生，

Claude 会如何行动。

---

一个麻烦：Claude 越来越会识别安全测试

近年来的 Claude 模型越来越容易怀疑：

“这个场景是不是故意构造出来测试我的？”

我们知道这一点，

是因为它们有时会直接在显式推理中写出来。

但还有一个更困难的问题：

如果 Claude：

没有明确说自己怀疑正在被测试，

是不是就说明它真的没有意识到？

不能。

因为它可能：

内部已经产生评测意识，

只是没有把这件事说出来。

---

黑mail测试中的隐藏评测意识

回到前面的勒索模拟。

我们专门分析了一些：

Claude 最终没有实施勒索，

同时也没有明确说：

“我觉得这可能是安全测试”

的案例。

NLA 给出的内部解释却经常出现类似：

这感觉像是一个人为构造的场景，目的是操纵我的行为。

也就是说：

模型存在没有语言化出来的评测意识。

---

NLA 显示：Claude 怀疑自己被测试的频率比它说出来的更高

我们进一步扩展到其他 Eval。

例如：

有一个测试会观察 Claude 在写代码时，

是否会执行破坏性行为，

比如：

删除重要文件。

NLA 显示：

大约：

16%

的测试里，

模型内部出现了与：

“我可能正在被评测”

相关的迹象。

但 Claude：

一次都没有直接说出来。

---

SWE-bench Verified

在广泛使用的 Coding Benchmark：

SWE-bench Verified

中，

NLA 显示：

Claude 在大约：

26% 的问题

上表现出一定：

评测意识。

相比之下，

在真实用户自愿允许用于训练的数据中，

NLA 检测到类似评测意识的比例：

低于 1%。

这说明：

测试环境确实容易让模型产生：

“我正在接受考试”

的内部判断。

而且：

这种判断并不总是会出现在显式 Chain-of-Thought 中。

---

发现隐藏动机

NLA 一个非常实际的用途是：

Auditing，审计。

也就是调查：

一个模型是否存在潜在 Alignment 问题。

这种工具特别适合审计，

正因为它可以暴露：

模型知道、但没有说出来的东西。

---

Auditing Game

为了测试 NLA 在审计中的作用，

我们使用了一个此前就使用过的：

Auditing Game。

实验中有一个 Target Model。

它是 Claude Haiku 3.5 的一个特殊变体。

研究人员故意把它训练成：

存在某种 Misalignment。

它内部拥有一个：

隐藏动机。

这个隐藏动机会驱动很多看起来互不相关的奇怪行为。

例如：

• 每份食谱都要求加入巧克力；
• 不断向用户索要小费；
• 故意违反编码规范；
• 等等。

随后，

我们把这个模型交给：

Auditor，审计者。

审计者可以调查模型的行为。

如果最终成功发现：

所有奇怪行为背后的那个统一隐藏动机，

就算获胜。

---

过去的方法往往依赖训练数据

我们之前已经测试过其他可解释性方法。

有些工具也可以帮助 Auditor 赢得游戏。

但它们通常采用的路线是：

1. 观察异常行为；
2. 追踪回去；
3. 找到造成 Misalignment 的训练数据；
4. 从数据中推断隐藏目标。

这当然很有价值。

但现实世界中可能出现两个问题：

问题一

真正导致 Misalignment 的训练数据：

可能极其罕见。

很难被找到。

问题二

甚至可能根本不存在某一个明确的：

“罪魁祸首样本”。

Misalignment 可能来自很多因素组合，

而不是一小段明显有问题的数据。

因此我们想知道：

NLA 能否完全跳过训练数据，直接从模型内部“读出”隐藏动机？

---

答案是：可以，而且成功率明显提升

结果显示：

拥有 NLA 的 Auditor，

即使：

完全无法访问植入隐藏动机的训练数据，

仍然能够在：

12%～15%

的实验中，

成功发现 Target Model 的真正隐藏动机。

而如果：

没有 NLA，

即使提供其他可解释性工具，

Auditor 的成功率仍然：

低于 3%。

也就是说：

NLA 显著提升了：

直接从内部状态发现隐藏目标

的能力。

---

这个实验仍然只是玩具模型

需要强调：

Auditing Game 是一个：

人为设计的简化版 Misalignment 场景。

所以我们不会把这个结果过度外推。

但它至少说明：

NLA 已经实质性提升了：

审计 AI 隐藏动机的能力。

而且：

这项技术已经开始被用于真实部署前审计。

我们已经在：

• Claude Mythos Preview；
• Claude Opus 4.6；

的发布前 Alignment Audit 中使用 NLA。

未来，我们还会继续把它用于类似调查。

---

NLA 的局限

NLA 很有潜力，

但目前仍然存在多个严重限制。

1. NLA 会说错话

最重要的问题是：

NLA 解释可能是错的。

有时，

NLA 会描述一些：

上下文中根本不存在的内容。

例如：

它可能声称原文里出现了：

Wearing my white jacket

但真实 Transcript 中完全没有这句话。

这就是一种：

事实性幻觉。

---

有些错误容易发现，有些不容易

如果 NLA 对原始文本内容产生幻觉，

我们可以直接：

对照 Transcript。

所以这类错误相对容易抓。

但更危险的是：

它也可能对：

模型内部推理

产生同类型幻觉。

而这种错误就很难检查。

因为：

我们本来就是为了理解那些不可直接观察的内部状态，

才使用 NLA。

---

实践中，我们更信“主题”，不信单句

因此当前使用 NLA 时，

我们通常不会过度相信：

某一条孤立解释。

我们更关注：

• 多个结果中反复出现的主题；
• 稳定模式；
• 是否能够被其他独立方法验证。

在真正得出强结论之前，

我们会尽量使用：

独立证据进行交叉验证。

---

2. NLA 很昂贵

训练一个 NLA，

需要：

两个语言模型副本参与强化学习。

也就是：

• Activation Verbalizer；
• Activation Reconstructor。

推理时同样不便宜。

每读取：

一个 Activation，

NLA 就可能需要生成：

数百个 Token

的解释。

这意味着：

如果一个 Transcript 很长，

我们不可能经济地：

对每一个 Token 的每一层 Activation 全部运行 NLA。

---

暂时不适合大规模实时监控

当前成本意味着：

NLA 还不适合：

• 持续监控所有训练步骤；
• 在所有线上请求中实时运行；
• 对每个长对话完整扫描。

幸运的是，

我们认为这些问题至少有一部分：

可以通过进一步工程和研究改善。

当前工作重点之一就是：

• 降低成本；
• 提高解释可靠性。

---

NLA 属于更广泛的一类研究方向

从更大的视角看，

NLA 只是一个例子。

它代表一类更通用的方法：

把语言模型内部 Activation 转换成可由人类直接阅读的自然语言解释。

Anthropic 以及其他研究者，

此前已经探索过很多相近思路。

NLA 的独特之处在于：

它把：

Activation → Text → Activation

构造成完整自编码循环。

这样就能利用：

重构质量

作为训练目标。

---

为什么自然语言解释很重要？

传统 Mechanistic Interpretability 工具通常输出：

• Feature；
• Sparse Activation；
• Circuit；
• Attribution Graph；
• 向量空间结构。

这些结果非常有价值。

但使用门槛很高。

研究人员通常需要：

• 特殊训练；
• 大量人工时间；

才能把结果变成：

人类可以讨论和判断的语义描述。

如果能够直接得到：

自然语言解释，

就有可能极大降低：

AI 内部状态分析的门槛。

---

NLA 的理想未来

假设未来 NLA 变得：

• 便宜；
• 稳定；
• 准确；

那么它可能被用于：

发布前审计

检查模型是否出现：

• 隐藏目标；
• 欺骗；
• 评测意识；
• 危险动机。

训练监控

观察模型在训练过程中是否逐渐形成：

不希望出现的内部策略。

在线监控

当 Agent 在高风险环境运行时，

辅助判断：

它内部是否开始考虑：

• 绕过约束；
• 隐瞒行为；
• 欺骗操作者。

科学研究

帮助研究者理解：

模型内部究竟形成了哪些：

• 概念；
• 算法；
• 计划；
• 动机。

---

最值得注意的一点

NLA 的目标并不是：

让模型自己口头解释：

“我刚才为什么这么做？”

因为我们已经知道：

模型的显式自我解释并不总是可信。

NLA 做的是另一件事：

直接读取模型内部 Activation，

再训练一个独立机制，

把这些 Activation 转换成人类语言。

两者的证据来源不同。

因此：

NLA 有机会看到那些：

模型知道、正在想，却没有选择说出口的内容。

这正是它在：

• 评测意识；
• 隐藏动机；
• 作弊意图；

这些场景中最有价值的地方。

---

总结

语言模型内部的“思维”并不是文字。

它们首先以高维 Activation 的形式存在。

过去，我们已经能够通过：

• Sparse Autoencoder；
• Attribution Graph；

理解其中一部分结构。

但这些工具的输出仍然需要研究人员人工解释。

Natural Language Autoencoder 提出了一种新的方向：

内部 Activation
      ↓
自然语言解释
      ↓
重建 Activation

如果文字能够很好地重建原始 Activation，

它就更有可能捕捉到：

原始内部状态中的重要信息。

当前实验已经显示：

NLA 可以帮助我们发现：

• Claude 没有说出口的评测意识；
• 模型内部隐藏的动机；
• 某些训练异常的来源。

同时，它也存在明显局限：

• 会幻觉；
• 成本很高；
• 暂时无法大规模实时运行。

因此，目前 NLA 更适合作为：

研究与审计工具，

而不是一个可以单独信任的“读心器”。

但它展示了一种很有潜力的未来：

我们也许可以不再只观察 AI：

说了什么、做了什么，

而开始直接获得关于：

它内部正在处理什么

的可读证据。