Constitutional AI：通过 AI 反馈实现无害性

随着 AI 系统能力不断增强，我们希望能够借助 AI 本身，来监督其他 AI。

我们尝试了一套训练“无害 AI 助手”的方法：模型通过自我改进来学习减少有害行为，而整个过程中，不需要人类逐条标注哪些输出是有害的。

人类唯一提供的监督，是一组规则或原则。

因此，我们把这种方法称为：

Constitutional AI，宪法式 AI。

整个训练流程包含两个阶段：

• 监督学习阶段；
• 强化学习阶段。

监督学习阶段

在监督学习阶段，我们首先从一个初始模型中采样回答。

然后让模型：

1. 对自己的回答进行批评；
2. 根据这些批评修订原始回答；
3. 使用修订后的回答继续微调原始模型。

也就是说：

模型会先生成一个可能存在问题的回答，

再依据一套原则对自己进行：

• 自我批评；
• 自我修订。

随后，

这些修改过的回答会被作为训练数据，

用于进一步训练模型。

强化学习阶段

在强化学习阶段，

我们从前面已经经过微调的模型中生成多个回答。

然后使用另一个模型判断：

两个回答中哪一个更好。

基于这些由 AI 做出的偏好判断，

我们训练一个：

Preference Model，偏好模型。

之后，再把这个偏好模型产生的评分作为奖励信号，

进行强化学习。

也就是说，

我们使用的是：

RL from AI Feedback，RLAIF，来自 AI 反馈的强化学习。

结果

通过这种方法，

我们能够训练出一种：

既无害，又不过度回避的 AI 助手。

面对有害请求时，

它不会简单地：

• 拒绝回答；
• 回避问题。

相反，

它能够参与对话，

并解释：

为什么它反对或不能协助完成这类请求。

监督学习和强化学习这两个阶段，

都可以利用类似：

Chain-of-Thought，思维链

的推理方式。

这样可以提高：

• 人类评价下的模型表现；
• AI 决策过程的透明度。

总体而言，

这些方法让我们能够：

以更少的人类标注，更精确地控制 AI 行为。