不按按钮的“点赞”：Sabi 用脑电波做强化学习奖励

引言

RLHF 把人类偏好压缩成二元选择，模型被拉向大众共识。10月29日，可穿戴脑机接口公司 Sabi 发布 RLNF（神经反馈强化学习）：不让人打分，直接用被试看图时的脑电（EEG）和眼动当奖励，微调图像生成模型。样本很小，但思路值得拆开看。

一、实验是怎么搭的

5名被试被动观看420张“锚点”人脸，同时记录 EEG 与眼动，无需按键。以后顶叶 alpha 波（8–13 Hz）抑制为代表的唤醒特征，可在每位被试身上以高于随机的水平解码个人颜值偏好。单次试验 AUC 为 0.62–0.76，10次试验平均后最高 0.98。

二、从噪声信号到可训练的奖励

1. 把420张锚点人脸投影到 ArcFace 嵌入空间，每张带有神经打分；
2. 用 k 近邻 Nadaraya-Watson 核估计（k=40，tau=0.1）插值，为任意新生成人脸算出连续奖励，不需要 LLM 裁判；
3. 用该奖励跑在线 GRPO，对 FLUX.2 Klein 4B 的 rank-64 LoRA 训练5轮，每轮32,768条 rollout。

脑信号只标定少量锚点，嵌入空间的平滑插值把“稀疏而嘈杂”变成“稠密可用”。

三、效果与局限

据 Sabi 自测，第5位被试的保留样本中，远离不喜欢特征的偏移为 -0.246（群体平均打分仅 -0.112），朝向喜欢特征为 +0.227（对比 +0.162）。

局限：只有5人、只做人脸吸引力；每人需先校准；未开放权重也未公布硬件价格，无法独立复现；脑数据隐私极其敏感。

这意味着什么

1. 奖励信号的“带宽”正成为对齐的新瓶颈，RLNF 提供绕开显式标注的路线，但离实用还远。
2. 个性化对齐可能从“提示词写偏好”走向“从隐式信号持续学习偏好”。
3. 当奖励来自大脑，模型优化的是“让你更兴奋”，不等于“对你有益”。现在更合理的态度是把它当作概念验证。