不训练、不求梯度，直接“改权重”.把 Qwen3.5-0.8B 的 MATH-500 从 7.9% 拉到 48.1%

过去几年，我们习惯让大模型去优化文本：提示词、Agent 脚手架，甚至训练代码。但神经网络的权重一直是 Adam、Muon 这类符号优化器的领地。11 月 2 日，MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 发布博客，提出“权重空间编程”：让通用前沿 LLM 直接读、写、改另一个网络的权重，不经梯度下降。结果有些惊人，也有清晰的边界。

一、读：只看权重，就知道网络学了什么

实验 1 中，四个结构相同的小 MLP（共 17,253 个权重）分别用 PPO 训练玩 Breakout、Pong、Pac-Man、Freeway。GPT-6 Astra 只拿到原始权重文本，不知道候选游戏，却四个都答对，线索来自第一层权重的分布（如 Breakout 的“智能体”通道集中在底行，即挡板）。

实验 3 只给 7.2M 参数字符级 Transformer 的中间四个块，Astra 仍能判断它训练于 Python、罗马音日语还是英语，并找出全部“复制头”，与实测一致。

但实验 7 失败了：仅凭权重，Astra 四次都无法区分 Gemma 3 270M 的“谄媚”与“诚实”版本；放宽到可观察注意力模式后才三组全对。

二、写：零训练生成可用的网络

实验 5 中，Astra 不跑游戏、不用工具，一次性写出 MinAtar 三个游戏的策略网络权重。作者报告都超过训练 1 亿步的 PPO；对比 5 亿步 PPO，Breakout 517.4 对 25.3，Asterix 53.2 对 55.2，Seaquest 53.1 对 88.9。

实验 6 是 148 万参数的 9×9 围棋网络：0 次前向传播即可战胜两个小 PPO 网络过半对局；50 次前向传播后超过用 2000 万局训练的同尺寸 PPO。

三、改：0.016% 的权重，修好“思考循环”

Qwen3.5-0.8B 开启思考时易陷入循环，93% 的 MATH-500 回答撞到 32,768 token 上限。Astra 把问题定位到第 15、19 层 MLP 写入的一个方向，从各 64 个输出列（共 131,072 个权重，占 0.016%）中减去它。

预算很关键：10 或 25 次前向传播时，MATH-500 仅 12.3%、14.1%，循环几乎没消除。

四、边界：只能“移除障碍”，不能“添加能力”

对很少循环的 Gemma 3 270M，Astra 找到的是普通算术和代数错误，没有单一组件可关，MATH-500 始终在 6.8%–7.7%。权重编辑能去掉遮蔽能力的故障，却不能增加模型没有的能力。

对开发者意味着什么

• “修”可能比“训”便宜：针对循环、拒答等定位明确的缺陷，或许不再需要数据和微调，也较少遗忘；但证据目前只来自一个 0.8B 模型。
• 审计新思路：无需测试集，直接从权重找后门。这是作者展望，实验 7 说明现在还做不到稳定。
• 审慎看待数字：这是作者博客，非同行评审；基线 7.9% 本身被循环拖得极低，“提升 6 倍”更多反映故障修复而非能力增长。作者公开了完整日志，Hugging Face 的 Ahsen Khaliq 也重建并重跑了评测，值得自行复现。
• 成本未知：Astra 的推理与工具调用开销未披露，与小规模 LoRA 相比是否划算尚无结论。

结语

“权重空间编程”目前只是“火花”：小网络、受控任务、前沿模型当操作员。但它指向一个有趣的方向：LLM 不只是被训练的对象，也能成为训练与调试的“编译器”。