过去几年，改进一个模型的方法几乎是固定的：准备数据、算梯度、跑训练循环，少则几小时，多则几个月。11 月 2 日，MIT CSAIL 的四位研究者公开的一组实验，展示了一条完全不同的路：让前沿模型直接读取并改写另一个模型的原始权重，全程不用梯度，也不写训练循环。他们把这套做法称为「权重空间编程」（weight-space programming）。据报道，实验的主角是 GPT-6 Astra，改造对象则是一系列小模型。

一次只动 0.016% 参数的「手术」

最直观的一例是 Qwen3.5-0.8B。这个小模型在开启思考模式后容易陷入重复循环，据报道，93% 的回答都会顶到长度上限。Astra 的做法是：在 Python 沙箱里对着权重工作，用练习题做 50 次前向传播，定位到第 15、19 层 MLP 写出的一个方向，然后从各 64 个输出列里减掉它，总共改动 131,072 个权重，约占总量的 0.016%。

改动之后的结果相当惊人：MATH-500 从 7.9% 升到 48.1%，GSM8K 从 13.8% 升到 67.1%，IFEval 从 21.0% 升到 62.3%。注意，这不是重新训练，也不是换了提示词，而是对权重本身做了一次极小范围的「手术」。

其他几组实验更接近「读」与「写」的边界。四个结构完全相同的 PPO 策略网络各只有 17,253 个权重，不给游戏名，Astra 仅从权重文本就认出了打砖块、乒乓、吃豆人和过马路；一辆训练了 10 亿步仍 256 次全失败的仿真上坡车，Astra 看了权重和一次失败录像，一次回复改掉约 3.5% 的参数，之后 1,024 局全部成功；在 MinAtar 三款游戏里，它在无数据、无梯度、不允许试玩的条件下一次写出权重，打砖块得分压过了训练 5 亿步的 PPO；约 148 万参数的 9×9 围棋网络放不进上下文，就改用沙箱读写张量，50 次前向后能打过训练约 2000 万局的同规模网络。

为什么这么小的改动能有这么大的效果

我的理解是，这组实验真正揭示的不是「改权重很厉害」，而是「小模型的能力常常是被挡住，而不是不存在」。Qwen3.5-0.8B 的数学能力并非凭空出现，而是被一个导致重复循环的方向压住了：一旦进入循环，答案再也走不出来，评测分数自然塌掉。减掉那个方向，等于把堵住出口的石头挪开，模型原本就有的能力才得以释放。

这也解释了为什么传统微调看起来「笨重」：梯度下降是对全部参数做统计意义上的平均调整，而权重空间编程是先定位、再定点清除。它更像调试，而不是训练。调试的前提是你能读懂系统内部状态——而这正是前沿模型近年来悄悄获得的新能力：它们不仅能生成文本，还能在一定程度上理解另一个模型的内部结构，把权重张量当作一种可以阅读和编辑的「文本」。

换个角度看，这与模型可解释性研究的进展是同一枚硬币的两面。过去我们说「定位到某一层 MLP 的某个方向」时，那还只是分析结论；现在它变成了可执行的操作：定位之后可以直接动手改。分析与干预之间的距离，正在被压缩为一次沙箱里的张量操作。

先别急着欢呼：边界同样清晰

这组结果目前全部由作者自报，还没有经过独立复现——尽管据报道已有第三方声称复现了部分结果，但完整材料仍需等待。更重要的是，作者自己的结论相当克制：同一方法放到很少循环的 Gemma 3 270M 上没有提升。他们的原话大意是，改权重能去掉挡住能力的障碍，但加不出模型本来没有的能力。

另外两处提醒也值得记下来。其一，另有研究者公开的类似实验里，有一个任务被发现用测试集数据拟合，结果被判无效——在「一次写出权重」这种极易过拟合的设定下，评测污染的风险比常规训练更高。其二，Jürgen Schmidhuber 公开回应称，这与 1990 年代的 fast weight programmer 属于同一思路，是旧思想的再发现。这个批评未必公允——当年的 fast weight 是模型自己生成权重更新，而今天是前沿模型以外科手术的方式编辑另一个模型——但它提醒我们：新范式与旧概念之间，往往只隔着工程可行性的临界点。

我的观点：权重正在从「训练产物」变成「可编辑接口」

如果这条路走得通，它改变的不是某个基准分数，而是模型开发的分工。长期以来，权重是训练过程的副产品：你只能通过数据和超参数间接影响它，无法直接对它「说话」。权重空间编程暗示，权重本身可以成为一种接口——前沿模型读懂小模型的权重，像程序员读代码一样定位 bug，然后提交一个「补丁」。

这会带来三个值得跟踪的变化。第一，小模型的定制成本可能大幅下降：不再需要为每个小问题准备数据集、跑微调，而是由大模型直接诊断并修复。第二，模型调试会从「调提示词、调数据」扩展到「调权重」，出现类似软件工程里「读代码—定位—打补丁」的工作流。第三，风险也会同步出现：如果权重可以被另一个模型悄悄改写，那么权重文件的来源验证、改动审计就变得和代码审计同等重要——一个被植入微小改动的开源权重，可能比一段恶意代码更难察觉。

当然，现在下结论还太早。一次实验里的 0.016% 能否泛化到更大的模型、更复杂的故障、更真实的部署场景，都是未知数。真正决定这条路价值的，不是单次分数涨幅，而是它能否变成可复现、可自动化、可审计的工程流程。

结语

权重空间编程最耐人寻味的地方，不在于它改了多少参数，而在于它改写了我们与模型的关系：模型第一次不是作为被训练的对象，而是作为可以被另一个模型直接编辑的工件出现。无论它最终成为常规工具，还是停留在一次漂亮的演示上，这个方向都值得继续盯着——因为它问了一个根本问题：当模型强大到能读懂并修改同类时，「训练」这个词本身，是否也需要重新定义。

信源说明：本文所述实验细节与数据来自 MIT CSAIL 研究者 11 月 2 日公开的实验，经 Concitech AI 日报 2026 年 11 月 2 日刊转述；相关结果为作者自报，尚未经独立复现，文中数据请以原始论文为准。