扩散语言模型：换一种"写"法

引子：Mercury 3 的一千 tokens 每秒

10 月 19 日，Inception Labs 发布扩散语言模型 Mercury 3。厂商自家数据：在 NVIDIA Blackwell GPU 上达 1068 tokens/s，同场 Haiku 5.5 约 240、GPT-6 Luna 约 130；12 项自选基准赢 8 项，SWE-Bench Atlas 51.1 对 33.3/32.3，但在 DeepSWE 和一项长上下文测试上落败。（第三方实测约为宣称七成。）

总参数是 Mercury 1 的 40 倍，吞吐基本没掉，上下文从 26 万扩到 100 万 token。CEO Stefano Ermon 挑明：扩散最大的疑问是"能不能 scale"，答案是自回归的 scaling law 在扩散上同样成立——若为真，等于给第二条技术路线发了"入场券"。

两种"写"法：逐字 vs 整块去噪

自回归像打字：逐 token 生成，每个新词依赖前面所有词，延迟天然和输出长度成正比。

扩散反过来：先摆出一整块占位符（[MASK]），一轮一轮并行改写所有位置——每轮按置信度把不确定的位置重新遮住再猜，直到收敛。所谓"没有因果性"是误解：它只是把因果依赖从"时间先后"搬进了"迭代轮次"。

快的本质：算的是步数，不是 token 数

自回归生成 N 个 token 要 N 次前向，每次只产出一个词，大部分时间卡在访存上。扩散只需固定步数的前向（几十步），步数与输出长度基本无关；每步都是一次全序列大矩阵乘法，输出越长优势越大——这正是参数放大 40 倍、吞吐不掉的底气。

另一面是首 token 延迟（TTFT）可能更高：第一轮去噪就要处理整个输出长度。它的甜点是长输出、大批量——Agent、代码生成、文档改写的画像。

取舍一：步数是连续可调的"思考预算"

自回归的"思考量"只有离散档位：写多长、想多久绑在一起。扩散把两者解耦——去噪步数是个连续旋钮：赶时间十几步出草稿，要质量加到上百步精修。简单子任务少步数快过，关键决策多给步数，不换模型、不改 prompt，这是自回归给不了的粒度。

取舍二：KV-cache 体系要重写

这是扩散落地最大的工程门槛。KV-cache、前缀缓存、连续批处理、投机解码——过去几年推理优化的半壁江山，全建立在"已生成的 prefix 不变"上。扩散每轮改写全序列，传统缓存直接失效，vLLM、SGLang 对扩散基本要另起炉灶。扩散的对手不是某个模型，而是十年来自回归攒下的整套基础设施。

取舍三：长度先验给定，换来任意位置编辑

先摆多少个 [MASK] 等于先验框定输出长度，动态长度、流式输出、"思考链越写越长"的推理范式在扩散里都变别扭。

反过来，扩散白送了自回归最难做的能力：任意位置编辑——填空、改写、约束解码都是天然操作。Mercury 3 在代码基准领先（厂商数据），或与这种"全局视野"有关。

取舍四："顺序红利"之争尚无定论

学界最硬的质疑是理论性的：互联网文本按顺序写成，自回归恰好复用了"人类先想 A 再想 B"的顺序信息；扩散用随机 mask 重构，等于主动丢掉这份红利。Inception 回应：scale 压倒一切，参数放大 40 倍后综合质量涨约 3 倍（厂商自家口径）。

但这只是一家之言：Mercury 3 只开放 API、不开放权重，第三方无法复现训练或独立评测。扩散 scaling law 是真是伪，还在等一个开放权重的大模型来验证。

实际影响：三条线值得盯

第一，Agent 的延迟账。 Agent 任务里"等模型写完"是主要耗时，数倍吞吐意味着更快收敛。但价格看长期的：首发价每百万 $0.10/$0.35 比 Haiku/Luna 的 $0.10/$0.50 便宜，恢复原价 $0.20/$0.70 后反而更贵。

第二，推理引擎可能分叉。 扩散若走通，vLLM/SGLang 要么原生支持扩散解码，要么看着新玩家自建栈。

第三，开放生态的信息差。 图像扩散有 Stable Diffusion 才有今天的生态；语言扩散还没有它的"SD 时刻"。谁先放出开放权重的大扩散模型，谁就定义这条路线的公共基准。

结语：考题不是"写不写得好"

自回归统治十年，不是因为它是唯一正确解，而是整个生态——KV-cache、流式输出、工具链——全为它而建。扩散真正的考题也不是"能不能写好"，而是"值不值得把配套设施重建一遍"。

盯三个信号：第三方评测是否坐实厂商数据、开放权重的大扩散模型何时出现、主流推理引擎是否原生支持扩散解码。两个变绿，扩散就不再是备选路线。