推测解码再加速：SpecTr-GBV 用最优传输统一多草稿与块验证》——以 EMNLP 2026 一篇新论文为引，聊推测解码如何

大模型推理优化这两年的主旋律，是"压榨每一轮 target 模型调用能换回的 token 数"。最近一篇 EMNLP 2026 论文 SpecTr-GBV 把推测解码往前推了一步：draft 生成和验证两个环节长期被分开优化，其实可以装进同一个数学框架里一起求最优。

先看清瓶颈在哪

标准推测解码：draft 模型先自回归生成一段长度为 L 的草稿，目标模型一次前向计算得到各位置的真实条件分布，再逐位置做拒绝采样决定草稿 token 要不要。只要某个位置被拒绝，后面的草稿基本作废——一次迭代能保留多少 token，完全取决于草稿与目标分布的匹配程度。

两条长期分开的路线

第一条路线是 multi-draft，代表是 SpecTr。从 draft 模型独立生成 K 条草稿，每个位置上用最优传输构造 draft 分布与 target 分布之间的耦合（coupling），从 K 个候选里找可接受者——解决"候选够不够多"。

第二条路线是 block verification，代表是 GBV。它不再逐 token 独立判断，而是把前缀子块整体验证，并证明在单草稿设定下能达到一次迭代中的最优期望接受 token 数——解决"一次能不能接受得更长"。

但两个方向长期各自为战，没人回答"候选数量和接受长度能不能一起最优"。

SpecTr-GBV：把验证写成最优传输问题

SpecTr-GBV 从 K 条 draft sequence 出发，每条长度为 L。它把每条草稿的每个前缀都视为候选子块，重新定义验收标准 acceptance length：至少有一条 draft 的长度为 i 的前缀与 target 前缀完全一致，就接受到位置 i，最终取最大的 i。验证目标直接变成"最大化整个 block 的期望接受长度"。

为此，论文把验证写成最优传输优化：在保持 draft 与 target 边际分布不变的前提下，寻找使期望 acceptance length 最大的耦合。草稿独立生成，作者进一步限定在条件独立耦合（CIC）类中求解，对应多条草稿不做联合适应的验证结构。

算法：逐条草稿做贪心块验证，保留最长可通过子块；没带来更长前缀就检查下一条，选全局最长的块；最长块没覆盖完整长度 L 时，从残差分布（residual distribution）补采一个 token。未接受位置的 target 分布在下一轮迭代前修正，保证跨轮次输出分布一致——加速不能以改变模型输出分布为代价。

理论性质

论文给出了与 CIC 结构匹配的上界并证明 SpecTr-GBV 能达到它，三个性质：单调性，K 增大时上界严格增大；收敛性，K 趋于无穷时逼近最大块长度 L；一致性，K 等于 1 时退化为单草稿设定，即 GBV。

GBV 只是 SpecTr-GBV 在 K 等于 1 时的特例，两条路线被自然统一；对固定的 K，期望接受长度在 CIC 类中是最优的——有证明的最优，不是经验组合。

实验：块效率不等于实际加速

在 HumanEval、GSM8K、MGSM、LM1B、Alpaca 五个任务上评估（DeepSeek-33B/1.3B 与 6.7B/1.3B），对比自回归解码、标准推测解码、SpecTr 和 GBV，SpecTr-GBV 的块效率（每次串行调用平均解码的 token 数）和加速比都更高。提醒：数据来自作者自家测试环境，绝对数值受硬件和实现影响。

消融实验的取舍值得细看。K 取 1、3、5、7 时接受率随 K 上升，SpecTr-GBV 全程领先。L 从 12 到 24 时块效率持续增加，但端到端加速比先升后降——更长的草稿有机会一次接受更多 token，draft 模型却要付出更多生成成本。温度在 0.1、0.4、0.7 范围内表现稳定。

论文特意区分块效率与真实壁钟加速：前者只关心每次 target 调用能"带走"多少 token，实际还包括 draft 生成开销和 batch verification 的延迟，真实加速比通常更低。只报块效率不报端到端耗时的宣称，打个折扣看。

取舍与展望

SpecTr-GBV 展示了一条容易被忽视的路线：draft 模型不变，只重新设计验证环节，也能让同一批候选被更充分利用。但效率仍依赖 draft 与 target 的对齐程度；词表、草稿长度、K 增大时，计算量和显存占用都会上升。当前理论只针对独立生成的草稿，tree-based 等非独立多候选结构尚未覆盖。

更大的启示：推测解码的效率不仅取决于 draft"猜得准不准"，还取决于验证算法能否用足候选的结构。候选数量和块长度不是两个互不相关的旋钮，而是可以在统一的概率耦合框架里共同优化的变量。