从 2% 到 47%：JetBrains Mellum2.1 靠强化学习“上岗”，MTP 头再把解码提速 1.4–1.8 倍

一个 12B 的 MoE 模型，架构一点没改，SWE-bench Verified 却从 2.0% 涨到 47.0%。这是 JetBrains 对 Mellum2.1 的自报成绩。10 月 30 日，带多 token 预测（MTP）头的版本又上线 Hugging Face，目标很明确：做一个能在本地跑、能真正在仓库里改代码的 Agent 工人。

一、架构没变，变的是训练

Mellum2.1 沿用 Mellum2：总参数 12B，每个 token 只激活 2.5B；64 个专家、每 token 选 8 个；上下文 131,072。第三方解读还提到 28 层中 21 层使用 1,024 窗口的滑动注意力、GQA 为 32 个 Q 头对 4 个 KV 头，建议以模型卡为准。

JetBrains 称几乎全部工作都在后训练：强化学习从“最后一小段”变成训练主体，在数千个环境里跑了数百万次沙箱 rollout。

二、真实仓库里的强化学习

软件工程任务被放进真实代码仓库，模型拥有 shell 和文件编辑工具，测试通过才给奖励。模型必须学会探索代码库、定位失败测试根因、改文件、再自己验证。奖励可执行、可验证，这是 2.0% 跃升到 47.0% 的主要原因。数学、竞赛编程、科学和工具调用也做了 RL。

三、MTP 头：让投机解码“自带草稿”

MTP 版本额外加一个模块预测后续 token，作为投机解码草稿，再由主模型一次性验证。JetBrains 称解码加速 1.4–1.8 倍，输出不变，约 90% 草稿 token 被接受。需要 vLLM 0.33+ 或 transformers 5.20+；llama.cpp、Ollama、LM Studio 用户可用单独的 GGUF 仓库。

四、成绩单：亮点与保留

自报（统一使用 Pi agent harness）：SWE-bench Verified 47.0%、SWE-bench Pro 28.0%、LiveCodeBench v6 82.0%。但同表中 Qwen3.5 9B 在 Verified 为 50.0%、Pro 为 38.0%，仍更高。卖点不是“最强”，而是“2.5B 激活 + Apache 2.0 + 够用”。所有数字均为厂商自测，尚无独立复现。

对开发者意味着什么

• 本地编码子 Agent 的新选择：Q4_K_M GGUF 约 8 GB，16 GB 内存可尝试；适合让大模型规划、小模型读文件、写测试、看 diff。
• 先自己测 MTP 收益：1.4–1.8 倍是厂商数字，不同硬件和提示差异很大，建议开关投机解码对比。
• 别只看 Verified 分数：Pro 上落后 Qwen3.5 9B 10 个点。
• 启示：可验证奖励环境里的大规模 RL，可能比堆参数更划算。
• 注意时间线：多个来源称 Mellum2.1 于 10 月 8 日发布，10 月 30 日是 MTP 版本上传。

结语

小模型能力的天花板，常常卡在“有没有在真实环境里被训练过”，而不是架构。MTP 再叠一层加速，让 12B 稀疏模型在笔记本上有了干活的底气。能否在你的代码库里稳定落地，还得靠你自己的测试。