3200 万美元训出“美国开源 SOTA”？Ricursive 的 Ripple-65B 为何押注稠密架构

当业界默认“前沿模型 = 万亿参数 MoE + 数亿美元算力”时，AI 芯片设计公司 Ricursive Intelligence 本周放出了一个反例：Ripple-65B Preview，65B 稠密（dense）Transformer，Apache 2.0 开源，官方称全部研发成本仅 3200 万美元，并在 TerminalBench 2.1 上拿到 80.52 分，自称美国开源模型最高。数字亮眼，但值得拆开看。

一、为什么选稠密而不是 MoE

Ricursive 的理由很工程化：降低预训练与后训练的基础设施复杂度。他们称，即使采用简单分片、没有自定义 kernel、没有量化，全程仍维持约 40% 的 MFU。稠密模型没有专家路由与负载均衡的麻烦，推理延迟更可预期；小参数量也让它能在 NVIDIA DGX Spark 这类“算力高、显存带宽低”的设备上运行。

二、架构细节：又瘦又深

d_model 仅 5120，共 80 层。为提升推理能力，增加注意力头数，同时提高 SWA 与全局层比例、缩小窗口以抵消成本；还加入 FFN 激活裁剪、门控注意力、全局 NoPE 和 value residual。预训练 12T token，支持最长 1M 上下文。

三、“模型阶梯”：16 倍算力效率

起点是 AI2 的 Olmo 3 ladder：引入 StepFun 缩放律、pre+post norm、sigmoid 门控注意力、全局 NoPE、value residual，并大幅上采样代码。2-stream mHC 在 4B 不再提升，被舍弃。官方称 4B 规模下代码损失的算力效率最高提升 16 倍，属内部测量，外推需独立验证。

四、RL：只用 140 万次 rollout

后训练未购买数据，自建合成数据管线。RL 配方含截断重要性采样、score centering 与线性长度惩罚。官方称仅 1.4M 次 rollout 达到 80.5，约为此前 SOTA Reflection Beam 的 1/70。

对开发者意味着什么

• 多一个可本地部署的强编码模型：Apache 2.0，已上线 Hugging Face、Together AI、GMI Cloud、OpenRouter、Fireworks。
• 别只看一个榜：TerminalBench 2.1 上 80.52 对比 Beam 的 80.1、Muse Spark Open 的 76.4，领先很小，且为厂商自测。The Decoder 指出，在 SWE-Bench Pro v2.0 Hard（79.1% vs 86.3%）、DeepSWE v1.1（44.3% vs 72.1%）上明显落后于 Inkling 2 Small。
• 成本口径特殊：3200 万美元是自述的全部研发成本，“十分之一”基于其估算，非审计数据。
• “Preview”意味着未定型：生产使用前请在自己的代码库上评测。
• 方法论可借鉴：小规模 ladder 实验 + 及时否决无效改动。

结语

Ripple 不一定是最强的开源模型，但它提出了一个有价值的问题：在 Agent 编码场景下，精心调校的中等稠密模型能否以更低成本逼近超大 MoE？在第三方复现出来之前，应视为“有前景的信号”，而非定论。