参数不涨，能力怎么涨：SenseNova Loop 的“循环”与 DeepSeek Engram 的“查表”

过去一周，两个开源模型在做同一件事——不靠堆参数提升能力——却走了两条几乎相反的路。10月30日，商汤开源 SenseNova-Loop-9B-Preview，让同一组权重在前向传播里跑两遍；DeepSeek-V4.1-Flash-1017 则把近 2000 亿参数放进一张按需查询的“记忆表”，甚至可以放在 SSD 上。一个是用算力换深度，一个是用存储换知识。

一、Loop：同一块权重，跑两遍

据 Hugging Face 模型卡，SenseNova-Loop 的解码器有 32 个独立层：第 0–3 层与第 28–31 层各走一次，中间第 4–27 层这一整块（24 层）被连续执行两次，权重共享。结果是每次前向传播执行 56 次解码层计算，却只存 32 层的权重。模型卡给出的规模是约 9B 总参数、约 14.6B“推理参数”。

把中间块记作 B，输入记作 h，计算就是 B(B(h))：第二遍在第一遍的表示上“再想一想”，相当于加深网络却不加参数。

难点在于循环容易让信号失稳。商汤引入两路残差流和 mHC（流形约束超连接）：学习到的映射决定每层如何读取、混合两路流，并用 Sinkhorn 归一化约束混合矩阵（文档配置 20 次迭代）。解码器还按“3 层线性注意力 + 1 层全注意力”的节奏交错，循环边界对齐完整的四层组，两遍之间注意力模式保持一致。

二、Engram：把“记忆”从计算里拆出来

DeepSeek-V4.1-Flash-1017 是 MoE 模型，主干约 552B 参数，另有约 196B 参数的 Engram 条件记忆，Hugging Face 页面显示总量 763B；上下文 1M tokens，MIT 许可。据 Unsloth 文档，最多四个 token 的 n-gram 在每个 token 上只访问表里的少数几行，所以这张表不必常驻 GPU 显存。

Engram 表在不同量化精度下约 110.6–202.8 GB，可通过 mmap 留在 SSD 上按需读取。Unsloth 的 1-bit 量化总大小 233.0 GB，其中 110.6 GB 是 Engram，其余 122.4 GB 才必须放进内存。“知识”被做成可放在慢速存储里的查找表，“推理”留在快速内存里的计算上。

官方报告与上一版相比的提升（厂商自测）：Terminal-Bench 4.0 从 31.2 到 42.3，DeepSWE v1.1 从 74.2 到 77.0。但这次更新的增益主要来自后训练（官方称使用基于自反馈的强化学习），第三方报道指出架构与 9 月版一致。

三、两条路的共同点与代价

共同点： 都在打破“能力 ≈ 参数量”的等式，把资源拆成可复用的计算（循环）和可寻址的存储（查表）。

代价各不相同：

• Loop 省的是权重显存，不是计算。56 次层执行意味着每个 token 的计算量接近 14.6B 级模型，延迟不会因为“9B”而变轻。商汤称在 WorkBuddy Bench、RaccoonPPT Bench、AutomationBench 上优于 Qwen3.5-27B，并称 mHC 在 GPQA Diamond 上带来 4.42 分、TeamBench 上带来 13.34 分提升——均为厂商自报；技术报告在模型卡上仍标注“TBD”，模型也是 Preview。商汤自己承认，循环计算在信息传递和训练稳定性上仍有改进空间。
• Engram 省的是显存，不是磁盘。你仍需放得下 200GB 量级的文件，每个 token 还要做随机读，SSD 延迟与带宽成为新瓶颈；Unsloth 指南也提到目前需要专门的 llama.cpp 分支才能运行。

这意味着什么

第一，模型的“大小”变得含糊。9B 的 Loop 等效 14.6B 的计算，763B 的 DeepSeek 一次解码只激活其中一小部分（第三方统计约 16B）。以后比较模型，要同时看存储参数、激活参数和每 token 计算量。

第二，硬件的分层存储会被模型设计直接利用。Engram 把“稀疏、可预取”的部分推到 SSD，Loop 把“重复使用”的部分留在高速缓存里。

第三，对本地部署者是好消息，但别高估：Loop 换来更高延迟，Engram 换来磁盘压力，赢家取决于你的瓶颈在显存、带宽还是延迟。

最后，这两个方向并不互斥。“循环加深 + 查表记忆”的组合在理论上可行，只是目前还没有公开验证。