万亿参数之后，真正的考题是长程任务：拆解 LongCat-2.5

美团 LongCat 在 11 月 1 日发布了 LongCat-2.5，一个总参数 1.6 万亿、每 token 仅激活约 480 亿参数的原生多模态混合专家模型，主攻长程智能体任务。更值得看的，是它为长任务做的工程取舍：视觉如何进主干、长序列训练如何不被通信拖垮、低精度推理如何不丢精度。

稀疏不是省钱的噱头，而是长程任务的前提

长程任务的特点是步骤多、上下文长、中间状态不断膨胀。混合专家把总容量做大、把单步激活做小，让模型在不同步骤调用不同专家。这种分工只有在路由稳定、负载均衡的前提下才成立，否则个别专家过载，延迟和质量会同时恶化。因此，万亿参数的真正含义不是模型更大，而是系统必须先解决专家并行、负载均衡和长上下文显存管理。

视觉 token 化：让图像成为模型的一等输入

LongCat-2.5 把视觉信号表示为多级离散 token，使视觉与文本进入同一个 token 序列，由同一个主干处理。好处是跨模态推理不再依赖外挂视觉编码器加拼接，模型可以在同一上下文里对照截图、代码和报错信息做决策。代价同样明显：离散化会丢信息，粒度太粗看不清界面元素，太细则序列长度暴涨，上下文预算会被视觉先吃掉。多级表示正是对这一矛盾的折中：粗粒度给全局结构，细粒度补关键细节。

训练侧：超节点拓扑与双分片才是长序列的解法

长序列训练最痛的不是算力，而是通信。参数聚合、专家 token 的跨设备交换、键值缓存的聚合，任何一项跨了低速链路都会成为瓶颈。LongCat-2.5 的做法是把并行组贴合超节点拓扑，让高频通信留在高速互连内部；同时用双分片策略，在超节点内分片模型参数，在更大范围内分片主权重与优化器状态。厂商自家测试数据显示，这种配置相比数据并行基线，长序列监督微调的单设备吞吐提升约百分之八十六。这一数字来自厂商自家测试，硬件与基线配置未经第三方复核，只能作为工程方向的参考，不能直接当作通用加速比。

推理侧：W4A4 与训推一致性

推理端，LongCat-2.5 把专家权重与激活都量化到 4 比特，并在原生整型单元上执行矩阵乘法。厂商自家测试数据显示，相比 8 比特基线，预填充吞吐提升约百分之四十三，解码吞吐提升约百分之四十三，首 token 延迟与每 token 延迟均有下降，且下游任务精度与未量化模型相当。低精度真正的风险不在平均精度，而在长尾：长程任务的误差会在多步之间累积，一步的量化偏差可能在十步后放大为错误决策。因此它同时强调训练与推理的数值一致性：两者使用批量不变的算子与对齐的框架逻辑，保证同一 token 的对数概率在训推两端按位一致。这一步看似琐碎，却是把强化学习 rollout 放到推理引擎上跑的前提，否则训练时学到的策略，部署时会在数值漂移中走样。

给工程者的三点启示

第一，评估长程智能体模型时，先看它在长上下文、多轮工具调用下的稳定性，而不是单轮问答分数。第二，量化方案要连同任务长度一起测，短评测掩盖不了长程累积误差。第三，基础设施选型要先于模型选型：通信拓扑、分片策略与训推一致性，往往比多几个百分点的基准分数更决定一个智能体系统能不能上线。LongCat-2.5 的权重尚未全面开放，上述结论仍需独立复现；但它指出的方向是清楚的：下一代智能体的竞争，已经从“模型有多大”转向“长任务能不能稳定跑完”。

注：性能数据来自厂商发布，尚未经独立第三方验证。