Agent 的钱都花在“找资料”上：拆解 NVIDIA Nemotron 3.5 检索三件套

聊 Agent 成本时，大家习惯盯着大模型的单价。但一个做企业知识问答的 Agent，真正烧 token 的往往是“搜不准”：第一次检索没拿到关键证据，它就换个关键词再搜、再读几份文档，上下文越堆越长。10 月 21 日，NVIDIA 在 Hugging Face 发布了 Nemotron 3.5 检索模型家族，包括 Embed（8B/1B）、Rerank 8B 和 631M 参数的 Parse，定位都是开放、可商用。这次发布的核心说法是：检索质量上去了，Agent 的推理账单就会下来。

一、把“检索好坏”换算成 token 账单

以往评测嵌入模型，看的是 nDCG@10 这类排序指标。NVIDIA 这次换了个角度：固定 Agent 用的 LLM、工具、任务和语料，只替换搜索工具背后的检索配置（只用嵌入，或嵌入加重排），然后统计每个任务的端到端成功率和所有轮次的总 token 消耗。测试集包括 ViDoRe v3、BRIGHT 和 BrowseComp-Plus。

结论是：在 Embed 8B 后面加上 Rerank，每次查询的 Agent token 成本下降约 14%；换成 Embed 1B，降幅约 13%，同时检索准确率都有提升。这套方法的意义大于具体数字，它把检索从一个“离线指标”变成了能直接算钱的工程问题。

二、Embed：让图表和表格也能被搜到

Nemotron 3.5 Embed 的主要升级是多模态。企业文档里大量关键信息藏在图表、信息图、数据手册和原理图里，纯文本嵌入根本看不到。8B 版本以 Ministral-3-8B-Instruct 为骨干，语言部分从上一代 Nemotron-3-Embed-8B 初始化，用图文语料做对比学习训练。

有一个对工程团队很友好的设计：训练全程冻结语言部分，所以纯文本嵌入应该与 Nemotron 3 Embed 保持一致，已有的文本向量索引可以直接沿用，不必全部重建。

成绩方面，官方称 8B 版本在 ViDoRe v3.1 上拿到 61.17 nDCG@10，在稠密检索模型中排第一，比上一代 Llama Nemotron Embed VL 1B 的 52.23 高出 8.94 分。1B 版本由 8B 蒸馏得到（损失函数为余弦加 MSE），得分 58.38，保留了教师模型 95.4% 的效果。NVFP4 量化版在 GB200 上吞吐从每秒 101.3 份文档提升到 128.8 份（+27.1%），准确率保留 99.85%。

三、Rerank：交叉编码器把“相关”和“有用”分开

嵌入模型把查询和文档分别编码再算相似度，速度快但较粗。Rerank 8B 采用同一骨干的交叉编码器结构，把“查询-文档”对放在一起联合编码，最后用一个 MLP 头输出一个相关性分数。它的作用是在候选集里区分“沾边的内容”和“真正回答问题的证据”，让 Agent 有限的上下文先放入最该看的内容。

在 NVIDIA 与 MTEB 团队新推出的 ViDoRe v3.1 重排榜上，它在图文混合输入下得分 60.49，Qwen3-VL-Reranker-8B 为 59.17。差距是有的，但不算拉开。

四、Parse：小模型把 PDF 像素变成结构化内容

检索的上游是解析。很多 PDF 的文本层会丢失阅读顺序、把表格数值和表头拆开，扫描件甚至没有文本层。Parse 只有 631M 参数，能输出 Markdown、HTML 表格和带位置信息的结构块。它用了多 token 预测和投机解码来提速，并用 GRPO 做后训练，奖励函数专门惩罚重复生成、未闭合的块和不一致的表格。

更有意思的是它支持按需“多看几遍”：单遍 ParseBench 72.74 分、单张 H100 每秒 16.1 页；双遍会对表格和图表再解析一次，得 74.92 分、11.2 页/秒；三遍加一次区域检测，得 75.20 分、10.5 页/秒。官方称这是 1B 以下模型中的第一名。

五、对开发者意味着什么

• 先算检索的账，再选大模型。 如果你的 Agent 在 RAG 场景里反复检索，加一层重排可能比换一个更贵的 LLM 更省钱。可以参照 NVIDIA 的做法自己做 A/B：固定其他条件，只换检索配置，统计每个任务的总 token 数。
• 多模态检索已经可以落地。 财报、产品手册、技术图纸这类“图比字重要”的语料，值得重新评估现有的纯文本管线。
• 升级成本低。 文本嵌入与上一代保持一致，存量索引可以平滑迁移；1B NVFP4 版本适合大规模建索引。
• 保持审慎。 上面这些排名、14% 的 token 节省，以及 NIM 相对 vLLM 约 2.9 倍的服务吞吐（6,031 对 2,099 请求/秒），全部是 NVIDIA 自测数据；Perplexity、Turbopuffer、Vectorize 等合作方的评估也来自官方博客转述。领域微调的收益差异很大：1B 模型提升 18%，8B 只有 3%。上线前务必用自己的语料验证。

结语

过去两年，行业把大部分注意力放在“更聪明的模型”上。Nemotron 3.5 提醒我们，Agent 的效率同样取决于它“看什么”。当推理 token 成为主要成本，检索就不再是 RAG 管线里不起眼的一环，而是决定成本的核心杠杆。接下来值得关注的是，独立评测能否复现“更好的检索带来更少 token”这一结论。