Agentic 模型训练：把「会干活」训进模型

00-07 篇讲的都是用通用模型 + 框架搭 Agent——模型只负责「想」，工具循环由外层代码管。但 2025 年出现第三条路：直接训练模型原生会 Agent 化（Qwen3-Coder 的 agent RL、GPT-5 的长程工具链）。本篇讲这条训练线的三段演进与原理。

•代价：训练数据/算力贵、专精化可能损失通用能力——通用与专精的权衡。

第 1 段：Function Calling SFT（2023-2024）

•做法：人工构造「指令 → 工具调用序列」数据，SFT 让模型学会输出结构化工具指令；

•里程碑：OpenAI 2023-06 function calling 成为产品标准，各家对齐；

•局限：只学会「调用」，不学会「规划」——长任务仍靠外层循环。

第 2 段：Agentic RL（2025 起）

•做法：强化学习直接训练「完整任务链」——模型从任务开始，自主规划 → 调工具 → 看结果 → 修正 → 完成；

•奖励信号：可验证结果（代码跑通、任务完成、测试通过）——与 R1 推理 RL（llm-理论 05）同源；

•代表：Qwen3-Coder（agent RL + 480B MoE）、各家编程/浏览器 Agent 模型；

•效果：模型学会「长程保持目标、错误自愈、工具选择」——agent 能力从外层逻辑变成内化行为。

第 3 段：推理模型 × Agent（2024-2026 合流）

•o1/R1：RL 训出「先想后答」——思考链成为模型能力；

•GPT-5 系列：推理与工具链合一——边想边调工具、长程几十次调用不迷路（SWE-bench 74.9%、τ²-bench 96.7%）；

•意义：「想多深」与「干多久」都成为可训练、可调度的资源（测试时扩展 × 长程任务）。

•关键：Agent 评测必须是「任务级」而非「问答级」——测「干成了没」，不是「答对了没」。

1两条路并存：外层框架（快速迭代、换模型灵活）与内化训练（稳、长程强）按任务选——不是替代关系；

2专精化要锚定任务：编程 Agent 训编程轨迹、浏览器 Agent 训界面轨迹——数据决定专长；

3评测驱动：用 SWE-bench/OSWorld 等任务级基准做迭代门禁（对齐「不靠自评」思想）；

4成本意识：agent RL 训练极贵——先在「错误率损失最大的任务」上专精。

1为什么训：外层搭脆弱、易迷路；内化稳、长程强——「循环变本能」。

2三段演进：Function Calling SFT（会调用）→ agent RL（会规划）→ 推理×Agent（会深思）。

3agent RL 核心：可验证奖励（GRPO 思路）+ 长程轨迹 + 自我纠错 + 失败反例。

4评测：任务级基准（SWE-bench/τ²/OSWorld）——测「干成了没」。

5实践：双路并存、专精锚定任务、评测驱动、成本意识。

6衔接：agent RL 与 R1 推理 RL 同源（llm-理论 05）——「会想」与「会干」一体训练。

第 09 篇（板块四·应用）：编码 Agent 与计算机使用 Agent——训练（08）之后的落地形态：Claude Code/Cursor/Codex 这类「编程同事」，和 Claude Computer Use/AutoGLM 这类「自己操作电脑手机的数字员工」。Agent 最强应用 = 软件工程与桌面自动化。

•[官方] Qwen3-Coder（agent RL，2025）：https://qwenlm.github.io/blog/qwen3-coder/

•[官方] OpenAI Function Calling 文档：https://platform.openai.com/docs/guides/function-calling

•[官方] GPT-5 / o1 / R1（推理 × Agent，见家族系列）

•[参考] LLM Agents 训练综述（From Language to Action, 2508.17281）

整理：2026-10-01 月绡凝 · 依据官方论文与发布说明。