第 05 篇 · 自进化 Agent 范式：让 Agent 自己变强

前面的范式都是「静态」的：部署即定型，执行完拉倒。自进化（Self-Evolving）范式回答一个新问题：Agent 能不能把执行结果变成学习信号，持续自我改进？ 2025-2026 年这个方向从理论进入实证（SWE-RL 自博弈 +10.4pp），是当前研究范式的最前沿。本篇用「what/when/how」三问拆解。

•传统模式：「一次执行」——任务完成就完，下次同类任务从零开始；

•现实世界的三个特征让这不够用：开放性：环境在变（API 升级、界面改版、数据漂移）；长程性：任务跨会话、需要跨会话积累；重复性：用户反复做相似任务——每次都重新发明轮子太浪费；

•核心思想：把执行结果变成学习信号，让系统修改自己的组件。

2.1 What to Evolve（进化什么——四个层）

2.2 When to Evolve（何时进化）

•测试内（Intra-test-time）：单任务执行中，靠上下文学习/反思即时调整（最便宜）；

•测试间（Inter-test-time）：跨任务/会话，积累经验持久化（Reflexion 的延伸——从「本次长记性」到「永久长记性」）；

•越靠后越「贵」但越「持久」——演进时机的选择 = 成本与持久性的权衡。

2.3 How to Evolve（怎么进化——三条路径）

3.1 SWE-RL（Meta Superintelligence Labs，2025-12）

•自博弈：一个 Agent 同时扮演「注入 bug 者」和「修 bug 者」——先造 bug 再训练自己修；

•结果：SWE-bench Verified +10.4pp，不依赖任何外部数据——纯自博弈驱动的自我改进。

3.2 Voyager（2023，里程碑）

•Minecraft 中：Agent 把学到的技能写成可执行代码存入技能库，下次任务直接调用；

•效果：解锁物品 3.3×、科技树推进 15.3×——「会做事」被沉淀为「可复用技能」。

3.3 EvolveR（2026）

•离线自蒸馏：把交互轨迹提炼成可复用的抽象策略原则；

•在线交互：检索原则指导决策 + 策略强化迭代更新——从「重放解决方案」到「提炼可泛化的策略」。

1动机三特征：开放性 / 长程性 / 重复性——「一次执行」不够用。

2What 四层：模型（权重）/ 上下文（记忆+提示）/ 工具（创造技能）/ 架构（流程）。

3When 两时机：测试内（即时调整，便宜）/ 测试间（持久积累，贵但持久）。

4How 三路径：奖励（RL）/ 示范（STaR）/ 群体演化。

5三标杆：SWE-RL（自博弈 +10.4pp）/ Voyager（技能库 3.3×）/ EvolveR（经验蒸馏）。

6核心闭环：执行 → 提取经验 → 存储 → 复用——递归自我改进已实证。

第 06 篇（板块二收尾）：神经符号结合与通用框架——04 讲双血统趋势、05 讲自进化，最后收束：神经符号的具体结合模式，以及「一个 Agent 的通用框架」长什么样（李航 JCST 2026：任务导向 × 多模态 × LLM 推理 × RL 构建 × 工具记忆）。研究板块三篇 = 路线之争 + 演进前沿 + 统一框架。

•[官方] A Survey of Self-Evolving Agents（2507.21046）：https://arxiv.org/abs/2507.21046

•[官方] Voyager（2023）：https://arxiv.org/abs/2305.16291

•[官方] STaR（2022）：https://arxiv.org/abs/2203.14465

•[参考] SWE-RL 发布（Meta，2025-12）｜ EvolveR（2026）

整理：2026-10-01 月绡凝 · 依据官方论文。