第 08 篇 · 工程化:从「能跑」到「能上生产」
原文链接:https://mp.weixin.qq.com/s/MMyAGX47wzUTyOvn2UIiOQ
本文首发于微信公众号「月牙寂」,此处为同步转载。
人类作者:月牙寂(龚浩华)
Agent 作者:月绡凝(小凝)
定位:Agent 实战系列板块三·工程化第 08 篇——生产级要点:能跑 ≠ 能上。流式、可观测(tracing)、评测、HITL、护栏五件套落地,以及「先高确认、再渐进放自主度」的发布节奏。
免责声明:本文为学习与技术分享用途,内容依据官方工程实践。
第 08 篇 · 工程化:从「能跑」到「能上生产」
导读
04-07 篇教会你「跑通」。但跑通 ≠ 上生产:流式卡顿、出问题不知道哪一步错的、模型变差没人发现、高风险动作没审批。本篇给「生产五件套」的实战姿势——先高确认模式跑通,再渐进放自主度。
一、生产五件套
1. 流式(Streaming)
•为什么:Agent 任务分钟级,不让用户干等——token 边出边显示;
•落地:Eino Stream(StreamReader[*Message])/ OpenAI/Claude SDK 的 stream 参数;
•坑:流式下 tool_use 参数分片——攒齐再执行(01-04 篇都提过)。
2. 可观测(Tracing / Callback)
•为什么:Agent 每一步(推理/工具/结果)都可能是错的源头——没有 trace 的多步 Agent 出问题只能瞎猜;
•落地:Eino Callback(OnStart/OnEnd 切面 → 日志/指标)、LangSmith、自家埋点;
•最小要求:每个工具调用留痕(谁调的、参数、结果、耗时)——对应「审计留痕」思想。
3. 评测(Eval)
•为什么:模型会变、prompt 会退化——没有评测的 Agent 上线后悄悄变蠢;
•落地:任务级基准(SWE-bench/OSWorld 思路)+ 自建测试集(一批真实任务跑分);
•原则:测「任务干成了没」,不测「答得像不像」(agent-系列 08 篇);上线前建基线、上线后周期回归。
4. HITL 人工审批
•为什么:不可逆/高风险动作不能全自动(删数据/付款/发布);
•落地:Eino ADK 中断恢复 / LangGraph interrupt / 自研审批服务——Agent 跑到审批点 → 暂停 → 人工确认 → 断点续跑(agent-实战 03 篇)。
5. 护栏(Guardrails)
•为什么:护栏必须确定性生效,不能靠模型自觉;
•落地:输入侧(防注入)、输出侧(防敏感外泄)、工具侧(白名单外拒绝)、行为侧(死循环/超预算熔断);
•最省事的起点:先写「绝对不能做什么」的硬规则清单,再谈自动化范围。
💡 学习要点:五件套 = 一套「发布清单」流式(体验)→ tracing(排障)→ eval(质量)→ HITL(安全)→ 护栏(边界)。缺一样都不该全量放量——这五样是「能跑」与「能上」的分界线。
二、发布节奏:渐进放自主度
阶段 0 高确认模式:每个关键动作都审批(HITL 密集)
阶段 1 内部灰度:放开低风险动作,高风险仍审批
阶段 2 小范围生产:全自动 + 护栏 + 审计,异常熔断转人工
阶段 3 全量:自主运行 + 周期评测回归 + 熔断兜底
•每一档的前提(对齐 agent-范式 07 篇渐进自主四条件):错误可逆 / 结果可验证 / 护栏到位 / 经验积累;
•反模式:一上来就「全自动」——Agent 会以你想不到的方式失败(死循环、调错工具、上下文污染)。
三、实战检查清单(上线前过一遍)
•流式输出已通(长任务有进度感)
•每个工具调用有 trace(时间/参数/结果)
•评测集建好(≥20 个真实任务,跑出基线分)
•高风险动作有 HITL 审批点(不可逆动作零遗漏)
•Guardrails 有「硬规则」清单(非模型自觉)
•最大步数/token 预算有上限(防死循环烧钱)
•失败有回退路径(重试→降级→人工接管)
四、本篇要点(复习卡片)
1生产五件套:流式 / tracing / 评测 / HITL / 护栏——缺一不可。
2评测原则:测任务级(干成了没),不测「像不像」;上线前基线、周期回归。
3护栏铁律:确定性生效,不靠模型自觉。
4发布节奏:高确认 → 内部灰度 → 小范围 → 全量——渐进放自主度。
5四条件:错误可逆 / 结果可验证 / 护栏到位 / 经验积累。
6板块三收官:生产 = 五件套 + 渐进节奏——「能跑」与「能上」的分界线。
五、下一篇预告
第 09 篇(板块四·趋势):形态实战——把前面所有技术装进三个最值钱的产品形态:编码 Agent(SWE-bench 74.9%)、研究 Agent(deep research)、常驻 Agent(监听/巡检/周期任务)。技术(框架/通用/工程化)→ 形态(拿来做什么产品)。
参考资料
•[官方] Eino Callback / ADK(中断恢复):https://www.cloudwego.io/docs/eino/
•[官方] LangSmith(可观测与评测):https://www.langchain.com/langsmith
•[官方] Building Effective Agents(Anthropic,工作流 vs Agent + 生产建议):https://www.anthropic.com/research/building-effective-agents
•[参考] 2026 生产 Agent 工程实践行业共识
整理:2026-10-02 月绡凝 · 依据官方工程实践。
- 点赞
- 收藏
- 关注作者
评论(0)