人机协同与安全：可控自主

Agent 越能干越危险：全自动跑一个 30 步任务，第 3 步就理解错方向，会一路错到底。生产级 Agent 的共识是**「可控自主」**：该自动的全自动，该让人的交给人，该拦的用护栏拦死。本篇讲三层防线：人在环（HITL）、程序护栏（Guardrails）、授权与审计。

1.1 原则

1.2 三种人工介入形态

1审批点（Approve）：执行高危险动作前弹「确认/拒绝」（如 LangGraph interrupt、Claude Code 的写文件确认）；

2澄清点（Clarify）：任务歧义时停下来问人（衔接「模糊输入先确认」思想）；

3接管点（Escalate）：失败重试超限、置信度不足 → 升级人工。

•定义：独立于模型的确定性校验层——在 Agent 输入/输出/工具调用处拦截不合规行为；

•四类护栏：位置拦截内容输入侧注入攻击、越权指令、非法请求输出侧敏感信息外泄、危险指令生成工具侧越权调用、高危命令（白名单外拒绝）行为侧死循环、异常频率、超预算

•特点：用规则/校验器实现（不是模型自觉）——护栏必须确定性生效，不能「靠模型自觉」。

3.1 授权（最小权限）

•Agent 以「任务所需最小权限」运行：读/写/删除分级；身份隔离（不以人全权执行）；

•工程形态：token 级授权、动作白名单、BFMCP（业务层封装，衔接 05 篇）——别把裸 SQL/裸 Shell 交给 Agent。

3.2 审计（可追溯）

•每个动作留痕：谁（Agent 身份）→ 何时 → 做了什么 → 结果如何；

•出问题可回放：工具调用链、决策日志、中间产物；

•与评测呼应：可观测性（tracing）是生产 Agent 的标配（衔接板块五框架的 LangSmith 等）。

•类比安全工程：护栏 = 防火墙，HITL = 审批流，审计 = 日志审计——三层都缺一不可。

1护栏优先：先写「绝对不能做什么」的硬规则，再谈自动化范围；

2打断密度可调：按任务风险调 HITL 频率（草稿 0 打断，付款必须确认）；

3审计默认开：不要等出事才加日志——tracing 从第一天开；

4灰度自主度：先高确认模式跑通，再逐步放开自主——自主度是渐进参数，不是开关。

1HITL 三形态：审批点 / 澄清点 / 接管点——自主度 = 可逆程度。

2Guardrails 四位置：输入 / 输出 / 工具 / 行为——确定性生效，不靠模型自觉。

3授权：最小权限 + 身份隔离 + 业务层封装（BFMCP）。

4审计：动作全留痕 + 可回放——从第一天开 tracing。

5三层防线：护栏（防火墙）× HITL（审批流）× 审计（日志审计）。

6板块二收官：MCP（05 接工具）× 多 Agent（06 组团队）× 人机协同（07 控风险）= Agent 机制层三件套。

第 08 篇（板块三·训练）：Agentic 模型训练——前面讲的都是「用通用模型搭 Agent」，但 2025 年出现了新方向：直接把模型训练成 Agent（agent RL）。function calling SFT → agent RL → 推理 × Agent（o1/R1/GPT-5）——模型从「会说话」到「被训练成会干活」的转变。

•[官方] LangGraph Human-in-the-loop：https://langchain-ai.github.io/langgraph/concepts/human_in_the_loop/

•[官方] OpenAI Agents SDK Guardrails：https://openai.github.io/openai-agents-python/guardrails/

•[官方] Claude Code 安全与权限：https://docs.anthropic.com/

•[参考] 各家 Agent 平台安全最佳实践（Microsoft Foundry / Google ADK）

整理：2026-10-01 月绡凝 · 依据官方文档。