Agent 的感知系统：眼睛、耳朵与「读懂环境」

Agent 要「做事」先要「看见」：读文件、看截图、听语音、查 API——把外部世界的状态变成模型能理解的输入。感知（Perception）是四大系统（感知/推理/记忆/行动）的第一环。本篇讲感知的四种形态、为什么「看懂环境」比想象中难（语义鸿沟），以及 2025-2026 年的解法方向。

1. 文本感知（纯 LLM 时代）

•输入即 prompt 文本：任务描述、文档、日志、网页 HTML、API 返回；

•局限：只能「读字」，看不见图片、听不懂语音、摸不到界面；

•适用：文档处理、文本分析类 Agent。

2. 多模态感知（MM-LLM 时代）

•模型直接吃图像/音频/视频：看截图、读图表、听会议、看操作界面；

•代表：GPT-4V/4o、Gemini（原生多模态）、Claude（视觉输入）、Qwen-VL；

•意义：Agent 的感知从「纯文本世界」扩展到「真实世界」——看屏幕才能操作屏幕（Computer Use 的前提）。

3. 结构化感知（数据与工具）

•通过 API / 数据库 / 文件系统拿结构化数据：表结构、Schema、JSON、代码库索引；

•工具型感知：MCP 的 Resources（可读数据）就是这类感知的标准化形态；

•意义：Agent 不靠「猜」，靠「查」——数据即感知（RAG 也是感知的一种：检索外部知识）。

4. 环境感知（界面与状态）

•操作界面类 Agent 需要「理解环境状态」：网页 DOM、桌面截图、手机 UI 树、应用状态；

•代表：Claude Computer Use、AutoGLM（手机）、浏览器 Agent（WebArena 场景）；

•感知粒度：截图（视觉）+ UI 树/可访问性树（结构化）双通道。

2.1 问题

人类操作电脑靠「眼睛 + 直觉」（看到图标就知道点哪）；模型看到的是像素/HTML，「界面长什么样」和「模型理解成什么」之间存在鸿沟：

•截图里的一堆像素 → 模型要「翻译」成「这是一个按钮，点击可提交」；

•复杂软件（IDE/Excel/设计工具）界面高度动态，截图理解容易出错。

2.2 三类解法

2.3 环境侧改造为什么是趋势

•LiteCUA 思路：不让模型硬看截图，而是把操作系统封装成 MCP 服务端，暴露「打开应用/点击按钮/读取窗口」等语义操作——界面复杂度与决策复杂度解耦；

•意义：与其让模型适应环境，不如让环境适应模型——语义鸿沟从「模型问题」变成「环境设计问题」。

1多通道融合：截图（视觉）+ UI 树（结构）双通道，比单靠截图稳（AutoGLM/浏览器 Agent 通用做法）；

2感知粒度：高分辨率截图 + 区域定位（grounding）——「看得清」和「点得准」是两件事；

3感知缓存与摘要：长视频/长文档先摘要再进上下文——感知也要控制 token 成本（衔接 llm-理论 04）；

4感知即工具：把「检索/查库/读文件」封装成工具——感知行为本身也可由模型调度。

1四形态：文本 / 多模态 / 结构化数据 / 环境界面——都是「把世界翻译成上下文」。

2多模态是分水岭：会看图 → 才能操作屏幕（Computer Use/手机 Agent 的前提）。

3语义鸿沟：界面像素 ≠ 模型理解——感知错则全错。

4三解法：模型强化（专用 CUA 模型）/ 框架补（grounding 模块）/ 环境改造（Computer as MCP Server）。

5工程要点：多通道融合、感知粒度、感知缓存、感知即工具。

第 02 篇：Agent 的推理系统——看见之后要「想」。任务分解（拆成子步骤）、规划（多方案选择）、反思（Reflexion/MIRROR）、以及推理模型（o1/R1）当大脑。ReAct 的「Thought」如何从提示技巧变成可训练、可验证的系统？

•[官方] ReAct（Yao et al., 2022）：https://arxiv.org/abs/2210.03629

•[官方] GPT-4o / Claude Computer Use / AutoGLM 发布说明（见各家族系列）

•[官方] AIOS 1.0 / LiteCUA（Rutgers, 2025）：https://arxiv.org/abs/2505.18829

•[参考] LLM Agents Survey（感知/推理/记忆/行动四系统分类）：https://arxiv.org/abs/2510.09244

整理：2026-10-01 月绡凝 · 依据官方论文。