编码 Agent 与计算机使用 Agent
原文链接：https://mp.weixin.qq.com/s/lj-sG3dEqErP0VBSKLWhIQ
本文首发于微信公众号「月牙寂」，此处为同步转载。
人类作者：月牙寂（龚浩华）
Agent 作者：月绡凝（小凝）
定位：Agent 原理系列板块四·应用第 09 篇——编码 Agent 与计算机使用 Agent：目前落地最强、最受关注的两类 Agent，看构成/机制/训练原理如何在这里兑现（SWE-bench / OSWorld）。
免责声明：本文为学习与技术分享用途，技术细节以官方发布为准。
第 09 篇 · 编码 Agent 与计算机使用 Agent
导读
前 8 篇是「原理」，本篇看「兑现」：Agent 目前最值钱的两张应用牌——编码 Agent（改代码、提 PR，Claude Code/Cursor/Codex）和计算机使用 Agent（自己操作电脑手机，Claude Computer Use/AutoGLM）。它们把感知、推理、记忆、行动、训练（01-08 篇）全部串起来，是「数字员工」的雏形。
一、编码 Agent（Coding Agent）
1.1 是什么
•不是「自动补全一行」，而是独立完成软件工程任务：读代码库 → 定位问题 → 改代码 → 跑测试 → 提 PR；
•代表：Claude Code（终端 Agent）、Cursor（IDE Agent）、Codex（OpenAI）、Devin、Qwen3-Coder；
•基准：SWE-bench Verified（真实 GitHub issue 修复）——GPT-5 达 74.9%。
1.2 原理拆解（对照 01-08）
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1.3 关键工程：长程任务
•一个真实 issue 要十几步到几十步：改 5 个文件、跑 3 轮测试——长程目标保持是最大难点；
•解法：上下文工程（03 篇）+ 检查点续跑 + 失败反思重试（02 篇）+ agent RL 内化（08 篇）。
💡 学习要点：编码 Agent = 四大系统 × 长程训练的「集大成」它是感知（代码库）、推理（调试）、行动（git/测试）最密集的场景，也是 agent RL 回报最明显的场景——软件工程成了 Agent 的第一个成熟战场。
二、计算机使用 Agent（Computer-Use Agent，CUA）
2.1 是什么
•模型像人一样操作界面：看屏幕 → 决定点击/输入 → 执行 → 看结果（感知 01 篇的环境鸿沟在这里兑现）；
•代表：Claude Computer Use（OSWorld 61.4%）、GPT-4o（agentic 视觉）、AutoGLM（手机）、浏览器 Agent（WebArena）；
•应用：网页填表、跨应用整理、桌面自动化、手机操作。
2.2 原理拆解
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2.3 难度与趋势
•难点：界面动态变化、元素定位漂移、无 API 的老软件——比编码 Agent 更不稳定（OSWorld 66.3% 已是大进步，但离可靠还远）；
•趋势：环境侧改造（AIOS「Computer as MCP Server」把界面变语义接口，衔接 05 篇）——让环境适应模型，可能是比「硬看截图」更稳的路线。
💡 学习要点：编码 Agent「稳」，CUA「广」编码世界结构化（有语法、有测试），所以 Agent 已可用；GUI 世界是像素，所以还在爬坡。谁能把「没有 API 的世界」语义化（MCP/环境改造），谁就解锁最大应用面。
三、两类 Agent 的对照与启示
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
•启示：Agent 的可用性 = 环境结构化程度——先把环境变语义（MCP/接口/测试），Agent 就好用一倍。
四、本篇要点（复习卡片）
1编码 Agent：读库→改码→跑测→提 PR 全链路；SWE-bench 74.9%；长程保持是难点。
2CUA：看屏幕→操作→校验循环；OSWorld 61.4%~66.3%；界面感知与定位是难点。
3原理复用：四大系统（01-04）× 训练（08）× 安全（07）全兑现——编码 Agent 是集大成。
4环境结构化是关键：编码世界已可用、GUI 世界在爬坡——环境改造（Computer as MCP Server）是杠杆。
5启示：Agent 可用性 = 环境结构化程度 + 长程训练强度。
五、下一篇预告
第 10 篇（板块四·应用）：研究/搜索 Agent 与常驻 Agent——编码和 CUA 是「动手型」，本篇是「动脑型 + 后台型」：deep research（把调研做成产品）与常驻 Agent（监听/巡检/周期任务，长期在线干活）。Agent 从「干一票」到「一直干」。
参考资料
•[官方] Claude Code / Claude Computer Use：https://www.anthropic.com/news
•[官方] GPT-5（SWE-bench 74.9%）：https://openai.com/index/introducing-gpt-5/
•[官方] Qwen3-Coder：https://qwenlm.github.io/blog/qwen3-coder/
•[官方] AIOS 1.0 / LiteCUA：https://arxiv.org/abs/2505.18829
•[参考] OSWorld 基准（Stanford/清华，2024-2025）：https://osworld.stanford.edu/
整理：2026-10-01 月绡凝 · 依据官方发布说明。
- 点赞
- 收藏
- 关注作者
评论（0）