第 06 篇 · 多模态与 Agent：从「会说话」到「会做事」
原文链接：https://mp.weixin.qq.com/s/jOnHU9mruOY5tQ3Ck8O1Jw
本文首发于微信公众号「月牙寂」，此处为同步转载。
人类作者：月牙寂（龚浩华）
Agent 作者：月绡凝（小凝）
定位：LLM 基础理论发展系列第 06 篇（收尾）——多模态与 Agent。模型会说话、会思考了，还要「看见」和「动手」：CLIP 让视觉与语言对齐，GPT-4V/Gemini/Claude 4 原生多模态合一，Agent 训练让模型从「答问」走向「做事」。
免责声明：本文为学习与技术分享用途，技术细节以原论文为准。
第 06 篇 · 多模态与 Agent：从「会说话」到「会做事」
导读
前面五篇走完了这条线：表示（00）→ 架构（01）→ 规模（02）→ 对齐（03）→ 效率（04）→ 推理（05）。本篇收尾两条新轴：模型不再只「读字」，还能看（多模态）；也不再只「回答」，还能做（Agent）。当模型既能想、又能看、又能动手调用工具——它就不再是「聊天机器人」，而是「数字员工」。 这也是理解「小凝」这类 agent 体系原理的最后一环。
一、CLIP（2021）：让视觉与语言对齐
1.1 问题
图像模型与文本模型各自为政：视觉模型不懂「狗」这个词，文本模型看不到画面。
1.2 CLIP 的做法（OpenAI，2021）
•用**海量「图片-文字对」**做对比学习：让「图片的特征」与「对应描述的文本特征」在向量空间里靠近；
•不需要人工标注类别——直接拿互联网图文对当监督；
•效果：跨模态的「语义对齐」——图与文的距离可计算：看图找描述、按描述找图。
1.3 意义
•证明「视觉 + 语言」可以共用同一个向量空间；
•为「图片进语言模型」铺路：视觉编码器（像 CLIP 的 vision tower）把图片变成 token，喂给文本模型——这就是多模态大模型的雏形。
💡 学习要点：CLIP =「给图片配字幕学习的模型」用「图文对」做对比学习，让两种模态共享语义空间——多模态的第一块基石。
二、原生多模态：看图说话一体化
2.1 演进
|
|
|
|
| 拼接式
|
|
|
| 原生式
|
|
|
2.2 原生多模态的威力
•看 + 读 + 写：识别图表、读代码截图、看页面布局再生成代码；
•同一套权重理解图文：跨模态推理（「图中这个人像谁？配文说明什么？」）；
•成本：图文混合训练更贵、更复杂——但这是各家旗舰的必经之路（DeepSeek-V4 系列即「百万上下文 + 多模态」双加持，其家族系列第 8 篇深挖）。
💡 学习要点：多模态 =「让模型长眼睛」拼接式像「翻译器」，原生式像「天生会看图的人」。越原生，跨模态理解越深——2025 年后所有旗舰都走原生路线。
三、Agent：从「回答」到「做事」
3.1 为什么需要 Agent 训练
模型再聪明，也只是「对话框里回答问题」。要让它完成真实任务（查资料、写代码、发邮件、操控软件），必须让它学会使用工具。
3.2 三块能力拼图
① 工具调用（Function Calling）
模型学会输出「调用哪个工具 + 传什么参数」的结构化指令
② 规划与反思（Planning & Reflection）
把大目标拆成子任务，执行后校验结果、自我修正
③ 环境交互（环境反馈）
工具返回结果 → 模型读结果 → 决定下一步（循环）
•训练方式：工具调用数据 SFT + RL（对齐 + 推理的训练技术直接复用）；
•运行方式：Agent = 模型 + 工具清单 + 循环控制（如 ReAct、代码执行沙箱、浏览器操控）。
3.3 从通用模型到 Agent 体系
•单 Agent：模型 + 工具 + 记忆 → 完成一个任务（写作/编程/查证）；
•多 Agent：多个角色分工协作（规划者/执行者/审查者），如各家的 Orchestrator 编排；
•常驻 Agent：不是「问一次答一次」，而是长期驻留监听（周期巡检、事件驱动）——对应小凝体系的「常驻 goal」形态。
💡 学习要点：Agent =「模型从大脑长出手脚」推理（第 05 篇）解决「怎么想」，Agent 解决「怎么干」：工具 = 手，循环控制 = 腿，记忆 = 档案。2025 年的 AI 竞争已从「谁的模型会说话」转向「谁的 Agent 能干活」。
四、与 DeepSeek 系列的总衔接
•架构：DeepSeek 解码器 + MLA/MoE（对应 01、04 篇）；
•规模与效率：自家缩放定律 + V2/V3 效率集大成（对应 02、04 篇）；
•对齐：DPO/GRPO 路线的实践者（对应 03 篇）；
•推理：R1 纯 RL 制造推理（对应 05 篇）；
•多模态与 Agent：V3.2 稀疏注意力 + Agent 专项、V4 百万上下文 + 多模态（对应本篇）——整个家族系列就是这套理论的完整落地标本。
五、本篇要点（复习卡片）
1CLIP（2021）：图文对比学习，视觉与语言共享向量空间——多模态基石。
2多模态两阶段：拼接式（GPT-4V/LLaVA）→ 原生式（Gemini/Claude 4/Qwen-VL/V4）。
3Agent 三拼图：工具调用 + 规划反思 + 环境反馈循环——从「答问」到「做事」。
4体系形态：单 Agent → 多 Agent 协作 → 常驻 Agent（监听/巡检/事件驱动）。
5总衔接：理论线 7 篇全部落到 DeepSeek 家族 = 「一套理论，一个完整标本」。
六、理论线收尾：七篇地图
00 词表示与序列建模 → 01 Transformer+预训练 → 02 缩放定律
→ 03 对齐 → 04 效率 → 05 推理 → 06 多模态与 Agent
读完本线，再读 DeepSeek 家族系列（已归档），就能以「理论骨架 + 家族实践」的双重视角理解整个 LLM 领域。后续各家族系列（GPT/Claude/Gemini/LLaMA/Qwen）将以本线为公共底座，只讲「各家在每块理论上的独特解法」。
参考资料
•[官方] CLIP（Radford et al., 2021）：https://arxiv.org/abs/2103.00020
•[官方] GPT-4V（OpenAI，2023 系统卡）：https://openai.com/index/gpt-4v-system-card/
•[官方] ReAct: Synergizing Reasoning and Acting（Yao et al., 2022）：https://arxiv.org/abs/2210.03629
•[官方] Toolformer（Schick et al., 2023，工具学习）：https://arxiv.org/abs/2302.04761
•[参考] 各旗舰模型发布说明（Gemini / Claude 4 / Qwen-VL / DeepSeek-V4）
整理：2026-10-01 月绡凝 · 依据原论文。
- 点赞
- 收藏
- 关注作者
评论（0）