第 01 篇 · Gemini 1 / 1.5:原生多模态与百万上下文
原文链接:https://mp.weixin.qq.com/s/2yz5BY9FaCIu5Z4ikjCVjA
本文首发于微信公众号「月牙寂」,此处为同步转载。
人类作者:月牙寂(龚浩华)
Agent 作者:月绡凝(小凝)
定位:Google Gemini 家族系列第 01 篇——Gemini 1 与 1.5:原生多模态与百万上下文两大杀器。理解「多模态为什么要原生」和「长上下文为什么是 Google 的主场」。与 llm-基础理论第 06 篇(多模态)衔接。
免责声明:本文为学习与技术分享用途,技术细节以官方技术报告为准。
第 01 篇 · Gemini 1 / 1.5:原生多模态与百万上下文
导读
2023 年底,Google 憋出 Gemini 1.0 时行业已经挤满玩家。它的破局武器不是「更聪明」,而是两个结构性差异:从一开始就把图文音视频训进一个模型(原生多模态),以及 100 万 token 的上下文窗口(把整个「阅读量」问题一次性解决)。这两招定义了 Gemini 此后所有版本的底色。
一、Gemini 1.0(2023-12):原生多模态
1.1 什么是「原生多模态」
•拼接式(GPT-4V 早期路线):视觉模型把图「翻译」成 token 再喂给文本模型——两套系统拼装;
•原生式(Gemini):图文音视频从预训练第一刻就联合训练——一套权重内同时理解所有模态;
•效果:跨模态推理(看图 + 听音 + 读文综合判断)、视频理解(帧序列 + 音频 + 字幕对齐)、长视频问答。
1.2 分档产品
|
|
|
|
|
|
|
|
|
|
|
|
1.3 意义
•反超 GPT-4 的部分多模态基准(MMMU 等);
•宣告「多模态 = 下一个主战场」:此后所有旗舰(GPT-4o/Claude 4/V4)都转向原生路线——Gemini 是先行者。
💡 学习要点:原生多模态 =「让模型天生五感贯通」拼接式像「翻译官」,原生式像「天生通感的人」。联合预训练让「看到图→想到词→说出话」发生在同一套神经元里——这是跨模态推理的基础。
二、Gemini 1.5(2024-02~05):百万上下文
2.1 数字
•100 万 token 上下文(Pro 全量开放;实验 1M→2M 推进);
•可一次处理:整部三体小说、整份代码仓库、2-3 小时视频、几十万行文本;
•配套:Flash 系列(轻量快速档)——Pro 管深度、Flash 管速度。
2.2 为什么「长上下文」是 Google 的结构性优势
1基建:TPU + 自家数据管道(YouTube 字幕、图书、搜索质量数据)——数据与算力自给;
2架构:稀疏注意力 + 高效的 KV 管理(llm-理论 04 的长上下文工程);
3产品:一次喂「整个文档/整个视频」→ 消除「切 chunk 丢上下文」的痛点——体验上直接碾压需要 RAG 拼装的方案。
2.3 长上下文的意义
•应用面打开:长文档理解、代码库级助手、视频检索问答;
•成本挑战浮现:1M 上下文的前向计算贵——「塞得下」和「用得起」是两回事(效率革命的持续课题)。
💡 学习要点:Gemini 1.5 =「把阅读量做成产品卖点」别家靠「检索 + 拼装」(RAG)弥补上下文不足;Google 直接给「一次装下」——体验层面最简、成本层面最重。这是 Google 敢赌的差异点。
三、与 DeepSeek 的对照
•DeepSeek-V4 也做到百万上下文 + 多模态(其家族系列第 8 篇),路径类似但主打「效率做便宜」;
•Gemini 主打「原生多模态深度 + 生态接入」,DeepSeek 主打「开源 + 白菜价」——同样的能力,不同的商业模式。
四、本篇要点(复习卡片)
1原生多模态:从预训练就联合图文音视频(非拼接)——Gemini 的定义级差异。
2分档:Ultra(最强)/ Pro(均衡)/ Nano(端侧)。
3百万上下文(1.5):一次装下整书/整库/长视频——长上下文霸主。
4结构性优势:TPU 基建 + 数据管道 + 稀疏注意力。
5成本课题:塞得下 ≠ 用得起——效率革命是长上下文的续集。
五、下一篇预告
第 02 篇:Gemini 2.0——2024 年底 Google 把重心从「多模态深度」转向「Agent 能力」:函数调用、计算机使用、实时多模态语音。Gemini 2.0 证明 Google 也要做「能干活的模型」——这是 2025 年所有旗舰的同一个转向(对照 OpenAI o 系列、Claude Computer Use)。
参考资料
•[官方] Introducing Gemini 1.0(2023-12):https://blog.google/technology/ai/google-gemini-ai/
•[官方] Gemini 1.5 技术报告(百万上下文):https://storage.googleapis.com/deepmind-media/gemini/gemini_1_5_pro_report.pdf
•[官方] Gemini 技术报告:https://arxiv.org/abs/2312.11805
整理:2026-10-01 月绡凝 · 依据官方技术报告。
- 点赞
- 收藏
- 关注作者
评论(0)