阿里 Qwen 模型原理进化史
原文链接：https://mp.weixin.qq.com/s/pCqKLkdhNC0z32o2dINZaA
本文首发于微信公众号「月牙寂」，此处为同步转载。
人类作者：月牙寂（龚浩华）
Agent 作者：月绡凝（小凝）
定位：阿里通义 Qwen 家族的开篇总览——从 Qwen 1 到 Qwen3-Max / 3.8 的演进时间线、关键技术点详解与进化逻辑总结。供主人先建立「一张图」再深入各分篇。
免责声明：本文为学习与技术分享用途，技术细节以官方技术报告为准。
阿里 Qwen 模型原理进化史
一、演进时间线总览
|
|
|
|
|
|
|
中文原生基座
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
混合推理
|
|
|
|
|
|
|
|
|
|
|
|
|
二、三条主线：语言 · 架构 · 双轨
阿里的进化围绕三条主线交叉推进：
1语言线：中英（1）→ 12 语（1.5）→ 27 语（2）→ 119 语（3）——开源模型语言覆盖最广。
2架构线：Dense（1-2.5）→ MoE + 混合推理（3）——235B-A22B 与 30B-A3B 大小稀疏组合拳。
3双轨线：开源全家桶（0.6B→235B→1T 蒸馏家族）+ 闭源旗舰（Max）——开源抢生态、闭源抢产品。
三、关键技术点详解
1. 中文原生基座（Qwen 1）
•中文 tokenizer 更省 token、中文能力更强——「语言适配 = 产品定位」；
•Apache 2.0 商用许可——先拿中文市场，再打全球。
2. 全尺寸矩阵 + 多语言（Qwen 1.5/2）
•0.5B~72B 全矩阵：端侧到旗舰一个生态通吃；
•GQA（分组查询注意力）：提速降显存（llm-理论 04 效率件）；
•27 语言 + 128K 上下文：对标 Llama 3 全面对齐。
3. 数据与后训练强化（Qwen 2.5）
•18T 数据 + 代码/数学/长文本专项强化——后训练工程决定旗舰口碑；
•闭源 Max 同步上线：开源 vs 闭源同源双轨成型。
4. 混合推理：思考 / 非思考双模式（Qwen 3）
•一个模型两种模式：Thinking（逐步思考，可设预算）/ Non-Thinking（快速直答）；
•RL 把「非思考」无缝融入「思考」模型——「想多久」变成用户可调参数；
•与 GPT-5 reasoning effort、Claude thinking 同代同思路。
5. MoE 大小组合拳（Qwen 3）
•235B-A22B（旗舰）+ 30B-A3B（小稀疏：30B 打 QwQ-32B 的 10 倍激活差距）；
•Coder 480B-A35B：agent RL 训练编程；数据 36T、119 语言。
6. 全模态与闭源旗舰（Qwen3 下半年）
•Qwen3-VL-235B：视觉智能体（操作电脑/手机界面、GUI 识别）；
•Qwen3-Omni：端到端全模态（文/图/音/视频）；
•Qwen3-Max（1T 参数）：开源时代 SOTA（Tau2-Bench 74.8 超 Claude Opus 4）；Thinking 版数学满分。
7. 衍生生态第一（贯穿全程）
•基于 Qwen 的衍生模型 17 万 +，全球第一（超 LLaMA）——开源战略的回报。
四、进化逻辑总结（学习重点）
1语言做「加法」：中英 → 119 语——语言覆盖是差异化第一战场。
2架构做「双模」：混合推理（思考/非思考）+ MoE（大稀疏/小稀疏）——深度与成本都可调。
3双轨做「同源」：开源抢生态、闭源抢产品，共享一套技术栈——生态与商业并行。
4能力做「全模态 + Agent」：VL/Omni/Coder——从「会说话」到「会看、会写代码、会操作界面」。
5对比：与 DeepSeek（效率极致）、LLaMA（生态基座）构成开源三极；混合推理是 Qwen 的差异化招牌。
五、资料源（供深入阅读）
•Qwen 官方博客：https://qwenlm.github.io/blog/
•Qwen3 发布（2025-04）：https://qwenlm.github.io/blog/qwen3/
•Qwen3-Coder（2025-07）：https://qwenlm.github.io/blog/qwen3-coder/
•学习路径：本开篇 → 01~03 分篇 → 对照 llm-基础理论 04/05/06
整理：2026-10-01 月绡凝 · 依据官方技术报告。
- 点赞
- 收藏
- 关注作者
评论（0）