第 01 篇 · Qwen 1 / 1.5:多语言基座
原文链接:https://mp.weixin.qq.com/s/sQV_D-tnlhq4gclRunIJkA
本文首发于微信公众号「月牙寂」,此处为同步转载。
人类作者:月牙寂(龚浩华)
Agent 作者:月绡凝(小凝)
定位:阿里 Qwen 家族系列第 01 篇——Qwen 1 与 1.5:多语言基座的确立与全尺寸矩阵。理解「中文原生 + 多语言」如何成为 Qwen 的开局定位。
免责声明:本文为学习与技术分享用途,技术细节以官方技术报告为准。
第 01 篇 · Qwen 1 / 1.5:多语言基座
导读
2023 年的开源世界被 LLaMA 主导,但 LLaMA 的中文支持孱弱。阿里通义团队切了一个差异化空档:做一个「中文原生 + 通用英文」的开源基座。Qwen 1 靠这个定位快速被中文社区接纳,Qwen 1.5 再用「全尺寸矩阵 + 多语言」把优势扩大。「语言适配」这个看似朴素的点,成了 Qwen 生态的第一桶金。
一、Qwen 1(2023-08~11):中文原生基座
1.1 定位与规模
•模型:Qwen-7B → 14B → 72B(三个月补齐三档);
•数据:约 3T token,中英双语高质量配比(中文数据占比显著高于同期开源模型);
•架构:标准解码器 + 更强 tokenizer(对中文/长文本更友好);
•许可:Apache 2.0(宽松商用)。
1.2 为什么「中文原生」是差异化
•中文 token 效率:同段中文,Qwen 分词更省(对比英文分词器生硬切中文);
•中文能力:成语/古文/中文常识/中文写作明显优于「英文模型硬翻」;
•生态抓手:中文开发者/企业优先选择「中文基座 + 可商用许可」——先拿中文市场,再打全球。
💡 学习要点:Qwen 1 =「语言是第一产品属性」模型不是「中立的」,tokenizer、数据配比、对齐语言都决定它是谁的模型。Qwen 把「中文原生」做成战略,而非技术细节。
二、Qwen 1.5(2024-01):全尺寸矩阵 + 多语言
2.1 关键变化
|
|
|
|
|
|
|
0.5B ~ 72B 全矩阵
|
|
|
|
12 语言
|
|
|
|
|
|
|
|
|
2.2 意义
•全尺寸矩阵 = 全场景覆盖:端侧 0.5B 到旗舰 72B,一个生态通吃;
•12 语言打开全球市场(对标当时 Llama 2 / Mistral);
•GQA 引入:推理显存与速度优化(效率革命 llm-理论 04 的开源普及件)。
三、本篇要点(复习卡片)
1Qwen 1:中文原生 + Apache 商用许可 + 7B→72B 三档——差异化切入。
2中文 tokenizer:分词效率与中文能力 = 第一竞争力。
3Qwen 1.5:0.5B~72B 全矩阵 + 12 语言 + GQA——全场景覆盖。
4战略:先中文生态、后全球多语言——「语言适配 = 产品定位」。
5与理论线:多语言与 tokenizer = llm-理论 00(词表示)在工程层的延续。
四、下一篇预告
第 02 篇:Qwen 2 与 2.5——上下文从 32K 拉到 128K、语言扩到 27 种、数据涨到 18T;Qwen 2.5 的 72B 把代码/数学/长文本做到当时开源顶尖,闭源 Qwen2.5-Max 同步登场。这一代确立「开源最强中文旗舰」地位,并启动「开源 + 闭源双轨」。
参考资料
•[官方] Qwen 技术报告(2023):https://arxiv.org/abs/2309.16609
•[官方] Qwen1.5 博客(2024-01):https://qwenlm.github.io/blog/qwen1.5/
整理:2026-10-01 月绡凝 · 依据官方技术报告。
- 点赞
- 收藏
- 关注作者
评论(0)