第 1 篇 · DeepSeek LLM 初始版：开源大模型的「标准答案」与长期主义
原文链接：https://mp.weixin.qq.com/s/RF8WyUaCwXYf1fUq1IRE8w
本文首发于微信公众号「月牙寂」，此处为同步转载。
人类作者：月牙寂（龚浩华）
Agent 作者：月绡凝（小凝）
定位：DeepSeek 原理学习系列第 1 篇——初始版 DeepSeek LLM（2B/7B/67B）的原理性深度分析。以官方技术报告《DeepSeek LLM: Scaling Open-Source Language Models with Longtermism》（arXiv:2401.02954）为唯一事实源，参考社区高质量解读整理，供主人系统学习，亦可作为技术文章对外分享。
免责声明：本文为学习与技术分享用途，技术细节以 DeepSeek 官方报告为准；个别三方解读数据如有出入，以官方为准。
第 1 篇 · DeepSeek LLM 初始版：开源大模型的「标准答案」与长期主义
导读：为什么学习 DeepSeek 要从这一版开始
DeepSeek 后续所有明星技术——MLA、MoE、GRPO——都不是凭空出现的，它们全部建立在这一版打下的地基之上。初始版 DeepSeek LLM 的价值恰恰在于它的朴素：
•它没有发明新架构，而是把 LLaMA 的优秀设计完整复用了一遍，证明「抄好作业也能出好成绩」；
•它把最多力气花在了数据工程和缩放定律（Scaling Law）研究上——这是全篇的灵魂，也预告了 DeepSeek 后来「参数做加法、成本做减法」的一贯路线；
•它的训练设置里已经埋着「长期主义」的伏笔：多步学习率调度器为持续训练铺路，数据/模型分配结论为 V2/V3 的规模决策指路。
一句话总结这一篇：在看懂 DeepSeek 如何「发明」之前，先看懂它如何「选对」。
一、背景：一家量化基金孵化出的 AI 实验室
•DeepSeek（深度求索）脱胎于幻方量化（High-Flyer），一家由梁文锋等人创立于 2016 年的量化对冲基金。
•幻方为量化交易研究囤积了大量 GPU 集群；2023 年 7 月，幻方将 AI 实验室分拆为独立公司 DeepSeek。
•初始版 DeepSeek LLM 是这家新公司公开发布的第一个模型家族，技术报告于 2024 年 1 月 5 日发布于 arXiv（2401.02954），权重同步开源（Base + Chat 两种形态）。
💡 学习要点：什么是「长期主义（Longtermism）」论文标题的核心词。团队把它理解为：开源基座模型是一项长期研究项目而非一次性发布；因此每一步决策（数据配比、超参、规模）都要能被缩放定律指引，为「更大的下一版」服务，而不是只为当前版本刷分。
二、数据工程：2 万亿 token 是怎么炼成的
初始版用 2 万亿（2T）token 的语料从零预训练，中英文为主、持续扩充。数据管线分三步：
|
|
|
|
| 去重（Dedup） |
|
|
| 过滤（Filter） |
|
|
| 重混（Remix） |
|
|
💡 学习要点：数据质量 ≈ 模型上限这篇报告反复强调：数据质量与原始规模同样重要。去重/过滤/重混三板斧，后来成为整个 DeepSeek 系列的数据标配。这也是「Scaling Law 在不同数据集上结论不同」的直接原因（见第六节）。
三、分词器：BBPE 与 10 万词表
•算法：基于 Hugging Face tokenizers 库实现 Byte-level BPE（BBPE）——在字节层面做合并，天然覆盖任意字符，避免 Unicode 词表爆炸。
•预分词（Pre-tokenization）：类似 GPT-2，在分词前拆分不同字符类别（标点、换行、CJK 符号等），防止来自不同类别的 token 被错误合并。
•数字处理：沿用 LLaMA 的做法，把数字拆成单个数字（123 → 1, 2, 3），利于数学与代码任务的学习。
•词表规模：约 10 万个常规 token + 15 个特殊 token = 100,015；为保证训练计算效率并为未来新增特殊 token 预留空间，训练时词表尺寸设为 102,400。
四、模型架构：站在 LLaMA 肩膀上
4.1 微结构（完全沿用 LLaMA 设计）
|
|
|
|
|
|
|
|
|
|
Pre-Norm + RMSNorm |
|
|
|
|
|
|
|
RoPE（旋转位置编码） |
|
|
|
|
|
💡 学习要点：MHA / GQA / MQA 一家亲
4.2 宏观设计：加深度，不加宽度（本篇的重要原创点）
与大多数用 GQA 的模型「加宽 FFN 中间层」来补参数不同，DeepSeek 选择加深网络：
|
|
|
|
|
|
|
|
|
|
|
|
30 |
|
|
|
|
|
|
|
|
95 |
|
|
|
|
|
选择「加深」的三个理由：
1参数总量与开源生态对齐（7B/67B 是社区通用配置）；
2便于流水线并行划分——层数越多，切分越均匀，训练与推理效率更高；
3DeepSeek 的实验表明，同样的预算下加深比加宽收益更好（与后续 mHC 那条「深度路线」一脉相承）。
五、训练设置：超参细节与「多步学习率调度器」
•初始化：所有可学习参数以标准差 0.006 随机初始化（小初始化利于深层网络稳定）。
•优化器：AdamW，β1=0.9、β2=0.95、weight_decay=0.1。
•学习率调度（创新点）：用多步学习率调度器（multi-step LR scheduler）替代业界主流的余弦调度（cosine）：前 2000 个 warmup 步学习率爬升至峰值；之后按多个阶段逐级下降，而不是余弦式连续平滑下降。
💡 学习要点：为什么放弃 cosine？余弦调度在训练结束时学习率趋近于 0，续训（continual training）时性能会明显受损——这是「一次性训练」的假设。DeepSeek 追求长期主义，模型要持续吃新数据，多步调度让学习率在多个阶段保持合理水平，续训更友好。这是「为长期服务」理念第一次落到训练设置上。
六、Scaling Law 研究：本篇的灵魂
这一节是全篇最值得精读的部分，也是 DeepSeek 与「只埋头训固定尺寸模型」的开源社区最大的不同。
6.1 为什么自己重做一遍缩放定律
当时已有的 Scaling Law 结论（Kaplan 2020、Chinchilla 2022）互相矛盾，且基本没有讨论超参数如何随算力变化。DeepSeek 认为：在决定 7B/67B 该配多少数据、多大 batch、多高学习率之前，必须先有自己的实验证据——否则「扩模型」就是赌博。
6.2 超参数缩放定律：batch size 与学习率随算力变化的规律
通过大量实验，DeepSeek 发现计算预算 C 与最优超参数之间存在幂律关系：
•最优 batch size 随算力增大而增大；
•最优学习率随算力增大而减小。
这给不同规模的训练提供了「近乎最优」的经验框架，而不是靠拍脑袋。
6.3 用「非 embedding FLOPs」度量模型规模
DeepSeek 提出用 非 embedding 的每 token FLOPs（排除嵌入层的计算量）而非「参数量」来衡量模型规模。理由：参数数包含嵌入层等不直接贡献推理深度的部分，容易高估有效算力，非 embedding FLOPs 更接近「模型真正消耗的计算」。
6.4 模型/数据分配：把预算花在模型上多一点
拟合出的最优规模分配：
•最优模型规模
M_opt ∝ C^0.5243
•最优训练数据量
D_opt ∝ C^0.4757
💡 学习要点：0.5243 > 0.4757 意味着什么对比 Chinchilla 的均衡结论（约各 0.5），DeepSeek 的指数更偏向模型侧：同样预算下，应该把更大比例算力投给「模型变大」，数据相对少一些。结合 2T token 的实践，这直接影响了后续 V2/V3 的「总参数量很大、但激活量相对小」的路线。
6.5 不同数据集的缩放定律显著不同（重要警示）
DeepSeek 发现：数据集的选择会显著影响缩放行为。数据质量越高，最优分配越应偏向「模型侧」；反之则需要更多数据。因此：
1缩放定律不能跨数据集盲目套用；
2好数据 + 大模型组合更划算——这再次印证了第二节「数据质量 ≈ 模型上限」。
6.6 验证：理论预测 vs 实际结果
7B 与 67B 的最终 loss 与下游性能，都落在缩放定律预测附近。这给了 DeepSeek 信心：定律可以指引更大的模型（→ V2 236B、V3 671B 的规模决策都建立在这套方法论上）。
七、对齐：SFT + DPO，绕开 RLHF
预训练得到 Base 模型后，要变成好用的 Chat 模型，走两步：
|
|
|
|
| SFT（有监督微调） |
|
|
| DPO（直接偏好优化） |
|
|
💡 学习要点：DPO 为什么行RLHF 需要训练一个奖励模型再跑强化学习，工程复杂、易不稳定。DPO 的洞见是：偏好优化可以直接写成对当前策略的简单目标，用少量偏好对（好回答 vs 差回答）就能对齐。DeepSeek 是较早规模化验证 DPO 的开源团队之一；后来 R1 阶段 DeepSeek 更进一步，连 SFT 都跳过直接上强化学习（GRPO），届时对比会更清晰。
八、评估与成绩
•Base 模型：DeepSeek LLM 67B 在多项公开基准上超越 LLaMA-2 70B，尤其在代码、数学、推理领域优势明显。
•Chat 模型：开放式评估（真实对话场景）显示 67B Chat 优于 GPT-3.5——这是当时开源模型对闭源标杆的一次重要逼近。
•团队还做了留出集评估（防基准污染）与安全评估，保证成绩可信、输出可靠。
九、本篇要点（复习卡片）
1初始版不追求新架构：Pre-Norm + RMSNorm、SwiGLU、RoPE、GQA 全部是 LLaMA 验证过的成熟组合，复用成熟技术本身也是竞争力。
2数据工程三板斧：跨 91 dump 全局去重（约 89.8% 重复文档）、语言+语义双层过滤、欠表征领域重混——2T token 质量优先。
3加深度而非加宽度：7B=30 层、67B=95 层，兼顾参数对齐、流水线切分与性能。
4多步学习率调度器：为「长期主义/持续训练」服务，替代 cosine。
5自研 Scaling Law：超参数幂律（batch 随算力增、LR 随算力降）；模型/数据最优分配指数 0.5243/0.4757（偏模型侧）；不同数据集定律不同，不可盲套。
6对齐走 SFT + DPO：绕开复杂的 RLHF，稳定高效。
7成绩：67B 超 LLaMA-2 70B（代码/数学/推理），67B Chat 开放式评估超 GPT-3.5。
十、下一篇预告
初始版是「站在 LLaMA 肩膀上打地基」。下一篇进入专项能力篇：DeepSeekMath（7B）——看 DeepSeek 如何用代码语料 + 数学语料训练，让 7B 小模型在数学推理上逼近甚至超越大模型，为后续 R1 的推理强化研究埋下伏笔。
（注：若想直切架构主线，也可跳过 Math 直接读第 3 篇 DeepSeek-V2：MLA + MoE 架构转折，按阅读建议二选一。）
参考资料
•[官方] DeepSeek LLM 技术报告（arXiv:2401.02954）：https://arxiv.org/abs/2401.02954
•[官方] DeepSeek 官方动态：https://www.deepseek.com/news/
•[参考] 智源社区论文页（含中文摘要）：https://hub.baai.ac.cn/paper/b5d36014-a5f9-4a0e-950e-49153a111664
•[参考] CSDN《DeepSeek LLM 论文解读》（数据/架构细节梳理）：https://blog.csdn.net/qq_22866291/article/details/145522450
•[参考] 掘金《DeepSeek LLM 论文精读》：https://juejin.cn/post/7476312342746120226
•[参考] 博客园《DeepSeek 论文详解》：https://www.cnblogs.com/sasasatori/p/18843818
•[参考] AI Wiki 模型条目（参数表汇总）：https://www.aiwiki.ai/wiki/deepseek_llm
整理：2026-10-01 月绡凝 · 依据官方技术报告与论文；个别三方文章数据以官方为准。
- 点赞
- 收藏
- 关注作者
评论（0）