第 2 篇 · DeepSeekMath：7B 小模型如何逼近 GPT-4 的数学能力
原文链接：https://mp.weixin.qq.com/s/pfz-6mJWf78CSY0gmzN3-w
本文首发于微信公众号「月牙寂」，此处为同步转载。
人类作者：月牙寂（龚浩华）
Agent 作者：月绡凝（小凝）
定位：DeepSeek 原理学习系列第 2 篇——DeepSeekMath（7B）数学推理专项的原理性深度分析。以官方论文《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》（arXiv:2402.03300）为唯一事实源，参考社区高质量解读整理，供主人系统学习，亦可作为技术文章对外分享。
免责声明：本文为学习与技术分享用途，技术细节以 DeepSeek 官方论文为准；个别三方解读数据如有出入，以官方为准。
第 2 篇 · DeepSeekMath：7B 小模型如何逼近 GPT-4 的数学能力
导读：这一篇为什么重要
第 1 篇的初始版 DeepSeek LLM 证明了「抄好作业 + 数据工程 + Scaling Law」能把通用大模型做强。第 2 篇的 DeepSeekMath 则打出两记更响的拳头：
1数据视角：全网数学内容占比不足 0.5%——好的数学数据不是「攒」出来的，是用分类器「找」出来的；
2算法视角：论文在这里首次提出了 GRPO（组相对策略优化）——这正是 2025 年引爆推理革命的 DeepSeek-R1 的核心算法。
更惊人的是成绩：一个 7B 的模型，在竞赛级 MATH 基准上做到 51.7%，逼近 GPT-4（52.9%） 与 Gemini Ultra（53.2%），而它的体积只有 GPT-4 的几十分之一。
一句话总结：这一篇是「数据挖掘」与「强化学习算法」两场好戏的合体，也是通往 R1 的关键一站。
一、背景：数学 = 大模型的「试金石」
•数学推理需要多步逻辑推导，是检验 LLM 推理深度的最硬科目。
•当时最强的 GPT-4 / Gemini Ultra 是闭源的；开源模型在 MATH 上落后闭源十几分，差距刺眼。
•DeepSeek 的选择：不追求「更大」，而是做一个数学专项 7B 模型，用「数据 + 算法」去追平差距。
当时的 MATH 分数榜（无外部工具、无投票，CoT 直答）：
|
|
|
|
|
|
|
|
|
|
|
|
| DeepSeekMath-RL 7B | 7B | 51.7 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
💡 学习要点：注意 DeepSeekMath 与第二梯队（20B/72B）之间的断层——它不是「略好」，而是把开源数学能力整体抬高了一档。
二、数据工程：用分类器「找」数学，而不是攒数学
2.1 难题：全网数学内容 < 0.5%
数学网页在整个互联网里占比极低（三方解读估计不足 0.5%），靠关键词或人工整理很难凑够大规模语料。DeepSeek 的洞见：最好的数学数据不在少数精选站点，而是散落在海量网页里，只是「找不出来」。
2.2 DeepSeekMath-Corpus：120B token 的迭代挖掘
核心是一套 fastText 分类器 + 人类修正的迭代闭环：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
产出：35.5M 数学网页 ≈ 120B token，多语言（英中为主），是当时最大规模的公开数学语料（约为此前最佳公开数学语料的 9 倍）。
2.3 去重与去污染
•去重：URL 去重 + 近似去重（将 Common Crawl 约 40B 网页规模先收缩）。
•去污染（防作弊）：严格过滤任何包含 GSM8K / MATH 等基准题目或答案 n-gram 的网页——保证评估分数真实、不是「背题」。
💡 学习要点：迭代式数据挖掘的通用套路「种子语料 → 训练分类器 → 自动挖掘 → 人工修正 → 再来一轮」是个可复用的方法论。DeepSeek 后来在代码、Agent 等方向都沿用了这种**「机器挖掘 + 人工校正」**的闭环。
三、模型：从代码模型续训，而不是从零开始
3.1 关键决策：初始化自 DeepSeek-Coder-Base-v1.5 7B
DeepSeek 用代码预训练模型作为起点，而不是通用模型。理由是实验观察到的：从代码模型起步，数学能力显著更好——代码的逻辑结构、精确语法与数学推理高度同源。
💡 学习要点：代码 × 数学的协同代码预训练已经教会模型「精确、结构化、可验证」的思维；数学续训只是把这种能力迁移并强化到符号推理上。这是 DeepSeek 后续「数学强 → 推理强 → Agent 强」链条的源头。
3.2 续训数据配比（共约 500B token）
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
验证收益：Base 7B 不仅 GSM8K 64.2%、MATH 36.2%（超越当时 540B 的 Minerva），而且 MMLU、BBH 等通用推理基准也同步提升——数学训练强化的是「通用推理」本身。
四、指令微调：SFT 的三种解题「姿势」
预训练后，用 77.6 万条数学指令样本（覆盖英/中文 K-12 及以上难度）做 SFT，关键在同一道题配多种解法格式：
|
|
|
|
| CoT |
|
|
| PoT |
|
|
| 工具集成推理 |
|
|
产出 DeepSeekMath-Instruct 7B：击败所有 7B 同类，与 70B 开源指令模型相当。
五、GRPO：本篇最值钱的算法（R1 的前奏）
5.1 PPO 的两大痛点
传统 RLHF 强化学习用 PPO，需要同时训练两个模型：策略模型 + Critic 价值模型（估计每条回答的好坏基线）。痛点：
1显存翻倍：Critic 与策略模型一般大，GPU 压力巨大；
2训练不稳：价值函数要为每个 token 预测奖励，而奖励通常只对最后结果打分，学起来既慢又脆。
5.2 GRPO 的核心思想：扔掉 Critic，让「组内互评」
GRPO 的改动一句话：不再训练价值模型，用「同一个问题的一组答案」来构造基线。
具体流程（每个问题 q）：
1从当前策略对 q 采样一组（G 个）答案；
2用规则（最终答案对错）给每个答案打分，得到组内分数 {r1, r2, …, rG}；
3用组内均值/标准差把分数归一化为相对优势——做得比同组平均水平好就推，差就拉；
4以 PPO 同款的 clip 策略更新，保证训练稳定。
|
|
|
|
|
|
|
不需要 |
|
|
|
|
|
|
|
省一半以上 |
|
|
|
|
5.3 GRPO 的成绩（RL 阶段）
只用一部分英语指令数据做强化学习，GRPO 让模型再上一个台阶：
|
|
|
|
|
|
|
|
88.2% |
|
|
|
|
51.7% |
|
|
|
|
88.8% |
|
再叠上 64 样本自一致性（Self-Consistency）投票，MATH 可达 60.9%。
💡 学习要点：GRPO 为什么是「战略级」发明去掉价值模型，意味着大规模 RL 的显存与成本门槛大幅下降，也让「纯 RL 从零训推理」变得可操作——这正是 2025-01 月 R1-Zero 的雏形。GRPO 从本篇诞生，在 R1 篇中我们将看到它如何被推到极致。
六、评估与意义
•7B 单模型（无工具、无投票）MATH 51.7%，逼近 GPT-4 与 Gemini Ultra——开源模型的数学天花板被整体抬高。
•域外泛化：中文 CMATH 88.8%，说明学到的不是「背题技巧」而是可迁移的推理能力。
•通用推理同步提升：MMLU、BBH 均受益——「练数学 ≈ 练推理」。
•全套权重（Base / Instruct / RL）开源，代码 MIT、权重可商用——研究社区从此有了免费的高质量数学基座。
七、本篇要点（复习卡片）
1数学数据 <0.5% 的难题 → fastText 分类器 + 人工校正的四轮迭代挖掘，产出 120B token（当时最大数学语料，约 9 倍于此前最佳）。
2从代码模型续训：以 DeepSeek-Coder-Base-v1.5 7B 为起点，数学 = 代码逻辑能力的迁移与强化。
3500B 混合配比：56% 数学 + 20% 代码 + 10% arXiv + 10% 通用 + 4% 数学代码。
4SFT 三姿势：CoT（语言推理）/ PoT（写程序）/ 工具集成推理。
5GRPO 诞生于此：抛弃 Critic 价值模型，用组内均值/标准差做相对优势——显存省一半、训练更稳，是 R1 的核心算法。
6成绩：7B 无工具 MATH 51.7%（逼近 GPT-4 52.9 / Gemini Ultra 53.2）；自一致性 64 样本达 60.9%；中文 CMATH 88.8%。
7通用性：数学训练同时提升 MMLU / BBH——练数学即练推理。
八、下一篇预告
DeepSeekMath 在「数学专项」上证明了两件事：数据挖掘能挖出性能、GRPO 能替代 PPO。下一篇进入全系列最重要的架构转折：DeepSeek-V2（236B / 21B 激活）——MLA + DeepSeekMoE。你将看到 DeepSeek 如何从「训练一个大而全的稠密模型」切换到「总参很大、激活很少」的稀疏架构，把训练成本省 42.5%、KV 缓存压掉 93.3%、推理吞吐拉高 5.76 倍——这也是「参数做加法、成本做减法」路线的正式确立。
参考资料
•[官方] DeepSeekMath 论文（arXiv:2402.03300）：https://arxiv.org/abs/2402.03300
•[官方] GitHub 仓库（DeepSeek-Math）：https://github.com/deepseek-ai/DeepSeek-Math
•[参考] AI Wiki《DeepSeekMath》条目（参数/许可/基准汇总）：https://www.aiwiki.ai/wiki/deepseek_math
•[参考] AIAny《DeepSeekMath (2024) — Visual Explainer》（MATH 分数榜）：https://aiany.app/html/deepseekmath-pushing-the-limits-of-mathematical-reasoning-in-open-language-models?lang=en
•[参考] AGI Frontier《DeepSeekMath 论文解读》（三阶段流程/数据配比）：https://agifrontier.github.io/tutorials/deepseekmath-pushing-the-limits-of-mathematical-reasoning-in-open-language-model/
•[参考] CSDN《突破数学推理极限：DeepSeekMath 的算法与实现》（GRPO 原理）：https://blog.csdn.net/weixin_36829761/article/details/145280505
•[参考] 51CTO《从 DeepSeek-Math 到 DeepSeek-Coder》（代码×数学协同）：https://blog.51cto.com/u_16213559/14972810
整理：2026-10-01 月绡凝 · 依据官方论文；个别三方文章数据以官方为准。
- 点赞
- 收藏
- 关注作者
评论（0）