【编译】IBM Granite 4.1 全栈架构解析：15T Token 渐进退火与 512K 长上下文演进

## 架构设计与核心技术选型 IBM Granite 4.1 是基于 Dense Decoder-Only 架构构建的一组开源大型语言模型，包含 3B、8B 及 30B 三个参数规模。该系列模型通过约 15T Token 的多阶段混合语料从零开始训练，支持最高达 512K Token 的超长上下文窗口。 在底层架构上，Granite 4.1 延续了现代 LLM 的标准工业级优化设计： * **Grouped Query Attention (GQA)**：在保证表征能力的同时显著降低推理阶段的 KV Cache 显存占用。 * **Rotary Position Embeddings (RoPE)**：提供相对位置编码能力，并为后续多阶段超长上下文扩展（Long Context Extension, LCE）奠定基础。 * **SwiGLU 激活函数**：相比传统 GELU/ReLU，具有更好的梯度流与收敛稳定性。 * **RMSNorm**：去除均值中心化计算，提升层归一化效率与吞吐量。 * **输入/输出权重共享 (Tied Embeddings)**：在较小尺寸模型中提升参数利用率，减少显存冗余。 三个参数规模共享完全统一的预训练管线与数据配比策略，仅在隐藏层维度（Hidden Size）、注意力头数（Heads）和网络深度（Layers）上进行缩放。 --- ## 五阶段预训练：从海量语料到高质量退火 小参数模型性能的突破不仅取决于计算量（Compute FLOPs）的堆叠，更取决于训练过程中数据质量的渐进式演进。Granite 4.1 引入了严格的五阶段（Five-Phase）预训练范式，跨越约 15T Tokens： ``` Phase 1 (10T) --> Phase 2 (2T) --> Phase 3 (2T) --> Phase 4 (0.5T) --> Phase 5 (LCE) 通用海量底座 代码/数学强化 数据配比退火 高质量精炼退火 长上下文扩展 (512K) Power LR Schedule 高比例代码/公式 指数衰减 LR + CoT 线性衰减至 0 多阶段 RoPE 插值 ``` ### 阶段 1：通用预训练（General Pre-Training，10T Tokens） 阶段 1 构建基础语言与世界知识表征。数据由网页爬虫清洗语料、通用文本及多语言数据构成，采用带有预热（Warmup）的幂律学习率调度（Power Learning Rate Schedule），使模型建立稳健的通识语言表征。 ### 阶段 2：数学与代码强化（Math/Code Pre-Training，2T Tokens） 阶段 2 显著提升代码库、算法题解及数学推导数据的比例。此阶段旨在模型权重完全固化前，深度诱导模型的形式化推理（Formal Reasoning）能力，同时维持通用文本的分布以防止灾难性遗忘。 ### 阶段 3：高质量数据退火（High-Quality Data Annealing，2T Tokens） 进入 Mid-Training 阶段，训练策略切换为指数衰减学习率调度（Exponential Decay Schedule）。数据分布开始大幅削减低质网页数据，引入经过验证的思维链（Chain-of-Thought, CoT）推理数据及高保真合成指令数据。 ### 阶段 4：极高质精炼退火（Refinement Annealing，0.5T Tokens） 学习率线性衰减至接近 0。该阶段使用最高置信度的人工标注数据、学术论文及高质量合成推理语料，将优化空间压缩至高质量高维流形，实现模型最终收敛状态的质的跃升。 ### 阶段 5：长上下文扩展（Long Context Extension, LCE） 作为 Mid-Training 的最终阶段，训练序列长度通过多级推进策略从原生 4K 扩展至 512K。团队利用动态调整 RoPE 基频（Base Frequency Scaling）结合长序列渐进采样，确保模型在超长序列下的 Retrieval 和 Needle-in-a-Haystack 任务中均保持 100% 召回率。 --- ## SFT 与多阶段 RL 对齐体系 ### 1. SFT 阶段：LLM-as-Judge 质量控制 监督微调（SFT）基于约 4.1M 精选指令样本展开。IBM 摒弃了海量无序抓取的 SFT 策略，构建了一套端到端的 **LLM-as-Judge 自动过滤与评级框架**： * **多样性去重**：采用语义嵌入聚类与 N-Gram 覆盖率剪枝。 * **逻辑一致性校验**：通过强大判别模型对思维链推导每一步进行自洽性检验（Self-Consistency Checking）。 * **指令遵循硬性约束**：引入严格的格式、长度、结构化输出检测引擎，过滤幻觉样本。 ### 2. 在线强化学习（On-Policy RL）：GRPO 结合 DAPO 损失 在人类偏好对齐（RLHF）阶段，Granite 4.1 采用了近期备受瞩目的 **群组相对策略优化（Group Relative Policy Optimization, GRPO）** 框架，避免维护庞大独立的 Critic 模型，节约显存开销。 在优化目标函数中，Granite 4.1 引入了基于 Direct Alignment Preference Optimization（DAPO）的动态损失调节（Yu et al., 2025），优化公式抽象如下： $$\mathcal{L}_{\text{GRPO-DAPO}}(\theta) = - \mathbb{E}_{q \sim \mathcal{D}, \{o_i\}_{i=1}^G \sim \pi_{\theta_{\text{old}}}(O|q)} \left[ \frac{1}{G} \sum_{i=1}^G \min \left( r_i(\theta) \hat{A}_i, \text{clip}(r_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) - \beta \mathbb{D}_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) \right]$$ 其中，群组优势度 $\hat{A}_i$ 依据采样组内归一化收益（Normalized Reward）计算，DAPO 损失项则通过显式控制偏好边界，增强了策略在代码测试用例驱动环境与复杂多轮对话中的鲁棒性，消除了对高代价离线 Reward 模型的强依赖。 --- ## 评测表现与推理部署 通过 Dense 架构下的极致数据工程与训练演进，Granite 4.1 取得了优异的推理性能表现： * **Dense 逆袭 MoE**：8B 参数规模的 Granite 4.1 Instruct 模型在各项推理基准（MMLU-Pro、GSM8K、HumanEval）上，全面持平甚至超越了上一代采用混合专家架构的 Granite 4.0-H-Small（32B 总参数，9B 激活参数）。这表明在严格的数据退火工程下，密集体量模型依然具有极高的知识密度与计算收益比。 * **量化友好性**：模型架构原生对 **FP8 格式（W8A8/FP8-E4M3）** 进行了数值范围对齐，量化后精度无损，推理延迟与显存占用显著下降，可轻松部署于单张企业级边缘 GPU。 Granite 4.1 现已全部托管至 Hugging Face Hub，并遵循商业友好的 Apache 2.0 协议全面开源权重与训练配置文件。 --- > 声明：本文系编译转载自国内外知名人工智能实验室公开技术成果，仅供国内开发者个人技术交流与学术学习。 > 原文机构：Hugging Face 官方技术专栏 > 原文标题：Granite 4.1 LLMs: How They’re Built > 原文链接：https://huggingface.co/blog/ibm-granite/granite-4-1