Google 训练 Gemini 的绝密武器正式开放！一文读懂 Pathways 单控制器系统

近日，Google 官方开发者博客发布重磅技术解读，正式向外界公开其训练 PaLM 与 Gemini 系列旗舰模型的秘密底座——Pathways 单控制器（Single-Controller）分布式系统。该能力现已在 Google Cloud 与开源生态（MaxText / JAX）全面落地。

📌 核心一句话

告别“一卡掉线、千机陪葬”！Google 颠覆了行业主流的多进程（Multi-Controller）架构，让万卡超算集群在开发者眼中变成一台普通单机，实现了大模型训练的秒级故障自愈与超大规模编排。

🔍 发生了什么改变？

以往主流的 PyTorch DDP / 传统 JAX 采用 Multi-Controller（多控制器）：

• 怎么工作：每个节点都跑一个 Python 进程，步调一致同步算。
• 致命痛点：任何一张卡硬件损坏，所有进程瞬间崩溃。重新拉起容器、重新编译、拉取 Checkpoint，一次重启往往白费半小时以上。

而 Google 推出的 Pathways Single-Controller（单控制器） 彻底换了玩法：

• 怎么工作：全集群只有一个主 Python 进程（运行在普通 CPU 节点），它把全集群成千上万张 TPU 当作本机的“本地设备”来调用；加速卡机器上只运行超轻量的工作守护进程。
• 计算与数据解耦：调度指令提前异步下发，张量数据只在底层的芯片高速网（ICI/DCN）内部直传，绝不回传主控节点，算力利用率依然接近 100%。

🚀 带来哪三大杀手级提升？

1. 秒级故障自愈（弹性训练）
   • 实测：训练中直接拔掉一张 TPU 卡，整个 Python 训练主进程完全不退！硬件故障被捕获为普通的 Python 异常。
   • 系统自动替换坏卡、拉取最新权重并继续训练，2 分钟内无缝恢复，省去全部冷重启耗时。（Gemini 2.5 论文披露，万卡训练中有效计算时间高达 93.4%）。
2. 跨数据中心极限扩展（Multi-Slice）
   • 破除单个机房的电力和 Pod 物理规模上限，单主控可跨多个数据中心切片协同训练超大模型。
3. 强化学习（RL）一步到位
   • 如今大模型极度依赖后训练（RLHF / GRPO / 思考推理）。在同一个 Python 脚本内即可同时调度“推理采样”与“反向训练”，无需再用 Ray 拼凑复杂的异构集群。

🛠️ 怎么用上？

目前该架构已整合进 Google 开源大模型库：

• 训练框架：MaxText（内置 enable_single_controller=True 和 @elastic_retry 弹性重试机制）
• 存储引擎：Orbax Checkpoint
• 集群编排：Google Kubernetes Engine (GKE) + Cluster Toolkit