不靠 GPU、不靠 CUDA:中国电信 Xing4 在 8192 张昇腾 910C 上训出 285B 智能体 MoE
引言
过去两年,"大模型训练 = 英伟达 GPU + CUDA"几乎是默认公式。11 月 17 日,中国电信 TeleChat 团队(星辰 AGI 实验室)在 arXiv 发布技术报告《TeleChat to Xing4》(arXiv:2611.22115),登上 Hugging Face 11 月 18 日"每日论文"第一。报告称:Xing4 系列的预训练完全运行在昇腾与 MindSpore 栈上,其中 285B 参数模型使用了 8,192 张昇腾 910C 卡。它更像一份"换一套硬件栈如何训大模型"的工程笔记。
模型:稀疏激活 + 长上下文注意力
开放权重的是 Xing4.0-29B-A4B(总参数 29B、激活约 4B,上下文 256K 至 1M),旗舰是 285B 总参数 MoE(媒体称激活约 17B)。据 AI Weekly 综述,架构组合了 MLA、DeepSeek 稀疏注意力与 IndexShare 压低长序列成本,并配合 DSpark 投机解码,宣称吞吐提升 2.67–3.77 倍;据报道预填充吞吐比 MLA 基线高 4.68 倍。这些均为作者自报,部分加速来自模拟,宜视为上限参考。
系统:真正的难点在基础设施
- 拓扑感知的混合分片,减少跨机通信;
- 分布式优化器高效执行,统一管理长序列与激活内存;
- CPU 亲和与核隔离,降低主机调度干扰;
- 据报道,去掉流水线并行带来约 1.35 倍单步加速。
后训练提出 TeleGym:统一的智能体执行平台,串起执行、评测、轨迹构建与策略优化,用解耦异步执行、有界过采样和部分 rollout 应对任务时长不均。
为什么重要
- 供应链韧性:证明 285B 级 MoE 预训练可在非 CUDA 栈跑通。
- 可复用的工程经验,与具体芯片无关。
- 29B-A4B 及 FP8、GGUF 版本已在 Hugging Face 可下载,便于社区评测。
保留的疑问:模型真实能力需第三方基准验证;旗舰 285B 是否开放权重尚未确认。
结语
Xing4 的看点是"可迁移的系统工程"。接下来值得关注社区对 29B-A4B 的独立评测,以及 TeleGym 是否开源。
- 点赞
- 收藏
- 关注作者
评论(0)