不靠 GPU、不靠 CUDA:中国电信 Xing4 在 8192 张昇腾 910C 上训出 285B 智能体 MoE

举报
why0603 发表于 2026/11/19 12:08:03 2026/11/19
【摘要】 引言过去两年,"大模型训练 = 英伟达 GPU + CUDA"几乎是默认公式。11 月 17 日,中国电信 TeleChat 团队(星辰 AGI 实验室)在 arXiv 发布技术报告《TeleChat to Xing4》(arXiv:2611.22115),登上 Hugging Face 11 月 18 日"每日论文"第一。报告称:Xing4 系列的预训练完全运行在昇腾与 MindSpore...

引言

过去两年,"大模型训练 = 英伟达 GPU + CUDA"几乎是默认公式。11 月 17 日,中国电信 TeleChat 团队(星辰 AGI 实验室)在 arXiv 发布技术报告《TeleChat to Xing4》(arXiv:2611.22115),登上 Hugging Face 11 月 18 日"每日论文"第一。报告称:Xing4 系列的预训练完全运行在昇腾与 MindSpore 栈上,其中 285B 参数模型使用了 8,192 张昇腾 910C 卡。它更像一份"换一套硬件栈如何训大模型"的工程笔记。

模型:稀疏激活 + 长上下文注意力

开放权重的是 Xing4.0-29B-A4B(总参数 29B、激活约 4B,上下文 256K 至 1M),旗舰是 285B 总参数 MoE(媒体称激活约 17B)。据 AI Weekly 综述,架构组合了 MLA、DeepSeek 稀疏注意力与 IndexShare 压低长序列成本,并配合 DSpark 投机解码,宣称吞吐提升 2.67–3.77 倍;据报道预填充吞吐比 MLA 基线高 4.68 倍。这些均为作者自报,部分加速来自模拟,宜视为上限参考。

系统:真正的难点在基础设施

  • 拓扑感知的混合分片,减少跨机通信;
  • 分布式优化器高效执行,统一管理长序列与激活内存;
  • CPU 亲和与核隔离,降低主机调度干扰;
  • 据报道,去掉流水线并行带来约 1.35 倍单步加速。

后训练提出 TeleGym:统一的智能体执行平台,串起执行、评测、轨迹构建与策略优化,用解耦异步执行、有界过采样和部分 rollout 应对任务时长不均。

为什么重要

  1. 供应链韧性:证明 285B 级 MoE 预训练可在非 CUDA 栈跑通。
  2. 可复用的工程经验,与具体芯片无关。
  3. 29B-A4B 及 FP8、GGUF 版本已在 Hugging Face 可下载,便于社区评测。

保留的疑问:模型真实能力需第三方基准验证;旗舰 285B 是否开放权重尚未确认。

结语

Xing4 的看点是"可迁移的系统工程"。接下来值得关注社区对 29B-A4B 的独立评测,以及 TeleGym 是否开源。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。