FP8 之后,瓶颈变成了 softmax:Zyphra 开源 ZYFA,把 AMD MI355X 的注意力内核榨到 53% 峰值

举报
why0603 发表于 2026/11/09 17:54:55 2026/11/09
【摘要】 引言大模型长上下文推理里,最贵的一步往往是预填充(prefill)阶段的注意力计算。11 月 5 日,Zyphra 开源了 ZYFA:一组面向 AMD Instinct MI355X 的 FP8 与 BF16 因果注意力前向内核,并配有 arXiv 论文(《ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4》)。代码采用 A...

引言

大模型长上下文推理里,最贵的一步往往是预填充(prefill)阶段的注意力计算。11 月 5 日,Zyphra 开源了 ZYFA:一组面向 AMD Instinct MI355X 的 FP8 与 BF16 因果注意力前向内核,并配有 arXiv 论文(《ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4》)。代码采用 Apache 2.0 协议。这不是新模型,却是很典型的"系统层"进展:它回答了一个问题——硬件矩阵算力翻倍后,注意力为什么没有跟着翻倍?

技术原理:当矩阵乘变快,softmax 就成了短板

FlashAttention 的核心是把 QKᵀ、softmax、PV 融合在一个内核里,避免把巨大的注意力矩阵写回显存。切换到 FP8 后,两次矩阵乘的吞吐大约翻倍,但中间的 softmax(指数、归约、缩放)并不会变快。于是整个内核从"算力受限"变成"softmax 受限"。

据报道,ZYFA 的应对有两点:

  • 直接由分数计算 FP8 概率:省去一部分中间转换步骤,同时降低数值误差。Zyphra 称在 head dimension 128 下,FP8 数值误差比 AMD 的 AITER 库低 62%–78%。
  • 双波乒乓调度(two-wave ping-pong):让一组 wavefront 做 softmax 时,另一组在做矩阵乘,使两类计算在时间上重叠,把 softmax 的延迟"藏"起来。

FP8 内核是由 Python 生成的手工调度汇编,BF16 内核则用 HIP 编写——这说明想在新架构上逼近峰值,仍然需要深入到指令级调度。

基准测试:数字要读细

最吸睛的数字是"最高 1.76 倍",但需要拆开看:

  • 测试基于从真实模型捕获的激活值,序列长度 16K、持续时钟(sustained clock)条件下,单层测得:Mistral-7B 约 1.16 倍,Qwen3-8B 约 1.17 倍,DeepSeek-V2-Lite 为 1.76 倍(均相对 AITER FP8)。
  • BF16 内核基本持平,约 1.01–1.02 倍。
  • 在 32K 高斯随机输入下达到 2,672 TFLOP/s,约为 FP8 峰值的 53%,AITER 为 39%。

一个有意思的细节:论文强调随机输入的吞吐并不能预测真实激活下的吞吐,因为 MI355X 的持续频率会随操作数数值而变化。换句话说,用随机数做内核基准可能系统性高估成绩,这对所有做 GPU 内核评测的人都是提醒。

为什么重要,又有哪些限制

重要性在于生态:长上下文、智能体场景让预填充成本居高不下,而 AMD 软件栈长期被认为落后于 CUDA 上的 FlashAttention 生态。开源的高性能内核能降低 AMD 平台的使用门槛,也给竞争的内核实现提供了参照。

但限制同样明确:

  • 仅支持 MI355X,需 ROCm 7.2.3 与 PyTorch 2.12;
  • 只覆盖预填充,不含解码、paged KV 或训练;
  • 所有结果均为 Zyphra 自测,暂未见独立复现,也没有端到端服务吞吐的数据;
  • 1.76 倍只是三个模型中的最好成绩,且为单层测量。

因此更稳妥的解读是:单层内核有 1.2–1.8 倍的提升,折算到整套服务的收益会被其他环节稀释。

结语

ZYFA 的价值不在于某个惊人的倍数,而在于它清晰展示了低精度时代的一条规律:每当一部分算力被加速,下一个最慢的环节就会暴露出来。这次是 softmax,下一次可能是内存带宽或调度。对于关心推理成本的团队,值得关注的是端到端的复现数据——那才会决定这些内核能否真正进入生产环境。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。