FP8 之后,瓶颈变成了 softmax:Zyphra 开源 ZYFA,把 AMD MI355X 的注意力内核榨到 53% 峰值
引言
大模型长上下文推理里,最贵的一步往往是预填充(prefill)阶段的注意力计算。11 月 5 日,Zyphra 开源了 ZYFA:一组面向 AMD Instinct MI355X 的 FP8 与 BF16 因果注意力前向内核,并配有 arXiv 论文(《ZYFA: Speed and Accuracy of FP8 FlashAttention on AMD CDNA4》)。代码采用 Apache 2.0 协议。这不是新模型,却是很典型的"系统层"进展:它回答了一个问题——硬件矩阵算力翻倍后,注意力为什么没有跟着翻倍?
技术原理:当矩阵乘变快,softmax 就成了短板
FlashAttention 的核心是把 QKᵀ、softmax、PV 融合在一个内核里,避免把巨大的注意力矩阵写回显存。切换到 FP8 后,两次矩阵乘的吞吐大约翻倍,但中间的 softmax(指数、归约、缩放)并不会变快。于是整个内核从"算力受限"变成"softmax 受限"。
据报道,ZYFA 的应对有两点:
- 直接由分数计算 FP8 概率:省去一部分中间转换步骤,同时降低数值误差。Zyphra 称在 head dimension 128 下,FP8 数值误差比 AMD 的 AITER 库低 62%–78%。
- 双波乒乓调度(two-wave ping-pong):让一组 wavefront 做 softmax 时,另一组在做矩阵乘,使两类计算在时间上重叠,把 softmax 的延迟"藏"起来。
FP8 内核是由 Python 生成的手工调度汇编,BF16 内核则用 HIP 编写——这说明想在新架构上逼近峰值,仍然需要深入到指令级调度。
基准测试:数字要读细
最吸睛的数字是"最高 1.76 倍",但需要拆开看:
- 测试基于从真实模型捕获的激活值,序列长度 16K、持续时钟(sustained clock)条件下,单层测得:Mistral-7B 约 1.16 倍,Qwen3-8B 约 1.17 倍,DeepSeek-V2-Lite 为 1.76 倍(均相对 AITER FP8)。
- BF16 内核基本持平,约 1.01–1.02 倍。
- 在 32K 高斯随机输入下达到 2,672 TFLOP/s,约为 FP8 峰值的 53%,AITER 为 39%。
一个有意思的细节:论文强调随机输入的吞吐并不能预测真实激活下的吞吐,因为 MI355X 的持续频率会随操作数数值而变化。换句话说,用随机数做内核基准可能系统性高估成绩,这对所有做 GPU 内核评测的人都是提醒。
为什么重要,又有哪些限制
重要性在于生态:长上下文、智能体场景让预填充成本居高不下,而 AMD 软件栈长期被认为落后于 CUDA 上的 FlashAttention 生态。开源的高性能内核能降低 AMD 平台的使用门槛,也给竞争的内核实现提供了参照。
但限制同样明确:
- 仅支持 MI355X,需 ROCm 7.2.3 与 PyTorch 2.12;
- 只覆盖预填充,不含解码、paged KV 或训练;
- 所有结果均为 Zyphra 自测,暂未见独立复现,也没有端到端服务吞吐的数据;
- 1.76 倍只是三个模型中的最好成绩,且为单层测量。
因此更稳妥的解读是:单层内核有 1.2–1.8 倍的提升,折算到整套服务的收益会被其他环节稀释。
结语
ZYFA 的价值不在于某个惊人的倍数,而在于它清晰展示了低精度时代的一条规律:每当一部分算力被加速,下一个最慢的环节就会暴露出来。这次是 softmax,下一次可能是内存带宽或调度。对于关心推理成本的团队,值得关注的是端到端的复现数据——那才会决定这些内核能否真正进入生产环境。
- 点赞
- 收藏
- 关注作者
评论(0)