FlashAttention
FlashAttention:让 Transformer 训练快 2-4 倍的底层秘密
一、问题背景:标准注意力的内存瓶颈
Transformer 的核心是自注意力机制。给定查询矩阵 、键矩阵 、值矩阵 ,三者形状均为 ,其中 是序列长度, 是头维度,标准注意力的计算为:
看起来简单,但问题藏在 的中间矩阵 和 里。
当序列长度 、头维度 时,单个注意力头的一次前向传播就要产生一个 的浮点矩阵,占用约 256 MB 的显存(FP32)。注意这只是一个头、一层、一次前向。一个 32 层、每层 32 个头的模型,光注意力中间矩阵就要 256 GB——远超任何单卡的显存容量。
根本矛盾:标准注意力需要把完整的 注意力矩阵实例化到 HBM(高带宽显存)中,但 GPU 的 SRAM(片上静态内存)只有几十 MB。数据在 HBM 和 SRAM 之间反复搬运,大部分时间花在读写上,而非计算上。
NVIDIA A100 的硬件参数可以说明问题的严重性:
| 存储层级 | 容量 | 带宽 |
|---|---|---|
| SRAM(片上) | 192 KB / SM | ~19 TB/s(片内) |
| HBM(显存) | 40 GB 或 80 GB | 1.5 ~ 2.0 TB/s |
SRAM 比 HBM 快大约 10 倍。如果能让注意力计算尽量在 SRAM 中完成,减少 HBM 读写,就能大幅加速。
二、核心思想:分块计算 + 在线 Softmax
FlashAttention 的核心贡献就两句话:
- 分块(Tiling):把 切成小块,每次只加载一个块到 SRAM,算完写出结果,不在 HBM 中存完整的 矩阵。
- 在线 Softmax(Online Softmax):分块后每个块只能看到部分数据,无法直接做全局 softmax。用一个递推算法,在遍历所有块的过程中增量式地修正 softmax 的分母和分子。
2.1 为什么不能直接分块
Softmax 的定义是:
分母 需要看到整行数据。如果把 分成块,每块只算出部分 ,你不知道全局的归一化常数,就无法得到正确的概率分布。
这就是为什么标准注意力"看起来"必须实例化整个 矩阵——你需要完整的每一行才能做 softmax。
2.2 在线 Softmax:三行公式的魔法
FlashAttention 的突破来自一个 2018 年的数值计算技巧,核心是以下递推关系。
假设我们已经处理了前 个块,维护两个累积量:
- :到目前为止见到的最大值(用于数值稳定性)
- :到目前为止的未归一化分母之和
现在处理第 个块,该块内部的局部最大值为 ,局部指数和为 。更新全局累积量:
这三行公式做了两件事:
- 修正历史:当新块中出现更大的值时,之前累积的 全部乘以 (一个小于 1 的因子),相当于"缩放"旧结果以适配新的最大值。
- 增量合并:新块的贡献加权后加到累积结果上,分母同步更新。
最终 就是完整的注意力输出,全程不需要在 HBM 中存 矩阵。
2.3 数值稳定性为什么重要
直接算 会溢出。实际实现中减去行最大值 :
在线算法中 是动态更新的,所以旧结果需要乘以 来"追上"新的缩放基准。这就是上面递推公式中那些指数项的来源。
三、分块策略与内存访问模式
3.1 分块方式
把 按行分成 大小的块(外层循环), 按行分成 大小的块(内层循环):
for i in range(0, N, Br): # 外层:遍历 Q 的行块
Qi = Q[i:i+Br] # 加载到 SRAM
初始化 Oi, mi, li
for j in range(0, N, Bc): # 内层:遍历 K, V 的行块
Kj = K[j:j+Bc] # 加载到 SRAM
Vj = V[j:j+Bc] # 加载到 SRAM
Sij = Qi @ Kj.T # SRAM 内计算,Br x Bc
mij = rowmax(Sij)
Pij = exp(Sij - mij) # SRAM 内计算
lij = rowsum(Pij)
# 在线 softmax 更新
m_new = max(mi, mij)
l_new = exp(mi - m_new) * li + exp(mij - m_new) * lij
Oi = (exp(mi - m_new) * li * Oi + exp(mij - m_new) * Pij @ Vj) / l_new
mi, li = m_new, l_new
O[i:i+Br] = Oi # 写回 HBM
3.2 块大小的选择
块大小 和 受 SRAM 容量约束。每个块需要存 等矩阵,总占用大约:
在 A100 上(每 SM 192 KB SRAM),典型的块大小是 ,,,占用约 128 KB,刚好放得下。
3.3 HBM 读写次数分析
这是 FlashAttention “精确加速”(不是近似)的关键所在。
标准注意力的 HBM 读写:
- 读 :
- 写 到 HBM:
- 读 算 softmax:
- 写 到 HBM:
- 读 算 :
- 总计:
FlashAttention 的 HBM 读写:
- 外层循环 次,每次读 的一个块
- 内层循环 次,每次读 的一个块
- 每个外层块写回 一次:
- 总计:
由于 是与 无关的常数(受 SRAM 约束),FlashAttention 的 HBM 读写是 ,其中 是 SRAM 大小。相比标准注意力的 ,减少了约 倍的 HBM 读写。
在 A100 上 ,,理论减少约 1500 倍 的 HBM 读写量。实际加速倍数受限于计算量本身,通常在 2-4 倍。
四、反向传播:重计算(Recomputation)技巧
标准注意力的反向传播需要用到前向时保存的 (softmax 后的注意力矩阵),形状 。FlashAttention 前向没有保存 ,反向怎么办?
答案:重新算。
反向传播需要 ,这些梯度都可以从 和上游梯度 重新计算出来。具体公式:
其中 。
反向传播同样按块进行,每次从 HBM 加载 到 SRAM,在 SRAM 内重算 ,然后计算梯度。不保存 的中间矩阵,代价是多一次前向计算。
这个取舍在 GPU 上是划算的:SRAM 的计算带宽远高于 HBM 的读写带宽,重算的花费小于存取的花费。论文中实测反向传播的重计算开销仅增加约 25-33% 的总时间,但省下的显存可以支持更长的序列。
五、FlashAttention-2 的关键改进
FlashAttention 的第一版(2022 年)已经实现了精确的加速,但在 GPU 利用率上还有空间。FlashAttention-2(2023 年,Tri Dao)做了三个关键优化:
5.1 减少非矩阵乘法运算
原版中在线 softmax 的更新涉及大量逐元素运算(exp、max、乘法),这些运算在 GPU 上不是 tensor core 能加速的矩阵乘法,成了瓶颈。
FlashAttention-2 重新排列了计算顺序,把缩放因子推迟到循环结束后统一应用,减少了循环内的非 GEMM 运算次数。具体来说,不再在每次内层迭代中除以 ,而是累积未归一化的分子,最后一次性归一化:
这样内层循环只做 GEMM 和少量逐元素运算,非 GEMM 运算占比从约 30% 降到 10-15%。
5.2 更好的并行度划分
原版沿序列维度做外层并行(每个线程块处理 的一个行块),当序列长度 较小但 batch × head 较大时,GPU 上的线程块数量不够,无法充分利用 SM。
FlashAttention-2 增加了沿 batch × head 维度的并行,把 的块分配到不同的线程块上。这样即使 不大,也能启动足够多的线程块填满 A100 的 108 个 SM。
5.3 分发 warp 的策略
原版在一个线程块内用 4 个 warp 协作计算,warp 之间通过 shared memory 通信。FlashAttention-2 改为让每个 warp 独立处理 的一个块,warp 之间不需要同步,最后通过 split-K 方式合并结果。这减少了 warp 级别的同步开销。
综合下来,FlashAttention-2 在 A100 上达到了约 50-73% 的理论 MFLOPS 利用率(原版约 25-35%),相比标准注意力加速 2 倍左右(在原版基础上再快一倍)。
六、实际性能数据
以下是论文和社区实测的一些参考数据(具体数字随硬件和模型变化):
| 配置 | 标准注意力 | FlashAttention-v1 | FlashAttention-v2 |
|---|---|---|---|
| A100, GPT-3 175B, seq=2048 | 基准 | 2.0× 加速 | 3.5× 加速 |
| A100, GPT-3 175B, seq=8192 | OOM | 可训练 | 可训练,2.5× 加速 |
| 显存占用 (seq=8192) | ~40 GB/层 | ~2 GB/层 | ~2 GB/层 |
最直观的影响:在 A100 上训练 GPT-3 175B,序列长度从 2048 扩展到 8192,不需要模型并行,单卡就能放下。这在 FlashAttention 出现之前是不可想象的。
七、工程实现中的细节坑
7.1 因果掩码(Causal Mask)的裁剪
自回归模型需要因果掩码,即 中 的位置置为 。朴素做法是算完 再应用掩码,但这浪费了被掩码位置的计算。
FlashAttention 的优化是:在分块循环中直接跳过完全被掩码的块。如果 的行块索引为 , 的列块索引为 ,当 时,整个块都在掩码区域,直接跳过。当块部分被掩码时,只对块内的有效部分计算。这大约节省了 50% 的计算量。
7.2 多查询注意力的适配
MQA(Multi-Query Attention)和 GQA(Grouped-Query Attention)中多个 Q 头共享同一组 K, V 头。FlashAttention 需要把内层循环改为遍历共享的 块,外层同时处理多个 头。这改变了分块形状和 SRAM 占用,需要重新调参。
7.3 混合精度下的缩放
在 FP16/BF16 计算中, 的结果可能超出 FP16 的表示范围(最大约 65504)。标准做法是在 GEMM 后立即乘以 缩放。但在线 softmax 中,减去最大值 已经提供了数值稳定性,缩放因子可以合并到 中。实现时需要注意缩放和减最大值的顺序,否则中间结果仍可能溢出。
7.4 dropout 的位置
训练时注意力通常加 dropout。标准实现中 dropout 作用于 (softmax 之后),但 FlashAttention 不保存 。解决方案是在前向时用 RNG(随机数生成器)按确定的种子生成 dropout mask,反向重算时用相同种子复现 mask。这要求 RNG 的状态可重现,且与分块循环的顺序无关——实现上需要用块级别的 RNG seed 而非全局 seed。
八、总结:为什么这个技术重要
FlashAttention 的意义远超"一个加速技巧":
-
精确计算,非近似。与稀疏注意力、低秩近似不同,FlashAttention 的输出与标准注意力在数学上完全等价(浮点误差范围内),不需要在精度和速度之间做权衡。
-
IO 感知的算法设计。它把"计算复杂度"和"内存访问复杂度"区分开来,优化后者而非前者。这是一个范式转变——在现代硬件上,IO 往往才是瓶颈,而非 FLOPS。
-
解锁长序列能力。把注意力的显存占用从 降到 ,使得 16K、32K 甚至 128K 的上下文长度成为可能,直接推动了长上下文大模型的发展。
-
已被广泛集成。PyTorch 2.0 的
torch.nn.functional.scaled_dot_product_attention默认调用 FlashAttention-2;HuggingFace Transformers、Megatron-LM、vLLM 等主流框架均已集成。如果你在用这些框架训练或推理大模型,你大概率已经在受益于它了。
理解 FlashAttention 的核心不在于记住那些公式,而在于理解一个设计哲学:在 IO 受限的场景下,减少内存读写比减少计算量更重要,即使这意味着要"多算"一些东西。这个思路同样适用于其他 GPU kernel 的优化,是 AI 系统工程中非常实用的一课。
- 点赞
- 收藏
- 关注作者
评论(0)