Flash Attention
Flash Attention:从内存瓶颈到分块计算的完整拆解
一、为什么需要 Flash Attention?
标准 Self-Attention 的计算公式是:
其中 , 是序列长度, 是 head 维度。
看起来很简单,但问题出在 中间矩阵 上。这个矩阵的形状是 。当 时,一个 head 的 矩阵在 FP32 下占 。多 head、多 batch 叠加后,HBM(显存)根本扛不住。
更关键的是 访存瓶颈。GPU 的算力(FLOPS)远高于显存带宽(HBM Bandwidth)。以 A100 为例:
| 指标 | 数值 |
|---|---|
| FP16 算力 | 312 TFLOPS |
| HBM 带宽 | 1.5 TB/s |
| 算力/带宽比 | ~208 FLOP/Byte |
这意味着,每从显存读取 1 Byte 数据,GPU 可以做 200 多次浮点运算。如果 Attention 的计算过程中频繁地读写大矩阵到 HBM,大量算力就被浪费在等数据搬运上。
标准 Attention 的 HBM 访问次数是 ——与序列长度的平方成正比。这就是长序列推理慢、显存炸的根源。
二、Flash Attention 的核心思想:分块 + 在线 Softmax
Flash Attention(Dao et al., 2022)的目标只有一个:把整个 Attention 计算塞进 SRAM(片上共享内存),尽量不碰 HBM。
A100 的 SRAM 大小约 192KB per SM。一个 head 的 如果序列长度 8192、维度 128、FP16,单个矩阵就是 ,远超 SRAM。所以不能整体加载,必须 分块(tiling)。
2.1 分块策略
把 沿序列维度切成块:
- 分成 块,每块 行:
- 分成 块,每块 行:,
块大小的选择标准:让 三个块加上中间结果都能放进 SRAM。经验值通常是 或 。
2.2 在线 Softmax(关键数学技巧)
分块后,问题来了:Softmax 需要全局 max 和全局 sum,分块后怎么算?
这是 Flash Attention 最精妙的数学贡献。先回顾标准 Softmax:
现在考虑分块。假设我们已经处理了前 个 块,得到了 局部 max 和 局部 sum 。现在要加入第 个块 ,怎么更新?
更新 max:
更新 sum:
这里需要修正之前累积的 ,因为 max 变了,指数项的基准变了:
更新输出 :
输出也需要同样的缩放修正:
这个 在线 Softmax(Online Softmax) 算法保证了:逐块处理 时,不需要回头修正之前的结果,只需要维护三个运行量 并做 的缩放修正。这是 Flash Attention 能做到单趟(one-pass)计算的核心。
2.3 完整算法流程
以一个 块 的计算为例(外层循环):
初始化: m_i = -∞, ℓ_i = 0, O_i = 0
for j = 1 to T_c: # 遍历所有 K, V 块
# 1. 加载 K_j, V_j 到 SRAM
S_ij = Q_i @ K_j^T / sqrt(d) # B_r × B_c, 在 SRAM 中计算
# 2. 计算当前块的局部 max
m_ij = rowmax(S_ij)
P_ij = exp(S_ij - m_ij) # 减去局部 max, 数值稳定
# 3. 更新全局 max 和 sum
m_new = max(m_i, m_ij)
ℓ_new = exp(m_i - m_new) * ℓ_i + rowsum(P_ij)
# 4. 更新输出(带缩放修正)
O_i = (exp(m_i - m_new) * ℓ_i * O_i + P_ij @ V_j) / ℓ_new
# 5. 更新运行量
m_i = m_new
ℓ_i = ℓ_new
# 最终 O_i 就是这个 Q 块的 Attention 输出
注意第 4 步中的 exp(m_i - m_new):这就是在线 Softmax 的缩放因子。当新块的 max 更大时,之前累积的输出会被相应缩小,保证数值正确性。
三、Flash Attention v2 的改进
v1 已经解决了 HBM 访问的问题,但 v2 在 并行度和循环顺序 上做了进一步优化。
3.1 循环顺序交换
v1 的外层循环遍历 块,内层遍历 块。这意味着每个 块需要和所有 块做计算,中间结果需要写回 HBM。
v2 把循环顺序翻转:外层遍历 块,内层遍历 块。这样每个 块的计算完全独立——不同的 块可以分配到不同的 thread block 上并行执行,中间不需要同步。
3.2 减少非矩阵乘法运算
v1 中 Softmax 的 exp、除法等非 GEMM 运算占比约 20-30%。v2 通过重新缩放(rescaling),把除法推迟到最后一步,减少了中间的除法操作。
3.3 更细的线程并行
v1 中每个 thread block 处理一个 块。v2 进一步把一个 块拆分到多个 warp 上,每个 warp 处理 块的一部分行。warp 之间通过共享内存交换 数据,减少了重复加载。
四、访存复杂度对比
| 算法 | HBM 访问次数 | 额外显存 |
|---|---|---|
| 标准 Attention | ( 矩阵) | |
| Flash Attention | (只存 ) |
其中 是 SRAM 大小。当 足够大(比如 ),Flash Attention 的 HBM 访问降为 级别——线性于序列长度。
实际测试中,在 A100 上序列长度 8192、head 维度 128 的场景下:
- 标准 Attention:HBM 读写约 40GB,耗时 ~12ms
- Flash Attention v2:HBM 读写约 0.8GB,耗时 ~2ms
6 倍加速,显存从 256MB/head 降到接近 0 额外开销。
五、工程实现中的细节坑
5.1 数值稳定性
直接算 会溢出。Flash Attention 用的是 ,其中 是当前已知的全局 max。这保证了指数项的最大值是 ,不会溢出。
但有一个微妙的问题:当 是一个很大的负数时, 会 underflow 到 0。这实际上是正确行为——意味着之前块的结果在新 max 面前可以忽略不计。但要注意不要让中间的 也变成 0,否则后续除法会出 NaN。实践中会加一个极小值 epsilon 保护。
5.2 Causal Mask 的分块跳过
在 Decoder(如 GPT)中,Attention 有 causal mask: 在 时为 。Flash Attention 的分块结构可以利用这一点 跳过整个块的计算:
- 如果 块的起始行号 块的起始列号,整个 块全被 mask 掉,直接跳过。
- 如果 块的结束行号 块的结束列号,块内部分被 mask,需要做上三角置 。
- 否则整块有效,正常计算。
这种块级跳过在长序列下能减少约 50% 的计算量(下三角区域)。
5.3 反向传播的分块
训练时需要反向传播。标准 Attention 的反向传播需要用到中间矩阵 和 softmax 后的矩阵 ,但 Flash Attention 为了省显存,没有保存这些中间结果。
反向传播时,Flash Attention 重新前向计算一遍 和 (利用分块,在 SRAM 中算),然后用链式法则计算梯度。这叫做 recomputation——用算力换显存。由于前向计算本身很快(SRAM 内),这个 recompute 的开销可以接受,约为前向的 1.5 倍总开销。
六、对大模型推理的实际影响
Flash Attention 不是"锦上添花",而是"没有它就跑不起来"的底层依赖:
-
长上下文窗口:从 4K 到 32K 到 128K,每翻一倍,标准 Attention 的显存翻 4 倍(),而 Flash Attention 只翻 2 倍()。没有 Flash Attention,128K 上下文的 KV 矩阵就要 32GB/head。
-
训练吞吐:在 GPT-3 规模(175B, seq_len=2048)的训练中,Flash Attention v2 相比标准 Attention 节省约 73% 的 wall-clock time 在 attention 层。
-
KV Cache 友好:推理时的 KV Cache 本质上是把 缓存在 HBM 中。Flash Attention 的分块读取模式与 KV Cache 的内存布局天然契合——按块加载,用完即弃,不会产生大量随机访问。
七、总结
Flash Attention 的本质不是"更快的矩阵乘法",而是 重新组织计算顺序,让数据流在 SRAM 和 HBM 之间的搬运次数从 降到 。它的三个核心技术贡献是:
- 分块(Tiling):把大矩阵切成能放进 SRAM 的小块,逐块计算。
- 在线 Softmax(Online Softmax):用运行量 增量式更新,避免回头修正。
- 重计算(Recomputation):反向传播时不存中间结果,重算代替存储。
理解了这三点,就理解了为什么它是目前所有主流大模型框架(vLLM、TensorRT-LLM、Megatron-LM)的默认 Attention 实现。
- 点赞
- 收藏
- 关注作者
评论(0)