Flash Attention

举报
yd_292659020 发表于 2026/11/12 00:34:35 2026/11/12
【摘要】 Flash Attention:从内存瓶颈到分块计算的完整拆解 一、为什么需要 Flash Attention?标准 Self-Attention 的计算公式是:Attention(Q,K,V)=softmax(QKTd)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d}}\right) VAttent...

Flash Attention:从内存瓶颈到分块计算的完整拆解

一、为什么需要 Flash Attention?

标准 Self-Attention 的计算公式是:

Attention(Q,K,V)=softmax(QKTd)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d}}\right) V

其中 Q,K,V∈RN×dQ, K, V \in \mathbb{R}^{N \times d},NN 是序列长度,dd 是 head 维度。

看起来很简单,但问题出在 中间矩阵 S=QKTS = QK^T 上。这个矩阵的形状是 N×NN \times N。当 N=8192N = 8192 时,一个 head 的 SS 矩阵在 FP32 下占 8192×8192×4=256MB8192 \times 8192 \times 4 = 256\text{MB}。多 head、多 batch 叠加后,HBM(显存)根本扛不住。

更关键的是 访存瓶颈。GPU 的算力(FLOPS)远高于显存带宽(HBM Bandwidth)。以 A100 为例:

指标 数值
FP16 算力 312 TFLOPS
HBM 带宽 1.5 TB/s
算力/带宽比 ~208 FLOP/Byte

这意味着,每从显存读取 1 Byte 数据,GPU 可以做 200 多次浮点运算。如果 Attention 的计算过程中频繁地读写大矩阵到 HBM,大量算力就被浪费在等数据搬运上。

标准 Attention 的 HBM 访问次数是 O(N2d)O(N^2 d)——与序列长度的平方成正比。这就是长序列推理慢、显存炸的根源。

二、Flash Attention 的核心思想:分块 + 在线 Softmax

Flash Attention(Dao et al., 2022)的目标只有一个:把整个 Attention 计算塞进 SRAM(片上共享内存),尽量不碰 HBM。

A100 的 SRAM 大小约 192KB per SM。一个 head 的 Q,K,VQ, K, V 如果序列长度 8192、维度 128、FP16,单个矩阵就是 8192×128×2=2MB8192 \times 128 \times 2 = 2\text{MB},远超 SRAM。所以不能整体加载,必须 分块(tiling)。

2.1 分块策略

把 Q,K,VQ, K, V 沿序列维度切成块:

  • QQ 分成 TrT_r 块,每块 BrB_r 行:Q1,Q2,…,QTrQ_1, Q_2, \dots, Q_{T_r}
  • K,VK, V 分成 TcT_c 块,每块 BcB_c 行:K1,K2,…,KTcK_1, K_2, \dots, K_{T_c},V1,V2,…,VTcV_1, V_2, \dots, V_{T_c}

块大小的选择标准:让 Qi,Kj,VjQ_i, K_j, V_j 三个块加上中间结果都能放进 SRAM。经验值通常是 Br=Bc=64B_r = B_c = 64 或 128128。

2.2 在线 Softmax(关键数学技巧)

分块后,问题来了:Softmax 需要全局 max 和全局 sum,分块后怎么算?

这是 Flash Attention 最精妙的数学贡献。先回顾标准 Softmax:

m=max⁡i(xi),Pi=exi−m,ℓ=∑iPi,Oi=Piℓm = \max_i(x_i), \quad P_i = e^{x_i - m}, \quad \ell = \sum_i P_i, \quad O_i = \frac{P_i}{\ell}

现在考虑分块。假设我们已经处理了前 j−1j-1 个 KK 块,得到了 局部 max m(j−1)m^{(j-1)} 和 局部 sum ℓ(j−1)\ell^{(j-1)}。现在要加入第 jj 个块 KjK_j,怎么更新?

更新 max:

m(j)=max⁡(m(j−1), max⁡i∈block j(xi))m^{(j)} = \max\left(m^{(j-1)},\ \max_{i \in \text{block } j}(x_i)\right)

更新 sum:

这里需要修正之前累积的 ℓ\ell,因为 max 变了,指数项的基准变了:

ℓ(j)=em(j−1)−m(j)⋅ℓ(j−1)+∑i∈block jexi−m(j)\ell^{(j)} = e^{m^{(j-1)} - m^{(j)}} \cdot \ell^{(j-1)} + \sum_{i \in \text{block } j} e^{x_i - m^{(j)}}

更新输出 OO:

输出也需要同样的缩放修正:

O(j)=em(j−1)−mj⋅ℓ(j−1)⋅O(j−1)+exi−m(j)⋅Vjℓ(j)O^{(j)} = \frac{e^{m^{(j-1)} - m^{j}} \cdot \ell^{(j-1)} \cdot O^{(j-1)} + e^{x_i - m^{(j)}} \cdot V_j}{\ell^{(j)}}

这个 在线 Softmax(Online Softmax) 算法保证了:逐块处理 K,VK, V 时,不需要回头修正之前的结果,只需要维护三个运行量 (m,ℓ,O)(m, \ell, O) 并做 O(1)O(1) 的缩放修正。这是 Flash Attention 能做到单趟(one-pass)计算的核心。

2.3 完整算法流程

以一个 QQ 块 QiQ_i 的计算为例(外层循环):

初始化: m_i = -∞, ℓ_i = 0, O_i = 0

for j = 1 to T_c:                          # 遍历所有 K, V 块
    # 1. 加载 K_j, V_j 到 SRAM
    S_ij = Q_i @ K_j^T / sqrt(d)            # B_r × B_c, 在 SRAM 中计算

    # 2. 计算当前块的局部 max
    m_ij = rowmax(S_ij)
    P_ij = exp(S_ij - m_ij)                 # 减去局部 max, 数值稳定

    # 3. 更新全局 max 和 sum
    m_new = max(m_i, m_ij)
    ℓ_new = exp(m_i - m_new) * ℓ_i + rowsum(P_ij)

    # 4. 更新输出(带缩放修正)
    O_i = (exp(m_i - m_new) * ℓ_i * O_i + P_ij @ V_j) / ℓ_new

    # 5. 更新运行量
    m_i = m_new
    ℓ_i = ℓ_new

# 最终 O_i 就是这个 Q 块的 Attention 输出

注意第 4 步中的 exp(m_i - m_new):这就是在线 Softmax 的缩放因子。当新块的 max 更大时,之前累积的输出会被相应缩小,保证数值正确性。

三、Flash Attention v2 的改进

v1 已经解决了 O(N2)O(N^2) HBM 访问的问题,但 v2 在 并行度和循环顺序 上做了进一步优化。

3.1 循环顺序交换

v1 的外层循环遍历 KK 块,内层遍历 QQ 块。这意味着每个 KK 块需要和所有 QQ 块做计算,中间结果需要写回 HBM。

v2 把循环顺序翻转:外层遍历 QQ 块,内层遍历 KK 块。这样每个 QQ 块的计算完全独立——不同的 QQ 块可以分配到不同的 thread block 上并行执行,中间不需要同步。

3.2 减少非矩阵乘法运算

v1 中 Softmax 的 exp、除法等非 GEMM 运算占比约 20-30%。v2 通过重新缩放(rescaling),把除法推迟到最后一步,减少了中间的除法操作。

3.3 更细的线程并行

v1 中每个 thread block 处理一个 QQ 块。v2 进一步把一个 QQ 块拆分到多个 warp 上,每个 warp 处理 QQ 块的一部分行。warp 之间通过共享内存交换 K,VK, V 数据,减少了重复加载。

四、访存复杂度对比

算法 HBM 访问次数 额外显存
标准 Attention O(N2d)O(N^2 d) O(N2)O(N^2)(SS 矩阵)
Flash Attention O(N2d2/M)O(N^2 d^2 / M) O(N)O(N)(只存 O,m,ℓO, m, \ell)

其中 MM 是 SRAM 大小。当 MM 足够大(比如 M≥NdM \geq N d),Flash Attention 的 HBM 访问降为 O(N)O(N) 级别——线性于序列长度。

实际测试中,在 A100 上序列长度 8192、head 维度 128 的场景下:

  • 标准 Attention:HBM 读写约 40GB,耗时 ~12ms
  • Flash Attention v2:HBM 读写约 0.8GB,耗时 ~2ms

6 倍加速,显存从 256MB/head 降到接近 0 额外开销。

五、工程实现中的细节坑

5.1 数值稳定性

直接算 exie^{x_i} 会溢出。Flash Attention 用的是 exi−me^{x_i - m},其中 mm 是当前已知的全局 max。这保证了指数项的最大值是 e0=1e^0 = 1,不会溢出。

但有一个微妙的问题:当 mi−mnewm_i - m_{\text{new}} 是一个很大的负数时,emi−mnewe^{m_i - m_{\text{new}}} 会 underflow 到 0。这实际上是正确行为——意味着之前块的结果在新 max 面前可以忽略不计。但要注意不要让中间的 ℓ\ell 也变成 0,否则后续除法会出 NaN。实践中会加一个极小值 epsilon 保护。

5.2 Causal Mask 的分块跳过

在 Decoder(如 GPT)中,Attention 有 causal mask:SijS_{ij} 在 i<ji < j 时为 −∞-\infty。Flash Attention 的分块结构可以利用这一点 跳过整个块的计算:

  • 如果 QQ 块的起始行号 <K< K 块的起始列号,整个 SijS_{ij} 块全被 mask 掉,直接跳过。
  • 如果 QQ 块的结束行号 <K< K 块的结束列号,块内部分被 mask,需要做上三角置 −∞-\infty。
  • 否则整块有效,正常计算。

这种块级跳过在长序列下能减少约 50% 的计算量(下三角区域)。

5.3 反向传播的分块

训练时需要反向传播。标准 Attention 的反向传播需要用到中间矩阵 SS 和 softmax 后的矩阵 PP,但 Flash Attention 为了省显存,没有保存这些中间结果。

反向传播时,Flash Attention 重新前向计算一遍 SS 和 PP(利用分块,在 SRAM 中算),然后用链式法则计算梯度。这叫做 recomputation——用算力换显存。由于前向计算本身很快(SRAM 内),这个 recompute 的开销可以接受,约为前向的 1.5 倍总开销。

六、对大模型推理的实际影响

Flash Attention 不是"锦上添花",而是"没有它就跑不起来"的底层依赖:

  1. 长上下文窗口:从 4K 到 32K 到 128K,每翻一倍,标准 Attention 的显存翻 4 倍(N2N^2),而 Flash Attention 只翻 2 倍(NN)。没有 Flash Attention,128K 上下文的 KV 矩阵就要 32GB/head。

  2. 训练吞吐:在 GPT-3 规模(175B, seq_len=2048)的训练中,Flash Attention v2 相比标准 Attention 节省约 73% 的 wall-clock time 在 attention 层。

  3. KV Cache 友好:推理时的 KV Cache 本质上是把 K,VK, V 缓存在 HBM 中。Flash Attention 的分块读取模式与 KV Cache 的内存布局天然契合——按块加载,用完即弃,不会产生大量随机访问。

七、总结

Flash Attention 的本质不是"更快的矩阵乘法",而是 重新组织计算顺序,让数据流在 SRAM 和 HBM 之间的搬运次数从 O(N2)O(N^2) 降到 O(N)O(N)。它的三个核心技术贡献是:

  1. 分块(Tiling):把大矩阵切成能放进 SRAM 的小块,逐块计算。
  2. 在线 Softmax(Online Softmax):用运行量 (m,ℓ)(m, \ell) 增量式更新,避免回头修正。
  3. 重计算(Recomputation):反向传播时不存中间结果,重算代替存储。

理解了这三点,就理解了为什么它是目前所有主流大模型框架(vLLM、TensorRT-LLM、Megatron-LM)的默认 Attention 实现。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。