FlashAttention

举报
yd_292659020 发表于 2026/11/18 01:12:20 2026/11/18
【摘要】 FlashAttention:让 Transformer 训练快 2-4 倍的底层秘密 一、问题背景:标准注意力的内存瓶颈Transformer 的核心是自注意力机制。给定查询矩阵 QQQ、键矩阵 KKK、值矩阵 VVV,三者形状均为 (N,d)(N, d)(N,d),其中 NNN 是序列长度,ddd 是头维度,标准注意力的计算为:S=QKT∈RN×N,P=softmax(S),O=PV∈...

FlashAttention:让 Transformer 训练快 2-4 倍的底层秘密

一、问题背景:标准注意力的内存瓶颈

Transformer 的核心是自注意力机制。给定查询矩阵 QQ、键矩阵 KK、值矩阵 VV,三者形状均为 (N,d)(N, d),其中 NN 是序列长度,dd 是头维度,标准注意力的计算为:

S=QKT∈RN×N,P=softmax(S),O=PV∈RN×dS = QK^T \in \mathbb{R}^{N \times N}, \quad P = \text{softmax}(S), \quad O = PV \in \mathbb{R}^{N \times d}

看起来简单,但问题藏在 N×NN \times N 的中间矩阵 SS 和 PP 里。

当序列长度 N=8192N = 8192、头维度 d=128d = 128 时,单个注意力头的一次前向传播就要产生一个 8192×81928192 \times 8192 的浮点矩阵,占用约 256 MB 的显存(FP32)。注意这只是一个头、一层、一次前向。一个 32 层、每层 32 个头的模型,光注意力中间矩阵就要 256 GB——远超任何单卡的显存容量。

根本矛盾:标准注意力需要把完整的 N×NN \times N 注意力矩阵实例化到 HBM(高带宽显存)中,但 GPU 的 SRAM(片上静态内存)只有几十 MB。数据在 HBM 和 SRAM 之间反复搬运,大部分时间花在读写上,而非计算上。

NVIDIA A100 的硬件参数可以说明问题的严重性:

存储层级 容量 带宽
SRAM(片上) 192 KB / SM ~19 TB/s(片内)
HBM(显存) 40 GB 或 80 GB 1.5 ~ 2.0 TB/s

SRAM 比 HBM 快大约 10 倍。如果能让注意力计算尽量在 SRAM 中完成,减少 HBM 读写,就能大幅加速。

二、核心思想:分块计算 + 在线 Softmax

FlashAttention 的核心贡献就两句话:

  1. 分块(Tiling):把 Q,K,VQ, K, V 切成小块,每次只加载一个块到 SRAM,算完写出结果,不在 HBM 中存完整的 N×NN \times N 矩阵。
  2. 在线 Softmax(Online Softmax):分块后每个块只能看到部分数据,无法直接做全局 softmax。用一个递推算法,在遍历所有块的过程中增量式地修正 softmax 的分母和分子。

2.1 为什么不能直接分块

Softmax 的定义是:

softmax(xi)=exi∑jexj\text{softmax}(x_i) = \frac{e^{x_i}}{\sum_j e^{x_j}}

分母 ∑jexj\sum_j e^{x_j} 需要看到整行数据。如果把 KK 分成块,每块只算出部分 exie^{x_i},你不知道全局的归一化常数,就无法得到正确的概率分布。

这就是为什么标准注意力"看起来"必须实例化整个 SS 矩阵——你需要完整的每一行才能做 softmax。

2.2 在线 Softmax:三行公式的魔法

FlashAttention 的突破来自一个 2018 年的数值计算技巧,核心是以下递推关系。

假设我们已经处理了前 k−1k-1 个块,维护两个累积量:

  • m(k−1)m^{(k-1)}:到目前为止见到的最大值(用于数值稳定性)
  • ℓ(k−1)\ell^{(k-1)}:到目前为止的未归一化分母之和

现在处理第 kk 个块,该块内部的局部最大值为 mlocal(k)m^{(k)}_{\text{local}},局部指数和为 ℓlocal(k)\ell^{(k)}_{\text{local}}。更新全局累积量:

m(k)=max⁡(m(k−1),  mlocal(k))m^{(k)} = \max\big(m^{(k-1)},\; m^{(k)}_{\text{local}}\big)

ℓ(k)=em(k−1)−m(k)⋅ℓ(k−1)+emlocal(k)−m(k)⋅ℓlocal(k)\ell^{(k)} = e^{m^{(k-1)} - m^{(k)}} \cdot \ell^{(k-1)} + e^{m^{(k)}_{\text{local}} - m^{(k)}} \cdot \ell^{(k)}_{\text{local}}

O(k)=1ℓ(k)(em(k−1)−m(k)⋅ℓ(k−1)⋅O(k−1)+emlocal(k)−m(k)⋅Plocal(k)⋅Vblock(k))O^{(k)} = \frac{1}{\ell^{(k)}} \Big( e^{m^{(k-1)} - m^{(k)}} \cdot \ell^{(k-1)} \cdot O^{(k-1)} + e^{m^{(k)}_{\text{local}} - m^{(k)}} \cdot P^{(k)}_{\text{local}} \cdot V^{(k)}_{\text{block}} \Big)

这三行公式做了两件事:

  1. 修正历史:当新块中出现更大的值时,之前累积的 exe^{x} 全部乘以 emold−mnewe^{m_{\text{old}} - m_{\text{new}}}(一个小于 1 的因子),相当于"缩放"旧结果以适配新的最大值。
  2. 增量合并:新块的贡献加权后加到累积结果上,分母同步更新。

最终 O(K)O^{(K)} 就是完整的注意力输出,全程不需要在 HBM 中存 N×NN \times N 矩阵。

2.3 数值稳定性为什么重要

直接算 exie^{x_i} 会溢出。实际实现中减去行最大值 mm:

softmax(xi)=exi−m∑jexj−m\text{softmax}(x_i) = \frac{e^{x_i - m}}{\sum_j e^{x_j - m}}

在线算法中 mm 是动态更新的,所以旧结果需要乘以 emold−mnewe^{m_{\text{old}} - m_{\text{new}}} 来"追上"新的缩放基准。这就是上面递推公式中那些指数项的来源。

三、分块策略与内存访问模式

3.1 分块方式

把 QQ 按行分成 BrB_r 大小的块(外层循环),K,VK, V 按行分成 BcB_c 大小的块(内层循环):

for i in range(0, N, Br):          # 外层:遍历 Q 的行块
    Qi = Q[i:i+Br]                  # 加载到 SRAM
    初始化 Oi, mi, li

    for j in range(0, N, Bc):      # 内层:遍历 K, V 的行块
        Kj = K[j:j+Bc]             # 加载到 SRAM
        Vj = V[j:j+Bc]             # 加载到 SRAM

        Sij = Qi @ Kj.T            # SRAM 内计算,Br x Bc
        mij = rowmax(Sij)
        Pij = exp(Sij - mij)       # SRAM 内计算
        lij = rowsum(Pij)

        # 在线 softmax 更新
        m_new = max(mi, mij)
        l_new = exp(mi - m_new) * li + exp(mij - m_new) * lij
        Oi = (exp(mi - m_new) * li * Oi + exp(mij - m_new) * Pij @ Vj) / l_new

        mi, li = m_new, l_new

    O[i:i+Br] = Oi                 # 写回 HBM

3.2 块大小的选择

块大小 BrB_r 和 BcB_c 受 SRAM 容量约束。每个块需要存 Qi,Kj,Vj,Sij,PijQ_i, K_j, V_j, S_{ij}, P_{ij} 等矩阵,总占用大约:

MSRAM≈Br⋅d+Bc⋅d+Bc⋅d+Br⋅Bc+Br⋅BcM_{\text{SRAM}} \approx B_r \cdot d + B_c \cdot d + B_c \cdot d + B_r \cdot B_c + B_r \cdot B_c

在 A100 上(每 SM 192 KB SRAM),典型的块大小是 Br=128B_r = 128,Bc=128B_c = 128,d=128d = 128,占用约 128 KB,刚好放得下。

3.3 HBM 读写次数分析

这是 FlashAttention “精确加速”(不是近似)的关键所在。

标准注意力的 HBM 读写:

  • 读 Q,K,VQ, K, V:O(Nd)O(Nd)
  • 写 S=QKTS = QK^T 到 HBM:O(N2)O(N^2)
  • 读 SS 算 softmax:O(N2)O(N^2)
  • 写 PP 到 HBM:O(N2)O(N^2)
  • 读 P,VP, V 算 PVPV:O(N2+Nd)O(N^2 + Nd)
  • 总计:O(N2+Nd)O(N^2 + Nd)

FlashAttention 的 HBM 读写:

  • 外层循环 N/BrN/B_r 次,每次读 QQ 的一个块 O(Br⋅d)O(B_r \cdot d)
  • 内层循环 N/BcN/B_c 次,每次读 K,VK, V 的一个块 O(Bc⋅d)O(B_c \cdot d)
  • 每个外层块写回 OO 一次:O(Br⋅d)O(B_r \cdot d)
  • 总计:O(NBr⋅NBc⋅Bc⋅d)=O(N2dBr)O\big(\frac{N}{B_r} \cdot \frac{N}{B_c} \cdot B_c \cdot d\big) = O\big(\frac{N^2 d}{B_r}\big)

由于 BrB_r 是与 NN 无关的常数(受 SRAM 约束),FlashAttention 的 HBM 读写是 O(N2dM)O\big(\frac{N^2 d}{M}\big),其中 MM 是 SRAM 大小。相比标准注意力的 O(N2)O(N^2),减少了约 M/dM/d 倍的 HBM 读写。

在 A100 上 M=192KBM = 192\text{KB},d=128d = 128,理论减少约 1500 倍 的 HBM 读写量。实际加速倍数受限于计算量本身,通常在 2-4 倍。

四、反向传播:重计算(Recomputation)技巧

标准注意力的反向传播需要用到前向时保存的 PP(softmax 后的注意力矩阵),形状 N×NN \times N。FlashAttention 前向没有保存 PP,反向怎么办?

答案:重新算。

反向传播需要 ∂L∂Q,∂L∂K,∂L∂V\frac{\partial L}{\partial Q}, \frac{\partial L}{\partial K}, \frac{\partial L}{\partial V},这些梯度都可以从 Q,K,V,OQ, K, V, O 和上游梯度 ∂L∂O\frac{\partial L}{\partial O} 重新计算出来。具体公式:

∂L∂V=PT∂L∂O\frac{\partial L}{\partial V} = P^T \frac{\partial L}{\partial O}

∂L∂S=P⊙(∂L∂P−rowsum(∂L∂P⊙P))\frac{\partial L}{\partial S} = P \odot \Big(\frac{\partial L}{\partial P} - \text{rowsum}\big(\frac{\partial L}{\partial P} \odot P\big)\Big)

∂L∂Q=∂L∂SK,∂L∂K=∂L∂STQ\frac{\partial L}{\partial Q} = \frac{\partial L}{\partial S} K, \quad \frac{\partial L}{\partial K} = \frac{\partial L}{\partial S}^T Q

其中 ∂L∂P=∂L∂OVT\frac{\partial L}{\partial P} = \frac{\partial L}{\partial O} V^T。

反向传播同样按块进行,每次从 HBM 加载 Qi,Kj,VjQ_i, K_j, V_j 到 SRAM,在 SRAM 内重算 Sij,PijS_{ij}, P_{ij},然后计算梯度。不保存 N×NN \times N 的中间矩阵,代价是多一次前向计算。

这个取舍在 GPU 上是划算的:SRAM 的计算带宽远高于 HBM 的读写带宽,重算的花费小于存取的花费。论文中实测反向传播的重计算开销仅增加约 25-33% 的总时间,但省下的显存可以支持更长的序列。

五、FlashAttention-2 的关键改进

FlashAttention 的第一版(2022 年)已经实现了精确的加速,但在 GPU 利用率上还有空间。FlashAttention-2(2023 年,Tri Dao)做了三个关键优化:

5.1 减少非矩阵乘法运算

原版中在线 softmax 的更新涉及大量逐元素运算(exp、max、乘法),这些运算在 GPU 上不是 tensor core 能加速的矩阵乘法,成了瓶颈。

FlashAttention-2 重新排列了计算顺序,把缩放因子推迟到循环结束后统一应用,减少了循环内的非 GEMM 运算次数。具体来说,不再在每次内层迭代中除以 ℓ(k)\ell^{(k)},而是累积未归一化的分子,最后一次性归一化:

Oi=numeratoriℓiO_i = \frac{\text{numerator}_i}{\ell_i}

这样内层循环只做 GEMM 和少量逐元素运算,非 GEMM 运算占比从约 30% 降到 10-15%。

5.2 更好的并行度划分

原版沿序列维度做外层并行(每个线程块处理 QQ 的一个行块),当序列长度 NN 较小但 batch × head 较大时,GPU 上的线程块数量不够,无法充分利用 SM。

FlashAttention-2 增加了沿 batch × head 维度的并行,把 (Q,K,V)(Q, K, V) 的块分配到不同的线程块上。这样即使 NN 不大,也能启动足够多的线程块填满 A100 的 108 个 SM。

5.3 分发 warp 的策略

原版在一个线程块内用 4 个 warp 协作计算,warp 之间通过 shared memory 通信。FlashAttention-2 改为让每个 warp 独立处理 K,VK, V 的一个块,warp 之间不需要同步,最后通过 split-K 方式合并结果。这减少了 warp 级别的同步开销。

综合下来,FlashAttention-2 在 A100 上达到了约 50-73% 的理论 MFLOPS 利用率(原版约 25-35%),相比标准注意力加速 2 倍左右(在原版基础上再快一倍)。

六、实际性能数据

以下是论文和社区实测的一些参考数据(具体数字随硬件和模型变化):

配置 标准注意力 FlashAttention-v1 FlashAttention-v2
A100, GPT-3 175B, seq=2048 基准 2.0× 加速 3.5× 加速
A100, GPT-3 175B, seq=8192 OOM 可训练 可训练,2.5× 加速
显存占用 (seq=8192) ~40 GB/层 ~2 GB/层 ~2 GB/层

最直观的影响:在 A100 上训练 GPT-3 175B,序列长度从 2048 扩展到 8192,不需要模型并行,单卡就能放下。这在 FlashAttention 出现之前是不可想象的。

七、工程实现中的细节坑

7.1 因果掩码(Causal Mask)的裁剪

自回归模型需要因果掩码,即 SijS_{ij} 中 j>ij > i 的位置置为 −∞-\infty。朴素做法是算完 SijS_{ij} 再应用掩码,但这浪费了被掩码位置的计算。

FlashAttention 的优化是:在分块循环中直接跳过完全被掩码的块。如果 QQ 的行块索引为 ii,KK 的列块索引为 jj,当 j⋅Bc>i⋅Br+Brj \cdot B_c > i \cdot B_r + B_r 时,整个块都在掩码区域,直接跳过。当块部分被掩码时,只对块内的有效部分计算。这大约节省了 50% 的计算量。

7.2 多查询注意力的适配

MQA(Multi-Query Attention)和 GQA(Grouped-Query Attention)中多个 Q 头共享同一组 K, V 头。FlashAttention 需要把内层循环改为遍历共享的 K,VK, V 块,外层同时处理多个 QQ 头。这改变了分块形状和 SRAM 占用,需要重新调参。

7.3 混合精度下的缩放

在 FP16/BF16 计算中,QKTQK^T 的结果可能超出 FP16 的表示范围(最大约 65504)。标准做法是在 GEMM 后立即乘以 1d\frac{1}{\sqrt{d}} 缩放。但在线 softmax 中,减去最大值 mm 已经提供了数值稳定性,缩放因子可以合并到 mm 中。实现时需要注意缩放和减最大值的顺序,否则中间结果仍可能溢出。

7.4 dropout 的位置

训练时注意力通常加 dropout。标准实现中 dropout 作用于 PP(softmax 之后),但 FlashAttention 不保存 PP。解决方案是在前向时用 RNG(随机数生成器)按确定的种子生成 dropout mask,反向重算时用相同种子复现 mask。这要求 RNG 的状态可重现,且与分块循环的顺序无关——实现上需要用块级别的 RNG seed 而非全局 seed。

八、总结:为什么这个技术重要

FlashAttention 的意义远超"一个加速技巧":

  1. 精确计算,非近似。与稀疏注意力、低秩近似不同,FlashAttention 的输出与标准注意力在数学上完全等价(浮点误差范围内),不需要在精度和速度之间做权衡。

  2. IO 感知的算法设计。它把"计算复杂度"和"内存访问复杂度"区分开来,优化后者而非前者。这是一个范式转变——在现代硬件上,IO 往往才是瓶颈,而非 FLOPS。

  3. 解锁长序列能力。把注意力的显存占用从 O(N2)O(N^2) 降到 O(N)O(N),使得 16K、32K 甚至 128K 的上下文长度成为可能,直接推动了长上下文大模型的发展。

  4. 已被广泛集成。PyTorch 2.0 的 torch.nn.functional.scaled_dot_product_attention 默认调用 FlashAttention-2;HuggingFace Transformers、Megatron-LM、vLLM 等主流框架均已集成。如果你在用这些框架训练或推理大模型,你大概率已经在受益于它了。

理解 FlashAttention 的核心不在于记住那些公式,而在于理解一个设计哲学:在 IO 受限的场景下,减少内存读写比减少计算量更重要,即使这意味着要"多算"一些东西。这个思路同样适用于其他 GPU kernel 的优化,是 AI 系统工程中非常实用的一课。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。