RoPE 旋转位置编码

举报
yd_292659020 发表于 2026/11/16 00:09:24 2026/11/16
【摘要】 RoPE 旋转位置编码:用复数旋转把绝对位置变成相对位置 为什么需要重新设计位置编码Transformer 的 Self-Attention 机制本身是置换不变的——把输入序列打乱顺序,Attention 的输出完全不变(只是对应行也跟着打乱)。这意味着模型根本不知道 token 的先后关系,必须额外注入位置信息。经典方案有两种:绝对位置编码(原版 Transformer 的 sin/co...

RoPE 旋转位置编码:用复数旋转把绝对位置变成相对位置

为什么需要重新设计位置编码

Transformer 的 Self-Attention 机制本身是置换不变的——把输入序列打乱顺序,Attention 的输出完全不变(只是对应行也跟着打乱)。这意味着模型根本不知道 token 的先后关系,必须额外注入位置信息。

经典方案有两种:

  • 绝对位置编码(原版 Transformer 的 sin/cos):给每个位置 mm 预算一个固定向量 pmp_m,加到 token embedding 上。问题:位置 mm 和位置 nn 之间的注意力分数 qm⋅knq_m \cdot k_n 展开后,交叉项里混入了 pmp_m 和 pnp_n,它们是各自独立的,无法表达成 f(m−n)f(m-n) 的形式。也就是说,模型很难学到"相对距离"这个概念。
  • 相对位置编码(T5 Relative Position Bias):直接在注意力矩阵上加一个只依赖 m−nm-n 的偏置 bm−nb_{m-n}。解决了相对性,但它只作用在 Attention score 上,没有渗透到 qq 和 kk 的向量本身里,且实现上需要维护一个偏置矩阵。

RoPE(Rotary Position Embedding,旋转位置编码)的提出者苏剑林给出了一个漂亮的思路:能不能构造一种位置编码,使得 qmq_m 和 knk_n 的内积天然只依赖 m−nm - n? 答案是——用旋转。


核心推导:从二维到多维

二维情形

把 qmq_m 和 knk_n 看成二维向量,用复数表示:qm=qx+iqyq_m = q_x + i q_y,kn=kx+ikyk_n = k_x + i k_y。

定义位置编码为乘以一个旋转因子:

q~m=qm⋅eimθ,k~n=kn⋅einθ\tilde{q}_m = q_m \cdot e^{i m \theta}, \quad \tilde{k}_n = k_n \cdot e^{i n \theta}

其中 θ\theta 是一个预设的频率常数。那么内积(取实部)为:

Re(q~m⋅k~n‾)=Re(qm⋅kn‾⋅ei(m−n)θ)\text{Re}(\tilde{q}_m \cdot \overline{\tilde{k}_n}) = \text{Re}\left(q_m \cdot \overline{k_n} \cdot e^{i(m-n)\theta}\right)

关键点:结果只依赖 m−nm - n。旋转角度的差正好是 (m−n)θ(m-n)\theta,绝对位置 mm 和 nn 各自消失了,只留下相对距离。

这就是 RoPE 的全部灵魂——用复数乘法(即二维旋转)把绝对位置编码变成相对位置编码,而且是在 qq、kk 向量内部完成的,不需要额外的偏置矩阵。

多维情形:两两分组旋转

实际模型的 hidden_dim 通常是几百甚至上千维。RoPE 的做法是:把 dd 维向量拆成 d/2d/2 个二维平面,每个平面独立旋转,但每个平面的旋转频率不同:

θi=10000−2i/d,i=0,1,…,d/2−1\theta_i = 10000^{-2i/d}, \quad i = 0, 1, \ldots, d/2 - 1

写成矩阵形式,对于位置 mm 的 dd 维向量 xx,RoPE 的操作等价于:

(x0x1x2x3⋮xd−2xd−1)⊗(cos⁡(mθ0)cos⁡(mθ0)cos⁡(mθ1)cos⁡(mθ1)⋮cos⁡(mθd/2−1)cos⁡(mθd/2−1))+(−x1x0−x3x2⋮−xd−1xd−2)⊗(sin⁡(mθ0)sin⁡(mθ0)sin⁡(mθ1)sin⁡(mθ1)⋮sin⁡(mθd/2−1)sin⁡(mθd/2−1))\begin{pmatrix} x_0 \\ x_1 \\ x_2 \\ x_3 \\ \vdots \\ x_{d-2} \\ x_{d-1} \end{pmatrix} \otimes \begin{pmatrix} \cos(m\theta_0) \\ \cos(m\theta_0) \\ \cos(m\theta_1) \\ \cos(m\theta_1) \\ \vdots \\ \cos(m\theta_{d/2-1}) \\ \cos(m\theta_{d/2-1}) \end{pmatrix} + \begin{pmatrix} -x_1 \\ x_0 \\ -x_3 \\ x_2 \\ \vdots \\ -x_{d-1} \\ x_{d-2} \end{pmatrix} \otimes \begin{pmatrix} \sin(m\theta_0) \\ \sin(m\theta_0) \\ \sin(m\theta_1) \\ \sin(m\theta_1) \\ \vdots \\ \sin(m\theta_{d/2-1}) \\ \sin(m\theta_{d/2-1}) \end{pmatrix}

直观理解:相邻的两个维度 (x2i,x2i+1)(x_{2i}, x_{2i+1}) 构成一个二维平面,在位置 mm 处旋转角度 mθim\theta_i。不同平面旋转速度不同——频率 θi\theta_i 从大到小,前面的维度转得快(捕捉短距离/高频模式),后面的维度转得慢(捕捉长距离/低频模式)。

这和原版 Transformer 的 sin/cos 编码用不同频率的思路一脉相承,但区别在于:sin/cos 是加上去的,RoPE 是乘上去的(旋转)。


实现细节:代码长什么样

下面是 RoPE 的核心实现(伪代码,以 PyTorch 风格呈现):

import torch
import math

def precompute_freqs_cis(dim: int, max_seq_len: int, base: float = 10000.0):
    """
    预计算每个位置、每个频率对的 (cos, sin) 值。
    返回形状: [max_seq_len, dim // 2],复数表示。
    """
    freqs = 1.0 / (base ** (torch.arange(0, dim, 2)[: (dim // 2)].float() / dim))
    t = torch.arange(max_seq_len)
    freqs = torch.outer(t, freqs)          # [seq_len, dim//2]
    freqs_cis = torch.polar(torch.ones_like(freqs), freqs)  # e^{i * m * theta}
    return freqs_cis

def apply_rotary_emb(xq, xk, freqs_cis):
    """
    xq, xk: [batch, seq_len, n_heads, dim]
    freqs_cis: [seq_len, dim // 2]  复数
    """
    # 把实数向量看成复数:相邻两维 -> 实部+虚部
    xq_ = torch.view_as_complex(xq.reshape(*xq.shape[:-1], -1, 2))
    xk_ = torch.view_as_complex(xk.reshape(*xk.shape[:-1], -1, 2))

    # 广播: [seq_len, 1, dim//2] 复数乘法 = 旋转
    freqs_cis = freqs_cis.view(1, xq_.shape[1], 1, xq_.shape[3])
    xq_out = torch.view_as_real(xq_ * freqs_cis).flatten(3)
    xk_out = torch.view_as_real(xk_ * freqs_cis).flatten(3)
    return xq_out, xk_out

几个实现上值得注意的点:

  1. 只作用于 Q 和 K,不作用于 V。 位置信息只需要在 q⋅kq \cdot k 的内积中体现,Value 向量不需要位置编码。
  2. 预计算 cos/sin 表。 freqs_cis 在模型初始化时算好,推理时直接查表,开销极小。
  3. 复数乘法即旋转。 PyTorch 的 torch.view_as_complex + 复数乘法是最高效的写法;等价的实数写法是上面公式中的 cos 项 + 交叉 sin 项。

长度外推:RoPE 的真正挑战

RoPE 在训练长度内表现优秀,但超出训练长度就退化——因为模型从未见过 $m\theta_i > $ 训练时最大角度的旋转值。这就是所谓的"长度外推"问题。

社区围绕 RoPE 外推做了大量工作,核心思路都是在不重新训练的前提下,调整旋转频率 θi\theta_i 的分布:

1. Position Interpolation(位置插值,PI)

最直接的想法:把目标长度 L′L' 压缩到训练长度 LL 的范围内。把位置 mm 替换为 m⋅L/L′m \cdot L / L':

θi′=θi⋅LL′\theta_i' = \theta_i \cdot \frac{L}{L'}

所有频率等比缩小,相当于把"刻度尺"拉长了。简单有效,但所有维度被同等缩放,高频维度(捕捉局部模式)也被拉长,可能损失短距离精度。

2. NTK-aware Interpolation

PI 的问题在于一刀切。NTK-aware 的思路是:低频维度需要外推(它们本来就转得慢,多转一点没关系),高频维度需要插值(它们转得快,外推会剧烈震荡)。

修改 base:

base′=base⋅(L′L)d/(d−2)base' = base \cdot \left(\frac{L'}{L}\right)^{d / (d - 2)}

这会让低频维度的频率更小(转得更慢,适合更长序列),高频维度几乎不变。效果显著好于朴素 PI。

3. YaRN(Yet another RoPE extensioN)

进一步把维度分成三个区间:

  • 低频区间(λi≫L′\lambda_i \gg L'):不做缩放,直接外推。
  • 高频区间(λi≪L\lambda_i \ll L):做 PI 式插值。
  • 过渡区间:用平滑函数在两者之间插值。

其中 λi=2π/θi\lambda_i = 2\pi / \theta_i 是该维度的"波长"。YaRN 是目前效果最好的 RoPE 外推方法之一,被 LLaMA 3、Qwen2 等模型采用。


为什么 RoPE 成了事实标准

对比一下几种方案的本质区别:

特性 绝对 sin/cos T5 Relative Bias ALiBi RoPE
位置信息注入方式 加到 embedding 加到 attention score 加到 attention score 乘到 Q、K
内积是否依赖相对距离 否 是(显式) 是(显式) 是(隐式,数学保证)
是否需要额外参数 否 是(bias 表) 是(斜率表) 否
是否渗透到 Q/K 向量内部 否 否 否 是
长度外推能力 差 差 好 中(可优化)

RoPE 的优势可以总结为三点:

  1. 数学优雅:不需要额外参数,不需要偏置矩阵,纯靠旋转就把相对性写进了内积的定义里。
  2. 实现高效:预计算 cos/sin 表 + 逐元素乘法,没有额外矩阵乘法,对 Flash Attention 等融合 kernel 友好。
  3. 可扩展:频率 θi\theta_i 的分布是可调的,为长度外推留出了巨大的改造空间(PI、NTK、YaRN 等都是改 θi\theta_i)。

一个容易忽略的细节:旋转的方向

不同的实现对"哪两个维度配对"有不同的约定:

  • LLaMA 原版:(x0,x1),(x2,x3),…(x_0, x_1), (x_2, x_3), \ldots 相邻配对。
  • GPT-NeoX 风格:(x0,xd/2),(x1,xd/2+1),…(x_0, x_{d/2}), (x_1, x_{d/2+1}), \ldots 前半和后半交叉配对。

两种约定在数学上等价(只是排列不同),但如果加载别人的权重而自己的 RoPE 实现用了不同的配对方式,模型会完全坏掉。这是移植模型权重时最常见的隐蔽 bug 之一。

判断方法:看预训练代码的 reshape 方式。reshape(..., dim//2, 2) 是相邻配对;split 成前后两半再 stack 是交叉配对。两者不能混用。


总结

RoPE 的核心思想可以用一句话概括:把位置 mm 编码成旋转角度 mθm\theta,通过复数乘法(旋转)作用在 Q 和 K 上,使得它们的内积天然只依赖相对距离 m−nm - n。

它不是凭空发明的——它站在绝对位置编码(sin/cos 的多频率思想)和相对位置编码(只依赖 m−nm-n 的目标)的交叉点上,用复数旋转这个数学工具把两者统一了。这种"用结构保证性质"的设计,是它比各种 ad-hoc 方案更持久的根本原因。

理解了 RoPE,也就理解了现代开源大模型位置编码的骨架,以及长度外推这一整条技术线的起点。

【声明】本内容来自华为云开发者社区博主,不代表华为云及华为云开发者社区的观点和立场。转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0)

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。