RoPE 旋转位置编码
RoPE 旋转位置编码:用复数旋转把绝对位置变成相对位置
为什么需要重新设计位置编码
Transformer 的 Self-Attention 机制本身是置换不变的——把输入序列打乱顺序,Attention 的输出完全不变(只是对应行也跟着打乱)。这意味着模型根本不知道 token 的先后关系,必须额外注入位置信息。
经典方案有两种:
- 绝对位置编码(原版 Transformer 的 sin/cos):给每个位置 预算一个固定向量 ,加到 token embedding 上。问题:位置 和位置 之间的注意力分数 展开后,交叉项里混入了 和 ,它们是各自独立的,无法表达成 的形式。也就是说,模型很难学到"相对距离"这个概念。
- 相对位置编码(T5 Relative Position Bias):直接在注意力矩阵上加一个只依赖 的偏置 。解决了相对性,但它只作用在 Attention score 上,没有渗透到 和 的向量本身里,且实现上需要维护一个偏置矩阵。
RoPE(Rotary Position Embedding,旋转位置编码)的提出者苏剑林给出了一个漂亮的思路:能不能构造一种位置编码,使得 和 的内积天然只依赖 ? 答案是——用旋转。
核心推导:从二维到多维
二维情形
把 和 看成二维向量,用复数表示:,。
定义位置编码为乘以一个旋转因子:
其中 是一个预设的频率常数。那么内积(取实部)为:
关键点:结果只依赖 。旋转角度的差正好是 ,绝对位置 和 各自消失了,只留下相对距离。
这就是 RoPE 的全部灵魂——用复数乘法(即二维旋转)把绝对位置编码变成相对位置编码,而且是在 、 向量内部完成的,不需要额外的偏置矩阵。
多维情形:两两分组旋转
实际模型的 hidden_dim 通常是几百甚至上千维。RoPE 的做法是:把 维向量拆成 个二维平面,每个平面独立旋转,但每个平面的旋转频率不同:
写成矩阵形式,对于位置 的 维向量 ,RoPE 的操作等价于:
直观理解:相邻的两个维度 构成一个二维平面,在位置 处旋转角度 。不同平面旋转速度不同——频率 从大到小,前面的维度转得快(捕捉短距离/高频模式),后面的维度转得慢(捕捉长距离/低频模式)。
这和原版 Transformer 的 sin/cos 编码用不同频率的思路一脉相承,但区别在于:sin/cos 是加上去的,RoPE 是乘上去的(旋转)。
实现细节:代码长什么样
下面是 RoPE 的核心实现(伪代码,以 PyTorch 风格呈现):
import torch
import math
def precompute_freqs_cis(dim: int, max_seq_len: int, base: float = 10000.0):
"""
预计算每个位置、每个频率对的 (cos, sin) 值。
返回形状: [max_seq_len, dim // 2],复数表示。
"""
freqs = 1.0 / (base ** (torch.arange(0, dim, 2)[: (dim // 2)].float() / dim))
t = torch.arange(max_seq_len)
freqs = torch.outer(t, freqs) # [seq_len, dim//2]
freqs_cis = torch.polar(torch.ones_like(freqs), freqs) # e^{i * m * theta}
return freqs_cis
def apply_rotary_emb(xq, xk, freqs_cis):
"""
xq, xk: [batch, seq_len, n_heads, dim]
freqs_cis: [seq_len, dim // 2] 复数
"""
# 把实数向量看成复数:相邻两维 -> 实部+虚部
xq_ = torch.view_as_complex(xq.reshape(*xq.shape[:-1], -1, 2))
xk_ = torch.view_as_complex(xk.reshape(*xk.shape[:-1], -1, 2))
# 广播: [seq_len, 1, dim//2] 复数乘法 = 旋转
freqs_cis = freqs_cis.view(1, xq_.shape[1], 1, xq_.shape[3])
xq_out = torch.view_as_real(xq_ * freqs_cis).flatten(3)
xk_out = torch.view_as_real(xk_ * freqs_cis).flatten(3)
return xq_out, xk_out
几个实现上值得注意的点:
- 只作用于 Q 和 K,不作用于 V。 位置信息只需要在 的内积中体现,Value 向量不需要位置编码。
- 预计算 cos/sin 表。
freqs_cis在模型初始化时算好,推理时直接查表,开销极小。 - 复数乘法即旋转。 PyTorch 的
torch.view_as_complex+ 复数乘法是最高效的写法;等价的实数写法是上面公式中的 cos 项 + 交叉 sin 项。
长度外推:RoPE 的真正挑战
RoPE 在训练长度内表现优秀,但超出训练长度就退化——因为模型从未见过 $m\theta_i > $ 训练时最大角度的旋转值。这就是所谓的"长度外推"问题。
社区围绕 RoPE 外推做了大量工作,核心思路都是在不重新训练的前提下,调整旋转频率 的分布:
1. Position Interpolation(位置插值,PI)
最直接的想法:把目标长度 压缩到训练长度 的范围内。把位置 替换为 :
所有频率等比缩小,相当于把"刻度尺"拉长了。简单有效,但所有维度被同等缩放,高频维度(捕捉局部模式)也被拉长,可能损失短距离精度。
2. NTK-aware Interpolation
PI 的问题在于一刀切。NTK-aware 的思路是:低频维度需要外推(它们本来就转得慢,多转一点没关系),高频维度需要插值(它们转得快,外推会剧烈震荡)。
修改 base:
这会让低频维度的频率更小(转得更慢,适合更长序列),高频维度几乎不变。效果显著好于朴素 PI。
3. YaRN(Yet another RoPE extensioN)
进一步把维度分成三个区间:
- 低频区间():不做缩放,直接外推。
- 高频区间():做 PI 式插值。
- 过渡区间:用平滑函数在两者之间插值。
其中 是该维度的"波长"。YaRN 是目前效果最好的 RoPE 外推方法之一,被 LLaMA 3、Qwen2 等模型采用。
为什么 RoPE 成了事实标准
对比一下几种方案的本质区别:
| 特性 | 绝对 sin/cos | T5 Relative Bias | ALiBi | RoPE |
|---|---|---|---|---|
| 位置信息注入方式 | 加到 embedding | 加到 attention score | 加到 attention score | 乘到 Q、K |
| 内积是否依赖相对距离 | 否 | 是(显式) | 是(显式) | 是(隐式,数学保证) |
| 是否需要额外参数 | 否 | 是(bias 表) | 是(斜率表) | 否 |
| 是否渗透到 Q/K 向量内部 | 否 | 否 | 否 | 是 |
| 长度外推能力 | 差 | 差 | 好 | 中(可优化) |
RoPE 的优势可以总结为三点:
- 数学优雅:不需要额外参数,不需要偏置矩阵,纯靠旋转就把相对性写进了内积的定义里。
- 实现高效:预计算 cos/sin 表 + 逐元素乘法,没有额外矩阵乘法,对 Flash Attention 等融合 kernel 友好。
- 可扩展:频率 的分布是可调的,为长度外推留出了巨大的改造空间(PI、NTK、YaRN 等都是改 )。
一个容易忽略的细节:旋转的方向
不同的实现对"哪两个维度配对"有不同的约定:
- LLaMA 原版: 相邻配对。
- GPT-NeoX 风格: 前半和后半交叉配对。
两种约定在数学上等价(只是排列不同),但如果加载别人的权重而自己的 RoPE 实现用了不同的配对方式,模型会完全坏掉。这是移植模型权重时最常见的隐蔽 bug 之一。
判断方法:看预训练代码的 reshape 方式。reshape(..., dim//2, 2) 是相邻配对;split 成前后两半再 stack 是交叉配对。两者不能混用。
总结
RoPE 的核心思想可以用一句话概括:把位置 编码成旋转角度 ,通过复数乘法(旋转)作用在 Q 和 K 上,使得它们的内积天然只依赖相对距离 。
它不是凭空发明的——它站在绝对位置编码(sin/cos 的多频率思想)和相对位置编码(只依赖 的目标)的交叉点上,用复数旋转这个数学工具把两者统一了。这种"用结构保证性质"的设计,是它比各种 ad-hoc 方案更持久的根本原因。
理解了 RoPE,也就理解了现代开源大模型位置编码的骨架,以及长度外推这一整条技术线的起点。
- 点赞
- 收藏
- 关注作者
评论(0)