一、为什么 Transformer 需要位置编码?
Transformer 的核心计算依赖 Self-Attention。与 RNN 按时间步依次处理序列不同,Transformer 可以并行处理整个序列。
但这种并行计算方式带来了一个问题:标准 Self-Attention 本身并不知道 Token 在序列中的先后顺序。
例如:
我喜欢人工智能
人工智能喜欢我
两句话包含相同的 Token,只是顺序不同,表达的语义却可能完全不同。
如果模型无法感知 Token 的位置,就难以准确理解:
- 词语之间的先后关系。
- 主语、谓语和宾语之间的结构关系。
- 当前 Token 与前后 Token 的距离。
- 序列中的局部结构和长距离依赖。
因此,Transformer 需要一种机制,将位置信息引入 Token 表示或注意力计算。
1.1 Self-Attention 为什么不具备位置感知能力?
标准 Self-Attention 的计算公式为:
其中:
- Q:Query,查询向量。
- K:Key,键向量。
- V:Value,值向量。
- d_k:Key 向量的维度。
假设输入序列为:
通过线性变换得到:
如果交换输入 Token 的顺序,Q、K、V 也会按照相同方式重新排列,注意力计算结果也会相应排列。
这意味着标准 Self-Attention 具有置换等变性(Permutation Equivariance)。
它能够处理 Token 之间的关系,但不会天然区分某个 Token 是第一个、第二个还是最后一个。
1.2 位置编码解决什么问题?
位置编码为每个 Token 提供额外的位置表示。
通常可以将 Token Embedding 与位置编码组合:
其中:
- e_i:第 i 个 Token 的词向量。
- p_i:第 i 个位置的位置向量。
- h_i:加入位置信息后的表示。
这样,模型就可以同时利用 Token 的语义信息和位置信息。
需要注意:这只是位置编码的一种典型注入方式。RoPE 并不是简单地将位置向量加到 Token Embedding 上,而是在注意力计算阶段对 Query 和 Key 进行旋转变换。
二、位置编码的主要类型
位置编码的发展大致可以分为三类:
- 绝对位置编码(Absolute Positional Encoding)。
- 相对位置编码(Relative Positional Encoding)。
- 旋转位置编码(Rotary Position Embedding,RoPE)。
它们的核心区别在于:模型如何表示位置,以及位置关系如何参与注意力计算。
2.1 绝对位置编码
绝对位置编码直接为序列中的每个位置分配一个向量。
例如:
Token: 我 喜欢 人工智能
Position: 0 1 2
每个位置都有对应的位置向量:
输入模型之前,将位置向量与 Token Embedding 相加:
其中:
- E:Token Embedding 矩阵。
- P:位置编码矩阵。
- H:融合位置和语义信息后的输入表示。
绝对位置编码主要有两种实现方式。
方式一:固定正弦余弦位置编码
原始 Transformer 使用正弦和余弦函数构造位置向量。
对于位置 pos 和维度索引 i:
其中:
- pos:Token 在序列中的位置。
- i:向量维度索引。
- d_{model}:模型隐藏层维度。
- 10000:经典 Transformer 使用的频率基数。
不同维度使用不同频率:
- 低维度对应较高频率,位置变化时数值变化较快。
- 高维度对应较低频率,位置变化时数值变化较慢。
这样,一个位置就能够通过多组不同频率的正弦和余弦值进行表示。
为什么使用多种频率?
如果所有维度都使用相同频率,模型能够获取的位置模式会比较单一。
多频率设计能够让位置向量同时包含:
- 细粒度的位置变化。
- 较大范围的位置变化。
- 不同尺度的位置关系。
正弦余弦函数还具有一定的数学性质,使不同位置之间的关系可以通过线性变换表达。
方式二:可学习位置编码
可学习位置编码不再使用固定数学公式,而是直接为每个位置维护一个可训练向量:
其中:
- L:预设最大序列长度。
- d_{model}:隐藏层维度。
训练过程中,位置向量与模型其他参数一起通过反向传播更新。
优点:
- 表达能力灵活。
- 能够根据训练数据学习适合的位置表示。
- 实现简单。
局限:
- 通常需要预设最大位置长度。
- 超出训练位置范围时,缺乏天然的外推能力。
- 位置 Embedding 会增加模型参数量。
2.2 相对位置编码
绝对位置编码关注 Token 位于序列中的哪个位置。
相对位置编码则更加关注:
两个 Token 之间相隔多远,以及它们之间的相对位置关系。
例如:
Token: A B C D E
Position: 0 1 2 3 4
对于 Token C:
- A 位于 C 左侧 2 个位置。
- B 位于 C 左侧 1 个位置。
- D 位于 C 右侧 1 个位置。
- E 位于 C 右侧 2 个位置。
可以将两个 Token 的相对距离定义为:
其中:
- i:Query 所在位置。
- j:Key 所在位置。
- r_{ij}:Key 相对于 Query 的位置偏移。
一种典型实现是在 Attention Score 中加入相对位置偏置:
其中 b_{j-i} 表示对应相对距离的位置偏置。
经过 Softmax 后:
这样,模型在计算 Token 之间的注意力时,就可以考虑相对位置关系。
T5 Relative Position Bias
T5 使用相对位置偏置机制。
它不会为每个可能的相对距离都单独设置参数,而是将距离划分为若干区间(Bucket)。
例如:
- 近距离位置使用较细的区间。
- 远距离位置使用较粗的区间。
- 不同方向的位置可以区分处理。
这样可以控制参数量,同时保留对不同距离关系的建模能力。
相对位置偏置通常添加在 Attention Logits 上,而不是直接修改 Token Embedding。
2.3 绝对位置编码与相对位置编码对比
| 对比维度 | 绝对位置编码 | 相对位置编码 |
|---|---|---|
| 核心关注 | Token 的绝对位置 | Token 之间的距离 |
| 典型形式 | 位置向量 | 相对位置偏置或关系变换 |
| 注入位置 | 通常在输入 Embedding 阶段 | 通常在注意力计算阶段 |
| 位置表达 | 第几个 Token | 相距多少个位置 |
| 长序列扩展 | 取决于具体设计 | 取决于相对位置建模方式 |
| 典型方案 | Sinusoidal、Learned Embedding | T5 Relative Position Bias |
需要注意,相对位置编码并不一定意味着模型完全不需要绝对位置信息。不同方案的位置信息表达能力和注入方式并不相同。
三、什么是 RoPE?
RoPE 全称为 Rotary Position Embedding,即旋转位置编码。
它由 Su 等人在 2021 年提出,核心思想是:
通过对 Query 和 Key 向量进行与位置相关的旋转变换,使 Attention Score 自然包含相对位置信息。
RoPE 与传统位置编码有一个重要区别:
传统绝对位置编码通常将位置向量加到 Token Embedding 上。
RoPE 则是在 Attention 计算阶段,对 Query 和 Key 应用旋转矩阵。
它并不是简单地将位置向量加到输入表示中。
3.1 RoPE 的核心思想
可以先从二维平面理解 RoPE。
假设有一个二维向量:
如果将这个向量旋转角度 \theta,可以使用二维旋转矩阵:
旋转后的向量为:
展开:
RoPE 将这个旋转思想应用到高维向量。
对于位于位置 m 的 Query 和 Key,使用与位置相关的旋转角度:
其中:
- m:Token 的位置索引。
- \omega:旋转频率。
- \theta_m:当前位置对应的旋转角度。
不同维度使用不同频率,因此每组维度会产生不同的旋转速度。
3.2 为什么 RoPE 能表达相对位置?
这是 RoPE 最重要的数学性质。
假设:
- Query 位于位置 m。
- Key 位于位置 n。
经过 RoPE 变换:
两者的点积为:
利用矩阵转置性质:
旋转矩阵满足正交性质:
并且旋转矩阵满足:
因此:
最终得到:
这个公式非常关键。
它说明:
经过 RoPE 变换后的 Query 和 Key 点积,只与两者的相对位置差有关,而不只是依赖各自的绝对位置。
例如:
- Query 在位置 10,Key 在位置 15。
- Query 在位置 100,Key 在位置 105。
两组位置的相对距离都是 5。
对于相同的原始向量,它们在对应维度上的旋转相对关系是一致的。
这就是 RoPE 能够在注意力计算中引入相对位置信息的数学基础。
需要强调,这个结论针对旋转后的点积结构。模型的完整注意力输出还受到输入内容、其他 Token、Mask 和网络参数等因素影响。
四、RoPE 的高维旋转机制
真实模型中的 Query 和 Key 并不是二维向量,而是几十维、几百维甚至更高维的向量。
RoPE 通过将高维向量拆分为多个二维子空间,分别进行旋转。
4.1 将高维向量拆分为二维向量
假设某个 Attention Head 的维度为 8:
采用相邻维度配对方式,可以拆分为:
每一组二维向量使用不同频率进行旋转。
对于第 i 组:
因此:
每一对维度都可以理解为一个独立的二维旋转空间。
4.2 不同维度为什么使用不同频率?
RoPE 使用不同频率,让不同维度对位置变化具有不同敏感程度。
经典 RoPE 的频率定义为:
其中:
- i:二维维度对的索引。
- d:参与旋转的维度。
- \theta:频率基数,经典配置通常为 10000。
对于位置 m,第 i 组维度的旋转角度为:
不同频率的作用:
- 较高频率:位置变化时旋转角度变化较快。
- 较低频率:位置变化时旋转角度变化较慢。
多种频率组合后,模型可以在不同尺度上感知位置关系。
这里需要区分两个概念:
- \theta:频率基数,是 RoPE 的配置参数。
- \theta_{m,i}:某个位置、某组维度实际使用的旋转角度。
它们不是同一个量。
4.3 RoPE 的矩阵形式
将所有二维旋转矩阵组合起来,可以得到一个高维分块对角矩阵:
其中每个子矩阵都是一个二维旋转矩阵。
最终:
从实现角度看,通常不需要真的创建这个大型分块对角矩阵。
实际实现会使用预先计算的 Sin、Cos 张量,通过逐元素运算完成旋转,减少显存和计算开销。
五、RoPE 在 Transformer 中的实际位置
RoPE 通常集成在 Multi-Head Attention 的计算过程中。
以标准 Multi-Head Attention 为例:
输入隐藏状态:
分别经过线性映射:
然后将 Q、K、V 拆分为多个 Head。
RoPE 只作用于 Q 和 K:
之后再计算注意力:
5.1 为什么只旋转 Q 和 K?
Attention Score 由 Query 和 Key 的点积决定:
位置关系需要影响的正是这个相似度计算过程。
RoPE 通过旋转 Q 和 K,使注意力分数包含相对位置关系。
Value 则负责提供被注意力加权聚合的内容信息:
因此,经典 RoPE 通常不旋转 V。
这并不意味着 V 不包含位置信息。V 来自 Transformer 的隐藏状态,而隐藏状态已经经过前面网络层的处理,可能包含上下文和位置信息。
5.2 RoPE 在 Attention 中的完整流程
flowchart TB
A["输入隐藏状态 X"] --> B["线性投影 Q、K、V"]
B --> C["拆分为多个 Attention Head"]
C --> D["获取 Position ID"]
D --> E["计算 RoPE 的 Sin 和 Cos"]
C --> F["原始 Q 和 K"]
E --> G["旋转位置变换"]
F --> G
G --> H["得到旋转后的 Q 和 K"]
H --> I["计算 QK 转置"]
C --> J["保留原始 V"]
I --> K["缩放并加入 Attention Mask"]
J --> L["Softmax 权重与 V 相乘"]
K --> M["Softmax"]
M --> L
L --> N["Attention 输出"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#EAF3EC,stroke:#83A995,color:#315D49
style M fill:#EAF3EC,stroke:#83A995,color:#315D49
style N fill:#E5F0E9,stroke:#83A995,color:#315D49
5.3 RoPE 与 Causal Mask 的区别
这两个机制经常同时出现在 Decoder-only Transformer 中,但作用完全不同。
| 对比维度 | RoPE | Causal Mask |
|---|---|---|
| 核心作用 | 注入位置信息 | 限制可见的 Token |
| 处理对象 | Query 和 Key | Attention Score |
| 主要解决 | 模型如何感知相对位置 | 模型如何避免看到未来 Token |
| 数学机制 | 旋转变换 | 将禁止关注的位置设为负无穷 |
| 是否改变注意力范围 | 不直接改变 | 会改变 |
Causal Mask 的典型形式:
经过 Softmax 后,未来位置的注意力权重变为 0。
RoPE 负责位置关系,Causal Mask 负责信息访问约束,两者不能互相替代。
六、RoPE 的 PyTorch 简化实现
理解 RoPE 的最佳方式之一,是直接观察它的张量运算。
下面实现一个采用相邻维度配对方式的简化版本。
6.1 生成频率与位置角度
import torch
def precompute_rope(
seq_len: int,
dim: int,
theta: float = 10000.0,
device: str = "cpu",
):
"""
预计算 RoPE 的 cos 和 sin。
dim 必须为偶数。
返回形状:[seq_len, dim // 2]
"""
assert dim % 2 == 0
inv_freq = 1.0 / (
theta ** (
torch.arange(0, dim, 2, device=device).float() / dim
)
)
positions = torch.arange(
seq_len,
device=device,
dtype=torch.float32
)
freqs = torch.outer(positions, inv_freq)
cos = torch.cos(freqs)
sin = torch.sin(freqs)
return cos, sin
其中:
inv_freq:每组二维维度的旋转频率。positions:Token 的位置索引。freqs:每个位置对应的旋转角度。cos和sin:旋转所需的三角函数值。
6.2 实现二维旋转
def rotate_half(x):
"""
相邻维度配对:
(x0, x1), (x2, x3), ...
"""
x1 = x[..., ::2]
x2 = x[..., 1::2]
rotated = torch.stack(
(-x2, x1),
dim=-1
)
return rotated.flatten(-2)
def apply_rope(x, cos, sin):
"""
x: [batch, heads, seq_len, head_dim]
cos: [seq_len, head_dim // 2]
sin: [seq_len, head_dim // 2]
"""
cos = cos.repeat_interleave(2, dim=-1)
sin = sin.repeat_interleave(2, dim=-1)
cos = cos.unsqueeze(0).unsqueeze(0)
sin = sin.unsqueeze(0).unsqueeze(0)
return x * cos + rotate_half(x) * sin