返回专栏
· 14 分钟阅读

位置编码与 RoPE:Transformer 如何理解 Token 的顺序与相对距离?


一、为什么 Transformer 需要位置编码?

Transformer 的核心计算依赖 Self-Attention。与 RNN 按时间步依次处理序列不同,Transformer 可以并行处理整个序列。

但这种并行计算方式带来了一个问题:标准 Self-Attention 本身并不知道 Token 在序列中的先后顺序。

例如:

我喜欢人工智能
人工智能喜欢我

两句话包含相同的 Token,只是顺序不同,表达的语义却可能完全不同。

如果模型无法感知 Token 的位置,就难以准确理解:

  • 词语之间的先后关系。
  • 主语、谓语和宾语之间的结构关系。
  • 当前 Token 与前后 Token 的距离。
  • 序列中的局部结构和长距离依赖。

因此,Transformer 需要一种机制,将位置信息引入 Token 表示或注意力计算。

1.1 Self-Attention 为什么不具备位置感知能力?

标准 Self-Attention 的计算公式为:

Attention(Q,K,V) = Softmax\left( \frac{QK^T}{\sqrt{d_k}} \right)V

其中:

  • Q:Query,查询向量。
  • K:Key,键向量。
  • V:Value,值向量。
  • d_k:Key 向量的维度。

假设输入序列为:

X=[x_1,x_2,\ldots,x_n]

通过线性变换得到:

Q=XW_Q,\quad K=XW_K,\quad V=XW_V

如果交换输入 Token 的顺序,Q、K、V 也会按照相同方式重新排列,注意力计算结果也会相应排列。

这意味着标准 Self-Attention 具有置换等变性(Permutation Equivariance)。

它能够处理 Token 之间的关系,但不会天然区分某个 Token 是第一个、第二个还是最后一个。

1.2 位置编码解决什么问题?

位置编码为每个 Token 提供额外的位置表示。

通常可以将 Token Embedding 与位置编码组合:

h_i=e_i+p_i

其中:

  • e_i:第 i 个 Token 的词向量。
  • p_i:第 i 个位置的位置向量。
  • h_i:加入位置信息后的表示。

这样,模型就可以同时利用 Token 的语义信息和位置信息。

需要注意:这只是位置编码的一种典型注入方式。RoPE 并不是简单地将位置向量加到 Token Embedding 上,而是在注意力计算阶段对 Query 和 Key 进行旋转变换。

二、位置编码的主要类型

位置编码的发展大致可以分为三类:

  1. 绝对位置编码(Absolute Positional Encoding)。
  2. 相对位置编码(Relative Positional Encoding)。
  3. 旋转位置编码(Rotary Position Embedding,RoPE)。

它们的核心区别在于:模型如何表示位置,以及位置关系如何参与注意力计算。

2.1 绝对位置编码

绝对位置编码直接为序列中的每个位置分配一个向量。

例如:

Token:       我      喜欢      人工智能
Position:    0        1          2

每个位置都有对应的位置向量:

P=[p_0,p_1,\ldots,p_{n-1}]

输入模型之前,将位置向量与 Token Embedding 相加:

H=E+P

其中:

  • E:Token Embedding 矩阵。
  • P:位置编码矩阵。
  • H:融合位置和语义信息后的输入表示。

绝对位置编码主要有两种实现方式。

方式一:固定正弦余弦位置编码

原始 Transformer 使用正弦和余弦函数构造位置向量。

对于位置 pos 和维度索引 i:

PE(pos,2i) = \sin\left( \frac{pos}{10000^{2i/d_{model}}} \right)
PE(pos,2i+1) = \cos\left( \frac{pos}{10000^{2i/d_{model}}} \right)

其中:

  • pos:Token 在序列中的位置。
  • i:向量维度索引。
  • d_{model}:模型隐藏层维度。
  • 10000:经典 Transformer 使用的频率基数。

不同维度使用不同频率:

  • 低维度对应较高频率,位置变化时数值变化较快。
  • 高维度对应较低频率,位置变化时数值变化较慢。

这样,一个位置就能够通过多组不同频率的正弦和余弦值进行表示。

为什么使用多种频率?

如果所有维度都使用相同频率,模型能够获取的位置模式会比较单一。

多频率设计能够让位置向量同时包含:

  • 细粒度的位置变化。
  • 较大范围的位置变化。
  • 不同尺度的位置关系。

正弦余弦函数还具有一定的数学性质,使不同位置之间的关系可以通过线性变换表达。

方式二:可学习位置编码

可学习位置编码不再使用固定数学公式,而是直接为每个位置维护一个可训练向量:

P\in\mathbb{R}^{L\times d_{model}}

其中:

  • L:预设最大序列长度。
  • d_{model}:隐藏层维度。

训练过程中,位置向量与模型其他参数一起通过反向传播更新。

优点:

  • 表达能力灵活。
  • 能够根据训练数据学习适合的位置表示。
  • 实现简单。

局限:

  • 通常需要预设最大位置长度。
  • 超出训练位置范围时,缺乏天然的外推能力。
  • 位置 Embedding 会增加模型参数量。

2.2 相对位置编码

绝对位置编码关注 Token 位于序列中的哪个位置。

相对位置编码则更加关注:

两个 Token 之间相隔多远,以及它们之间的相对位置关系。

例如:

Token:       A    B    C    D    E
Position:    0    1    2    3    4

对于 Token C:

  • A 位于 C 左侧 2 个位置。
  • B 位于 C 左侧 1 个位置。
  • D 位于 C 右侧 1 个位置。
  • E 位于 C 右侧 2 个位置。

可以将两个 Token 的相对距离定义为:

r_{ij}=j-i

其中:

  • i:Query 所在位置。
  • j:Key 所在位置。
  • r_{ij}:Key 相对于 Query 的位置偏移。

一种典型实现是在 Attention Score 中加入相对位置偏置:

AttentionScore_{ij} = \frac{q_i k_j^T}{\sqrt{d_k}} + b_{j-i}

其中 b_{j-i} 表示对应相对距离的位置偏置。

经过 Softmax 后:

Attention_{ij} = Softmax_j(AttentionScore_{ij})

这样,模型在计算 Token 之间的注意力时,就可以考虑相对位置关系。

T5 Relative Position Bias

T5 使用相对位置偏置机制。

它不会为每个可能的相对距离都单独设置参数,而是将距离划分为若干区间(Bucket)。

例如:

  • 近距离位置使用较细的区间。
  • 远距离位置使用较粗的区间。
  • 不同方向的位置可以区分处理。

这样可以控制参数量,同时保留对不同距离关系的建模能力。

相对位置偏置通常添加在 Attention Logits 上,而不是直接修改 Token Embedding。

2.3 绝对位置编码与相对位置编码对比

对比维度 绝对位置编码 相对位置编码
核心关注 Token 的绝对位置 Token 之间的距离
典型形式 位置向量 相对位置偏置或关系变换
注入位置 通常在输入 Embedding 阶段 通常在注意力计算阶段
位置表达 第几个 Token 相距多少个位置
长序列扩展 取决于具体设计 取决于相对位置建模方式
典型方案 Sinusoidal、Learned Embedding T5 Relative Position Bias

需要注意,相对位置编码并不一定意味着模型完全不需要绝对位置信息。不同方案的位置信息表达能力和注入方式并不相同。

三、什么是 RoPE?

RoPE 全称为 Rotary Position Embedding,即旋转位置编码。

它由 Su 等人在 2021 年提出,核心思想是:

通过对 Query 和 Key 向量进行与位置相关的旋转变换,使 Attention Score 自然包含相对位置信息。

RoPE 与传统位置编码有一个重要区别:

传统绝对位置编码通常将位置向量加到 Token Embedding 上。

RoPE 则是在 Attention 计算阶段,对 Query 和 Key 应用旋转矩阵。

它并不是简单地将位置向量加到输入表示中。

3.1 RoPE 的核心思想

可以先从二维平面理解 RoPE。

假设有一个二维向量:

x= \begin{bmatrix} x_1\\ x_2 \end{bmatrix}

如果将这个向量旋转角度 \theta,可以使用二维旋转矩阵:

R(\theta)= \begin{bmatrix} \cos\theta & -\sin\theta\\ \sin\theta & \cos\theta \end{bmatrix}

旋转后的向量为:

x'=R(\theta)x

展开:

x'= \begin{bmatrix} x_1\cos\theta-x_2\sin\theta\\ x_1\sin\theta+x_2\cos\theta \end{bmatrix}

RoPE 将这个旋转思想应用到高维向量。

对于位于位置 m 的 Query 和 Key,使用与位置相关的旋转角度:

\theta_m=m\omega

其中:

  • m:Token 的位置索引。
  • \omega:旋转频率。
  • \theta_m:当前位置对应的旋转角度。

不同维度使用不同频率,因此每组维度会产生不同的旋转速度。

3.2 为什么 RoPE 能表达相对位置?

这是 RoPE 最重要的数学性质。

假设:

  • Query 位于位置 m。
  • Key 位于位置 n。

经过 RoPE 变换:

q_m=R(m\omega)q
k_n=R(n\omega)k

两者的点积为:

q_m^Tk_n = (R(m\omega)q)^T(R(n\omega)k)

利用矩阵转置性质:

= q^TR(m\omega)^TR(n\omega)k

旋转矩阵满足正交性质:

R(\theta)^T=R(-\theta)

并且旋转矩阵满足:

R(a)R(b)=R(a+b)

因此:

q_m^Tk_n = q^TR(-m\omega)R(n\omega)k

最终得到:

\boxed{ q_m^Tk_n = q^TR((n-m)\omega)k }

这个公式非常关键。

它说明:

经过 RoPE 变换后的 Query 和 Key 点积,只与两者的相对位置差有关,而不只是依赖各自的绝对位置。

例如:

  • Query 在位置 10,Key 在位置 15。
  • Query 在位置 100,Key 在位置 105。

两组位置的相对距离都是 5。

对于相同的原始向量,它们在对应维度上的旋转相对关系是一致的。

这就是 RoPE 能够在注意力计算中引入相对位置信息的数学基础。

需要强调,这个结论针对旋转后的点积结构。模型的完整注意力输出还受到输入内容、其他 Token、Mask 和网络参数等因素影响。

四、RoPE 的高维旋转机制

真实模型中的 Query 和 Key 并不是二维向量,而是几十维、几百维甚至更高维的向量。

RoPE 通过将高维向量拆分为多个二维子空间,分别进行旋转。

4.1 将高维向量拆分为二维向量

假设某个 Attention Head 的维度为 8:

x=[x_0,x_1,x_2,x_3,x_4,x_5,x_6,x_7]

采用相邻维度配对方式,可以拆分为:

(x_0,x_1)
(x_2,x_3)
(x_4,x_5)
(x_6,x_7)

每一组二维向量使用不同频率进行旋转。

对于第 i 组:

\begin{bmatrix} x'_{2i}\\ x'_{2i+1} \end{bmatrix} = \begin{bmatrix} \cos(m\omega_i)&-\sin(m\omega_i)\\ \sin(m\omega_i)&\cos(m\omega_i) \end{bmatrix} \begin{bmatrix} x_{2i}\\ x_{2i+1} \end{bmatrix}

因此:

x'_{2i} = x_{2i}\cos(m\omega_i) - x_{2i+1}\sin(m\omega_i)
x'_{2i+1} = x_{2i}\sin(m\omega_i) + x_{2i+1}\cos(m\omega_i)

每一对维度都可以理解为一个独立的二维旋转空间。

4.2 不同维度为什么使用不同频率?

RoPE 使用不同频率,让不同维度对位置变化具有不同敏感程度。

经典 RoPE 的频率定义为:

\boxed{ \omega_i= \frac{1}{\theta^{2i/d}} }

其中:

  • i:二维维度对的索引。
  • d:参与旋转的维度。
  • \theta:频率基数,经典配置通常为 10000。

对于位置 m,第 i 组维度的旋转角度为:

\theta_{m,i}=m\omega_i

不同频率的作用:

  • 较高频率:位置变化时旋转角度变化较快。
  • 较低频率:位置变化时旋转角度变化较慢。

多种频率组合后,模型可以在不同尺度上感知位置关系。

这里需要区分两个概念:

  • \theta:频率基数,是 RoPE 的配置参数。
  • \theta_{m,i}:某个位置、某组维度实际使用的旋转角度。

它们不是同一个量。

4.3 RoPE 的矩阵形式

将所有二维旋转矩阵组合起来,可以得到一个高维分块对角矩阵:

R_m= \begin{bmatrix} R(m\omega_0)&0&\cdots&0\\ 0&R(m\omega_1)&\cdots&0\\ \vdots&\vdots&\ddots&\vdots\\ 0&0&\cdots&R(m\omega_{d/2-1}) \end{bmatrix}

其中每个子矩阵都是一个二维旋转矩阵。

最终:

q_m=R_mq
k_m=R_mk

从实现角度看,通常不需要真的创建这个大型分块对角矩阵。

实际实现会使用预先计算的 Sin、Cos 张量,通过逐元素运算完成旋转,减少显存和计算开销。

五、RoPE 在 Transformer 中的实际位置

RoPE 通常集成在 Multi-Head Attention 的计算过程中。

以标准 Multi-Head Attention 为例:

输入隐藏状态:

X\in\mathbb{R}^{B\times N\times d_{model}}

分别经过线性映射:

Q=XW_Q
K=XW_K
V=XW_V

然后将 Q、K、V 拆分为多个 Head。

RoPE 只作用于 Q 和 K:

Q'=RoPE(Q)
K'=RoPE(K)

之后再计算注意力:

Attention(Q',K',V) = Softmax\left( \frac{Q'K'^T}{\sqrt{d_k}}+Mask \right)V

5.1 为什么只旋转 Q 和 K?

Attention Score 由 Query 和 Key 的点积决定:

Score_{ij}=q_i^Tk_j

位置关系需要影响的正是这个相似度计算过程。

RoPE 通过旋转 Q 和 K,使注意力分数包含相对位置关系。

Value 则负责提供被注意力加权聚合的内容信息:

Output=AttentionWeights\times V

因此,经典 RoPE 通常不旋转 V。

这并不意味着 V 不包含位置信息。V 来自 Transformer 的隐藏状态,而隐藏状态已经经过前面网络层的处理,可能包含上下文和位置信息。

5.2 RoPE 在 Attention 中的完整流程

flowchart TB
    A["输入隐藏状态 X"] --> B["线性投影 Q、K、V"]
    B --> C["拆分为多个 Attention Head"]
    C --> D["获取 Position ID"]
    D --> E["计算 RoPE 的 Sin 和 Cos"]
    C --> F["原始 Q 和 K"]
    E --> G["旋转位置变换"]
    F --> G
    G --> H["得到旋转后的 Q 和 K"]
    H --> I["计算 QK 转置"]
    C --> J["保留原始 V"]
    I --> K["缩放并加入 Attention Mask"]
    J --> L["Softmax 权重与 V 相乘"]
    K --> M["Softmax"]
    M --> L
    L --> N["Attention 输出"]
    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style L fill:#EAF3EC,stroke:#83A995,color:#315D49
    style M fill:#EAF3EC,stroke:#83A995,color:#315D49
    style N fill:#E5F0E9,stroke:#83A995,color:#315D49

5.3 RoPE 与 Causal Mask 的区别

这两个机制经常同时出现在 Decoder-only Transformer 中,但作用完全不同。

对比维度 RoPE Causal Mask
核心作用 注入位置信息 限制可见的 Token
处理对象 Query 和 Key Attention Score
主要解决 模型如何感知相对位置 模型如何避免看到未来 Token
数学机制 旋转变换 将禁止关注的位置设为负无穷
是否改变注意力范围 不直接改变 会改变

Causal Mask 的典型形式:

M_{ij}= \begin{cases} 0,&j\leq i\\ -\infty,&j>i \end{cases}

经过 Softmax 后,未来位置的注意力权重变为 0。

RoPE 负责位置关系,Causal Mask 负责信息访问约束,两者不能互相替代。

六、RoPE 的 PyTorch 简化实现

理解 RoPE 的最佳方式之一,是直接观察它的张量运算。

下面实现一个采用相邻维度配对方式的简化版本。

6.1 生成频率与位置角度

import torch


def precompute_rope(
    seq_len: int,
    dim: int,
    theta: float = 10000.0,
    device: str = "cpu",
):
    """
    预计算 RoPE 的 cos 和 sin。

    dim 必须为偶数。
    返回形状:[seq_len, dim // 2]
    """

    assert dim % 2 == 0

    inv_freq = 1.0 / (
        theta ** (
            torch.arange(0, dim, 2, device=device).float() / dim
        )
    )

    positions = torch.arange(
        seq_len,
        device=device,
        dtype=torch.float32
    )

    freqs = torch.outer(positions, inv_freq)

    cos = torch.cos(freqs)
    sin = torch.sin(freqs)

    return cos, sin

其中:

  • inv_freq:每组二维维度的旋转频率。
  • positions:Token 的位置索引。
  • freqs:每个位置对应的旋转角度。
  • cos 和 sin:旋转所需的三角函数值。

6.2 实现二维旋转

def rotate_half(x):
    """
    相邻维度配对:
    (x0, x1), (x2, x3), ...
    """

    x1 = x[..., ::2]
    x2 = x[..., 1::2]

    rotated = torch.stack(
        (-x2, x1),
        dim=-1
    )

    return rotated.flatten(-2)


def apply_rope(x, cos, sin):
    """
    x:   [batch, heads, seq_len, head_dim]
    cos: [seq_len, head_dim // 2]
    sin: [seq_len, head_dim // 2]
    """

    cos = cos.repeat_interleave(2, dim=-1)
    sin = sin.repeat_interleave(2, dim=-1)

    cos = cos.unsqueeze(0).unsqueeze(0)
    sin = sin.unsqueeze(0).unsqueeze(0)

    return x * cos + rotate_half(x) * sin