返回专栏
· 19 分钟阅读

什么是 Transformer?从 Self-Attention 到现代大语言模型的核心架构


一、什么是 Transformer?

Transformer 是一种基于注意力机制(Attention Mechanism)的深度神经网络架构,由 Google 研究团队在 2017 年发表的论文《Attention Is All You Need》中提出。

它最初用于机器翻译任务,随后逐渐成为自然语言处理领域的主流架构,并扩展到计算机视觉、语音识别、多模态学习和生成式人工智能等领域。

Transformer 最重要的设计思想是:

通过注意力机制直接建立序列中不同位置之间的信息关联,而不是依赖循环结构逐步处理序列。

在 Transformer 出现之前,序列建模主要依赖 RNN、LSTM 和 GRU 等循环神经网络。

这些模型按照时间步依次处理输入:

Token 1 → Token 2 → Token 3 → Token 4

当前时刻的计算依赖前一个时刻的隐藏状态,因此存在一定的串行计算限制。

Transformer 则通过 Self-Attention,让序列中的 Token 可以直接计算彼此之间的关联。

输入 Token 序列
      ↓
Embedding
      ↓
位置编码
      ↓
Self-Attention
      ↓
前馈神经网络
      ↓
多层 Transformer
      ↓
输出表示

Transformer 的主要特点:

  • 并行计算: 同一层中的多个 Token 可以并行计算。
  • 全局依赖建模: 一个 Token 可以直接关注序列中的其他 Token。
  • 上下文表示: 每个 Token 的表示可以融合其他位置的信息。
  • 模块化结构: Attention、FFN、残差连接和归一化可以组合成多层网络。
  • 可扩展性: 能够通过增加模型层数、隐藏维度和参数规模构建大型模型。

二、为什么需要 Transformer?

理解 Transformer,需要先理解传统序列模型面临的问题。

2.1 RNN 的计算机制

循环神经网络(Recurrent Neural Network,RNN)通过隐藏状态传递历史信息。

对于输入序列:

X=(x_1,x_2,\ldots,x_T)

RNN 在每个时间步执行:

h_t=f(W_xx_t+W_hh_{t-1}+b)

其中:

  • x_t:当前时刻输入。
  • h_t:当前隐藏状态。
  • h_{t-1}:前一时刻隐藏状态。
  • W_x:输入权重矩阵。
  • W_h:循环权重矩阵。
  • f:非线性激活函数。

其计算依赖关系:

flowchart LR
    A["输入 x₁"] --> B["RNN 单元"]
    B --> C["隐藏状态 h₁"]
    C --> D["RNN 单元"]
    E["输入 x₂"] --> D
    D --> F["隐藏状态 h₂"]
    F --> G["RNN 单元"]
    H["输入 x₃"] --> G
    G --> I["隐藏状态 h₃"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

RNN 的主要问题:

  1. 串行计算: 当前时间步需要等待前一个时间步完成,难以充分利用 GPU 并行能力。
  2. 长距离依赖: 较早位置的信息需要经过多次状态传递才能影响后续位置。
  3. 梯度问题: 长序列训练容易出现梯度消失或梯度爆炸。
  4. 信息压缩: 历史信息需要不断整合到固定维度的隐藏状态中,可能造成信息损失。

LSTM 和 GRU 通过门控机制改善了长期依赖建模问题,但仍然保留循环计算结构。

2.2 Transformer 的解决思路

Transformer 不再通过循环隐藏状态逐步传递信息,而是使用注意力机制直接计算 Token 之间的关系。

例如:

我 在 银行 存钱

模型在处理「银行」时,可以通过 Attention 关注「存钱」,从而获得更符合上下文的语义表示。

这种机制能够让序列中的不同位置直接建立联系。

对比维度 RNN / LSTM Transformer
核心机制 循环状态传递 注意力机制
序列处理 具有时间步依赖 训练阶段可并行处理
长距离依赖 需要逐步传递 可以直接建立关联
并行能力 受循环结构限制 同层 Token 可并行
计算复杂度 典型循环计算约为 O(n) 个时间步 全注意力计算约为 O(n^2d)
典型应用 时间序列、语音、早期 NLP LLM、机器翻译、多模态模型

需要注意,Transformer 并不是所有场景下都比 RNN 更高效。标准 Self-Attention 的计算量和注意力矩阵存储量会随序列长度平方增长,长上下文场景需要额外优化。

三、Transformer 的整体架构

原始 Transformer 采用 Encoder-Decoder 架构。

整体由两部分组成:

  • Encoder:编码器,负责理解输入序列并生成上下文表示。
  • Decoder:解码器,基于已有上下文生成目标序列。

3.1 Encoder:编码器

Encoder 由多个结构相同的 Encoder Layer 堆叠而成。

每一层主要包含:

  1. Multi-Head Self-Attention。
  2. Feed Forward Network。
  3. Residual Connection。
  4. Layer Normalization。

其结构可以抽象为:

flowchart TB
    A["输入表示"] --> B["Multi-Head Self-Attention"]
    B --> C["残差连接与 Layer Normalization"]
    C --> D["Feed Forward Network"]
    D --> E["残差连接与 Layer Normalization"]
    E --> F["输出表示"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#E5F0E9,stroke:#83A995,color:#315D49

经过多层 Encoder 后,每个 Token 都能够融合输入序列中其他 Token 的上下文信息。

3.2 Decoder:解码器

原始 Transformer 的 Decoder 同样由多个 Decoder Layer 堆叠而成。

每一层包含:

  1. Masked Multi-Head Self-Attention。
  2. Encoder-Decoder Cross-Attention。
  3. Feed Forward Network。
  4. Residual Connection。
  5. Layer Normalization。

其结构如下:

flowchart TB
    A["Decoder 输入"] --> B["Masked Multi-Head Self-Attention"]
    B --> C["残差连接与 Layer Normalization"]
    C --> D["Encoder-Decoder Cross-Attention"]
    D --> E["残差连接与 Layer Normalization"]
    E --> F["Feed Forward Network"]
    F --> G["残差连接与 Layer Normalization"]
    G --> H["Decoder 输出"]

    I["Encoder 输出"] --> D

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

其中:

  • Masked Self-Attention:限制当前位置只能访问当前位置及之前的位置。
  • Cross-Attention:让 Decoder 关注 Encoder 输出的信息。
  • FFN:对每个位置的表示进行非线性变换。

3.3 原始 Transformer 与现代大语言模型

现代大语言模型并不一定采用完整的 Encoder-Decoder 结构。

根据架构,可以分为三类:

架构 主要特点 典型模型
Encoder-only 双向上下文建模,适合理解任务 BERT
Decoder-only 因果注意力,适合自回归生成 GPT、Llama、Qwen
Encoder-Decoder 编码输入,再通过 Decoder 生成输出 T5、原始 Transformer

Encoder-only

能够同时利用当前位置前后的上下文信息,常用于:

  • 文本分类。
  • 命名实体识别。
  • 语义理解。
  • 特征提取。

Decoder-only

通过因果掩码限制注意力范围,按照从左到右的顺序预测下一个 Token,常用于:

  • 对话生成。
  • 代码生成。
  • 文本续写。
  • 通用大语言模型。

Encoder-Decoder

先编码输入,再基于编码结果生成目标序列,常用于:

  • 机器翻译。
  • 文本摘要。
  • 文本转换。
  • 序列到序列任务。

四、Self-Attention:Transformer 的核心机制

Self-Attention(自注意力)是 Transformer 最核心的组成部分。

它的作用是:

根据序列中不同 Token 之间的关联程度,为每个 Token 动态聚合其他 Token 的信息。

4.1 为什么需要 Attention?

考虑下面这句话:

小明把书放在桌子上,因为它比较稳固。

这里的「它」指代什么,需要结合上下文进行判断。

模型在处理「它」时,需要考虑前面出现的词语及其语义关系。

Self-Attention 允许当前位置直接计算与其他位置之间的关联权重。

与 RNN 依赖逐步传递不同,Attention 可以直接建立远距离位置之间的信息交互。

4.2 Query、Key、Value

Self-Attention 的核心是三个向量:

  • Query(Q):查询向量,表示当前位置希望寻找什么信息。
  • Key(K):键向量,表示当前位置可以提供什么信息。
  • Value(V):值向量,表示当前位置实际提供的信息内容。

对于输入矩阵:

X\in\mathbb{R}^{n\times d_{model}}

通过三个可学习的权重矩阵进行线性变换:

Q=XW_Q
K=XW_K
V=XW_V

其中:

W_Q,W_K\in\mathbb{R}^{d_{model}\times d_k}
W_V\in\mathbb{R}^{d_{model}\times d_v}

因此:

Q\in\mathbb{R}^{n\times d_k}
K\in\mathbb{R}^{n\times d_k}
V\in\mathbb{R}^{n\times d_v}

这里的 n 表示序列长度。

需要注意,Q、K、V 并不是人为定义的语义标签,而是通过训练学习得到的不同线性投影。

4.3 Attention 的计算过程

首先计算 Query 和 Key 之间的点积:

QK^T

得到一个 n\times n 的矩阵。

矩阵中的每个元素表示一个 Query 与一个 Key 的匹配分数。

然后进行缩放:

\frac{QK^T}{\sqrt{d_k}}

再经过 Softmax,转换为归一化权重:

A=Softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)

最后使用注意力权重对 Value 加权求和:

Output=AV

完整公式:

\boxed{ Attention(Q,K,V) = Softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)V }

其中:

  • QK^T:计算 Token 之间的关联分数。
  • \sqrt{d_k}:缩放因子。
  • Softmax:将分数转换为权重分布。
  • V:提供实际聚合的信息。

4.4 为什么需要除以 \sqrt{d_k}?

这是 Scaled Dot-Product Attention 中非常重要的设计。

假设 Q 和 K 的每个维度都是独立、均值为 0、方差为 1 的随机变量。

点积:

q\cdot k=\sum_{i=1}^{d_k}q_ik_i

在上述假设下,其方差大约为:

Var(q\cdot k)=d_k

随着维度增加,点积数值的波动也会增加。

如果直接将较大的点积输入 Softmax,可能导致分布过于尖锐。

例如:

Softmax([1,2,3])

与:

Softmax([10,20,30])

相比,后者通常会产生更加集中的概率分布。

过于尖锐的 Softmax 可能使梯度变小,影响训练稳定性。

因此使用:

\frac{QK^T}{\sqrt{d_k}}

对点积进行缩放,使其数值尺度更加稳定。

需要注意,这是一种基于统计假设的尺度控制方法,并不是对所有输入分布都能严格保证方差恒定。

4.5 Attention 的完整计算流程

flowchart TB
    A["输入矩阵 X"] --> B["线性投影"]
    B --> C["生成 Q、K、V"]
    C --> D["计算 Q 与 K 的点积"]
    D --> E["除以 √dₖ 进行缩放"]
    E --> F["Softmax 计算注意力权重"]
    F --> G["与 V 相乘"]
    G --> H["得到 Attention 输出"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

4.6 一个简单的数值示例

假设有三个 Token:

我 喜欢 AI

经过线性投影后得到 Q、K、V。

为了简化计算,假设:

Q= \begin{bmatrix} 1&0\\ 0&1\\ 1&1 \end{bmatrix}
K= \begin{bmatrix} 1&0\\ 0&1\\ 1&1 \end{bmatrix}

则:

QK^T= \begin{bmatrix} 1&0&1\\ 0&1&1\\ 1&1&2 \end{bmatrix}

由于:

d_k=2

缩放后:

S= \frac{1}{\sqrt{2}} \begin{bmatrix} 1&0&1\\ 0&1&1\\ 1&1&2 \end{bmatrix}

对矩阵每一行执行 Softmax,得到注意力权重矩阵:

A=Softmax(S)

每一行代表一个 Query 对所有 Key 的注意力分布。

最后:

Output=AV

这意味着每个 Token 的输出都由多个 Token 的 Value 按权重聚合得到。

五、Multi-Head Attention:多头注意力

单个 Attention 只能基于一组 Q、K、V 计算关联。

但语言中存在多种关系:

  • 语法关系。
  • 语义关系。
  • 指代关系。
  • 位置关系。
  • 长距离依赖。
  • 领域关联。

Multi-Head Attention(多头注意力)通过多个独立的注意力头,让模型能够在不同的表示子空间中学习不同的信息关系。

5.1 多头注意力的计算

对于第 i 个注意力头:

head_i= Attention( XW_i^Q, XW_i^K, XW_i^V )

多个注意力头的输出进行拼接:

Concat(head_1,head_2,\ldots,head_h)

再经过一次线性投影:

MultiHead(Q,K,V) = Concat(head_1,\ldots,head_h)W^O

其中:

  • h:注意力头数量。
  • W_i^Q:第 i 个头的 Query 投影矩阵。
  • W_i^K:第 i 个头的 Key 投影矩阵。
  • W_i^V:第 i 个头的 Value 投影矩阵。
  • W^O:输出投影矩阵。

5.2 多头注意力的结构

flowchart TB
    A["输入 X"] --> B["线性投影"]
    B --> C["Attention Head 1"]
    B --> D["Attention Head 2"]
    B --> E["Attention Head 3"]
    B --> F["Attention Head h"]
    C --> G["Concat"]
    D --> G
    E --> G
    F --> G
    G --> H["输出线性投影"]
    H --> I["Multi-Head Attention 输出"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

假设:

d_{model}=768
h=12

如果各个头的维度相同,则每个头通常具有:

d_k=d_v=\frac{768}{12}=64

每个注意力头在 64 维的子空间中计算注意力,最后拼接回 768 维。

5.3 为什么需要多个 Head?

不同 Head 可以学习不同的注意力模式。

例如,某些 Head 可能更关注:

  • 相邻 Token。
  • 远距离 Token。
  • 主谓关系。
  • 代词与实体之间的关系。
  • 句子中的特定结构。

但不能简单认为每个 Head 都对应一个明确的语言学功能。

实际训练中,多个 Head 的功能可能重叠,也可能存在部分 Head 利用率较低的情况。

Multi-Head Attention 的核心价值是增加注意力表示的多样性。

5.4 MHA、MQA 与 GQA

在大语言模型推理过程中,Key 和 Value 通常需要缓存,这就是 KV Cache。

当模型层数和上下文长度增加时,KV Cache 会占用大量显存。

因此出现了不同的注意力结构:

结构 Query Head Key/Value Head 特点
MHA 多个 与 Query Head 数相同 表达能力灵活,KV Cache 较大
MQA 多个 1 个 多个 Query Head 共享一组 K/V
GQA 多个 少于 Query Head 在表达能力与缓存成本之间折中
  • MHA:Multi-Head Attention。
  • MQA:Multi-Query Attention。
  • GQA:Grouped-Query Attention。

GQA 将多个 Query Head 分组,每组共享一组 Key 和 Value。

这些结构主要用于改善大模型推理效率,尤其是降低 KV Cache 的显存占用和访存压力。

六、位置编码:Transformer 如何理解顺序?

Transformer 的 Self-Attention 本身并不天然包含 Token 的先后顺序。

如果只将 Token Embedding 输入 Attention,模型无法仅凭输入集合本身可靠地识别原始序列顺序。

因此需要引入位置信息。

6.1 为什么需要位置编码?

考虑:

猫 追 狗
狗 追 猫

两个句子包含相同的 Token,但顺序不同,语义也不同。

如果没有位置信息,标准 Self-Attention 对输入 Token 的排列具有置换等变性:同时对输入位置进行重排,输出也会相应重排,而不会自动知道原始位置含义。

因此需要为模型提供位置信息。

6.2 正弦位置编码

原始 Transformer 使用正弦和余弦函数构造位置编码。

对于位置 pos 和维度 i:

PE(pos,2i) = \sin\left( \frac{pos}{10000^{2i/d_{model}}} \right)
PE(pos,2i+1) = \cos\left( \frac{pos}{10000^{2i/d_{model}}} \right)

其中:

  • pos:Token 在序列中的位置。
  • i:向量维度索引。
  • d_{model}:模型隐藏维度。

不同维度具有不同频率,使位置编码能够表达不同尺度的位置变化。

原始 Transformer 将位置编码与 Token Embedding 相加:

X=Embedding(Token)+PE(position)

6.3 可学习位置编码

另一种方法是直接将位置向量作为可学习参数。

假设最大序列长度为 L,隐藏维度为 d,则位置编码矩阵为:

P\in\mathbb{R}^{L\times d}

模型通过训练学习每个位置对应的向量。

优点:

  • 实现简单。
  • 可以根据任务学习位置表示。

局限:

  • 通常受到训练时最大位置长度限制。
  • 超出训练位置范围时,不能直接保证良好泛化。

6.4 相对位置编码

相对位置编码关注两个 Token 之间的相对距离,而不仅仅是它们各自的绝对位置。

例如:

Token A 与 Token B 相距 2 个位置
Token A 与 Token C 相距 5 个位置

模型可以利用这种相对关系建立注意力关联。

相对位置编码及其变体在现代 Transformer 中非常重要。

6.5 RoPE:旋转位置编码

RoPE(Rotary Positional Embedding)是现代 Decoder-only 大语言模型中广泛使用的位置编码方法。

它的核心思想是:

通过对 Query 和 Key 向量施加与位置相关的旋转变换,将位置信息融入注意力计算。

对于二维向量:

\mathbf{x}= \begin{bmatrix} x_1\\ x_2 \end{bmatrix}

位置为 m 时,旋转变换可以表示为:

R(m\theta)= \begin{bmatrix} \cos(m\theta)&-\sin(m\theta)\\ \sin(m\theta)&\cos(m\theta) \end{bmatrix}

然后:

\mathbf{x}_m=R(m\theta)\mathbf{x}

RoPE 将不同维度分组进行旋转,并作用于 Query 和 Key。

这样,两个位置之间的点积能够体现相对位置信息。

RoPE 的优势包括:

  • 将位置信息融入 Attention 计算。
  • 能够自然表达相对位置关系。
  • 适合自回归语言模型。
  • 可以配合位置插值等方法扩展上下文长度。

不过,RoPE 并不意味着模型可以无限扩展上下文。长上下文能力还受到训练数据、注意力机制、位置频率配置和推理策略等因素影响。

6.6 主流位置编码方式对比

类型 核心思想 代表特点
Sinusoidal 使用正弦和余弦函数 原始 Transformer 采用
Learned Absolute 学习绝对位置向量 参数化、实现简单
Relative Position 建模位置之间的相对距离 关注相对关系
RoPE 对 Q、K 进行位置相关旋转 现代 LLM 广泛使用
ALiBi 在注意力分数中加入位置相关偏置 通过线性距离偏置建模位置

七、Feed Forward Network:前馈神经网络

Attention 负责 Token 之间的信息交互。

但仅有 Attention 还不够,Transformer 还需要对每个位置的表示进行进一步的非线性变换。

这就是 Feed Forward Network(FFN)。

7.1 FFN 的基本结构

原始 Transformer 使用两层线性变换,中间加入 ReLU 激活函数:

FFN(x) = \max(0,xW_1+b_1)W_2+b_2

其中:

  • W_1:第一层权重矩阵。
  • b_1:第一层偏置。
  • W_2:第二层权重矩阵。
  • b_2:第二层偏置。

通常先将隐藏维度扩展,再映射回原始维度。

例如:

d_{model}=768
d_{ff}=3072

其计算过程:

768\rightarrow3072\rightarrow768

7.2 Attention 与 FFN 的区别

对比项 Attention FFN
主要作用 Token 之间的信息交互 对单个位置进行非线性变换
输入关系 同一序列多个位置 每个位置独立计算
核心计算 Q、K、V、Softmax 线性层与激活函数
信息范围 可以跨 Token 聚合 通常不直接跨 Token 交互
作用 上下文信息融合 特征变换与表达能力增强

需要注意,标准 Transformer 中同一层的 FFN 通常对每个 Token 位置独立应用,但参数在所有位置之间共享。

7.3 现代 FFN 的变化

现代大语言模型不一定继续使用原始的 ReLU FFN。

常见结构包括:

  • GELU。
  • SwiGLU。
  • GEGLU。