一、什么是 Transformer?
Transformer 是一种基于注意力机制(Attention Mechanism)的深度神经网络架构,由 Google 研究团队在 2017 年发表的论文《Attention Is All You Need》中提出。
它最初用于机器翻译任务,随后逐渐成为自然语言处理领域的主流架构,并扩展到计算机视觉、语音识别、多模态学习和生成式人工智能等领域。
Transformer 最重要的设计思想是:
通过注意力机制直接建立序列中不同位置之间的信息关联,而不是依赖循环结构逐步处理序列。
在 Transformer 出现之前,序列建模主要依赖 RNN、LSTM 和 GRU 等循环神经网络。
这些模型按照时间步依次处理输入:
Token 1 → Token 2 → Token 3 → Token 4
当前时刻的计算依赖前一个时刻的隐藏状态,因此存在一定的串行计算限制。
Transformer 则通过 Self-Attention,让序列中的 Token 可以直接计算彼此之间的关联。
输入 Token 序列
↓
Embedding
↓
位置编码
↓
Self-Attention
↓
前馈神经网络
↓
多层 Transformer
↓
输出表示
Transformer 的主要特点:
- 并行计算: 同一层中的多个 Token 可以并行计算。
- 全局依赖建模: 一个 Token 可以直接关注序列中的其他 Token。
- 上下文表示: 每个 Token 的表示可以融合其他位置的信息。
- 模块化结构: Attention、FFN、残差连接和归一化可以组合成多层网络。
- 可扩展性: 能够通过增加模型层数、隐藏维度和参数规模构建大型模型。
二、为什么需要 Transformer?
理解 Transformer,需要先理解传统序列模型面临的问题。
2.1 RNN 的计算机制
循环神经网络(Recurrent Neural Network,RNN)通过隐藏状态传递历史信息。
对于输入序列:
RNN 在每个时间步执行:
其中:
- x_t:当前时刻输入。
- h_t:当前隐藏状态。
- h_{t-1}:前一时刻隐藏状态。
- W_x:输入权重矩阵。
- W_h:循环权重矩阵。
- f:非线性激活函数。
其计算依赖关系:
flowchart LR
A["输入 x₁"] --> B["RNN 单元"]
B --> C["隐藏状态 h₁"]
C --> D["RNN 单元"]
E["输入 x₂"] --> D
D --> F["隐藏状态 h₂"]
F --> G["RNN 单元"]
H["输入 x₃"] --> G
G --> I["隐藏状态 h₃"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
RNN 的主要问题:
- 串行计算: 当前时间步需要等待前一个时间步完成,难以充分利用 GPU 并行能力。
- 长距离依赖: 较早位置的信息需要经过多次状态传递才能影响后续位置。
- 梯度问题: 长序列训练容易出现梯度消失或梯度爆炸。
- 信息压缩: 历史信息需要不断整合到固定维度的隐藏状态中,可能造成信息损失。
LSTM 和 GRU 通过门控机制改善了长期依赖建模问题,但仍然保留循环计算结构。
2.2 Transformer 的解决思路
Transformer 不再通过循环隐藏状态逐步传递信息,而是使用注意力机制直接计算 Token 之间的关系。
例如:
我 在 银行 存钱
模型在处理「银行」时,可以通过 Attention 关注「存钱」,从而获得更符合上下文的语义表示。
这种机制能够让序列中的不同位置直接建立联系。
| 对比维度 | RNN / LSTM | Transformer |
|---|---|---|
| 核心机制 | 循环状态传递 | 注意力机制 |
| 序列处理 | 具有时间步依赖 | 训练阶段可并行处理 |
| 长距离依赖 | 需要逐步传递 | 可以直接建立关联 |
| 并行能力 | 受循环结构限制 | 同层 Token 可并行 |
| 计算复杂度 | 典型循环计算约为 O(n) 个时间步 | 全注意力计算约为 O(n^2d) |
| 典型应用 | 时间序列、语音、早期 NLP | LLM、机器翻译、多模态模型 |
需要注意,Transformer 并不是所有场景下都比 RNN 更高效。标准 Self-Attention 的计算量和注意力矩阵存储量会随序列长度平方增长,长上下文场景需要额外优化。
三、Transformer 的整体架构
原始 Transformer 采用 Encoder-Decoder 架构。
整体由两部分组成:
- Encoder:编码器,负责理解输入序列并生成上下文表示。
- Decoder:解码器,基于已有上下文生成目标序列。
3.1 Encoder:编码器
Encoder 由多个结构相同的 Encoder Layer 堆叠而成。
每一层主要包含:
- Multi-Head Self-Attention。
- Feed Forward Network。
- Residual Connection。
- Layer Normalization。
其结构可以抽象为:
flowchart TB
A["输入表示"] --> B["Multi-Head Self-Attention"]
B --> C["残差连接与 Layer Normalization"]
C --> D["Feed Forward Network"]
D --> E["残差连接与 Layer Normalization"]
E --> F["输出表示"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
经过多层 Encoder 后,每个 Token 都能够融合输入序列中其他 Token 的上下文信息。
3.2 Decoder:解码器
原始 Transformer 的 Decoder 同样由多个 Decoder Layer 堆叠而成。
每一层包含:
- Masked Multi-Head Self-Attention。
- Encoder-Decoder Cross-Attention。
- Feed Forward Network。
- Residual Connection。
- Layer Normalization。
其结构如下:
flowchart TB
A["Decoder 输入"] --> B["Masked Multi-Head Self-Attention"]
B --> C["残差连接与 Layer Normalization"]
C --> D["Encoder-Decoder Cross-Attention"]
D --> E["残差连接与 Layer Normalization"]
E --> F["Feed Forward Network"]
F --> G["残差连接与 Layer Normalization"]
G --> H["Decoder 输出"]
I["Encoder 输出"] --> D
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
其中:
- Masked Self-Attention:限制当前位置只能访问当前位置及之前的位置。
- Cross-Attention:让 Decoder 关注 Encoder 输出的信息。
- FFN:对每个位置的表示进行非线性变换。
3.3 原始 Transformer 与现代大语言模型
现代大语言模型并不一定采用完整的 Encoder-Decoder 结构。
根据架构,可以分为三类:
| 架构 | 主要特点 | 典型模型 |
|---|---|---|
| Encoder-only | 双向上下文建模,适合理解任务 | BERT |
| Decoder-only | 因果注意力,适合自回归生成 | GPT、Llama、Qwen |
| Encoder-Decoder | 编码输入,再通过 Decoder 生成输出 | T5、原始 Transformer |
Encoder-only
能够同时利用当前位置前后的上下文信息,常用于:
- 文本分类。
- 命名实体识别。
- 语义理解。
- 特征提取。
Decoder-only
通过因果掩码限制注意力范围,按照从左到右的顺序预测下一个 Token,常用于:
- 对话生成。
- 代码生成。
- 文本续写。
- 通用大语言模型。
Encoder-Decoder
先编码输入,再基于编码结果生成目标序列,常用于:
- 机器翻译。
- 文本摘要。
- 文本转换。
- 序列到序列任务。
四、Self-Attention:Transformer 的核心机制
Self-Attention(自注意力)是 Transformer 最核心的组成部分。
它的作用是:
根据序列中不同 Token 之间的关联程度,为每个 Token 动态聚合其他 Token 的信息。
4.1 为什么需要 Attention?
考虑下面这句话:
小明把书放在桌子上,因为它比较稳固。
这里的「它」指代什么,需要结合上下文进行判断。
模型在处理「它」时,需要考虑前面出现的词语及其语义关系。
Self-Attention 允许当前位置直接计算与其他位置之间的关联权重。
与 RNN 依赖逐步传递不同,Attention 可以直接建立远距离位置之间的信息交互。
4.2 Query、Key、Value
Self-Attention 的核心是三个向量:
- Query(Q):查询向量,表示当前位置希望寻找什么信息。
- Key(K):键向量,表示当前位置可以提供什么信息。
- Value(V):值向量,表示当前位置实际提供的信息内容。
对于输入矩阵:
通过三个可学习的权重矩阵进行线性变换:
其中:
因此:
这里的 n 表示序列长度。
需要注意,Q、K、V 并不是人为定义的语义标签,而是通过训练学习得到的不同线性投影。
4.3 Attention 的计算过程
首先计算 Query 和 Key 之间的点积:
得到一个 n\times n 的矩阵。
矩阵中的每个元素表示一个 Query 与一个 Key 的匹配分数。
然后进行缩放:
再经过 Softmax,转换为归一化权重:
最后使用注意力权重对 Value 加权求和:
完整公式:
其中:
- QK^T:计算 Token 之间的关联分数。
- \sqrt{d_k}:缩放因子。
- Softmax:将分数转换为权重分布。
- V:提供实际聚合的信息。
4.4 为什么需要除以 \sqrt{d_k}?
这是 Scaled Dot-Product Attention 中非常重要的设计。
假设 Q 和 K 的每个维度都是独立、均值为 0、方差为 1 的随机变量。
点积:
在上述假设下,其方差大约为:
随着维度增加,点积数值的波动也会增加。
如果直接将较大的点积输入 Softmax,可能导致分布过于尖锐。
例如:
与:
相比,后者通常会产生更加集中的概率分布。
过于尖锐的 Softmax 可能使梯度变小,影响训练稳定性。
因此使用:
对点积进行缩放,使其数值尺度更加稳定。
需要注意,这是一种基于统计假设的尺度控制方法,并不是对所有输入分布都能严格保证方差恒定。
4.5 Attention 的完整计算流程
flowchart TB
A["输入矩阵 X"] --> B["线性投影"]
B --> C["生成 Q、K、V"]
C --> D["计算 Q 与 K 的点积"]
D --> E["除以 √dₖ 进行缩放"]
E --> F["Softmax 计算注意力权重"]
F --> G["与 V 相乘"]
G --> H["得到 Attention 输出"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
4.6 一个简单的数值示例
假设有三个 Token:
我 喜欢 AI
经过线性投影后得到 Q、K、V。
为了简化计算,假设:
则:
由于:
缩放后:
对矩阵每一行执行 Softmax,得到注意力权重矩阵:
每一行代表一个 Query 对所有 Key 的注意力分布。
最后:
这意味着每个 Token 的输出都由多个 Token 的 Value 按权重聚合得到。
五、Multi-Head Attention:多头注意力
单个 Attention 只能基于一组 Q、K、V 计算关联。
但语言中存在多种关系:
- 语法关系。
- 语义关系。
- 指代关系。
- 位置关系。
- 长距离依赖。
- 领域关联。
Multi-Head Attention(多头注意力)通过多个独立的注意力头,让模型能够在不同的表示子空间中学习不同的信息关系。
5.1 多头注意力的计算
对于第 i 个注意力头:
多个注意力头的输出进行拼接:
再经过一次线性投影:
其中:
- h:注意力头数量。
- W_i^Q:第 i 个头的 Query 投影矩阵。
- W_i^K:第 i 个头的 Key 投影矩阵。
- W_i^V:第 i 个头的 Value 投影矩阵。
- W^O:输出投影矩阵。
5.2 多头注意力的结构
flowchart TB
A["输入 X"] --> B["线性投影"]
B --> C["Attention Head 1"]
B --> D["Attention Head 2"]
B --> E["Attention Head 3"]
B --> F["Attention Head h"]
C --> G["Concat"]
D --> G
E --> G
F --> G
G --> H["输出线性投影"]
H --> I["Multi-Head Attention 输出"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
假设:
如果各个头的维度相同,则每个头通常具有:
每个注意力头在 64 维的子空间中计算注意力,最后拼接回 768 维。
5.3 为什么需要多个 Head?
不同 Head 可以学习不同的注意力模式。
例如,某些 Head 可能更关注:
- 相邻 Token。
- 远距离 Token。
- 主谓关系。
- 代词与实体之间的关系。
- 句子中的特定结构。
但不能简单认为每个 Head 都对应一个明确的语言学功能。
实际训练中,多个 Head 的功能可能重叠,也可能存在部分 Head 利用率较低的情况。
Multi-Head Attention 的核心价值是增加注意力表示的多样性。
5.4 MHA、MQA 与 GQA
在大语言模型推理过程中,Key 和 Value 通常需要缓存,这就是 KV Cache。
当模型层数和上下文长度增加时,KV Cache 会占用大量显存。
因此出现了不同的注意力结构:
| 结构 | Query Head | Key/Value Head | 特点 |
|---|---|---|---|
| MHA | 多个 | 与 Query Head 数相同 | 表达能力灵活,KV Cache 较大 |
| MQA | 多个 | 1 个 | 多个 Query Head 共享一组 K/V |
| GQA | 多个 | 少于 Query Head | 在表达能力与缓存成本之间折中 |
- MHA:Multi-Head Attention。
- MQA:Multi-Query Attention。
- GQA:Grouped-Query Attention。
GQA 将多个 Query Head 分组,每组共享一组 Key 和 Value。
这些结构主要用于改善大模型推理效率,尤其是降低 KV Cache 的显存占用和访存压力。
六、位置编码:Transformer 如何理解顺序?
Transformer 的 Self-Attention 本身并不天然包含 Token 的先后顺序。
如果只将 Token Embedding 输入 Attention,模型无法仅凭输入集合本身可靠地识别原始序列顺序。
因此需要引入位置信息。
6.1 为什么需要位置编码?
考虑:
猫 追 狗
狗 追 猫
两个句子包含相同的 Token,但顺序不同,语义也不同。
如果没有位置信息,标准 Self-Attention 对输入 Token 的排列具有置换等变性:同时对输入位置进行重排,输出也会相应重排,而不会自动知道原始位置含义。
因此需要为模型提供位置信息。
6.2 正弦位置编码
原始 Transformer 使用正弦和余弦函数构造位置编码。
对于位置 pos 和维度 i:
其中:
- pos:Token 在序列中的位置。
- i:向量维度索引。
- d_{model}:模型隐藏维度。
不同维度具有不同频率,使位置编码能够表达不同尺度的位置变化。
原始 Transformer 将位置编码与 Token Embedding 相加:
6.3 可学习位置编码
另一种方法是直接将位置向量作为可学习参数。
假设最大序列长度为 L,隐藏维度为 d,则位置编码矩阵为:
模型通过训练学习每个位置对应的向量。
优点:
- 实现简单。
- 可以根据任务学习位置表示。
局限:
- 通常受到训练时最大位置长度限制。
- 超出训练位置范围时,不能直接保证良好泛化。
6.4 相对位置编码
相对位置编码关注两个 Token 之间的相对距离,而不仅仅是它们各自的绝对位置。
例如:
Token A 与 Token B 相距 2 个位置
Token A 与 Token C 相距 5 个位置
模型可以利用这种相对关系建立注意力关联。
相对位置编码及其变体在现代 Transformer 中非常重要。
6.5 RoPE:旋转位置编码
RoPE(Rotary Positional Embedding)是现代 Decoder-only 大语言模型中广泛使用的位置编码方法。
它的核心思想是:
通过对 Query 和 Key 向量施加与位置相关的旋转变换,将位置信息融入注意力计算。
对于二维向量:
位置为 m 时,旋转变换可以表示为:
然后:
RoPE 将不同维度分组进行旋转,并作用于 Query 和 Key。
这样,两个位置之间的点积能够体现相对位置信息。
RoPE 的优势包括:
- 将位置信息融入 Attention 计算。
- 能够自然表达相对位置关系。
- 适合自回归语言模型。
- 可以配合位置插值等方法扩展上下文长度。
不过,RoPE 并不意味着模型可以无限扩展上下文。长上下文能力还受到训练数据、注意力机制、位置频率配置和推理策略等因素影响。
6.6 主流位置编码方式对比
| 类型 | 核心思想 | 代表特点 |
|---|---|---|
| Sinusoidal | 使用正弦和余弦函数 | 原始 Transformer 采用 |
| Learned Absolute | 学习绝对位置向量 | 参数化、实现简单 |
| Relative Position | 建模位置之间的相对距离 | 关注相对关系 |
| RoPE | 对 Q、K 进行位置相关旋转 | 现代 LLM 广泛使用 |
| ALiBi | 在注意力分数中加入位置相关偏置 | 通过线性距离偏置建模位置 |
七、Feed Forward Network:前馈神经网络
Attention 负责 Token 之间的信息交互。
但仅有 Attention 还不够,Transformer 还需要对每个位置的表示进行进一步的非线性变换。
这就是 Feed Forward Network(FFN)。
7.1 FFN 的基本结构
原始 Transformer 使用两层线性变换,中间加入 ReLU 激活函数:
其中:
- W_1:第一层权重矩阵。
- b_1:第一层偏置。
- W_2:第二层权重矩阵。
- b_2:第二层偏置。
通常先将隐藏维度扩展,再映射回原始维度。
例如:
其计算过程:
7.2 Attention 与 FFN 的区别
| 对比项 | Attention | FFN |
|---|---|---|
| 主要作用 | Token 之间的信息交互 | 对单个位置进行非线性变换 |
| 输入关系 | 同一序列多个位置 | 每个位置独立计算 |
| 核心计算 | Q、K、V、Softmax | 线性层与激活函数 |
| 信息范围 | 可以跨 Token 聚合 | 通常不直接跨 Token 交互 |
| 作用 | 上下文信息融合 | 特征变换与表达能力增强 |
需要注意,标准 Transformer 中同一层的 FFN 通常对每个 Token 位置独立应用,但参数在所有位置之间共享。
7.3 现代 FFN 的变化
现代大语言模型不一定继续使用原始的 ReLU FFN。
常见结构包括:
- GELU。
- SwiGLU。
- GEGLU。