一、Transformer 整体架构概览
Transformer 是一种以 Attention 为核心的深度学习架构。它通过多层网络对输入序列进行特征提取、上下文信息融合和任务输出。
原始 Transformer 采用 Encoder-Decoder 架构,主要包含两个部分:
- Encoder(编码器): 将输入序列转换为包含上下文信息的隐藏表示。
- Decoder(解码器): 根据已有上下文和 Encoder 输出,逐步生成目标序列。
整体结构:
flowchart TB
A["输入序列"] --> B["Token Embedding"]
B --> C["位置编码"]
C --> D["Encoder"]
D --> E["Encoder 输出"]
F["目标序列右移后的输入"] --> G["Target Embedding"]
G --> H["位置编码"]
H --> I["Decoder"]
E --> I
I --> J["Linear 输出投影"]
J --> K["Softmax"]
K --> L["目标 Token 概率分布"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style L fill:#E5F0E9,stroke:#83A995,color:#315D49
需要注意,原始 Transformer 的 Decoder 在训练时接收右移后的目标序列,通过 Masked Self-Attention 避免访问未来 Token;推理时则根据已生成内容逐步生成后续 Token。
现代大语言模型通常采用 Decoder-only 架构,不一定保留原始 Transformer 的完整 Encoder-Decoder 结构。
二、Transformer 的核心模块
从网络结构看,一个典型 Transformer Layer 由注意力模块、前馈网络、残差连接和归一化模块构成。
2.1 核心模块清单
| 模块 | 主要作用 |
|---|---|
| Token Embedding | 将 Token ID 映射为连续向量 |
| Positional Encoding | 为模型提供位置信息 |
| Multi-Head Attention | 建立 Token 之间的信息关联 |
| Cross-Attention | 让 Decoder 关注 Encoder 输出 |
| Feed Forward Network | 对特征进行非线性变换 |
| Residual Connection | 提供信息和梯度的直接传播路径 |
| Layer Normalization | 稳定网络中的特征分布 |
| Mask | 限制注意力能够访问的位置 |
| Linear Projection | 将隐藏状态映射到目标输出空间 |
| Softmax | 将 Logits 转换为概率分布 |
2.2 模块之间的关系
Transformer 的核心计算可以概括为:
flowchart TB
A["Token Embedding"] --> B["加入位置信息"]
B --> C["Attention 信息交互"]
C --> D["残差连接与归一化"]
D --> E["FFN 非线性变换"]
E --> F["残差连接与归一化"]
F --> G["输出隐藏表示"]
G --> H["进入下一层 Transformer"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
这里展示的是一种常见的 Post-LN 风格计算顺序。现代模型也广泛使用 Pre-LN 结构,具体排列会有所不同。
三、输入层:Embedding 与位置编码
Transformer 不直接处理自然语言文本,而是处理经过数值化后的 Token 表示。
3.1 Tokenizer:文本切分
首先,Tokenizer 将输入文本切分为 Token,并转换成 Token ID。
例如:
输入:
我喜欢人工智能
Token:
["我", "喜欢", "人工智能"]
Token ID:
[101, 205, 308]
这里的 Token 和 Token ID 只是示意,实际切分结果取决于 Tokenizer 的词表和算法。
Tokenizer 负责文本离散化,不属于 Transformer Layer 本身,但它是语言模型输入处理的重要组成部分。
3.2 Token Embedding
Token ID 是离散整数,不能直接作为 Transformer 的语义特征。
因此,需要通过 Embedding 矩阵将 Token ID 映射为连续向量。
设:
- 词表大小为 V。
- 隐藏维度为 d_{model}。
Embedding 矩阵:
对于 Token ID i:
如果输入序列长度为 n,则整个输入表示为:
例如:
则:
表示 128 个 Token,每个 Token 对应一个 768 维向量。
3.3 位置编码
标准 Self-Attention 本身不包含序列顺序信息,因此需要通过位置编码提供位置信息。
原始 Transformer 使用正弦位置编码:
输入表示为:
现代 Transformer 还可能采用:
- 可学习绝对位置编码。
- 相对位置编码。
- RoPE。
- ALiBi。
不同位置编码方式的注入位置和计算机制不同。例如 RoPE 通常作用于 Attention 中的 Query 和 Key,而不是简单地与 Token Embedding 相加。
四、Encoder:编码器架构
Encoder 的主要职责是理解输入序列,并将其转换为上下文相关的隐藏表示。
原始 Transformer 的 Encoder 由 N 个相同结构的 Encoder Layer 堆叠而成。
每个 Encoder Layer 包含两个主要子层:
- Multi-Head Self-Attention。
- Feed Forward Network。
每个子层还配合残差连接和 Layer Normalization。
4.1 Encoder Layer 结构
flowchart TB
A["输入 X"] --> B["Multi-Head Self-Attention"]
B --> C["残差相加"]
A --> C
C --> D["Layer Normalization"]
D --> E["Feed Forward Network"]
E --> F["残差相加"]
D --> F
F --> G["Layer Normalization"]
G --> H["Encoder Layer 输出"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
这里采用 Post-LN 表示方式,对应:
其中:
- MHA:多头自注意力。
- FFN:前馈神经网络。
- LN:Layer Normalization。
4.2 Encoder 的 Self-Attention
Encoder 使用双向 Self-Attention。
每个 Token 都可以关注输入序列中的其他有效 Token,不受因果方向限制。
例如:
输入:
我 喜欢 学习 Transformer
处理:
"学习" 可以关注 "我"
"学习" 可以关注 "喜欢"
"学习" 可以关注 "Transformer"
这样,Encoder 中每个位置都能融合完整输入序列的上下文信息。
这里的双向并不意味着模型一定理解了全部语义,而是指注意力计算不受从左到右的因果掩码限制。
4.3 Encoder 的输出
经过 N 层 Encoder 后,得到:
其中:
- n:输入序列长度。
- d_{model}:隐藏维度。
每个位置的输出都融合了输入序列中的上下文信息。
这些隐藏表示可以用于:
- 文本分类。
- 命名实体识别。
- 语义特征提取。
- 机器翻译中的目标序列生成。
- 其他下游任务。
五、Decoder:解码器架构
原始 Transformer 的 Decoder 负责生成目标序列。
它与 Encoder 的主要区别是:
- 使用 Masked Self-Attention。
- 增加 Encoder-Decoder Cross-Attention。
- 通过自回归方式预测目标 Token。
原始 Decoder 由 N 个 Decoder Layer 堆叠而成。
5.1 Decoder Layer 结构
一个原始 Transformer Decoder Layer 包含三个主要子层:
- Masked Multi-Head Self-Attention。
- Encoder-Decoder Cross-Attention。
- Feed Forward Network。
结构如下:
flowchart TB
A["Decoder 输入"] --> B["Masked Multi-Head Self-Attention"]
B --> C["残差相加与 LayerNorm"]
A --> C
C --> D["Cross-Attention"]
E["Encoder 输出"] --> D
D --> F["残差相加与 LayerNorm"]
C --> F
F --> G["Feed Forward Network"]
G --> H["残差相加与 LayerNorm"]
F --> H
H --> I["Decoder Layer 输出"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
5.2 Masked Self-Attention
Decoder 采用自回归生成方式。
在预测当前位置 Token 时,只能访问当前位置以及之前的 Token。
例如:
目标序列:
我 喜欢 人工智能
预测位置 1:只能访问 我
预测位置 2:可以访问 我、喜欢
预测位置 3:可以访问 我、喜欢、人工智能
使用因果掩码(Causal Mask)屏蔽未来位置:
其中,未来位置对应的 Mask 值为负无穷,使其 Softmax 权重为零。
5.3 Cross-Attention
Cross-Attention(交叉注意力)用于建立 Decoder 与 Encoder 之间的信息联系。
它与 Self-Attention 的关键区别是 Q、K、V 的来源不同。
在原始 Transformer 中:
- Query 来自 Decoder 当前隐藏状态。
- Key 来自 Encoder 输出。
- Value 来自 Encoder 输出。
设:
则:
Cross-Attention:
其中:
- m:当前目标序列长度。
- n:源序列长度。
注意力矩阵的形状为:
这意味着 Decoder 中每个位置都可以根据自身状态,从 Encoder 的所有输入位置中提取相关信息。
5.4 Cross-Attention 的作用
以机器翻译为例:
源语言:
I love artificial intelligence.
目标语言:
我喜欢人工智能。
Encoder 将源语言编码为上下文表示。
Decoder 在生成目标语言时,通过 Cross-Attention 访问 Encoder 输出,从而利用源语言信息生成目标文本。
Cross-Attention 并不是简单地将源语言向量拼接到目标语言向量,而是通过 Query、Key、Value 计算动态的信息聚合。
六、Encoder 与 Decoder 的区别
Encoder 和 Decoder 都使用 Transformer Layer,但它们的注意力机制和任务目标不同。
| 对比维度 | Encoder | Decoder |
|---|---|---|
| 主要任务 | 输入理解与特征编码 | 自回归生成目标序列 |
| Self-Attention | 双向注意力 | 因果注意力 |
| Causal Mask | 通常不使用 | 使用 |
| Cross-Attention | 原始结构中没有 | 原始结构中使用 |
| 输入 | 源序列 | 目标序列的右移输入 |
| 输出 | 上下文隐藏表示 | 目标序列隐藏表示 |
| 典型应用 | 文本理解、特征提取 | 文本生成、序列生成 |
需要注意,这里的 Encoder 和 Decoder 指原始 Encoder-Decoder Transformer 中的结构。
现代 Decoder-only 模型通常没有 Cross-Attention,也不需要独立的 Encoder。
七、Transformer 中的注意力机制
Attention 是 Transformer 的核心计算模块。
7.1 Scaled Dot-Product Attention
给定:
计算:
完整公式:
如果存在 Mask,则需要在 Softmax 之前加入掩码。
7.2 Multi-Head Attention
多个 Attention Head 在不同表示子空间中独立计算:
拼接后进行输出投影:
多头注意力能够提升模型学习不同关联模式的能力。
7.3 MHA、MQA 与 GQA
现代大语言模型为了减少 KV Cache 占用,发展出不同的注意力结构。
| 类型 | Query Head | Key/Value Head | 核心特点 |
|---|---|---|---|
| MHA | h | h | 每个 Query Head 使用独立 K/V |
| MQA | h | 1 | 所有 Query Head 共享一组 K/V |
| GQA | h | g | 多个 Query Head 分组共享 K/V |
其中:
GQA 在 KV Cache 占用和注意力表示能力之间进行折中。
八、FFN:前馈网络的计算机制
Attention 负责不同 Token 之间的信息交互,FFN 负责对每个 Token 的表示进行非线性变换。
8.1 原始 FFN 结构
原始 Transformer 使用两层线性变换和 ReLU 激活函数:
通常先扩展隐藏维度,再映射回原始维度。
例如:
则:
8.2 现代 FFN 结构
现代大语言模型可能采用 GELU、SwiGLU 等激活结构。
例如:
其中:
- W_g:门控分支参数。
- W_v:值分支参数。
- W_o:输出投影参数。
- \odot:逐元素乘法。
门控机制使模型能够动态控制特征信息的传递。
8.3 Attention 与 FFN 的协作
可以将二者理解为两个不同层面的计算:
- Attention:在序列位置之间交换和聚合信息。
- FFN:对每个位置融合后的表示进行非线性特征变换。
两者交替堆叠,使模型逐层构建更加复杂的上下文表示。
九、残差连接与 Layer Normalization
Transformer 通常包含几十层甚至上百层网络。
如果没有合理的信息传播和归一化机制,深层网络可能面临训练不稳定的问题。
9.1 Residual Connection
残差连接的基本公式:
其中:
- x:子层输入。
- F(x):Attention 或 FFN 的计算结果。
- y:残差输出。
它为信息和梯度提供了直接传播路径。
9.2 Layer Normalization
LayerNorm 对单个 Token 的特征维度进行归一化。
其中:
- \gamma:可学习缩放参数。
- \beta:可学习偏置参数。
- \epsilon:数值稳定项。
9.3 Post-LN 与 Pre-LN
Post-LN:
Pre-LN:
两种结构的主要区别在于 LayerNorm 所处的位置。
| 结构 | 归一化位置 | 特点 |
|---|---|---|
| Post-LN | 残差相加之后 | 原始 Transformer 采用 |
| Pre-LN | 子层计算之前 | 现代深层模型广泛采用 |
Pre-LN 通常具有更稳定的深层训练特性,但具体设计仍取决于模型架构和训练配置。
十、张量维度:理解 Transformer 的数据流转
理解 Transformer 架构,必须掌握各模块之间的张量维度变化。
假设:
- Batch Size:B=32
- 序列长度:N=128
- 隐藏维度:d_{model}=768
- 注意力头数:h=12
- 每个 Head 维度:d_k=d_v=64
10.1 输入张量
Embedding 输出:
代入:
10.2 Q、K、V 投影
经过线性投影:
再拆分为多个注意力头:
维度含义:
| 维度 | 含义 |
|---|---|
| 32 | Batch Size |
| 12 | Attention Head 数量 |
| 128 | Sequence Length |
| 64 | Head Dimension |
10.3 注意力分数矩阵
计算:
得到:
每个 Batch、每个 Head 都拥有一个 128\times128 的注意力分数矩阵。
10.4 Attention 输出
注意力权重与 V 相乘:
得到:
将多个 Head 拼接:
再经过输出投影,保持隐藏维度不变。
10.5 FFN 维度变化
假设:
则:
Transformer Layer 的输入和输出通常保持相同的隐藏维度,以便残差连接。
10.6 维度变化汇总
| 计算阶段 | 张量形状 |
|---|---|
| Embedding 输出 | [32, 128, 768] |
| Q/K/V 投影 | [32, 128, 768] |
| 多头拆分 | [32, 12, 128, 64] |
| Attention Score | [32, 12, 128, 128] |
| Attention 输出 | [32, 12, 128, 64] |
| Head 拼接 | [32, 128, 768] |
| FFN 第一层 | [32, 128, 3072] |
| FFN 第二层 | [32, 128, 768] |
这些维度是标准 MHA 的典型示例。GQA、MQA、不同隐藏维度和不同注意力实现会有相应变化。
十一、原始 Transformer 与现代 LLM 架构
原始 Transformer 是 Encoder-Decoder 结构,但现代大语言模型大多采用 Decoder-only 架构。