一、Transformer 为什么会有不同架构?
Transformer 最初由 Google 在 2017 年提出,论文名称为《Attention Is All You Need》。
它最初并不是专门为大语言模型设计的,而是为机器翻译任务构建的一种序列到序列(Sequence-to-Sequence,Seq2Seq)模型。
例如,机器翻译需要完成:
输入:I love artificial intelligence.
输出:我喜欢人工智能。
模型需要先理解源语言,再生成目标语言。
原始 Transformer 因此采用了 Encoder-Decoder 架构:
- Encoder:读取输入序列,提取上下文表示。
- Decoder:根据已经生成的内容以及 Encoder 提供的信息,逐步生成输出序列。
随着深度学习的发展,研究人员发现 Transformer 的不同部分可以独立使用,形成了三种主要架构:
- Encoder-only:只保留 Encoder。
- Decoder-only:只保留 Decoder 中的因果自注意力结构。
- Encoder-Decoder:同时保留 Encoder 和 Decoder。
它们虽然都以 Transformer 为基础,但在注意力机制、信息流动方式、训练目标和应用场景上存在明显差异。
二、Transformer 的整体结构
先理解原始 Transformer 的基本组成。
flowchart TB
A["输入 Token 序列"] --> B["Token Embedding"]
B --> C["位置编码"]
C --> D["Encoder"]
D --> E["上下文表示"]
F["目标序列右移后的 Token"] --> G["Token Embedding"]
G --> H["位置编码"]
H --> I["Decoder"]
E --> J["Cross-Attention"]
I --> J
J --> K["Linear 投影"]
K --> L["Softmax"]
L --> M["输出 Token 概率"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style M fill:#E5F0E9,stroke:#83A995,color:#315D49
原始 Transformer 的核心由以下组件构成:
| 组件 | 主要作用 |
|---|---|
| Embedding | 将 Token ID 转换为连续向量 |
| Positional Encoding | 注入位置信息 |
| Multi-Head Attention | 建模 Token 之间的关系 |
| Feed Forward Network | 对每个位置进行非线性特征变换 |
| Residual Connection | 提供残差路径,改善深层网络训练 |
| LayerNorm | 稳定网络中的特征分布 |
| Linear + Softmax | 将隐藏状态转换为词表概率分布 |
其中,Encoder 和 Decoder 的核心区别并不是有没有 Attention,而是使用什么类型的 Attention,以及允许访问哪些输入信息。
三、Encoder:编码器架构
Encoder-only 架构只保留 Transformer 的 Encoder 部分。
它的核心任务是:
读取完整输入序列,建立 Token 之间的上下文关系,生成具有上下文信息的隐藏表示。
典型代表包括:
- BERT
- RoBERTa
- ALBERT
- DeBERTa
3.1 Encoder 的整体结构
一个标准 Transformer Encoder Layer 通常由两个主要子层组成:
- Multi-Head Self-Attention。
- Feed Forward Network。
每个子层还会配合残差连接和 LayerNorm。
flowchart TB
A["输入隐藏状态 X"] --> B["Multi-Head Self-Attention"]
B --> C["残差连接与 LayerNorm"]
A --> C
C --> D["Feed Forward Network"]
D --> E["残差连接与 LayerNorm"]
C --> E
E --> F["输出隐藏状态"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
注意:上图展示的是概念结构。原始 Transformer 使用 Post-LN,即子层计算后再进行残差相加和 LayerNorm。现代 Encoder 也可能采用 Pre-LN 等不同变体。
3.2 Encoder 使用双向 Self-Attention
这是 Encoder 最重要的特征之一。
假设输入序列:
我 喜欢 学习 人工智能
对应位置:
Token: 我 喜欢 学习 人工智能
Position: 0 1 2 3
在标准双向 Self-Attention 中,每个 Token 都可以关注序列中的其他所有有效 Token。
例如:
- 「我」可以关注「喜欢」「学习」「人工智能」。
- 「喜欢」可以关注「我」「学习」「人工智能」。
- 「人工智能」也可以关注前面的所有 Token。
对于位置 i,注意力分数可以表示为:
经过 Softmax 后得到注意力权重:
这里没有因果约束,模型可以利用当前位置之前和之后的信息。
因此,Encoder 能够为每个 Token 构建包含完整上下文的表示。
3.3 Encoder 为什么不需要 Causal Mask?
Decoder-only 模型需要避免看到未来 Token,而 Encoder 通常不需要这个限制。
例如:
今天的天气非常好
Encoder 在理解「天气」时,可以同时利用:
- 左侧的「今天的」。
- 右侧的「非常好」。
右侧信息有助于理解当前 Token 所处的完整语境。
如果强行使用 Causal Mask,Encoder 就无法利用后面的上下文信息,失去双向建模的优势。
不过,Encoder 仍然可能使用 Padding Mask,避免模型关注补齐序列时产生的无效 Token。
3.4 Encoder 的训练目标:Masked Language Modeling
以 BERT 为例,它采用 Masked Language Modeling(MLM)作为核心预训练任务之一。
基本思想是:
随机选择输入中的部分 Token,将它们遮蔽,再让模型根据上下文预测原始 Token。
例如:
原始文本:
我 喜欢 学习 人工智能
遮蔽之后:
我 喜欢 [MASK] 人工智能
模型预测:
学习
训练目标可以表示为:
其中:
- M:被选中的 Mask 位置集合。
- x_i:被遮蔽位置的原始 Token。
- X_{\backslash M}:包含可见上下文的输入。
模型需要利用被遮蔽 Token 左右两侧的上下文来恢复原始内容。
需要注意,BERT 原始训练方案中的 Mask 策略并不等于所有被选中的位置都会直接替换为 [MASK],还包含随机替换和保持原 Token 不变的情况。
3.5 Encoder 的输出是什么?
Encoder 输出的是一组上下文隐藏向量:
假设:
那么:
其中:
- B:Batch Size。
- N:输入序列长度。
- d:隐藏层维度。
每个位置都会得到一个上下文表示。
这些表示可以用于下游任务,例如:
| 任务 | Encoder 的使用方式 |
|---|---|
| 文本分类 | 使用 [CLS] 或池化后的表示 |
| 情感分析 | 根据上下文表示进行分类 |
| 命名实体识别 | 对每个 Token 进行分类 |
| 语义匹配 | 比较两个文本的向量表示 |
| 信息抽取 | 识别实体、关系和文本边界 |
| 检索 | 将文本编码为向量用于相似度搜索 |
Encoder 的优势在于双向上下文理解,适合需要充分利用完整输入内容的任务。
四、Decoder:解码器架构
Decoder 是原始 Transformer 中负责生成目标序列的部分。
它的核心任务是:
根据已经生成的 Token,以及 Encoder 提供的输入表示,逐步生成目标序列。
Decoder 与 Encoder 最大的区别是:它必须遵循自回归生成约束,不能提前访问未来 Token。
4.1 原始 Transformer Decoder 的结构
原始 Transformer Decoder Layer 包含三个主要部分:
- Masked Multi-Head Self-Attention。
- Encoder-Decoder Attention,也称 Cross-Attention。
- Feed Forward Network。
结构如下:
flowchart TB
A["Decoder 输入"] --> B["Masked Self-Attention"]
B --> C["残差连接与 LayerNorm"]
A --> C
C --> D["Cross-Attention"]
E["Encoder 输出"] --> D
D --> F["残差连接与 LayerNorm"]
C --> F
F --> G["Feed Forward Network"]
G --> H["残差连接与 LayerNorm"]
F --> H
H --> I["Decoder 输出"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
与 Encoder 相比,原始 Decoder 多了一个 Cross-Attention 子层。
它允许 Decoder 在生成过程中访问 Encoder 的输出表示。
4.2 Masked Self-Attention
Decoder 必须遵循自回归生成机制。
假设目标序列为:
我 喜欢 人工智能
生成过程中:
- 预测「我」时,不能看到「喜欢」和「人工智能」。
- 预测「喜欢」时,可以看到「我」,不能看到「人工智能」。
- 预测「人工智能」时,可以看到「我」和「喜欢」。
因此,需要使用 Causal Mask(因果掩码)。
它通过限制注意力矩阵,禁止当前位置访问未来位置。
对于序列长度为 N,Causal Mask 可以表示为:
加入 Mask 后:
未来位置的注意力分数变为负无穷,经过 Softmax 后对应权重为零。
例如,长度为 4 的因果注意力矩阵:
允许关注的位置:
1 0 0 0
1 1 0 0
1 1 1 0
1 1 1 1
其中:
- 1 表示允许关注。
- 0 表示禁止关注。
对应的可见关系:
flowchart TB
A["位置 0:只能看位置 0"]
B["位置 1:可以看位置 0、1"]
C["位置 2:可以看位置 0、1、2"]
D["位置 3:可以看位置 0、1、2、3"]
A --> B
B --> C
C --> D
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#E5F0E9,stroke:#83A995,color:#315D49
注意,上图表示不同位置允许访问的信息范围,不表示实际生成时必须依次重新计算整个历史序列。
4.3 Cross-Attention:Decoder 如何读取 Encoder 信息?
Cross-Attention 是原始 Encoder-Decoder 架构的重要组成部分。
它让 Decoder 在生成目标 Token 时,可以从 Encoder 的输出中提取相关信息。
与 Self-Attention 不同,Cross-Attention 的 Q、K、V 来自不同的序列表示。
具体而言:
其中:
- H_D:Decoder 当前隐藏状态。
- H_E:Encoder 输出的上下文表示。
- Q:来自 Decoder。
- K、V:来自 Encoder。
注意力计算:
它的含义是:
Decoder 根据当前生成状态形成 Query,再从 Encoder 提供的 Key、Value 中提取与当前生成最相关的信息。
例如,翻译任务中:
源语言:
I love artificial intelligence.
目标语言:
我 喜欢 人工智能
当 Decoder 生成「人工智能」时,可以通过 Cross-Attention 重点读取源语言中与其相关的内容。
Cross-Attention 并不是简单地将 Encoder 输出拼接到 Decoder 输入,而是通过注意力机制动态选择和聚合输入信息。
4.4 Decoder 的训练目标:自回归语言建模
原始 Transformer Decoder 采用自回归方式预测目标序列。
给定目标序列:
模型学习:
其中:
- X:Encoder 输入。
- y_{<t}:当前 Token 之前已经生成的目标 Token。
- y_t:当前需要预测的 Token。
训练时通常采用 Teacher Forcing:
将目标序列右移一位作为 Decoder 输入。
例如:
目标序列:
<BOS> 我 喜欢 人工智能 <EOS>
Decoder 输入:
<BOS> 我 喜欢 人工智能
训练标签:
我 喜欢 人工智能 <EOS>
模型在每个位置预测下一个 Token。
训练损失通常使用交叉熵:
由于使用了 Causal Mask,每个位置只能利用之前的目标 Token,不会看到未来标签。
4.5 Decoder 的输出
Decoder 的隐藏状态经过线性投影,映射到词表维度:
其中:
- H:Decoder 隐藏状态。
- W_{vocab}:输出投影矩阵。
- Logits:词表中每个 Token 对应的未归一化分数。
再通过 Softmax 得到概率分布:
模型可以根据概率分布选择下一个 Token。
常见选择策略包括:
- Greedy Search。
- Beam Search。
- Top-K Sampling。
- Top-P Sampling。
- Temperature Sampling。
五、Decoder-only:仅解码器架构
Decoder-only 是现代大语言模型中非常重要的架构。
典型代表包括:
- GPT 系列(OpenAI)。
- Llama 系列(Meta)。
- Qwen 系列(阿里巴巴)。
- DeepSeek 系列(深度求索)。
- Mistral 系列(Mistral AI)。
它的核心特点是:
只使用 Decoder 风格的因果 Self-Attention,不使用独立 Encoder,也不需要原始 Transformer 中的 Encoder-Decoder Cross-Attention。
需要特别说明:
这里的 Decoder-only 并不是简单地保留原始 Transformer Decoder 的全部结构。
原始 Decoder 包含 Masked Self-Attention 和 Cross-Attention 两个注意力子层。
Decoder-only 通常保留因果 Self-Attention,移除依赖独立 Encoder 输出的 Cross-Attention。
5.1 Decoder-only 的整体结构
flowchart TB
A["输入 Token 序列"] --> B["Token Embedding"]
B --> C["位置编码或 RoPE"]
C --> D["Decoder-only Block 1"]
D --> E["Decoder-only Block 2"]
E --> F["Decoder-only Block N"]
F --> G["最终 LayerNorm"]
G --> H["Linear 输出投影"]
H --> I["Logits"]
I --> J["Softmax"]
J --> K["下一个 Token 概率分布"]
K --> L["采样或选择 Token"]
L --> M["追加到输入序列"]
M --> N{"是否达到停止条件"}
N -->|"否"| C
N -->|"是"| O["生成结束"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style N fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style O fill:#E5F0E9,stroke:#83A995,color:#315D49
每个 Decoder-only Block 通常包括:
- Causal Self-Attention。
- Feed Forward Network。
- Residual Connection。
- LayerNorm 或 RMSNorm。
部分现代模型还会采用:
- RoPE 位置编码。
- GQA 或 MQA 注意力结构。
- SwiGLU 前馈网络。
- RMSNorm。
- FlashAttention 等高效注意力实现。
这些属于具体模型的结构设计,并不是所有 Decoder-only 模型都必须具备的组件。
5.2 Decoder-only 为什么不需要 Cross-Attention?
这是理解 Decoder-only 的关键。
原始 Encoder-Decoder 架构需要分别处理源序列和目标序列:
- Encoder 对源序列进行编码。
- Decoder 根据目标历史状态生成新 Token。
- Cross-Attention 负责让 Decoder 读取 Encoder 的表示。
但 Decoder-only 使用统一的 Token 序列作为输入。
例如:
用户输入:
什么是人工智能?
模型生成:
人工智能是研究如何让计算机表现出智能行为的技术领域。
模型将输入和生成内容放在同一个序列中。
它不需要单独建立一个 Encoder 来编码用户输入,也不需要通过 Cross-Attention 连接两个独立的网络。
所有信息都通过同一个因果 Self-Attention 网络进行处理。
5.3 Decoder-only 的训练目标
Decoder-only 的核心预训练目标通常是 Causal Language Modeling,也称自回归语言建模。
模型根据前面的 Token 预测下一个 Token:
其中:
- X:完整 Token 序列。
- x_{<t}:当前位置之前的所有 Token。
- x_t:当前需要预测的 Token。
训练目标:
例如:
输入:
人工智能的发展离不开
预测目标:
数据、算法、计算能力……
训练时,模型并不是只在序列最后一个位置计算预测损失。
通常会在多个有效位置上同时计算下一个 Token 的预测损失。
由于使用 Causal Mask,每个位置只能看到自己和之前的 Token。
这使得训练过程可以并行计算多个位置的预测结果,同时保持自回归约束。
5.4 Decoder-only 如何实现理解任务?
一个常见疑问:
Encoder 能够双向理解文本,而 Decoder-only 只能看左侧上下文,那么它为什么也能完成文本理解任务?
关键在于:理解和生成并不是完全独立的能力。
Decoder-only 在预测下一个 Token 的过程中,需要学习:
- 词语之间的语义关系。
- 句法结构。
- 上下文依赖。
- 实体和概念之间的关系。
- 文本中的逻辑和知识关联。
这些能力都可以通过自回归语言建模目标逐渐学习。
例如:
输入:
中国的首都是
模型需要预测:
北京
为了正确预测下一个 Token,模型需要理解前面上下文表达的含义。
进一步地,通过指令微调、监督微调和偏好优化等训练方式,模型可以学会:
- 回答问题。
- 总结文本。
- 翻译语言。
- 生成代码。
- 分析文档。
- 执行多步骤任务。
因此,Decoder-only 并不是只能生成文字,而是通过统一的自回归建模方式,同时获得上下文理解和内容生成能力。
六、三种架构的核心区别
理解三种架构,最重要的是区分注意力范围、信息来源和训练目标。