返回专栏
· 20 分钟阅读

Encoder、Decoder 与 Decoder-only:Transformer 三种核心架构的原理与区别


一、Transformer 为什么会有不同架构?

Transformer 最初由 Google 在 2017 年提出,论文名称为《Attention Is All You Need》。

它最初并不是专门为大语言模型设计的,而是为机器翻译任务构建的一种序列到序列(Sequence-to-Sequence,Seq2Seq)模型。

例如,机器翻译需要完成:

输入:I love artificial intelligence.
输出:我喜欢人工智能。

模型需要先理解源语言,再生成目标语言。

原始 Transformer 因此采用了 Encoder-Decoder 架构:

  • Encoder:读取输入序列,提取上下文表示。
  • Decoder:根据已经生成的内容以及 Encoder 提供的信息,逐步生成输出序列。

随着深度学习的发展,研究人员发现 Transformer 的不同部分可以独立使用,形成了三种主要架构:

  1. Encoder-only:只保留 Encoder。
  2. Decoder-only:只保留 Decoder 中的因果自注意力结构。
  3. Encoder-Decoder:同时保留 Encoder 和 Decoder。

它们虽然都以 Transformer 为基础,但在注意力机制、信息流动方式、训练目标和应用场景上存在明显差异。

二、Transformer 的整体结构

先理解原始 Transformer 的基本组成。

原始 Transformer 架构示意

flowchart TB
    A["输入 Token 序列"] --> B["Token Embedding"]
    B --> C["位置编码"]
    C --> D["Encoder"]
    D --> E["上下文表示"]
    F["目标序列右移后的 Token"] --> G["Token Embedding"]
    G --> H["位置编码"]
    H --> I["Decoder"]
    E --> J["Cross-Attention"]
    I --> J
    J --> K["Linear 投影"]
    K --> L["Softmax"]
    L --> M["输出 Token 概率"]
    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style M fill:#E5F0E9,stroke:#83A995,color:#315D49

原始 Transformer 的核心由以下组件构成:

组件 主要作用
Embedding 将 Token ID 转换为连续向量
Positional Encoding 注入位置信息
Multi-Head Attention 建模 Token 之间的关系
Feed Forward Network 对每个位置进行非线性特征变换
Residual Connection 提供残差路径,改善深层网络训练
LayerNorm 稳定网络中的特征分布
Linear + Softmax 将隐藏状态转换为词表概率分布

其中,Encoder 和 Decoder 的核心区别并不是有没有 Attention,而是使用什么类型的 Attention,以及允许访问哪些输入信息。

三、Encoder:编码器架构

Encoder-only 架构只保留 Transformer 的 Encoder 部分。

它的核心任务是:

读取完整输入序列,建立 Token 之间的上下文关系,生成具有上下文信息的隐藏表示。

典型代表包括:

  • BERT
  • RoBERTa
  • ALBERT
  • DeBERTa

3.1 Encoder 的整体结构

一个标准 Transformer Encoder Layer 通常由两个主要子层组成:

  1. Multi-Head Self-Attention。
  2. Feed Forward Network。

每个子层还会配合残差连接和 LayerNorm。

flowchart TB
    A["输入隐藏状态 X"] --> B["Multi-Head Self-Attention"]
    B --> C["残差连接与 LayerNorm"]
    A --> C
    C --> D["Feed Forward Network"]
    D --> E["残差连接与 LayerNorm"]
    C --> E
    E --> F["输出隐藏状态"]
    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#E5F0E9,stroke:#83A995,color:#315D49

注意:上图展示的是概念结构。原始 Transformer 使用 Post-LN,即子层计算后再进行残差相加和 LayerNorm。现代 Encoder 也可能采用 Pre-LN 等不同变体。

3.2 Encoder 使用双向 Self-Attention

这是 Encoder 最重要的特征之一。

假设输入序列:

我 喜欢 学习 人工智能

对应位置:

Token:      我    喜欢    学习    人工智能
Position:   0      1       2        3

在标准双向 Self-Attention 中,每个 Token 都可以关注序列中的其他所有有效 Token。

例如:

  • 「我」可以关注「喜欢」「学习」「人工智能」。
  • 「喜欢」可以关注「我」「学习」「人工智能」。
  • 「人工智能」也可以关注前面的所有 Token。

对于位置 i,注意力分数可以表示为:

Score_{ij} = \frac{q_i k_j^T}{\sqrt{d_k}}

经过 Softmax 后得到注意力权重:

Attention_{ij} = Softmax_j(Score_{ij})

这里没有因果约束,模型可以利用当前位置之前和之后的信息。

因此,Encoder 能够为每个 Token 构建包含完整上下文的表示。

3.3 Encoder 为什么不需要 Causal Mask?

Decoder-only 模型需要避免看到未来 Token,而 Encoder 通常不需要这个限制。

例如:

今天的天气非常好

Encoder 在理解「天气」时,可以同时利用:

  • 左侧的「今天的」。
  • 右侧的「非常好」。

右侧信息有助于理解当前 Token 所处的完整语境。

如果强行使用 Causal Mask,Encoder 就无法利用后面的上下文信息,失去双向建模的优势。

不过,Encoder 仍然可能使用 Padding Mask,避免模型关注补齐序列时产生的无效 Token。

3.4 Encoder 的训练目标:Masked Language Modeling

以 BERT 为例,它采用 Masked Language Modeling(MLM)作为核心预训练任务之一。

基本思想是:

随机选择输入中的部分 Token,将它们遮蔽,再让模型根据上下文预测原始 Token。

例如:

原始文本:
我 喜欢 学习 人工智能

遮蔽之后:
我 喜欢 [MASK] 人工智能

模型预测:
学习

训练目标可以表示为:

L_{MLM} = -\sum_{i\in M} \log P(x_i|X_{\backslash M})

其中:

  • M:被选中的 Mask 位置集合。
  • x_i:被遮蔽位置的原始 Token。
  • X_{\backslash M}:包含可见上下文的输入。

模型需要利用被遮蔽 Token 左右两侧的上下文来恢复原始内容。

需要注意,BERT 原始训练方案中的 Mask 策略并不等于所有被选中的位置都会直接替换为 [MASK],还包含随机替换和保持原 Token 不变的情况。

3.5 Encoder 的输出是什么?

Encoder 输出的是一组上下文隐藏向量:

H=Encoder(X)

假设:

X\in\mathbb{R}^{B\times N\times d}

那么:

H\in\mathbb{R}^{B\times N\times d}

其中:

  • B:Batch Size。
  • N:输入序列长度。
  • d:隐藏层维度。

每个位置都会得到一个上下文表示。

这些表示可以用于下游任务,例如:

任务 Encoder 的使用方式
文本分类 使用 [CLS] 或池化后的表示
情感分析 根据上下文表示进行分类
命名实体识别 对每个 Token 进行分类
语义匹配 比较两个文本的向量表示
信息抽取 识别实体、关系和文本边界
检索 将文本编码为向量用于相似度搜索

Encoder 的优势在于双向上下文理解,适合需要充分利用完整输入内容的任务。

四、Decoder:解码器架构

Decoder 是原始 Transformer 中负责生成目标序列的部分。

它的核心任务是:

根据已经生成的 Token,以及 Encoder 提供的输入表示,逐步生成目标序列。

Decoder 与 Encoder 最大的区别是:它必须遵循自回归生成约束,不能提前访问未来 Token。

4.1 原始 Transformer Decoder 的结构

原始 Transformer Decoder Layer 包含三个主要部分:

  1. Masked Multi-Head Self-Attention。
  2. Encoder-Decoder Attention,也称 Cross-Attention。
  3. Feed Forward Network。

结构如下:

flowchart TB
    A["Decoder 输入"] --> B["Masked Self-Attention"]
    B --> C["残差连接与 LayerNorm"]
    A --> C
    C --> D["Cross-Attention"]
    E["Encoder 输出"] --> D
    D --> F["残差连接与 LayerNorm"]
    C --> F
    F --> G["Feed Forward Network"]
    G --> H["残差连接与 LayerNorm"]
    F --> H
    H --> I["Decoder 输出"]
    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

与 Encoder 相比,原始 Decoder 多了一个 Cross-Attention 子层。

它允许 Decoder 在生成过程中访问 Encoder 的输出表示。

4.2 Masked Self-Attention

Decoder 必须遵循自回归生成机制。

假设目标序列为:

我 喜欢 人工智能

生成过程中:

  • 预测「我」时,不能看到「喜欢」和「人工智能」。
  • 预测「喜欢」时,可以看到「我」,不能看到「人工智能」。
  • 预测「人工智能」时,可以看到「我」和「喜欢」。

因此,需要使用 Causal Mask(因果掩码)。

它通过限制注意力矩阵,禁止当前位置访问未来位置。

对于序列长度为 N,Causal Mask 可以表示为:

M_{ij} = \begin{cases} 0,&j\leq i\\ -\infty,&j>i \end{cases}

加入 Mask 后:

Attention(Q,K,V) = Softmax\left( \frac{QK^T}{\sqrt{d_k}}+M \right)V

未来位置的注意力分数变为负无穷,经过 Softmax 后对应权重为零。

例如,长度为 4 的因果注意力矩阵:

允许关注的位置:

1  0  0  0
1  1  0  0
1  1  1  0
1  1  1  1

其中:

  • 1 表示允许关注。
  • 0 表示禁止关注。

对应的可见关系:

flowchart TB
    A["位置 0:只能看位置 0"]
    B["位置 1:可以看位置 0、1"]
    C["位置 2:可以看位置 0、1、2"]
    D["位置 3:可以看位置 0、1、2、3"]
    A --> B
    B --> C
    C --> D
    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#E5F0E9,stroke:#83A995,color:#315D49

注意,上图表示不同位置允许访问的信息范围,不表示实际生成时必须依次重新计算整个历史序列。

4.3 Cross-Attention:Decoder 如何读取 Encoder 信息?

Cross-Attention 是原始 Encoder-Decoder 架构的重要组成部分。

它让 Decoder 在生成目标 Token 时,可以从 Encoder 的输出中提取相关信息。

与 Self-Attention 不同,Cross-Attention 的 Q、K、V 来自不同的序列表示。

具体而言:

Q=H_DW_Q
K=H_EW_K
V=H_EW_V

其中:

  • H_D:Decoder 当前隐藏状态。
  • H_E:Encoder 输出的上下文表示。
  • Q:来自 Decoder。
  • K、V:来自 Encoder。

注意力计算:

CrossAttention(Q,K,V) = Softmax\left( \frac{QK^T}{\sqrt{d_k}} \right)V

它的含义是:

Decoder 根据当前生成状态形成 Query,再从 Encoder 提供的 Key、Value 中提取与当前生成最相关的信息。

例如,翻译任务中:

源语言:
I love artificial intelligence.

目标语言:
我 喜欢 人工智能

当 Decoder 生成「人工智能」时,可以通过 Cross-Attention 重点读取源语言中与其相关的内容。

Cross-Attention 并不是简单地将 Encoder 输出拼接到 Decoder 输入,而是通过注意力机制动态选择和聚合输入信息。

4.4 Decoder 的训练目标:自回归语言建模

原始 Transformer Decoder 采用自回归方式预测目标序列。

给定目标序列:

Y=(y_1,y_2,\ldots,y_T)

模型学习:

P(Y|X) = \prod_{t=1}^{T} P(y_t|y_{<t},X)

其中:

  • X:Encoder 输入。
  • y_{<t}:当前 Token 之前已经生成的目标 Token。
  • y_t:当前需要预测的 Token。

训练时通常采用 Teacher Forcing:

将目标序列右移一位作为 Decoder 输入。

例如:

目标序列:
<BOS> 我 喜欢 人工智能 <EOS>

Decoder 输入:
<BOS> 我 喜欢 人工智能

训练标签:
我 喜欢 人工智能 <EOS>

模型在每个位置预测下一个 Token。

训练损失通常使用交叉熵:

L = -\sum_{t=1}^{T} \log P(y_t|y_{<t},X)

由于使用了 Causal Mask,每个位置只能利用之前的目标 Token,不会看到未来标签。

4.5 Decoder 的输出

Decoder 的隐藏状态经过线性投影,映射到词表维度:

Logits=HW_{vocab}

其中:

  • H:Decoder 隐藏状态。
  • W_{vocab}:输出投影矩阵。
  • Logits:词表中每个 Token 对应的未归一化分数。

再通过 Softmax 得到概率分布:

P(y_t|context)=Softmax(Logits_t)

模型可以根据概率分布选择下一个 Token。

常见选择策略包括:

  • Greedy Search。
  • Beam Search。
  • Top-K Sampling。
  • Top-P Sampling。
  • Temperature Sampling。

五、Decoder-only:仅解码器架构

Decoder-only 是现代大语言模型中非常重要的架构。

典型代表包括:

  • GPT 系列(OpenAI)。
  • Llama 系列(Meta)。
  • Qwen 系列(阿里巴巴)。
  • DeepSeek 系列(深度求索)。
  • Mistral 系列(Mistral AI)。

它的核心特点是:

只使用 Decoder 风格的因果 Self-Attention,不使用独立 Encoder,也不需要原始 Transformer 中的 Encoder-Decoder Cross-Attention。

需要特别说明:

这里的 Decoder-only 并不是简单地保留原始 Transformer Decoder 的全部结构。

原始 Decoder 包含 Masked Self-Attention 和 Cross-Attention 两个注意力子层。

Decoder-only 通常保留因果 Self-Attention,移除依赖独立 Encoder 输出的 Cross-Attention。

5.1 Decoder-only 的整体结构

flowchart TB
    A["输入 Token 序列"] --> B["Token Embedding"]
    B --> C["位置编码或 RoPE"]
    C --> D["Decoder-only Block 1"]
    D --> E["Decoder-only Block 2"]
    E --> F["Decoder-only Block N"]
    F --> G["最终 LayerNorm"]
    G --> H["Linear 输出投影"]
    H --> I["Logits"]
    I --> J["Softmax"]
    J --> K["下一个 Token 概率分布"]
    K --> L["采样或选择 Token"]
    L --> M["追加到输入序列"]
    M --> N{"是否达到停止条件"}
    N -->|"否"| C
    N -->|"是"| O["生成结束"]
    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#EAF3EC,stroke:#83A995,color:#315D49
    style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style N fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style O fill:#E5F0E9,stroke:#83A995,color:#315D49

每个 Decoder-only Block 通常包括:

  1. Causal Self-Attention。
  2. Feed Forward Network。
  3. Residual Connection。
  4. LayerNorm 或 RMSNorm。

部分现代模型还会采用:

  • RoPE 位置编码。
  • GQA 或 MQA 注意力结构。
  • SwiGLU 前馈网络。
  • RMSNorm。
  • FlashAttention 等高效注意力实现。

这些属于具体模型的结构设计,并不是所有 Decoder-only 模型都必须具备的组件。

5.2 Decoder-only 为什么不需要 Cross-Attention?

这是理解 Decoder-only 的关键。

原始 Encoder-Decoder 架构需要分别处理源序列和目标序列:

  • Encoder 对源序列进行编码。
  • Decoder 根据目标历史状态生成新 Token。
  • Cross-Attention 负责让 Decoder 读取 Encoder 的表示。

但 Decoder-only 使用统一的 Token 序列作为输入。

例如:

用户输入:
什么是人工智能?

模型生成:
人工智能是研究如何让计算机表现出智能行为的技术领域。

模型将输入和生成内容放在同一个序列中。

它不需要单独建立一个 Encoder 来编码用户输入,也不需要通过 Cross-Attention 连接两个独立的网络。

所有信息都通过同一个因果 Self-Attention 网络进行处理。

5.3 Decoder-only 的训练目标

Decoder-only 的核心预训练目标通常是 Causal Language Modeling,也称自回归语言建模。

模型根据前面的 Token 预测下一个 Token:

P(X) = \prod_{t=1}^{T} P(x_t|x_{<t})

其中:

  • X:完整 Token 序列。
  • x_{<t}:当前位置之前的所有 Token。
  • x_t:当前需要预测的 Token。

训练目标:

L_{CLM} = -\sum_{t=1}^{T} \log P(x_t|x_{<t})

例如:

输入:
人工智能的发展离不开

预测目标:
数据、算法、计算能力……

训练时,模型并不是只在序列最后一个位置计算预测损失。

通常会在多个有效位置上同时计算下一个 Token 的预测损失。

由于使用 Causal Mask,每个位置只能看到自己和之前的 Token。

这使得训练过程可以并行计算多个位置的预测结果,同时保持自回归约束。

5.4 Decoder-only 如何实现理解任务?

一个常见疑问:

Encoder 能够双向理解文本,而 Decoder-only 只能看左侧上下文,那么它为什么也能完成文本理解任务?

关键在于:理解和生成并不是完全独立的能力。

Decoder-only 在预测下一个 Token 的过程中,需要学习:

  • 词语之间的语义关系。
  • 句法结构。
  • 上下文依赖。
  • 实体和概念之间的关系。
  • 文本中的逻辑和知识关联。

这些能力都可以通过自回归语言建模目标逐渐学习。

例如:

输入:
中国的首都是

模型需要预测:
北京

为了正确预测下一个 Token,模型需要理解前面上下文表达的含义。

进一步地,通过指令微调、监督微调和偏好优化等训练方式,模型可以学会:

  • 回答问题。
  • 总结文本。
  • 翻译语言。
  • 生成代码。
  • 分析文档。
  • 执行多步骤任务。

因此,Decoder-only 并不是只能生成文字,而是通过统一的自回归建模方式,同时获得上下文理解和内容生成能力。

六、三种架构的核心区别

理解三种架构,最重要的是区分注意力范围、信息来源和训练目标。