返回专栏
· 17 分钟阅读

Transformer 的整体架构:从 Encoder、Decoder 到完整计算流程


一、Transformer 整体架构概览

Transformer 是一种以 Attention 为核心的深度学习架构。它通过多层网络对输入序列进行特征提取、上下文信息融合和任务输出。

原始 Transformer 采用 Encoder-Decoder 架构,主要包含两个部分:

  • Encoder(编码器): 将输入序列转换为包含上下文信息的隐藏表示。
  • Decoder(解码器): 根据已有上下文和 Encoder 输出,逐步生成目标序列。

整体结构:

flowchart TB
    A["输入序列"] --> B["Token Embedding"]
    B --> C["位置编码"]
    C --> D["Encoder"]
    D --> E["Encoder 输出"]
    F["目标序列右移后的输入"] --> G["Target Embedding"]
    G --> H["位置编码"]
    H --> I["Decoder"]
    E --> I
    I --> J["Linear 输出投影"]
    J --> K["Softmax"]
    K --> L["目标 Token 概率分布"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style L fill:#E5F0E9,stroke:#83A995,color:#315D49

需要注意,原始 Transformer 的 Decoder 在训练时接收右移后的目标序列,通过 Masked Self-Attention 避免访问未来 Token;推理时则根据已生成内容逐步生成后续 Token。

现代大语言模型通常采用 Decoder-only 架构,不一定保留原始 Transformer 的完整 Encoder-Decoder 结构。

二、Transformer 的核心模块

从网络结构看,一个典型 Transformer Layer 由注意力模块、前馈网络、残差连接和归一化模块构成。

2.1 核心模块清单

模块 主要作用
Token Embedding 将 Token ID 映射为连续向量
Positional Encoding 为模型提供位置信息
Multi-Head Attention 建立 Token 之间的信息关联
Cross-Attention 让 Decoder 关注 Encoder 输出
Feed Forward Network 对特征进行非线性变换
Residual Connection 提供信息和梯度的直接传播路径
Layer Normalization 稳定网络中的特征分布
Mask 限制注意力能够访问的位置
Linear Projection 将隐藏状态映射到目标输出空间
Softmax 将 Logits 转换为概率分布

2.2 模块之间的关系

Transformer 的核心计算可以概括为:

flowchart TB
    A["Token Embedding"] --> B["加入位置信息"]
    B --> C["Attention 信息交互"]
    C --> D["残差连接与归一化"]
    D --> E["FFN 非线性变换"]
    E --> F["残差连接与归一化"]
    F --> G["输出隐藏表示"]
    G --> H["进入下一层 Transformer"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

这里展示的是一种常见的 Post-LN 风格计算顺序。现代模型也广泛使用 Pre-LN 结构,具体排列会有所不同。

三、输入层:Embedding 与位置编码

Transformer 不直接处理自然语言文本,而是处理经过数值化后的 Token 表示。

3.1 Tokenizer:文本切分

首先,Tokenizer 将输入文本切分为 Token,并转换成 Token ID。

例如:

输入:
我喜欢人工智能

Token:
["我", "喜欢", "人工智能"]

Token ID:
[101, 205, 308]

这里的 Token 和 Token ID 只是示意,实际切分结果取决于 Tokenizer 的词表和算法。

Tokenizer 负责文本离散化,不属于 Transformer Layer 本身,但它是语言模型输入处理的重要组成部分。

3.2 Token Embedding

Token ID 是离散整数,不能直接作为 Transformer 的语义特征。

因此,需要通过 Embedding 矩阵将 Token ID 映射为连续向量。

设:

  • 词表大小为 V。
  • 隐藏维度为 d_{model}。

Embedding 矩阵:

E\in\mathbb{R}^{V\times d_{model}}

对于 Token ID i:

\mathbf{x}_i=E[i]

如果输入序列长度为 n,则整个输入表示为:

X\in\mathbb{R}^{n\times d_{model}}

例如:

n=128,\quad d_{model}=768

则:

X\in\mathbb{R}^{128\times768}

表示 128 个 Token,每个 Token 对应一个 768 维向量。

3.3 位置编码

标准 Self-Attention 本身不包含序列顺序信息,因此需要通过位置编码提供位置信息。

原始 Transformer 使用正弦位置编码:

PE(pos,2i)= \sin\left( \frac{pos}{10000^{2i/d_{model}}} \right)
PE(pos,2i+1)= \cos\left( \frac{pos}{10000^{2i/d_{model}}} \right)

输入表示为:

X=Embedding(Token)+PE(position)

现代 Transformer 还可能采用:

  • 可学习绝对位置编码。
  • 相对位置编码。
  • RoPE。
  • ALiBi。

不同位置编码方式的注入位置和计算机制不同。例如 RoPE 通常作用于 Attention 中的 Query 和 Key,而不是简单地与 Token Embedding 相加。

四、Encoder:编码器架构

Encoder 的主要职责是理解输入序列,并将其转换为上下文相关的隐藏表示。

原始 Transformer 的 Encoder 由 N 个相同结构的 Encoder Layer 堆叠而成。

Encoder(X)=Layer_N(\cdots Layer_2(Layer_1(X)))

每个 Encoder Layer 包含两个主要子层:

  1. Multi-Head Self-Attention。
  2. Feed Forward Network。

每个子层还配合残差连接和 Layer Normalization。

4.1 Encoder Layer 结构

flowchart TB
    A["输入 X"] --> B["Multi-Head Self-Attention"]
    B --> C["残差相加"]
    A --> C
    C --> D["Layer Normalization"]
    D --> E["Feed Forward Network"]
    E --> F["残差相加"]
    D --> F
    F --> G["Layer Normalization"]
    G --> H["Encoder Layer 输出"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

这里采用 Post-LN 表示方式,对应:

Y=LN(X+MHA(X))
Z=LN(Y+FFN(Y))

其中:

  • MHA:多头自注意力。
  • FFN:前馈神经网络。
  • LN:Layer Normalization。

4.2 Encoder 的 Self-Attention

Encoder 使用双向 Self-Attention。

每个 Token 都可以关注输入序列中的其他有效 Token,不受因果方向限制。

例如:

输入:
我 喜欢 学习 Transformer

处理:
"学习" 可以关注 "我"
"学习" 可以关注 "喜欢"
"学习" 可以关注 "Transformer"

这样,Encoder 中每个位置都能融合完整输入序列的上下文信息。

这里的双向并不意味着模型一定理解了全部语义,而是指注意力计算不受从左到右的因果掩码限制。

4.3 Encoder 的输出

经过 N 层 Encoder 后,得到:

H_{enc}\in\mathbb{R}^{n\times d_{model}}

其中:

  • n:输入序列长度。
  • d_{model}:隐藏维度。

每个位置的输出都融合了输入序列中的上下文信息。

这些隐藏表示可以用于:

  • 文本分类。
  • 命名实体识别。
  • 语义特征提取。
  • 机器翻译中的目标序列生成。
  • 其他下游任务。

五、Decoder:解码器架构

原始 Transformer 的 Decoder 负责生成目标序列。

它与 Encoder 的主要区别是:

  • 使用 Masked Self-Attention。
  • 增加 Encoder-Decoder Cross-Attention。
  • 通过自回归方式预测目标 Token。

原始 Decoder 由 N 个 Decoder Layer 堆叠而成。

5.1 Decoder Layer 结构

一个原始 Transformer Decoder Layer 包含三个主要子层:

  1. Masked Multi-Head Self-Attention。
  2. Encoder-Decoder Cross-Attention。
  3. Feed Forward Network。

结构如下:

flowchart TB
    A["Decoder 输入"] --> B["Masked Multi-Head Self-Attention"]
    B --> C["残差相加与 LayerNorm"]
    A --> C
    C --> D["Cross-Attention"]
    E["Encoder 输出"] --> D
    D --> F["残差相加与 LayerNorm"]
    C --> F
    F --> G["Feed Forward Network"]
    G --> H["残差相加与 LayerNorm"]
    F --> H
    H --> I["Decoder Layer 输出"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

5.2 Masked Self-Attention

Decoder 采用自回归生成方式。

在预测当前位置 Token 时,只能访问当前位置以及之前的 Token。

例如:

目标序列:
我 喜欢 人工智能

预测位置 1:只能访问 我
预测位置 2:可以访问 我、喜欢
预测位置 3:可以访问 我、喜欢、人工智能

使用因果掩码(Causal Mask)屏蔽未来位置:

Attention(Q,K,V) = Softmax\left( \frac{QK^T}{\sqrt{d_k}}+M \right)V

其中,未来位置对应的 Mask 值为负无穷,使其 Softmax 权重为零。

5.3 Cross-Attention

Cross-Attention(交叉注意力)用于建立 Decoder 与 Encoder 之间的信息联系。

它与 Self-Attention 的关键区别是 Q、K、V 的来源不同。

在原始 Transformer 中:

  • Query 来自 Decoder 当前隐藏状态。
  • Key 来自 Encoder 输出。
  • Value 来自 Encoder 输出。

设:

H_{dec}\in\mathbb{R}^{m\times d_{model}}
H_{enc}\in\mathbb{R}^{n\times d_{model}}

则:

Q=H_{dec}W_Q
K=H_{enc}W_K
V=H_{enc}W_V

Cross-Attention:

CrossAttention(Q,K,V) = Softmax\left( \frac{QK^T}{\sqrt{d_k}} \right)V

其中:

  • m:当前目标序列长度。
  • n:源序列长度。

注意力矩阵的形状为:

m\times n

这意味着 Decoder 中每个位置都可以根据自身状态,从 Encoder 的所有输入位置中提取相关信息。

5.4 Cross-Attention 的作用

以机器翻译为例:

源语言:
I love artificial intelligence.

目标语言:
我喜欢人工智能。

Encoder 将源语言编码为上下文表示。

Decoder 在生成目标语言时,通过 Cross-Attention 访问 Encoder 输出,从而利用源语言信息生成目标文本。

Cross-Attention 并不是简单地将源语言向量拼接到目标语言向量,而是通过 Query、Key、Value 计算动态的信息聚合。

六、Encoder 与 Decoder 的区别

Encoder 和 Decoder 都使用 Transformer Layer,但它们的注意力机制和任务目标不同。

对比维度 Encoder Decoder
主要任务 输入理解与特征编码 自回归生成目标序列
Self-Attention 双向注意力 因果注意力
Causal Mask 通常不使用 使用
Cross-Attention 原始结构中没有 原始结构中使用
输入 源序列 目标序列的右移输入
输出 上下文隐藏表示 目标序列隐藏表示
典型应用 文本理解、特征提取 文本生成、序列生成

需要注意,这里的 Encoder 和 Decoder 指原始 Encoder-Decoder Transformer 中的结构。

现代 Decoder-only 模型通常没有 Cross-Attention,也不需要独立的 Encoder。

七、Transformer 中的注意力机制

Attention 是 Transformer 的核心计算模块。

7.1 Scaled Dot-Product Attention

给定:

Q\in\mathbb{R}^{n_q\times d_k}
K\in\mathbb{R}^{n_k\times d_k}
V\in\mathbb{R}^{n_k\times d_v}

计算:

S=\frac{QK^T}{\sqrt{d_k}}
A=Softmax(S)
Output=AV

完整公式:

Attention(Q,K,V) = Softmax\left( \frac{QK^T}{\sqrt{d_k}} \right)V

如果存在 Mask,则需要在 Softmax 之前加入掩码。

7.2 Multi-Head Attention

多个 Attention Head 在不同表示子空间中独立计算:

head_i=Attention(QW_i^Q,KW_i^K,VW_i^V)

拼接后进行输出投影:

MHA(Q,K,V) = Concat(head_1,\ldots,head_h)W^O

多头注意力能够提升模型学习不同关联模式的能力。

7.3 MHA、MQA 与 GQA

现代大语言模型为了减少 KV Cache 占用,发展出不同的注意力结构。

类型 Query Head Key/Value Head 核心特点
MHA h h 每个 Query Head 使用独立 K/V
MQA h 1 所有 Query Head 共享一组 K/V
GQA h g 多个 Query Head 分组共享 K/V

其中:

1\leq g\leq h

GQA 在 KV Cache 占用和注意力表示能力之间进行折中。

八、FFN:前馈网络的计算机制

Attention 负责不同 Token 之间的信息交互,FFN 负责对每个 Token 的表示进行非线性变换。

8.1 原始 FFN 结构

原始 Transformer 使用两层线性变换和 ReLU 激活函数:

FFN(x)= ReLU(xW_1+b_1)W_2+b_2

通常先扩展隐藏维度,再映射回原始维度。

例如:

d_{model}=512
d_{ff}=2048

则:

512\rightarrow2048\rightarrow512

8.2 现代 FFN 结构

现代大语言模型可能采用 GELU、SwiGLU 等激活结构。

例如:

SwiGLU(x)= (SiLU(xW_g)\odot xW_v)W_o

其中:

  • W_g:门控分支参数。
  • W_v:值分支参数。
  • W_o:输出投影参数。
  • \odot:逐元素乘法。

门控机制使模型能够动态控制特征信息的传递。

8.3 Attention 与 FFN 的协作

可以将二者理解为两个不同层面的计算:

  • Attention:在序列位置之间交换和聚合信息。
  • FFN:对每个位置融合后的表示进行非线性特征变换。

两者交替堆叠,使模型逐层构建更加复杂的上下文表示。

九、残差连接与 Layer Normalization

Transformer 通常包含几十层甚至上百层网络。

如果没有合理的信息传播和归一化机制,深层网络可能面临训练不稳定的问题。

9.1 Residual Connection

残差连接的基本公式:

y=x+F(x)

其中:

  • x:子层输入。
  • F(x):Attention 或 FFN 的计算结果。
  • y:残差输出。

它为信息和梯度提供了直接传播路径。

9.2 Layer Normalization

LayerNorm 对单个 Token 的特征维度进行归一化。

\mu=\frac{1}{d}\sum_{i=1}^{d}x_i
\sigma^2=\frac{1}{d}\sum_{i=1}^{d}(x_i-\mu)^2
LN(x)= \gamma\frac{x-\mu}{\sqrt{\sigma^2+\epsilon}}+\beta

其中:

  • \gamma:可学习缩放参数。
  • \beta:可学习偏置参数。
  • \epsilon:数值稳定项。

9.3 Post-LN 与 Pre-LN

Post-LN:

y=LN(x+F(x))

Pre-LN:

y=x+F(LN(x))

两种结构的主要区别在于 LayerNorm 所处的位置。

结构 归一化位置 特点
Post-LN 残差相加之后 原始 Transformer 采用
Pre-LN 子层计算之前 现代深层模型广泛采用

Pre-LN 通常具有更稳定的深层训练特性,但具体设计仍取决于模型架构和训练配置。

十、张量维度:理解 Transformer 的数据流转

理解 Transformer 架构,必须掌握各模块之间的张量维度变化。

假设:

  • Batch Size:B=32
  • 序列长度:N=128
  • 隐藏维度:d_{model}=768
  • 注意力头数:h=12
  • 每个 Head 维度:d_k=d_v=64

10.1 输入张量

Embedding 输出:

X\in\mathbb{R}^{B\times N\times d_{model}}

代入:

X\in\mathbb{R}^{32\times128\times768}

10.2 Q、K、V 投影

经过线性投影:

Q,K,V\in \mathbb{R}^{32\times128\times768}

再拆分为多个注意力头:

Q,K,V\in \mathbb{R}^{32\times12\times128\times64}

维度含义:

维度 含义
32 Batch Size
12 Attention Head 数量
128 Sequence Length
64 Head Dimension

10.3 注意力分数矩阵

计算:

QK^T

得到:

A\in \mathbb{R}^{32\times12\times128\times128}

每个 Batch、每个 Head 都拥有一个 128\times128 的注意力分数矩阵。

10.4 Attention 输出

注意力权重与 V 相乘:

Output=AV

得到:

Output\in \mathbb{R}^{32\times12\times128\times64}

将多个 Head 拼接:

Output\in \mathbb{R}^{32\times128\times768}

再经过输出投影,保持隐藏维度不变。

10.5 FFN 维度变化

假设:

d_{ff}=3072

则:

[32,128,768] \rightarrow [32,128,3072] \rightarrow [32,128,768]

Transformer Layer 的输入和输出通常保持相同的隐藏维度,以便残差连接。

10.6 维度变化汇总

计算阶段 张量形状
Embedding 输出 [32, 128, 768]
Q/K/V 投影 [32, 128, 768]
多头拆分 [32, 12, 128, 64]
Attention Score [32, 12, 128, 128]
Attention 输出 [32, 12, 128, 64]
Head 拼接 [32, 128, 768]
FFN 第一层 [32, 128, 3072]
FFN 第二层 [32, 128, 768]

这些维度是标准 MHA 的典型示例。GQA、MQA、不同隐藏维度和不同注意力实现会有相应变化。

十一、原始 Transformer 与现代 LLM 架构

原始 Transformer 是 Encoder-Decoder 结构,但现代大语言模型大多采用 Decoder-only 架构。