一、为什么 Transformer 需要残差连接与 LayerNorm?
Transformer 通常由多个 Encoder 或 Decoder Layer 堆叠构成。随着网络深度增加,模型需要面对两个重要问题:
- 深层网络的梯度传播问题:梯度在多层网络中反向传播时,可能逐渐变小或变大,导致训练困难。
- 网络中间表示的数值稳定性问题:不同层的特征分布可能发生变化,影响后续计算和优化过程。
残差连接(Residual Connection)和 LayerNorm(Layer Normalization,层归一化)分别从不同角度解决这些问题。
| 机制 | 核心作用 | 解决的主要问题 |
|---|---|---|
| Residual Connection | 将子层输入直接加到子层输出 | 改善梯度传播,保留原始信息 |
| LayerNorm | 对单个样本的特征维度进行规范化 | 稳定特征数值分布,改善优化 |
| 两者结合 | 在深层网络中维持信息与数值稳定性 | 提高深层 Transformer 的可训练性 |
需要注意:残差连接与 LayerNorm 并不是同一种操作。
- 残差连接改变网络的信息传递路径。
- LayerNorm 改变特征的数值分布。
- 两者可以组合使用,但组合顺序会影响模型的训练行为。
二、什么是残差连接?
2.1 基本概念
残差连接(Residual Connection),也称跳跃连接(Skip Connection),是一种将网络输入直接传递到后续层,并与当前子层输出相加的结构。
普通神经网络的计算形式:
加入残差连接后:
其中:
- x:子层输入。
- F(x):子层执行的变换。
- y:残差连接后的输出。
这里的 F 可以是 Attention、FFN 或其他网络模块。
残差连接的关键在于:网络不再只依赖子层学习完整的输入到输出映射,而是学习相对于输入的变化量。
因此:
这也是 Residual(残差)这一名称的来源。
2.2 残差连接的计算过程
flowchart TB
A["输入 x"] --> B["子层 F(x)"]
B --> C["子层输出"]
A --> D["跳跃连接"]
C --> E["逐元素相加"]
D --> E
E --> F["输出 y = x + F(x)"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#E5F0E9,stroke:#83A995,color:#315D49
残差连接包含两条路径:
- 主路径:输入经过网络子层,得到变换后的特征。
- 跳跃路径:输入绕过子层,直接传递到相加操作。
两条路径最终通过逐元素加法融合。
2.3 为什么残差连接能够改善梯度传播?
这是理解残差连接最重要的数学原理。
假设:
根据链式法则:
可以看到,梯度由两部分组成:
普通网络:
其梯度为:
如果多层网络的梯度连续变小,梯度可能逐渐衰减。
残差网络则增加了一条恒等映射路径,使梯度能够通过跳跃连接直接传播。
对于多层残差结构:
从第 l 层到第 L 层的梯度可以表示为:
其中:
- I:单位矩阵。
- J_{F_i}:第 i 层变换函数的 Jacobian 矩阵。
恒等项为梯度提供了额外的传播路径。
但需要准确理解:残差连接并不保证梯度永远不会消失或爆炸。它改善了梯度传播条件,使深层网络更容易优化,但训练稳定性仍然受到网络结构、初始化、归一化、学习率等因素影响。
2.4 残差连接为什么让网络更容易学习?
假设一个网络已经能够生成较好的输入表示,但新增的某个网络层暂时无法学习有效变换。
如果没有残差连接,该层需要直接学习一个合适的映射:
如果加入残差连接,网络可以先让:
于是:
也就是说,即使当前子层没有学到有效的新特征,也可以近似保持输入表示。
后续训练只需要逐步学习有价值的特征变化。
这降低了深层网络优化的难度。
三、残差连接在 Transformer 中的应用
Transformer 并不是在整个 Layer 的输入和输出之间只建立一次残差连接,而是通常在每个主要子层周围分别建立残差连接。
以 Transformer Encoder Layer 为例,包含两个主要子层:
- Multi-Head Self-Attention。
- Feed-Forward Network。
每个子层都配有残差连接。
3.1 Encoder 中的残差结构
以 Post-LN 形式为例:
结构如下:
flowchart TB
A["输入 X"] --> B["Multi-Head Self-Attention"]
B --> C["Attention 输出"]
A --> D["残差路径"]
C --> E["逐元素相加"]
D --> E
E --> F["LayerNorm"]
F --> G["中间表示 H1"]
G --> H["Feed-Forward Network"]
H --> I["FFN 输出"]
G --> J["残差路径"]
I --> K["逐元素相加"]
J --> K
K --> L["LayerNorm"]
L --> M["Encoder Layer 输出"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style L fill:#EAF3EC,stroke:#83A995,color:#315D49
style M fill:#E5F0E9,stroke:#83A995,color:#315D49
可以看到:
- Attention 子层有自己的残差连接。
- FFN 子层也有自己的残差连接。
- 每次相加后执行 LayerNorm。
这意味着每个子层都可以在保留原有信息的基础上,学习新的特征变换。
3.2 为什么残差连接要求维度一致?
残差连接的基本操作是逐元素相加:
因此要求:
例如:
那么子层输出也必须满足:
Transformer 的 Attention 输出通常会经过输出投影恢复到模型维度。
FFN 则先升维,再通过第二层线性变换映射回模型维度。
这样才能与原始输入相加。
如果两个张量的维度不同,就无法直接进行标准的逐元素残差相加。
在其他网络结构中,可以通过线性投影等方式调整维度,但这已经不是简单的恒等残差路径。
四、什么是 LayerNorm?
4.1 基本概念
LayerNorm(Layer Normalization,层归一化)是一种归一化技术,用于对神经网络中的特征进行标准化处理。
在 Transformer 中,LayerNorm 通常沿每个 Token 的特征维度计算均值和方差。
假设一个 Token 的特征向量为:
首先计算均值:
然后计算方差:
接下来执行标准化:
最后通过可学习的缩放参数和偏移参数进行变换:
其中:
- \mu:当前特征向量的均值。
- \sigma^2:当前特征向量的方差。
- \epsilon:防止除零的小常数。
- \gamma:可学习的缩放参数。
- \beta:可学习的偏移参数。
因此,完整的 LayerNorm 可以表示为:
其中 \odot 表示逐元素乘法。
4.2 LayerNorm 的计算过程
flowchart TB
A["输入特征向量 x"] --> B["计算特征均值 μ"]
A --> C["计算特征方差 σ²"]
B --> D["减去均值"]
A --> D
D --> E["除以标准差"]
C --> E
E --> F["乘以可学习参数 γ"]
F --> G["加上可学习参数 β"]
G --> H["输出规范化特征"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
LayerNorm 并不是简单地把所有数值压缩到某个固定范围,而是先进行标准化,再通过可学习参数恢复模型所需要的表达尺度和偏移。
4.3 为什么 LayerNorm 需要可学习参数?
如果只执行标准化:
模型的输出会受到标准化操作的约束。
但不同网络层、不同特征维度可能需要不同的数值尺度和偏移。
因此,LayerNorm 引入:
其中:
- \gamma 控制每个特征维度的缩放程度。
- \beta 控制每个特征维度的偏移程度。
这两个参数可以通过反向传播学习。
对于特征维度为 d 的 LayerNorm:
- \gamma 有 d 个可学习参数。
- \beta 有 d 个可学习参数。
因此,标准 LayerNorm 通常包含:
个可学习参数。
需要注意,均值和方差是根据当前输入计算得到的统计量,不是像 \gamma 和 \beta 一样通过训练直接学习的参数。
五、LayerNorm 到底规范化哪些维度?
这是理解 LayerNorm 时最容易混淆的地方之一。
假设 Transformer 输入:
其中:
- B:Batch Size。
- N:序列长度。
- d:特征维度。
标准 Transformer 中的 LayerNorm 通常设置:
nn.LayerNorm(d_model)
它只沿最后一个特征维度进行规范化。
5.1 每个 Token 独立计算
假设:
表示:
- 2 个样本。
- 每个样本有 3 个 Token。
- 每个 Token 有 4 个特征。
LayerNorm 会对每个 Token 的 4 个特征分别计算均值和方差。
总共会有:
组独立的统计量。
不会将不同 Token 的特征混在一起计算,也不会将不同样本的数据混在一起计算。
5.2 LayerNorm 的计算维度示意
flowchart TB
A["输入张量<br/>B × N × d"] --> B["按 Batch 和 Token 定位"]
B --> C["取出单个 Token 的 d 维向量"]
C --> D["计算该向量的均值和方差"]
D --> E["执行标准化"]
E --> F["应用 γ 和 β"]
F --> G["得到该 Token 的输出"]
G --> H["所有 Token 组成输出张量"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
这意味着即使不同样本的序列长度不同,只要输入张量组织方式正确,LayerNorm 就不需要依赖整个 Batch 的统计量。
这也是 LayerNorm 特别适合 NLP 和 Transformer 的原因之一。
六、LayerNorm 与 BatchNorm 的区别
BatchNorm(Batch Normalization)和 LayerNorm 都属于归一化方法,但它们计算统计量的维度不同。
6.1 BatchNorm
BatchNorm 通常沿 Batch 维度统计特征的均值和方差。
以常见的二维输入为例:
对于每个特征通道 c,BatchNorm 计算:
即不同样本的同一特征维度共同参与统计。
在常见的图像卷积网络中,BatchNorm 通常对每个通道跨 Batch 和空间位置计算统计量。
6.2 LayerNorm
LayerNorm 则对每个样本内部的特征维度进行统计。
对于:
每个 Token 单独计算:
因此:
- BatchNorm 依赖 Batch 维度上的统计量。
- LayerNorm 不依赖其他样本的统计量。
6.3 两者对比
| 对比维度 | BatchNorm | LayerNorm |
|---|---|---|
| 统计维度 | 通常跨 Batch 维度 | 特征维度 |
| 是否依赖 Batch Size | 是,统计量受 Batch 影响 | 否 |
| 是否需要运行统计量 | 经典 BatchNorm 需要 | 不需要 |
| 训练与推理 | 使用方式通常不同 | 计算方式基本一致 |
| 常见应用 | CNN、视觉网络 | Transformer、NLP |
| 参数 | 可学习缩放和偏移 | 可学习缩放和偏移 |
需要注意:
BatchNorm 在训练时使用当前 Batch 的统计量,并维护运行均值和运行方差供推理使用;LayerNorm 则在每次前向计算时,根据当前输入自身的特征计算统计量。
因此,LayerNorm 更适合 Transformer 这种序列长度和 Batch Size 可能变化较大的场景。
七、Pre-LN 与 Post-LN:LayerNorm 放在哪里?
这是 Transformer 架构设计中非常重要的区别。
LayerNorm 并不只有一种固定放置方式。
按照 LayerNorm 相对于残差连接的位置,可以分为:
- Post-LN:先执行子层变换和残差相加,再执行 LayerNorm。
- Pre-LN:先执行 LayerNorm,再将结果输入子层,最后执行残差相加。
两种结构在前向计算和梯度传播方面存在明显差异。
7.1 Post-LN:先残差相加,再归一化
Post-LN 是原始 Transformer 采用的典型结构。
其公式为:
计算过程:
- 输入 X 进入子层。
- 子层计算得到 F(X)。
- 将子层输出与原始输入相加。
- 对相加结果执行 LayerNorm。
- 得到输出 Y。
结构:
flowchart TB
A["输入 X"] --> B["子层 F(X)"]
B --> C["子层输出"]
A --> D["残差路径"]
C --> E["逐元素相加"]
D --> E
E --> F["LayerNorm"]
F --> G["输出 Y"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
Post-LN 的特点:
- 残差相加后的结果会经过 LayerNorm。
- 归一化直接作用于子层输出和输入的融合结果。
- 深层网络中,梯度传播会受到多个 LayerNorm 的影响。
- 在一些训练配置下,深层 Post-LN Transformer 的优化难度较高。
7.2 Pre-LN:先归一化,再执行子层
Pre-LN 的计算公式:
计算过程:
- 输入 X 进入 LayerNorm。
- 归一化结果进入子层。
- 子层输出与原始输入相加。
- 得到输出 Y。
结构:
flowchart TB
A["输入 X"] --> B["LayerNorm"]
B --> C["子层 F(LayerNorm(X))"]
C --> D["子层输出"]
A --> E["残差路径"]
D --> F["逐元素相加"]
E --> F
F --> G["输出 Y"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#E5F0E9,stroke:#83A995,color:#315D49