返回专栏
· 15 分钟阅读

残差连接与 LayerNorm:Transformer 深层网络稳定训练的关键机制


一、为什么 Transformer 需要残差连接与 LayerNorm?

Transformer 通常由多个 Encoder 或 Decoder Layer 堆叠构成。随着网络深度增加,模型需要面对两个重要问题:

  1. 深层网络的梯度传播问题:梯度在多层网络中反向传播时,可能逐渐变小或变大,导致训练困难。
  2. 网络中间表示的数值稳定性问题:不同层的特征分布可能发生变化,影响后续计算和优化过程。

残差连接(Residual Connection)和 LayerNorm(Layer Normalization,层归一化)分别从不同角度解决这些问题。

机制 核心作用 解决的主要问题
Residual Connection 将子层输入直接加到子层输出 改善梯度传播,保留原始信息
LayerNorm 对单个样本的特征维度进行规范化 稳定特征数值分布,改善优化
两者结合 在深层网络中维持信息与数值稳定性 提高深层 Transformer 的可训练性

需要注意:残差连接与 LayerNorm 并不是同一种操作。

  • 残差连接改变网络的信息传递路径。
  • LayerNorm 改变特征的数值分布。
  • 两者可以组合使用,但组合顺序会影响模型的训练行为。

二、什么是残差连接?

2.1 基本概念

残差连接(Residual Connection),也称跳跃连接(Skip Connection),是一种将网络输入直接传递到后续层,并与当前子层输出相加的结构。

普通神经网络的计算形式:

y=F(x)

加入残差连接后:

y=F(x)+x

其中:

  • x:子层输入。
  • F(x):子层执行的变换。
  • y:残差连接后的输出。

这里的 F 可以是 Attention、FFN 或其他网络模块。

残差连接的关键在于:网络不再只依赖子层学习完整的输入到输出映射,而是学习相对于输入的变化量。

F(x)=y-x

因此:

y=x+F(x)

这也是 Residual(残差)这一名称的来源。

2.2 残差连接的计算过程

flowchart TB
    A["输入 x"] --> B["子层 F(x)"]
    B --> C["子层输出"]
    A --> D["跳跃连接"]
    C --> E["逐元素相加"]
    D --> E
    E --> F["输出 y = x + F(x)"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#E5F0E9,stroke:#83A995,color:#315D49

残差连接包含两条路径:

  • 主路径:输入经过网络子层,得到变换后的特征。
  • 跳跃路径:输入绕过子层,直接传递到相加操作。

两条路径最终通过逐元素加法融合。

2.3 为什么残差连接能够改善梯度传播?

这是理解残差连接最重要的数学原理。

假设:

y=x+F(x)

根据链式法则:

\frac{\partial y}{\partial x} = 1+\frac{\partial F(x)}{\partial x}

可以看到,梯度由两部分组成:

\boxed{ \frac{\partial y}{\partial x} = \underbrace{1}_{\text{恒等路径}} + \underbrace{\frac{\partial F(x)}{\partial x}}_{\text{变换路径}} }

普通网络:

y=F(x)

其梯度为:

\frac{\partial y}{\partial x} = \frac{\partial F(x)}{\partial x}

如果多层网络的梯度连续变小,梯度可能逐渐衰减。

残差网络则增加了一条恒等映射路径,使梯度能够通过跳跃连接直接传播。

对于多层残差结构:

x_{l+1}=x_l+F_l(x_l)

从第 l 层到第 L 层的梯度可以表示为:

\frac{\partial x_L}{\partial x_l} = \prod_{i=l}^{L-1} \left( I+J_{F_i} \right)

其中:

  • I:单位矩阵。
  • J_{F_i}:第 i 层变换函数的 Jacobian 矩阵。

恒等项为梯度提供了额外的传播路径。

但需要准确理解:残差连接并不保证梯度永远不会消失或爆炸。它改善了梯度传播条件,使深层网络更容易优化,但训练稳定性仍然受到网络结构、初始化、归一化、学习率等因素影响。

2.4 残差连接为什么让网络更容易学习?

假设一个网络已经能够生成较好的输入表示,但新增的某个网络层暂时无法学习有效变换。

如果没有残差连接,该层需要直接学习一个合适的映射:

y=F(x)

如果加入残差连接,网络可以先让:

F(x)\approx 0

于是:

y=x+F(x)\approx x

也就是说,即使当前子层没有学到有效的新特征,也可以近似保持输入表示。

后续训练只需要逐步学习有价值的特征变化。

这降低了深层网络优化的难度。

三、残差连接在 Transformer 中的应用

Transformer 并不是在整个 Layer 的输入和输出之间只建立一次残差连接,而是通常在每个主要子层周围分别建立残差连接。

以 Transformer Encoder Layer 为例,包含两个主要子层:

  1. Multi-Head Self-Attention。
  2. Feed-Forward Network。

每个子层都配有残差连接。

3.1 Encoder 中的残差结构

以 Post-LN 形式为例:

H_1=LayerNorm(X+Attention(X))
Y=LayerNorm(H_1+FFN(H_1))

结构如下:

flowchart TB
    A["输入 X"] --> B["Multi-Head Self-Attention"]
    B --> C["Attention 输出"]
    A --> D["残差路径"]
    C --> E["逐元素相加"]
    D --> E
    E --> F["LayerNorm"]
    F --> G["中间表示 H1"]
    G --> H["Feed-Forward Network"]
    H --> I["FFN 输出"]
    G --> J["残差路径"]
    I --> K["逐元素相加"]
    J --> K
    K --> L["LayerNorm"]
    L --> M["Encoder Layer 输出"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style L fill:#EAF3EC,stroke:#83A995,color:#315D49
    style M fill:#E5F0E9,stroke:#83A995,color:#315D49

可以看到:

  • Attention 子层有自己的残差连接。
  • FFN 子层也有自己的残差连接。
  • 每次相加后执行 LayerNorm。

这意味着每个子层都可以在保留原有信息的基础上,学习新的特征变换。

3.2 为什么残差连接要求维度一致?

残差连接的基本操作是逐元素相加:

Y=X+F(X)

因此要求:

Shape(X)=Shape(F(X))

例如:

X\in\mathbb{R}^{B\times N\times d_{model}}

那么子层输出也必须满足:

F(X)\in\mathbb{R}^{B\times N\times d_{model}}

Transformer 的 Attention 输出通常会经过输出投影恢复到模型维度。

FFN 则先升维,再通过第二层线性变换映射回模型维度。

这样才能与原始输入相加。

如果两个张量的维度不同,就无法直接进行标准的逐元素残差相加。

在其他网络结构中,可以通过线性投影等方式调整维度,但这已经不是简单的恒等残差路径。

四、什么是 LayerNorm?

4.1 基本概念

LayerNorm(Layer Normalization,层归一化)是一种归一化技术,用于对神经网络中的特征进行标准化处理。

在 Transformer 中,LayerNorm 通常沿每个 Token 的特征维度计算均值和方差。

假设一个 Token 的特征向量为:

x=[x_1,x_2,\ldots,x_d]

首先计算均值:

\mu= \frac{1}{d} \sum_{i=1}^{d}x_i

然后计算方差:

\sigma^2= \frac{1}{d} \sum_{i=1}^{d}(x_i-\mu)^2

接下来执行标准化:

\hat{x}_i= \frac{x_i-\mu}{\sqrt{\sigma^2+\epsilon}}

最后通过可学习的缩放参数和偏移参数进行变换:

y_i=\gamma_i\hat{x}_i+\beta_i

其中:

  • \mu:当前特征向量的均值。
  • \sigma^2:当前特征向量的方差。
  • \epsilon:防止除零的小常数。
  • \gamma:可学习的缩放参数。
  • \beta:可学习的偏移参数。

因此,完整的 LayerNorm 可以表示为:

\boxed{ LayerNorm(x)= \gamma\odot \frac{x-\mu}{\sqrt{\sigma^2+\epsilon}} +\beta }

其中 \odot 表示逐元素乘法。

4.2 LayerNorm 的计算过程

flowchart TB
    A["输入特征向量 x"] --> B["计算特征均值 μ"]
    A --> C["计算特征方差 σ²"]
    B --> D["减去均值"]
    A --> D
    D --> E["除以标准差"]
    C --> E
    E --> F["乘以可学习参数 γ"]
    F --> G["加上可学习参数 β"]
    G --> H["输出规范化特征"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

LayerNorm 并不是简单地把所有数值压缩到某个固定范围,而是先进行标准化,再通过可学习参数恢复模型所需要的表达尺度和偏移。

4.3 为什么 LayerNorm 需要可学习参数?

如果只执行标准化:

\hat{x}= \frac{x-\mu}{\sqrt{\sigma^2+\epsilon}}

模型的输出会受到标准化操作的约束。

但不同网络层、不同特征维度可能需要不同的数值尺度和偏移。

因此,LayerNorm 引入:

y=\gamma\odot\hat{x}+\beta

其中:

  • \gamma 控制每个特征维度的缩放程度。
  • \beta 控制每个特征维度的偏移程度。

这两个参数可以通过反向传播学习。

对于特征维度为 d 的 LayerNorm:

  • \gamma 有 d 个可学习参数。
  • \beta 有 d 个可学习参数。

因此,标准 LayerNorm 通常包含:

P_{LayerNorm}=2d

个可学习参数。

需要注意,均值和方差是根据当前输入计算得到的统计量,不是像 \gamma 和 \beta 一样通过训练直接学习的参数。

五、LayerNorm 到底规范化哪些维度?

这是理解 LayerNorm 时最容易混淆的地方之一。

假设 Transformer 输入:

X\in\mathbb{R}^{B\times N\times d}

其中:

  • B:Batch Size。
  • N:序列长度。
  • d:特征维度。

标准 Transformer 中的 LayerNorm 通常设置:

nn.LayerNorm(d_model)

它只沿最后一个特征维度进行规范化。

5.1 每个 Token 独立计算

假设:

X\in\mathbb{R}^{2\times3\times4}

表示:

  • 2 个样本。
  • 每个样本有 3 个 Token。
  • 每个 Token 有 4 个特征。

LayerNorm 会对每个 Token 的 4 个特征分别计算均值和方差。

总共会有:

2\times3=6

组独立的统计量。

不会将不同 Token 的特征混在一起计算,也不会将不同样本的数据混在一起计算。

5.2 LayerNorm 的计算维度示意

flowchart TB
    A["输入张量<br/>B × N × d"] --> B["按 Batch 和 Token 定位"]
    B --> C["取出单个 Token 的 d 维向量"]
    C --> D["计算该向量的均值和方差"]
    D --> E["执行标准化"]
    E --> F["应用 γ 和 β"]
    F --> G["得到该 Token 的输出"]
    G --> H["所有 Token 组成输出张量"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

这意味着即使不同样本的序列长度不同,只要输入张量组织方式正确,LayerNorm 就不需要依赖整个 Batch 的统计量。

这也是 LayerNorm 特别适合 NLP 和 Transformer 的原因之一。

六、LayerNorm 与 BatchNorm 的区别

BatchNorm(Batch Normalization)和 LayerNorm 都属于归一化方法,但它们计算统计量的维度不同。

6.1 BatchNorm

BatchNorm 通常沿 Batch 维度统计特征的均值和方差。

以常见的二维输入为例:

X\in\mathbb{R}^{B\times C}

对于每个特征通道 c,BatchNorm 计算:

\mu_c= \frac{1}{B}\sum_{i=1}^{B}x_{ic}
\sigma_c^2= \frac{1}{B}\sum_{i=1}^{B}(x_{ic}-\mu_c)^2

即不同样本的同一特征维度共同参与统计。

在常见的图像卷积网络中,BatchNorm 通常对每个通道跨 Batch 和空间位置计算统计量。

6.2 LayerNorm

LayerNorm 则对每个样本内部的特征维度进行统计。

对于:

X\in\mathbb{R}^{B\times N\times d}

每个 Token 单独计算:

\mu_{b,n}= \frac{1}{d} \sum_{j=1}^{d}X_{b,n,j}

因此:

  • BatchNorm 依赖 Batch 维度上的统计量。
  • LayerNorm 不依赖其他样本的统计量。

6.3 两者对比

对比维度 BatchNorm LayerNorm
统计维度 通常跨 Batch 维度 特征维度
是否依赖 Batch Size 是,统计量受 Batch 影响 否
是否需要运行统计量 经典 BatchNorm 需要 不需要
训练与推理 使用方式通常不同 计算方式基本一致
常见应用 CNN、视觉网络 Transformer、NLP
参数 可学习缩放和偏移 可学习缩放和偏移

需要注意:

BatchNorm 在训练时使用当前 Batch 的统计量,并维护运行均值和运行方差供推理使用;LayerNorm 则在每次前向计算时,根据当前输入自身的特征计算统计量。

因此,LayerNorm 更适合 Transformer 这种序列长度和 Batch Size 可能变化较大的场景。

七、Pre-LN 与 Post-LN:LayerNorm 放在哪里?

这是 Transformer 架构设计中非常重要的区别。

LayerNorm 并不只有一种固定放置方式。

按照 LayerNorm 相对于残差连接的位置,可以分为:

  • Post-LN:先执行子层变换和残差相加,再执行 LayerNorm。
  • Pre-LN:先执行 LayerNorm,再将结果输入子层,最后执行残差相加。

两种结构在前向计算和梯度传播方面存在明显差异。

7.1 Post-LN:先残差相加,再归一化

Post-LN 是原始 Transformer 采用的典型结构。

其公式为:

Y=LayerNorm(X+F(X))

计算过程:

  1. 输入 X 进入子层。
  2. 子层计算得到 F(X)。
  3. 将子层输出与原始输入相加。
  4. 对相加结果执行 LayerNorm。
  5. 得到输出 Y。

结构:

flowchart TB
    A["输入 X"] --> B["子层 F(X)"]
    B --> C["子层输出"]
    A --> D["残差路径"]
    C --> E["逐元素相加"]
    D --> E
    E --> F["LayerNorm"]
    F --> G["输出 Y"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49

Post-LN 的特点:

  • 残差相加后的结果会经过 LayerNorm。
  • 归一化直接作用于子层输出和输入的融合结果。
  • 深层网络中,梯度传播会受到多个 LayerNorm 的影响。
  • 在一些训练配置下,深层 Post-LN Transformer 的优化难度较高。

7.2 Pre-LN:先归一化,再执行子层

Pre-LN 的计算公式:

Y=X+F(LayerNorm(X))

计算过程:

  1. 输入 X 进入 LayerNorm。
  2. 归一化结果进入子层。
  3. 子层输出与原始输入相加。
  4. 得到输出 Y。

结构:

flowchart TB
    A["输入 X"] --> B["LayerNorm"]
    B --> C["子层 F(LayerNorm(X))"]
    C --> D["子层输出"]
    A --> E["残差路径"]
    D --> F["逐元素相加"]
    E --> F
    F --> G["输出 Y"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49