返回专栏
· 18 分钟阅读

RNN、LSTM 与 GRU:深入理解循环神经网络的序列建模机制


一、为什么需要循环神经网络?

在前面的 CNN 卷积神经网络中,我们主要讨论了图像数据的特征提取。

图像具有二维空间结构,而文本、语音、时间序列等数据具有明显的时间或顺序关系。

例如:

  • 文本:一个句子由多个按照顺序排列的 Token 组成。
  • 语音:音频由连续采样点或声学特征帧组成。
  • 时间序列:股票价格、传感器读数按照时间顺序变化。
  • 视频:视频由连续的视频帧组成。

这类数据具有一个重要特点:当前时刻的信息往往与之前时刻的信息有关。

例如:

今天的天气很好,我准备出去……

要理解后续内容,模型需要结合前面的上下文。

如果使用普通前馈神经网络(Feedforward Neural Network),每个输入通常独立进行计算,模型本身没有天然的循环状态来保存之前的信息。

CNN 可以通过扩大感受野提取局部和一定范围内的上下文,但对于需要持续维护序列状态的任务,传统循环结构提供了另一种建模方式。

RNN(Recurrent Neural Network,循环神经网络)正是为这类序列数据设计的神经网络架构。

它通过循环连接,将前一时刻的隐藏状态传递到当前时刻,使模型能够在处理序列时保留历史信息。

二、什么是 RNN?

2.1 RNN 的基本思想

RNN 的核心思想是:处理当前输入时,同时使用上一时刻的隐藏状态。

普通前馈神经网络:

h=f(x)

每次计算主要依赖当前输入。

RNN 则引入隐藏状态:

h_t=f(x_t,h_{t-1})

其中:

  • x_t:当前时刻的输入。
  • h_{t-1}:上一时刻的隐藏状态。
  • h_t:当前时刻的隐藏状态。

隐藏状态可以理解为模型对历史序列信息的一种内部表示。

每处理一个新的输入,模型都会结合当前输入和历史状态,计算新的隐藏状态。

2.2 RNN 的结构

RNN 通常有两种观察方式:

循环结构:

隐藏状态通过循环连接返回网络,持续参与后续计算。

时间展开结构(Unrolled RNN):

将循环网络沿时间轴展开,展示每个时间步的计算过程。

展开后可以看到,同一个 RNN 单元会在不同时间步重复使用。

flowchart LR
    A["输入 x₁"] --> B["RNN 单元"]
    B --> C["隐藏状态 h₁"]
    C --> D["RNN 单元"]
    E["输入 x₂"] --> D
    D --> F["隐藏状态 h₂"]
    F --> G["RNN 单元"]
    H["输入 x₃"] --> G
    G --> I["隐藏状态 h₃"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

图中不同时间步的 RNN 单元并不是不同的独立网络,它们共享同一组参数。

这是 RNN 的重要特征之一:时间维度上的参数共享。

2.3 RNN 的数学表达

经典 RNN 的隐藏状态更新公式:

h_t=\tanh(W_{xh}x_t+W_{hh}h_{t-1}+b_h)

输出层可以表示为:

y_t=W_{hy}h_t+b_y

如果输出需要转换为类别概率,可以进一步使用 Softmax:

P(y_t)=\operatorname{softmax}(W_{hy}h_t+b_y)

其中:

  • x_t:当前输入向量。
  • h_{t-1}:上一时刻隐藏状态。
  • W_{xh}:输入到隐藏层的权重矩阵。
  • W_{hh}:隐藏状态到隐藏状态的循环权重矩阵。
  • b_h:隐藏层偏置。
  • W_{hy}:隐藏层到输出层的权重矩阵。
  • b_y:输出层偏置。
  • \tanh:非线性激活函数。

需要特别注意:不同时间步使用相同的 W_{xh}、W_{hh} 和偏置参数,而不是每个时间步重新创建一套参数。

2.4 RNN 如何处理序列?

假设输入序列为:

X=(x_1,x_2,x_3,\ldots,x_T)

RNN 按照时间顺序处理输入:

h_1=f(x_1,h_0)
h_2=f(x_2,h_1)
h_3=f(x_3,h_2)

最终:

h_T=f(x_T,h_{T-1})

因此,当前隐藏状态不仅包含当前输入的信息,也可能包含之前多个时间步的信息。

初始隐藏状态 h_0 通常初始化为零,也可以由其他网络或可学习参数提供。

2.5 RNN 的状态并不等于完整历史记录

这是理解 RNN 时容易产生的误区。

隐藏状态虽然能够携带历史信息,但它通常是固定维度的向量。

例如,模型可能处理几百个 Token,但隐藏状态只有 256 维。

因此,RNN 需要将历史信息压缩到有限维度的状态表示中。

随着序列增长,早期信息可能逐渐丢失。

这也是传统 RNN 难以学习长期依赖的重要原因。

三、RNN 的输入与输出结构

RNN 可以根据输入序列和输出序列的关系,构建不同类型的任务架构。

3.1 One-to-One:一对一

一个输入对应一个输出。

例如普通图像分类任务。

这不是 RNN 最典型的应用模式。

3.2 One-to-Many:一对多

一个输入对应一个输出序列。

例如:

  • 图像描述生成。
  • 条件文本生成。
  • 音乐序列生成。

模型根据一个输入提取初始上下文,再逐步生成多个输出。

3.3 Many-to-One:多对一

多个输入对应一个输出。

例如:

  • 句子情感分类。
  • 时间序列分类。
  • 语音情绪识别。

模型读取整个序列,使用最终隐藏状态或池化后的状态进行分类。

3.4 Many-to-Many:多对多

多个输入对应多个输出。

例如:

  • 序列标注。
  • 词性标注。
  • 逐时间步预测。
  • 部分机器翻译架构。

3.5 四种典型结构

结构 输入 输出 典型应用
One-to-One 单个输入 单个输出 普通分类
One-to-Many 单个输入 输出序列 图像描述
Many-to-One 输入序列 单个输出 情感分析
Many-to-Many 输入序列 输出序列 序列标注、序列转换

四、RNN 的核心问题:梯度消失与梯度爆炸

传统 RNN 能够处理序列,但在学习长期依赖时存在明显困难。

其中最重要的问题是梯度消失(Vanishing Gradient)和梯度爆炸(Exploding Gradient)。

4.1 为什么需要反向传播?

RNN 的训练仍然依赖梯度下降和反向传播。

由于网络沿时间维度展开,训练时需要计算损失对不同时间步参数的梯度。

这种训练方法称为:

BPTT(Backpropagation Through Time,时间反向传播)。

前向传播按照时间顺序计算隐藏状态,反向传播则从后面的时间步向前传播梯度。

flowchart TB
    A["输入序列"] --> B["按时间顺序前向传播"]
    B --> C["生成各时间步输出"]
    C --> D["计算序列损失"]
    D --> E["从后向前传播梯度"]
    E --> F["累积共享参数梯度"]
    F --> G["优化器更新参数"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

4.2 什么是梯度消失?

RNN 的隐藏状态不断递归更新:

h_t=f(x_t,h_{t-1})

当计算较早时间步的梯度时,需要经过多个时间步的链式求导。

简化表示:

\frac{\partial h_T}{\partial h_t} = \prod_{k=t+1}^{T} \frac{\partial h_k}{\partial h_{k-1}}

如果每一步的导数范数都小于 1,那么连续相乘后,梯度可能逐渐趋近于零。

例如:

0.5^{10}\approx0.00098
0.5^{20}\approx0.00000095

时间跨度越长,梯度越容易衰减。

这意味着较早时间步的参数更新信号可能非常微弱。

最终,模型难以学习相隔较远的输入之间的依赖关系。

4.3 什么是梯度爆炸?

如果连续相乘的梯度因子大于 1,梯度可能随时间步增长而迅速增大。

例如:

1.5^{10}\approx57.67
1.5^{20}\approx3325.26

过大的梯度可能导致:

  • 参数更新幅度异常。
  • Loss 突然增大。
  • 训练过程不稳定。
  • 数值溢出,产生 Inf 或 NaN。

4.4 梯度消失与梯度爆炸的对比

对比维度 梯度消失 梯度爆炸
梯度变化 趋近于零 快速增大
参数更新 过小 过大
训练表现 长期依赖难以学习 训练不稳定
常见原因 连续小于 1 的导数因子 连续大于 1 的导数因子
典型处理 LSTM、GRU、合理初始化等 梯度裁剪、初始化、学习率调整

4.5 梯度裁剪(Gradient Clipping)

梯度裁剪主要用于缓解梯度爆炸。

当梯度范数超过阈值时,对梯度进行缩放。

例如,按全局范数裁剪:

g'= g\cdot \min\left(1,\frac{\tau}{\|g\|}\right)

其中:

  • g:原始梯度。
  • g':裁剪后的梯度。
  • \tau:最大梯度范数。

PyTorch 示例:

import torch.nn as nn

loss.backward()

nn.utils.clip_grad_norm_(
    model.parameters(),
    max_norm=1.0
)

optimizer.step()

梯度裁剪主要限制过大的梯度,不能从根本上解决梯度消失问题。

五、LSTM:长短期记忆网络

5.1 为什么需要 LSTM?

传统 RNN 的隐藏状态需要不断经过非线性变换。

在长序列中,早期信息可能逐渐衰减,导致模型难以学习长期依赖。

LSTM(Long Short-Term Memory,长短期记忆网络)通过引入专门的记忆单元和门控机制,改善长期信息的保存与更新能力。

它最重要的设计是:

  • 细胞状态(Cell State)。
  • 隐藏状态(Hidden State)。
  • 遗忘门(Forget Gate)。
  • 输入门(Input Gate)。
  • 输出门(Output Gate)。

LSTM 不仅维护隐藏状态,还额外维护一条细胞状态通路,用于保存和传递信息。

5.2 LSTM 的整体结构

LSTM 在每个时间步接收:

  • 当前输入 x_t。
  • 上一时刻隐藏状态 h_{t-1}。
  • 上一时刻细胞状态 c_{t-1}。

经过门控计算,得到:

  • 当前细胞状态 c_t。
  • 当前隐藏状态 h_t。

5.3 遗忘门(Forget Gate)

遗忘门决定上一时刻细胞状态中哪些信息需要保留,哪些信息需要削弱。

计算公式:

f_t= \sigma( W_f[h_{t-1},x_t]+b_f )

其中:

  • f_t:遗忘门输出。
  • \sigma:Sigmoid 函数。
  • W_f:遗忘门权重。
  • b_f:遗忘门偏置。

Sigmoid 输出范围:

0<\sigma(x)<1

因此:

  • 接近 0:对应信息被强烈抑制。
  • 接近 1:对应信息被大部分保留。
  • 介于两者之间:对应信息被部分保留。

遗忘门不是简单删除整个历史状态,而是对细胞状态中的不同维度分别进行调节。

5.4 输入门(Input Gate)

输入门决定当前输入中的哪些信息可以写入细胞状态。

输入门包含两个部分。

第一部分:决定写入比例。

i_t= \sigma( W_i[h_{t-1},x_t]+b_i )

第二部分:生成候选记忆内容。

\tilde c_t= \tanh( W_c[h_{t-1},x_t]+b_c )

其中:

  • i_t:输入门。
  • \tilde c_t:候选细胞状态。

输入门控制候选信息进入细胞状态的比例。

5.5 细胞状态更新

结合遗忘门和输入门,LSTM 更新细胞状态:

c_t= f_t\odot c_{t-1} + i_t\odot\tilde c_t

其中:

  • f_t\odot c_{t-1}:保留历史记忆。
  • i_t\odot\tilde c_t:写入当前候选信息。
  • \odot:逐元素乘法。

这是 LSTM 最重要的计算公式之一。

与传统 RNN 不同,细胞状态不是简单地经过一次非线性变换,而是通过加法路径组合历史信息和新信息。

当遗忘门接近 1、输入门接近 0 时,细胞状态可以较大程度地保留原有内容。

这条相对直接的状态传递路径,有助于改善长期依赖学习中的梯度传播。

5.6 输出门(Output Gate)

输出门控制当前细胞状态中哪些信息能够暴露到隐藏状态。

计算公式:

o_t= \sigma( W_o[h_{t-1},x_t]+b_o )

当前隐藏状态:

h_t=o_t\odot\tanh(c_t)

其中:

  • o_t:输出门。
  • c_t:当前细胞状态。
  • h_t:当前隐藏状态。

细胞状态负责相对长期的信息存储,隐藏状态则作为当前时间步对外提供的状态表示。

5.7 LSTM 完整计算流程

flowchart TB
    A["输入 xₜ 与历史状态"] --> B["计算遗忘门 fₜ"]
    A --> C["计算输入门 iₜ"]
    A --> D["生成候选记忆 c̃ₜ"]
    A --> E["计算输出门 oₜ"]
    F["历史细胞状态 cₜ₋₁"] --> G["更新细胞状态"]
    B --> G
    C --> G
    D --> G
    G --> H["得到当前细胞状态 cₜ"]
    H --> I["结合输出门生成隐藏状态 hₜ"]
    E --> I
    I --> J["输出当前状态并传递到下一时间步"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F

5.8 LSTM 为什么能够缓解梯度消失?

LSTM 的关键并不是简单地增加网络层数,而是改变了状态更新结构。

细胞状态的更新:

c_t=f_t\odot c_{t-1} +i_t\odot\tilde c_t

当只考虑历史状态传递路径时:

\frac{\partial c_t}{\partial c_{t-1}} \approx f_t

如果遗忘门长期保持较大的值,历史信息及其梯度就能够沿着细胞状态通路相对稳定地传递。

但需要注意:

  • LSTM 不能保证梯度永远不消失。
  • 遗忘门也可能学习到较小的值。
  • 其他计算路径仍然可能出现梯度衰减。
  • LSTM 只是显著改善了传统 RNN 的长期依赖学习能力。

六、GRU:门控循环单元

6.1 为什么还需要 GRU?

LSTM 通过三个门和独立的细胞状态增强记忆能力,但结构相对复杂。

GRU(Gated Recurrent Unit,门控循环单元)进一步简化了门控机制。

GRU 将部分门控功能合并,使用更少的门控结构完成状态更新。

主要组成:

  • 更新门(Update Gate)。
  • 重置门(Reset Gate)。
  • 隐藏状态(Hidden State)。

与 LSTM 不同,标准 GRU 不单独维护细胞状态。

6.2 GRU 的整体结构

GRU 在每个时间步接收:

  • 当前输入 x_t。
  • 上一时刻隐藏状态 h_{t-1}。

输出当前隐藏状态:

h_t

6.3 更新门(Update Gate)

更新门决定历史隐藏状态与候选状态之间的组合比例。

一种常见公式:

z_t= \sigma( W_z[x_t,h_{t-1}]+b_z )

其中:

  • z_t:更新门。
  • W_z:更新门权重。
  • b_z:偏置。

更新门可以理解为控制新信息与历史信息之间的权衡。

6.4 重置门(Reset Gate)

重置门决定计算候选隐藏状态时,历史信息参与计算的程度。

r_t= \sigma( W_r[x_t,h_{t-1}]+b_r )

其中:

  • r_t:重置门。
  • W_r:重置门权重。
  • b_r:偏置。

当重置门的某些维度接近 0 时,对应历史状态在候选状态计算中的影响会被削弱。

6.5 候选隐藏状态

GRU 根据当前输入和经过重置门调节的历史状态,生成候选隐藏状态:

\tilde h_t= \tanh( W_h[x_t,r_t\odot h_{t-1}]+b_h )

候选状态表示当前时间步可能形成的新状态内容。

6.6 最终隐藏状态更新

一种常见 GRU 参数化形式:

h_t= (1-z_t)\odot h_{t-1} + z_t\odot\tilde h_t

其中:

  • h_{t-1}:历史隐藏状态。
  • \tilde h_t:候选隐藏状态。
  • z_t:更新门。

当更新门接近 0 时,更多保留历史状态。

当更新门接近 1 时,更多采用候选状态。

需要注意,部分论文和框架采用相反的门控定义,即使用 z_t 表示保留历史状态的比例。因此阅读公式时,必须结合具体实现判断,不能仅凭门的名称推断其作用方向。

6.7 GRU 完整计算流程

flowchart TB
    A["当前输入 xₜ 与历史状态 hₜ₋₁"] --> B["计算重置门 rₜ"]
    A --> C["计算更新门 zₜ"]
    B --> D["生成候选隐藏状态 h̃ₜ"]
    A --> D
    D --> E["结合更新门与历史状态"]
    C --> E
    A --> F["更新状态计算"]
    E --> G["得到当前隐藏状态 hₜ"]
    F --> G
    G --> H["传递到下一时间步"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

七、RNN、LSTM 与 GRU 的核心区别

三者都属于循环神经网络,但状态更新机制不同。

7.1 结构对比

对比维度 RNN LSTM GRU
隐藏状态 有 有 有
独立细胞状态 无 有 无
门控机制 无 遗忘门、输入门、输出门 更新门、重置门
长期依赖能力 相对较弱 较强 较强
结构复杂度 较低 较高 中等
参数量 通常较少 通常较多 通常少于同隐藏维度的 LSTM
训练效率 结构简单 门控计算较多 通常相对简单

具体参数量还取决于输入维度、隐藏维度、偏置设置以及框架实现。

7.2 三者的状态传递方式

RNN:

h_t=\tanh(W_xx_t+W_hh_{t-1}+b)

通过普通非线性变换更新隐藏状态。

LSTM:

(c_t,h_t)= \operatorname{LSTMCell}(x_t,h_{t-1},c_{t-1})

通过独立细胞状态和门控机制管理记忆。

GRU:

h_t= \operatorname{GRUCell}(x_t,h_{t-1})

通过更新门和重置门直接更新隐藏状态。

7.3 如何选择?

选择普通 RNN:

  • 序列较短。
  • 任务简单。
  • 对模型结构和计算成本有较高要求。
  • 作为循环网络基础结构进行研究。

选择 LSTM:

  • 需要建模较长时间跨度的依赖关系。
  • 任务中历史信息比较重要。
  • 可以接受相对复杂的门控结构。

选择 GRU:

  • 希望使用门控循环结构。
  • 希望控制模型复杂度。
  • 希望在效果和计算成本之间取得平衡。

不能简单认为 LSTM 一定优于 GRU,或 GRU 一定比 LSTM 快。实际性能还取决于序列长度、隐藏维度、硬件、框架实现和训练配置。

八、RNN 的双向结构:BiRNN、BiLSTM 与 BiGRU

8.1 为什么需要双向 RNN?

普通 RNN 按照从前到后的顺序处理序列。

在处理当前 Token 时,只能直接使用当前及之前的上下文。

但在很多任务中,后面的内容同样有助于理解当前内容。

例如:

我把钱存进了银行。

如果需要理解某个词的语义,模型可能需要结合句子后面的内容。

双向 RNN(Bidirectional RNN)通过两个方向的循环网络,同时学习前向和后向上下文。

8.2 双向结构

双向 RNN 包含:

  • 前向网络:从序列开头向结尾处理。
  • 后向网络:从序列结尾向开头处理。

两个方向的隐藏状态可以拼接:

h_t= [\overrightarrow h_t; \overleftarrow h_t]

其中:

  • \overrightarrow h_t:前向隐藏状态。
  • \overleftarrow h_t:后向隐藏状态。
  • [\,;\,]:向量拼接。

双向结构可以应用于:

  • BiRNN。
  • BiLSTM。
  • BiGRU。

8.3 双向 RNN 的限制

双向网络需要访问完整序列,才能计算后向状态。

因此,它适合:

  • 文本分类。
  • 命名实体识别。
  • 离线语音识别。
  • 已知完整输入序列的标注任务。

但对于严格的实时预测和自回归生成任务,不能直接使用包含未来信息的双向结构,否则可能发生未来信息泄漏。

九、序列到序列模型:Seq2Seq

9.1 什么是 Seq2Seq?

Seq2Seq(Sequence-to-Sequence)是一类将输入序列映射为输出序列的模型结构。

例如机器翻译:

输入:

I love machine learning.

输出:

我喜欢机器学习。

输入和输出序列长度不一定相同。

早期 Seq2Seq 模型通常由 Encoder 和 Decoder 两部分组成。

9.2 Encoder:编码器

编码器负责读取输入序列,并将其转换为隐藏状态表示。

传统结构通常使用 RNN、LSTM 或 GRU。

输入序列:

X=(x_1,x_2,\ldots,x_T)

编码器逐步计算隐藏状态:

h_1,h_2,\ldots,h_T

9.3 Decoder:解码器

解码器根据编码器提供的上下文表示,逐步生成输出序列。

Y=(y_1,y_2,\ldots,y_M)

每一步生成的结果会影响下一步的预测。

9.4 Seq2Seq 结构

flowchart TB
    A["输入序列"] --> B["Encoder 编码器"]
    B --> C["上下文表示"]
    C --> D["Decoder 解码器"]
    D --> E["生成第一个 Token"]
    E --> F["生成后续 Token"]
    F --> G["输出序列"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F