一、为什么需要循环神经网络?
在前面的 CNN 卷积神经网络中,我们主要讨论了图像数据的特征提取。
图像具有二维空间结构,而文本、语音、时间序列等数据具有明显的时间或顺序关系。
例如:
- 文本:一个句子由多个按照顺序排列的 Token 组成。
- 语音:音频由连续采样点或声学特征帧组成。
- 时间序列:股票价格、传感器读数按照时间顺序变化。
- 视频:视频由连续的视频帧组成。
这类数据具有一个重要特点:当前时刻的信息往往与之前时刻的信息有关。
例如:
今天的天气很好,我准备出去……
要理解后续内容,模型需要结合前面的上下文。
如果使用普通前馈神经网络(Feedforward Neural Network),每个输入通常独立进行计算,模型本身没有天然的循环状态来保存之前的信息。
CNN 可以通过扩大感受野提取局部和一定范围内的上下文,但对于需要持续维护序列状态的任务,传统循环结构提供了另一种建模方式。
RNN(Recurrent Neural Network,循环神经网络)正是为这类序列数据设计的神经网络架构。
它通过循环连接,将前一时刻的隐藏状态传递到当前时刻,使模型能够在处理序列时保留历史信息。
二、什么是 RNN?
2.1 RNN 的基本思想
RNN 的核心思想是:处理当前输入时,同时使用上一时刻的隐藏状态。
普通前馈神经网络:
每次计算主要依赖当前输入。
RNN 则引入隐藏状态:
其中:
- x_t:当前时刻的输入。
- h_{t-1}:上一时刻的隐藏状态。
- h_t:当前时刻的隐藏状态。
隐藏状态可以理解为模型对历史序列信息的一种内部表示。
每处理一个新的输入,模型都会结合当前输入和历史状态,计算新的隐藏状态。
2.2 RNN 的结构
RNN 通常有两种观察方式:
循环结构:
隐藏状态通过循环连接返回网络,持续参与后续计算。
时间展开结构(Unrolled RNN):
将循环网络沿时间轴展开,展示每个时间步的计算过程。
展开后可以看到,同一个 RNN 单元会在不同时间步重复使用。
flowchart LR
A["输入 x₁"] --> B["RNN 单元"]
B --> C["隐藏状态 h₁"]
C --> D["RNN 单元"]
E["输入 x₂"] --> D
D --> F["隐藏状态 h₂"]
F --> G["RNN 单元"]
H["输入 x₃"] --> G
G --> I["隐藏状态 h₃"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
图中不同时间步的 RNN 单元并不是不同的独立网络,它们共享同一组参数。
这是 RNN 的重要特征之一:时间维度上的参数共享。
2.3 RNN 的数学表达
经典 RNN 的隐藏状态更新公式:
输出层可以表示为:
如果输出需要转换为类别概率,可以进一步使用 Softmax:
其中:
- x_t:当前输入向量。
- h_{t-1}:上一时刻隐藏状态。
- W_{xh}:输入到隐藏层的权重矩阵。
- W_{hh}:隐藏状态到隐藏状态的循环权重矩阵。
- b_h:隐藏层偏置。
- W_{hy}:隐藏层到输出层的权重矩阵。
- b_y:输出层偏置。
- \tanh:非线性激活函数。
需要特别注意:不同时间步使用相同的 W_{xh}、W_{hh} 和偏置参数,而不是每个时间步重新创建一套参数。
2.4 RNN 如何处理序列?
假设输入序列为:
RNN 按照时间顺序处理输入:
最终:
因此,当前隐藏状态不仅包含当前输入的信息,也可能包含之前多个时间步的信息。
初始隐藏状态 h_0 通常初始化为零,也可以由其他网络或可学习参数提供。
2.5 RNN 的状态并不等于完整历史记录
这是理解 RNN 时容易产生的误区。
隐藏状态虽然能够携带历史信息,但它通常是固定维度的向量。
例如,模型可能处理几百个 Token,但隐藏状态只有 256 维。
因此,RNN 需要将历史信息压缩到有限维度的状态表示中。
随着序列增长,早期信息可能逐渐丢失。
这也是传统 RNN 难以学习长期依赖的重要原因。
三、RNN 的输入与输出结构
RNN 可以根据输入序列和输出序列的关系,构建不同类型的任务架构。
3.1 One-to-One:一对一
一个输入对应一个输出。
例如普通图像分类任务。
这不是 RNN 最典型的应用模式。
3.2 One-to-Many:一对多
一个输入对应一个输出序列。
例如:
- 图像描述生成。
- 条件文本生成。
- 音乐序列生成。
模型根据一个输入提取初始上下文,再逐步生成多个输出。
3.3 Many-to-One:多对一
多个输入对应一个输出。
例如:
- 句子情感分类。
- 时间序列分类。
- 语音情绪识别。
模型读取整个序列,使用最终隐藏状态或池化后的状态进行分类。
3.4 Many-to-Many:多对多
多个输入对应多个输出。
例如:
- 序列标注。
- 词性标注。
- 逐时间步预测。
- 部分机器翻译架构。
3.5 四种典型结构
| 结构 | 输入 | 输出 | 典型应用 |
|---|---|---|---|
| One-to-One | 单个输入 | 单个输出 | 普通分类 |
| One-to-Many | 单个输入 | 输出序列 | 图像描述 |
| Many-to-One | 输入序列 | 单个输出 | 情感分析 |
| Many-to-Many | 输入序列 | 输出序列 | 序列标注、序列转换 |
四、RNN 的核心问题:梯度消失与梯度爆炸
传统 RNN 能够处理序列,但在学习长期依赖时存在明显困难。
其中最重要的问题是梯度消失(Vanishing Gradient)和梯度爆炸(Exploding Gradient)。
4.1 为什么需要反向传播?
RNN 的训练仍然依赖梯度下降和反向传播。
由于网络沿时间维度展开,训练时需要计算损失对不同时间步参数的梯度。
这种训练方法称为:
BPTT(Backpropagation Through Time,时间反向传播)。
前向传播按照时间顺序计算隐藏状态,反向传播则从后面的时间步向前传播梯度。
flowchart TB
A["输入序列"] --> B["按时间顺序前向传播"]
B --> C["生成各时间步输出"]
C --> D["计算序列损失"]
D --> E["从后向前传播梯度"]
E --> F["累积共享参数梯度"]
F --> G["优化器更新参数"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
4.2 什么是梯度消失?
RNN 的隐藏状态不断递归更新:
当计算较早时间步的梯度时,需要经过多个时间步的链式求导。
简化表示:
如果每一步的导数范数都小于 1,那么连续相乘后,梯度可能逐渐趋近于零。
例如:
时间跨度越长,梯度越容易衰减。
这意味着较早时间步的参数更新信号可能非常微弱。
最终,模型难以学习相隔较远的输入之间的依赖关系。
4.3 什么是梯度爆炸?
如果连续相乘的梯度因子大于 1,梯度可能随时间步增长而迅速增大。
例如:
过大的梯度可能导致:
- 参数更新幅度异常。
- Loss 突然增大。
- 训练过程不稳定。
- 数值溢出,产生 Inf 或 NaN。
4.4 梯度消失与梯度爆炸的对比
| 对比维度 | 梯度消失 | 梯度爆炸 |
|---|---|---|
| 梯度变化 | 趋近于零 | 快速增大 |
| 参数更新 | 过小 | 过大 |
| 训练表现 | 长期依赖难以学习 | 训练不稳定 |
| 常见原因 | 连续小于 1 的导数因子 | 连续大于 1 的导数因子 |
| 典型处理 | LSTM、GRU、合理初始化等 | 梯度裁剪、初始化、学习率调整 |
4.5 梯度裁剪(Gradient Clipping)
梯度裁剪主要用于缓解梯度爆炸。
当梯度范数超过阈值时,对梯度进行缩放。
例如,按全局范数裁剪:
其中:
- g:原始梯度。
- g':裁剪后的梯度。
- \tau:最大梯度范数。
PyTorch 示例:
import torch.nn as nn
loss.backward()
nn.utils.clip_grad_norm_(
model.parameters(),
max_norm=1.0
)
optimizer.step()
梯度裁剪主要限制过大的梯度,不能从根本上解决梯度消失问题。
五、LSTM:长短期记忆网络
5.1 为什么需要 LSTM?
传统 RNN 的隐藏状态需要不断经过非线性变换。
在长序列中,早期信息可能逐渐衰减,导致模型难以学习长期依赖。
LSTM(Long Short-Term Memory,长短期记忆网络)通过引入专门的记忆单元和门控机制,改善长期信息的保存与更新能力。
它最重要的设计是:
- 细胞状态(Cell State)。
- 隐藏状态(Hidden State)。
- 遗忘门(Forget Gate)。
- 输入门(Input Gate)。
- 输出门(Output Gate)。
LSTM 不仅维护隐藏状态,还额外维护一条细胞状态通路,用于保存和传递信息。
5.2 LSTM 的整体结构
LSTM 在每个时间步接收:
- 当前输入 x_t。
- 上一时刻隐藏状态 h_{t-1}。
- 上一时刻细胞状态 c_{t-1}。
经过门控计算,得到:
- 当前细胞状态 c_t。
- 当前隐藏状态 h_t。
5.3 遗忘门(Forget Gate)
遗忘门决定上一时刻细胞状态中哪些信息需要保留,哪些信息需要削弱。
计算公式:
其中:
- f_t:遗忘门输出。
- \sigma:Sigmoid 函数。
- W_f:遗忘门权重。
- b_f:遗忘门偏置。
Sigmoid 输出范围:
因此:
- 接近 0:对应信息被强烈抑制。
- 接近 1:对应信息被大部分保留。
- 介于两者之间:对应信息被部分保留。
遗忘门不是简单删除整个历史状态,而是对细胞状态中的不同维度分别进行调节。
5.4 输入门(Input Gate)
输入门决定当前输入中的哪些信息可以写入细胞状态。
输入门包含两个部分。
第一部分:决定写入比例。
第二部分:生成候选记忆内容。
其中:
- i_t:输入门。
- \tilde c_t:候选细胞状态。
输入门控制候选信息进入细胞状态的比例。
5.5 细胞状态更新
结合遗忘门和输入门,LSTM 更新细胞状态:
其中:
- f_t\odot c_{t-1}:保留历史记忆。
- i_t\odot\tilde c_t:写入当前候选信息。
- \odot:逐元素乘法。
这是 LSTM 最重要的计算公式之一。
与传统 RNN 不同,细胞状态不是简单地经过一次非线性变换,而是通过加法路径组合历史信息和新信息。
当遗忘门接近 1、输入门接近 0 时,细胞状态可以较大程度地保留原有内容。
这条相对直接的状态传递路径,有助于改善长期依赖学习中的梯度传播。
5.6 输出门(Output Gate)
输出门控制当前细胞状态中哪些信息能够暴露到隐藏状态。
计算公式:
当前隐藏状态:
其中:
- o_t:输出门。
- c_t:当前细胞状态。
- h_t:当前隐藏状态。
细胞状态负责相对长期的信息存储,隐藏状态则作为当前时间步对外提供的状态表示。
5.7 LSTM 完整计算流程
flowchart TB
A["输入 xₜ 与历史状态"] --> B["计算遗忘门 fₜ"]
A --> C["计算输入门 iₜ"]
A --> D["生成候选记忆 c̃ₜ"]
A --> E["计算输出门 oₜ"]
F["历史细胞状态 cₜ₋₁"] --> G["更新细胞状态"]
B --> G
C --> G
D --> G
G --> H["得到当前细胞状态 cₜ"]
H --> I["结合输出门生成隐藏状态 hₜ"]
E --> I
I --> J["输出当前状态并传递到下一时间步"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
5.8 LSTM 为什么能够缓解梯度消失?
LSTM 的关键并不是简单地增加网络层数,而是改变了状态更新结构。
细胞状态的更新:
当只考虑历史状态传递路径时:
如果遗忘门长期保持较大的值,历史信息及其梯度就能够沿着细胞状态通路相对稳定地传递。
但需要注意:
- LSTM 不能保证梯度永远不消失。
- 遗忘门也可能学习到较小的值。
- 其他计算路径仍然可能出现梯度衰减。
- LSTM 只是显著改善了传统 RNN 的长期依赖学习能力。
六、GRU:门控循环单元
6.1 为什么还需要 GRU?
LSTM 通过三个门和独立的细胞状态增强记忆能力,但结构相对复杂。
GRU(Gated Recurrent Unit,门控循环单元)进一步简化了门控机制。
GRU 将部分门控功能合并,使用更少的门控结构完成状态更新。
主要组成:
- 更新门(Update Gate)。
- 重置门(Reset Gate)。
- 隐藏状态(Hidden State)。
与 LSTM 不同,标准 GRU 不单独维护细胞状态。
6.2 GRU 的整体结构
GRU 在每个时间步接收:
- 当前输入 x_t。
- 上一时刻隐藏状态 h_{t-1}。
输出当前隐藏状态:
6.3 更新门(Update Gate)
更新门决定历史隐藏状态与候选状态之间的组合比例。
一种常见公式:
其中:
- z_t:更新门。
- W_z:更新门权重。
- b_z:偏置。
更新门可以理解为控制新信息与历史信息之间的权衡。
6.4 重置门(Reset Gate)
重置门决定计算候选隐藏状态时,历史信息参与计算的程度。
其中:
- r_t:重置门。
- W_r:重置门权重。
- b_r:偏置。
当重置门的某些维度接近 0 时,对应历史状态在候选状态计算中的影响会被削弱。
6.5 候选隐藏状态
GRU 根据当前输入和经过重置门调节的历史状态,生成候选隐藏状态:
候选状态表示当前时间步可能形成的新状态内容。
6.6 最终隐藏状态更新
一种常见 GRU 参数化形式:
其中:
- h_{t-1}:历史隐藏状态。
- \tilde h_t:候选隐藏状态。
- z_t:更新门。
当更新门接近 0 时,更多保留历史状态。
当更新门接近 1 时,更多采用候选状态。
需要注意,部分论文和框架采用相反的门控定义,即使用 z_t 表示保留历史状态的比例。因此阅读公式时,必须结合具体实现判断,不能仅凭门的名称推断其作用方向。
6.7 GRU 完整计算流程
flowchart TB
A["当前输入 xₜ 与历史状态 hₜ₋₁"] --> B["计算重置门 rₜ"]
A --> C["计算更新门 zₜ"]
B --> D["生成候选隐藏状态 h̃ₜ"]
A --> D
D --> E["结合更新门与历史状态"]
C --> E
A --> F["更新状态计算"]
E --> G["得到当前隐藏状态 hₜ"]
F --> G
G --> H["传递到下一时间步"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
七、RNN、LSTM 与 GRU 的核心区别
三者都属于循环神经网络,但状态更新机制不同。
7.1 结构对比
| 对比维度 | RNN | LSTM | GRU |
|---|---|---|---|
| 隐藏状态 | 有 | 有 | 有 |
| 独立细胞状态 | 无 | 有 | 无 |
| 门控机制 | 无 | 遗忘门、输入门、输出门 | 更新门、重置门 |
| 长期依赖能力 | 相对较弱 | 较强 | 较强 |
| 结构复杂度 | 较低 | 较高 | 中等 |
| 参数量 | 通常较少 | 通常较多 | 通常少于同隐藏维度的 LSTM |
| 训练效率 | 结构简单 | 门控计算较多 | 通常相对简单 |
具体参数量还取决于输入维度、隐藏维度、偏置设置以及框架实现。
7.2 三者的状态传递方式
RNN:
通过普通非线性变换更新隐藏状态。
LSTM:
通过独立细胞状态和门控机制管理记忆。
GRU:
通过更新门和重置门直接更新隐藏状态。
7.3 如何选择?
选择普通 RNN:
- 序列较短。
- 任务简单。
- 对模型结构和计算成本有较高要求。
- 作为循环网络基础结构进行研究。
选择 LSTM:
- 需要建模较长时间跨度的依赖关系。
- 任务中历史信息比较重要。
- 可以接受相对复杂的门控结构。
选择 GRU:
- 希望使用门控循环结构。
- 希望控制模型复杂度。
- 希望在效果和计算成本之间取得平衡。
不能简单认为 LSTM 一定优于 GRU,或 GRU 一定比 LSTM 快。实际性能还取决于序列长度、隐藏维度、硬件、框架实现和训练配置。
八、RNN 的双向结构:BiRNN、BiLSTM 与 BiGRU
8.1 为什么需要双向 RNN?
普通 RNN 按照从前到后的顺序处理序列。
在处理当前 Token 时,只能直接使用当前及之前的上下文。
但在很多任务中,后面的内容同样有助于理解当前内容。
例如:
我把钱存进了银行。
如果需要理解某个词的语义,模型可能需要结合句子后面的内容。
双向 RNN(Bidirectional RNN)通过两个方向的循环网络,同时学习前向和后向上下文。
8.2 双向结构
双向 RNN 包含:
- 前向网络:从序列开头向结尾处理。
- 后向网络:从序列结尾向开头处理。
两个方向的隐藏状态可以拼接:
其中:
- \overrightarrow h_t:前向隐藏状态。
- \overleftarrow h_t:后向隐藏状态。
- [\,;\,]:向量拼接。
双向结构可以应用于:
- BiRNN。
- BiLSTM。
- BiGRU。
8.3 双向 RNN 的限制
双向网络需要访问完整序列,才能计算后向状态。
因此,它适合:
- 文本分类。
- 命名实体识别。
- 离线语音识别。
- 已知完整输入序列的标注任务。
但对于严格的实时预测和自回归生成任务,不能直接使用包含未来信息的双向结构,否则可能发生未来信息泄漏。
九、序列到序列模型:Seq2Seq
9.1 什么是 Seq2Seq?
Seq2Seq(Sequence-to-Sequence)是一类将输入序列映射为输出序列的模型结构。
例如机器翻译:
输入:
I love machine learning.
输出:
我喜欢机器学习。
输入和输出序列长度不一定相同。
早期 Seq2Seq 模型通常由 Encoder 和 Decoder 两部分组成。
9.2 Encoder:编码器
编码器负责读取输入序列,并将其转换为隐藏状态表示。
传统结构通常使用 RNN、LSTM 或 GRU。
输入序列:
编码器逐步计算隐藏状态:
9.3 Decoder:解码器
解码器根据编码器提供的上下文表示,逐步生成输出序列。
每一步生成的结果会影响下一步的预测。
9.4 Seq2Seq 结构
flowchart TB
A["输入序列"] --> B["Encoder 编码器"]
B --> C["上下文表示"]
C --> D["Decoder 解码器"]
D --> E["生成第一个 Token"]
E --> F["生成后续 Token"]
F --> G["输出序列"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F