一、前言
神经网络通过前向传播计算预测结果,通过损失函数衡量预测误差,再通过反向传播计算损失对模型参数的梯度。
但计算出梯度之后,还需要解决一个关键问题:
如何根据梯度调整模型参数,使损失函数逐步降低?
这就是优化算法(Optimization Algorithm)需要解决的问题。
梯度下降是最基础的参数优化方法。在此基础上,研究人员提出了随机梯度下降(SGD)、Momentum、AdaGrad、RMSProp、Adam 等优化算法,以改善训练效率、收敛速度和训练稳定性。
本文重点讲解:
- 梯度下降的数学原理与参数更新机制。
- Batch Gradient Descent、SGD 与 Mini-batch SGD 的区别。
- 学习率及其对训练过程的影响。
- Momentum 动量优化机制。
- AdaGrad、RMSProp 的自适应学习率机制。
- Adam 的一阶矩、二阶矩与偏差修正。
- Adam、AdamW 与 SGD 的区别。
- 学习率调度、梯度裁剪及优化器选择。
- PyTorch 中优化器的工程实践。
二、优化算法解决什么问题?
神经网络训练的目标是找到一组模型参数,使损失函数尽可能小。
假设模型参数为:
模型的训练目标可以表示为:
其中:
- \theta:模型参数。
- L(\theta):损失函数。
- \theta^*:使损失函数达到最小值的参数。
实际训练中,损失函数通常由训练数据上的多个样本损失构成:
其中:
- N:训练样本数量。
- x_i:第 i 个输入样本。
- y_i:真实标签。
- f(x_i;\theta):模型预测结果。
- \ell:单个样本的损失函数。
对于复杂神经网络,通常无法直接求得最优参数的解析解,需要使用数值优化算法不断调整参数。
优化算法的核心任务就是:
- 根据当前参数计算模型损失。
- 计算损失对参数的梯度。
- 根据梯度确定参数调整方向。
- 更新模型参数。
- 重复上述过程,直到满足训练停止条件。
2.1 模型训练的完整过程
flowchart TB
A["初始化模型参数"]
B["读取训练数据"]
C["前向传播"]
D["计算损失函数"]
E["反向传播计算梯度"]
F["优化器更新参数"]
G{"是否达到停止条件"}
H["保存训练后的模型"]
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
G -->|"否"| B
G -->|"是"| H
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
需要区分三个概念:
- 损失函数:定义模型需要优化的目标。
- 反向传播:计算目标函数对模型参数的梯度。
- 优化器:根据梯度和自身状态更新模型参数。
三者共同构成神经网络的参数学习机制。
三、梯度下降:最基础的参数优化算法
梯度下降(Gradient Descent)是最经典的数值优化算法之一。
其核心思想是:
沿着损失函数梯度的反方向调整参数,使损失函数逐步降低。
3.1 梯度的方向含义
假设损失函数为:
其梯度为:
梯度表示函数在当前位置增长最快的方向。
因此,负梯度方向对应局部下降最快的方向。
参数更新公式:
其中:
- \theta_t:第 t 次迭代时的参数。
- \theta_{t+1}:更新后的参数。
- \eta:学习率(Learning Rate)。
- \nabla_\theta L(\theta_t):当前参数位置的梯度。
学习率决定每次参数更新的步长。
3.2 一维梯度下降示例
假设需要最小化:
求导:
设定:
第一次计算梯度:
更新参数:
第二次计算梯度:
更新:
继续迭代:
| 迭代次数 | 参数 w | 损失 L(w) |
|---|---|---|
| 0 | 0.0000 | 9.0000 |
| 1 | 0.6000 | 5.7600 |
| 2 | 1.0800 | 3.6864 |
| 3 | 1.4640 | 2.3593 |
| 4 | 1.7712 | 1.5099 |
| 5 | 2.0170 | 0.9664 |
随着参数逐步接近最优点:
损失也逐渐趋近于零。
3.3 梯度下降的直观过程
flowchart TB
A["当前位置:损失较大"]
B["计算当前位置的梯度"]
C["确定负梯度方向"]
D["按照学习率移动参数"]
E["到达新的参数位置"]
F{"是否满足停止条件"}
A --> B
B --> C
C --> D
D --> E
E --> F
F -->|"否"| B
F -->|"是"| G["得到当前优化结果"]
style A fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
3.4 梯度下降的局限
标准梯度下降在每次更新参数之前,需要计算整个训练集的梯度。
当数据集非常大时,会带来较高的计算成本。
例如:
- 训练集有 100 万条样本。
- 每次更新参数都需要处理全部样本。
- 完成一次参数更新需要大量计算。
此外,标准梯度下降还存在以下问题:
- 参数更新频率较低。
- 单次迭代计算成本较高。
- 数据集规模增大时,内存和计算压力增加。
- 对非凸损失函数,仍可能受到鞍点、平坦区域等问题影响。
因此,深度学习通常采用基于小批量数据的梯度优化方法。
四、Batch GD、SGD 与 Mini-batch SGD
根据每次参数更新使用的训练样本数量,可以将梯度下降分为三种主要形式。
4.1 Batch Gradient Descent
批量梯度下降(Batch Gradient Descent)每次更新参数时,使用全部训练样本计算梯度。
公式:
其中 N 为训练集样本数量。
特点:
- 每次更新使用全部训练数据。
- 梯度通常更接近完整训练集目标的梯度。
- 更新方向相对稳定。
- 数据集越大,单次更新成本越高。
适合数据量较小、能够在内存或计算资源允许范围内处理的场景。
4.2 Stochastic Gradient Descent
随机梯度下降(SGD)通常指每次使用一个随机抽取的训练样本计算梯度。
公式:
其中 i 表示随机选取的样本索引。
特点:
- 每次更新只需要一个样本。
- 参数更新频率较高。
- 单次计算成本较低。
- 梯度估计噪声较大。
- 损失曲线可能出现明显波动。
SGD 的随机性来自每次只使用部分数据估计完整训练目标的梯度。
在样本随机抽取且满足相应条件时,单样本梯度可以作为整体梯度的无偏估计。
4.3 Mini-batch SGD
小批量随机梯度下降(Mini-batch SGD)每次使用一批训练样本计算梯度。
假设批量大小为 B:
其中:
- B:批量大小(Batch Size)。
- \mathcal B_t:当前迭代使用的样本集合。
- \eta:学习率。
它在计算效率和梯度稳定性之间取得了较好的平衡。
现代深度学习训练通常采用 Mini-batch SGD 这一形式。
需要注意,实际工程中人们经常直接把使用 Mini-batch 的训练方式称为 SGD,尤其是使用 Momentum 等改进版本时。
4.4 三种方式的对比
| 对比维度 | Batch GD | SGD | Mini-batch SGD |
|---|---|---|---|
| 单次样本数量 | 全部样本 | 1 | 一批样本 |
| 单次计算成本 | 高 | 低 | 中等 |
| 更新频率 | 低 | 高 | 较高 |
| 梯度波动 | 较小 | 较大 | 中等 |
| 并行计算 | 可以 | 受单样本粒度限制 | 适合批量并行 |
| 深度学习应用 | 相对少见 | 单样本训练较少 | 非常常见 |
4.5 Batch Size 对训练的影响
Batch Size 是训练过程中一个重要超参数。
较小的 Batch Size:
- 单次计算量较小。
- 参数更新次数较多。
- 梯度估计噪声较大。
- 可能带来一定的正则化效果。
- 训练过程的损失波动可能更明显。
较大的 Batch Size:
- 更适合 GPU 批量并行计算。
- 单次梯度估计通常更稳定。
- 每个 Epoch 中的参数更新次数更少。
- 可能带来更高的显存占用。
- 在相同训练配置下,不一定能获得更好的泛化能力。
不能简单认为 Batch Size 越大越好,实际需要结合学习率、模型规模、硬件资源和训练数据进行调整。
五、学习率:决定参数更新幅度的关键超参数
学习率(Learning Rate,简称 LR)是梯度优化中最重要的超参数之一。
它决定优化器每次根据梯度调整参数的幅度。
以梯度下降为例:
其中 \eta 就是学习率。
5.1 学习率过大
如果学习率过大,参数每次更新的幅度可能超过合理范围。
典型表现:
- 损失函数剧烈震荡。
- 参数在最优点附近来回跳动。
- 损失不降反升。
- 训练可能直接发散。
5.2 学习率过小
如果学习率过小,参数更新幅度不足。
典型表现:
- 损失下降速度非常慢。
- 训练需要更多迭代次数。
- 可能长时间停留在平坦区域。
- 在有限训练预算下难以达到理想结果。
5.3 学习率的影响示意
flowchart TB
A["选择学习率"]
B["学习率过大"]
C["学习率合适"]
D["学习率过小"]
E["损失震荡或训练发散"]
F["稳定降低损失"]
G["收敛速度缓慢"]
A --> B
A --> C
A --> D
B --> E
C --> F
D --> G
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style C fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
5.4 固定学习率与动态学习率
固定学习率:
整个训练过程中使用同一个学习率。
动态学习率:
根据训练进度、损失变化或预设调度策略调整学习率。
常见学习率调度策略:
| 调度策略 | 核心机制 |
|---|---|
| Step Decay | 每隔指定 Epoch 降低学习率 |
| Exponential Decay | 按指数规律衰减 |
| Cosine Annealing | 按余弦曲线逐步降低学习率 |
| ReduceLROnPlateau | 验证指标停滞时降低学习率 |
| Warmup | 训练初期逐步增加学习率 |
| Cosine Warmup | 先预热,再进行余弦衰减 |
学习率调度并不是优化器本身的梯度计算规则,而是控制训练过程中学习率变化的策略。
六、Momentum:引入历史梯度信息
普通 SGD 每次只根据当前批次的梯度更新参数。
如果不同批次的梯度方向波动较大,参数更新可能出现明显震荡。
Momentum(动量)通过引入历史梯度信息,改善这一问题。
6.1 动量的基本思想
可以将 Momentum 理解为:
不只考虑当前梯度,还考虑之前积累的更新方向。
其常见形式为:
其中:
- g_t:当前梯度。
- v_t:动量变量。
- \beta:动量系数。
- \eta:学习率。
通常将动量系数设置为接近 1 的值,例如 0.9。
6.2 Momentum 如何改善训练?
假设连续多个批次的梯度方向基本一致。
普通 SGD 每次只使用当前梯度。
Momentum 会不断累积历史梯度,使一致方向上的更新效果得到增强。
如果梯度方向反复变化,历史梯度也会对当前更新产生平滑作用。
因此,Momentum 通常能够:
- 加速沿稳定方向的参数更新。
- 减少部分方向上的震荡。
- 改善某些狭长损失曲面上的优化表现。
- 提高训练效率。
6.3 SGD 与 Momentum 对比
普通 SGD:
Momentum:
Momentum 不只是简单放大学习率,而是引入了历史梯度状态。
需要注意,不同优化器实现可能采用不同的动量定义和初始化方式,公式表达需要与具体实现保持一致。
七、AdaGrad:根据历史梯度调整学习率
普通 SGD 使用统一学习率。
但在不同参数维度上,梯度的大小和出现频率可能差异很大。
例如:
- 某些参数频繁获得较大梯度。
- 某些参数很少获得梯度。
- 不同参数维度的梯度尺度不同。
AdaGrad(Adaptive Gradient Algorithm)通过累计历史梯度平方,为不同参数维度自适应调整学习率。
7.1 AdaGrad 的更新公式
首先累计梯度平方:
然后更新参数:
其中:
- r_t:历史梯度平方累积量。
- g_t:当前梯度。
- \eta:初始学习率。
- \epsilon:数值稳定项。
这里的平方和开方通常都是逐元素操作。
7.2 AdaGrad 的核心特点
对于历史梯度较大的参数:
会逐渐增大,对应的有效学习率会降低。
对于历史梯度较小的参数,有效学习率相对较大。
因此,AdaGrad 能够针对不同参数维度调整更新幅度。
7.3 AdaGrad 的局限
AdaGrad 会持续累计历史梯度平方。
随着训练进行:
通常会不断增大。
这可能导致有效学习率持续缩小,甚至在训练后期变得非常小。
因此,AdaGrad 在某些持续训练场景下可能出现学习率衰减过快的问题。
八、RMSProp:改进 AdaGrad 的学习率衰减问题
RMSProp(Root Mean Square Propagation)通过指数移动平均累计梯度平方。
与 AdaGrad 不同,它不会无限制地累计所有历史梯度平方,而是让近期梯度拥有更高权重。
8.1 RMSProp 更新公式
首先计算梯度平方的指数移动平均:
然后更新参数:
其中:
- s_t:梯度平方的指数移动平均。
- \rho:衰减系数。
- \eta:学习率。
- \epsilon:数值稳定项。
8.2 RMSProp 与 AdaGrad 的区别
| 对比维度 | AdaGrad | RMSProp |
|---|---|---|
| 梯度统计方式 | 累计梯度平方 | 指数移动平均 |
| 历史信息 | 持续累计 | 近期信息权重更高 |
| 有效学习率 | 通常持续下降 | 能够随梯度统计动态调整 |
| 主要优势 | 适应稀疏梯度 | 缓解学习率过快衰减 |
RMSProp 通过滑动平均机制,使有效学习率不会因为无限累计历史梯度平方而持续单向缩小。
九、Adam:结合动量与自适应学习率
Adam(Adaptive Moment Estimation)是深度学习中应用非常广泛的优化算法。
它结合了两类思想:
- Momentum:利用历史梯度的一阶矩信息。
- RMSProp:利用历史梯度平方的二阶矩信息。
Adam 同时维护梯度的一阶矩估计和二阶矩估计,并进行偏差修正。
9.1 Adam 的核心变量
设当前梯度为:
一阶矩估计:
二阶矩估计:
其中:
- m_t:梯度的一阶矩估计。
- v_t:梯度平方的二阶原始矩估计。
- \beta_1:一阶矩衰减系数。
- \beta_2:二阶矩衰减系数。
注意:这里的 v_t 是梯度平方的指数移动平均,不是严格意义上直接计算得到的统计方差。
9.2 为什么需要偏差修正?
Adam 通常将一阶矩和二阶矩变量初始化为零:
在训练初期,由于历史状态尚未积累,矩估计容易偏向零。
为此,Adam 引入偏差修正:
其中:
- \hat{m}_t:修正后的一阶矩估计。
- \hat{v}_t:修正后的二阶矩估计。
偏差修正可以减轻零初始化对训练初期矩估计的影响。
9.3 Adam 参数更新公式
最终参数更新:
其中:
- \eta:学习率。
- \hat{m}_t:偏差修正后的一阶矩。
- \hat{v}_t:偏差修正后的二阶矩。
- \epsilon:数值稳定项。
这就是 Adam 的核心更新机制。
9.4 Adam 的完整计算流程
flowchart TB
A["计算当前梯度 g"]
B["更新一阶矩 m"]
C["更新二阶矩 v"]
D["执行一阶矩偏差修正"]
E["执行二阶矩偏差修正"]
F["计算自适应更新量"]
G["更新模型参数"]
A --> B
A --> C
B --> D
C --> E
D --> F
E --> F
F --> G
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
9.5 Adam 的核心优势
一阶矩与二阶矩结合
一阶矩利用历史梯度方向信息,二阶矩用于调整不同参数维度的更新尺度。
自适应学习率