返回专栏
· 15 分钟阅读

梯度下降、SGD 与 Adam:深入理解神经网络的参数优化算法


一、前言

神经网络通过前向传播计算预测结果,通过损失函数衡量预测误差,再通过反向传播计算损失对模型参数的梯度。

但计算出梯度之后,还需要解决一个关键问题:

如何根据梯度调整模型参数,使损失函数逐步降低?

这就是优化算法(Optimization Algorithm)需要解决的问题。

梯度下降是最基础的参数优化方法。在此基础上,研究人员提出了随机梯度下降(SGD)、Momentum、AdaGrad、RMSProp、Adam 等优化算法,以改善训练效率、收敛速度和训练稳定性。

本文重点讲解:

  • 梯度下降的数学原理与参数更新机制。
  • Batch Gradient Descent、SGD 与 Mini-batch SGD 的区别。
  • 学习率及其对训练过程的影响。
  • Momentum 动量优化机制。
  • AdaGrad、RMSProp 的自适应学习率机制。
  • Adam 的一阶矩、二阶矩与偏差修正。
  • Adam、AdamW 与 SGD 的区别。
  • 学习率调度、梯度裁剪及优化器选择。
  • PyTorch 中优化器的工程实践。

二、优化算法解决什么问题?

神经网络训练的目标是找到一组模型参数,使损失函数尽可能小。

假设模型参数为:

\theta=\{W,b\}

模型的训练目标可以表示为:

\boxed{ \theta^*=\arg\min_{\theta}L(\theta) }

其中:

  • \theta:模型参数。
  • L(\theta):损失函数。
  • \theta^*:使损失函数达到最小值的参数。

实际训练中,损失函数通常由训练数据上的多个样本损失构成:

L(\theta)=\frac{1}{N}\sum_{i=1}^{N} \ell(f(x_i;\theta),y_i)

其中:

  • N:训练样本数量。
  • x_i:第 i 个输入样本。
  • y_i:真实标签。
  • f(x_i;\theta):模型预测结果。
  • \ell:单个样本的损失函数。

对于复杂神经网络,通常无法直接求得最优参数的解析解,需要使用数值优化算法不断调整参数。

优化算法的核心任务就是:

  1. 根据当前参数计算模型损失。
  2. 计算损失对参数的梯度。
  3. 根据梯度确定参数调整方向。
  4. 更新模型参数。
  5. 重复上述过程,直到满足训练停止条件。

2.1 模型训练的完整过程

flowchart TB
    A["初始化模型参数"]
    B["读取训练数据"]
    C["前向传播"]
    D["计算损失函数"]
    E["反向传播计算梯度"]
    F["优化器更新参数"]
    G{"是否达到停止条件"}
    H["保存训练后的模型"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G -->|"否"| B
    G -->|"是"| H

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F

需要区分三个概念:

  • 损失函数:定义模型需要优化的目标。
  • 反向传播:计算目标函数对模型参数的梯度。
  • 优化器:根据梯度和自身状态更新模型参数。

三者共同构成神经网络的参数学习机制。


三、梯度下降:最基础的参数优化算法

梯度下降(Gradient Descent)是最经典的数值优化算法之一。

其核心思想是:

沿着损失函数梯度的反方向调整参数,使损失函数逐步降低。

3.1 梯度的方向含义

假设损失函数为:

L(\theta)

其梯度为:

\nabla_\theta L(\theta)

梯度表示函数在当前位置增长最快的方向。

因此,负梯度方向对应局部下降最快的方向。

参数更新公式:

\boxed{ \theta_{t+1} = \theta_t-\eta\nabla_\theta L(\theta_t) }

其中:

  • \theta_t:第 t 次迭代时的参数。
  • \theta_{t+1}:更新后的参数。
  • \eta:学习率(Learning Rate)。
  • \nabla_\theta L(\theta_t):当前参数位置的梯度。

学习率决定每次参数更新的步长。

3.2 一维梯度下降示例

假设需要最小化:

L(w)=(w-3)^2

求导:

\frac{dL}{dw}=2(w-3)

设定:

w_0=0
\eta=0.1

第一次计算梯度:

g_0=2(0-3)=-6

更新参数:

w_1=0-0.1\times(-6)=0.6

第二次计算梯度:

g_1=2(0.6-3)=-4.8

更新:

w_2=0.6-0.1\times(-4.8)=1.08

继续迭代:

迭代次数 参数 w 损失 L(w)
0 0.0000 9.0000
1 0.6000 5.7600
2 1.0800 3.6864
3 1.4640 2.3593
4 1.7712 1.5099
5 2.0170 0.9664

随着参数逐步接近最优点:

w^*=3

损失也逐渐趋近于零。

3.3 梯度下降的直观过程

flowchart TB
    A["当前位置:损失较大"]
    B["计算当前位置的梯度"]
    C["确定负梯度方向"]
    D["按照学习率移动参数"]
    E["到达新的参数位置"]
    F{"是否满足停止条件"}

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F -->|"否"| B
    F -->|"是"| G["得到当前优化结果"]

    style A fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

3.4 梯度下降的局限

标准梯度下降在每次更新参数之前,需要计算整个训练集的梯度。

当数据集非常大时,会带来较高的计算成本。

例如:

  • 训练集有 100 万条样本。
  • 每次更新参数都需要处理全部样本。
  • 完成一次参数更新需要大量计算。

此外,标准梯度下降还存在以下问题:

  • 参数更新频率较低。
  • 单次迭代计算成本较高。
  • 数据集规模增大时,内存和计算压力增加。
  • 对非凸损失函数,仍可能受到鞍点、平坦区域等问题影响。

因此,深度学习通常采用基于小批量数据的梯度优化方法。


四、Batch GD、SGD 与 Mini-batch SGD

根据每次参数更新使用的训练样本数量,可以将梯度下降分为三种主要形式。

4.1 Batch Gradient Descent

批量梯度下降(Batch Gradient Descent)每次更新参数时,使用全部训练样本计算梯度。

公式:

\theta_{t+1} = \theta_t-\eta \frac{1}{N} \sum_{i=1}^{N} \nabla_\theta\ell_i(\theta_t)

其中 N 为训练集样本数量。

特点:

  • 每次更新使用全部训练数据。
  • 梯度通常更接近完整训练集目标的梯度。
  • 更新方向相对稳定。
  • 数据集越大,单次更新成本越高。

适合数据量较小、能够在内存或计算资源允许范围内处理的场景。

4.2 Stochastic Gradient Descent

随机梯度下降(SGD)通常指每次使用一个随机抽取的训练样本计算梯度。

公式:

\theta_{t+1} = \theta_t-\eta \nabla_\theta\ell_i(\theta_t)

其中 i 表示随机选取的样本索引。

特点:

  • 每次更新只需要一个样本。
  • 参数更新频率较高。
  • 单次计算成本较低。
  • 梯度估计噪声较大。
  • 损失曲线可能出现明显波动。

SGD 的随机性来自每次只使用部分数据估计完整训练目标的梯度。

在样本随机抽取且满足相应条件时,单样本梯度可以作为整体梯度的无偏估计。

4.3 Mini-batch SGD

小批量随机梯度下降(Mini-batch SGD)每次使用一批训练样本计算梯度。

假设批量大小为 B:

\boxed{ \theta_{t+1} = \theta_t-\eta \frac{1}{B} \sum_{i\in\mathcal B_t} \nabla_\theta\ell_i(\theta_t) }

其中:

  • B:批量大小(Batch Size)。
  • \mathcal B_t:当前迭代使用的样本集合。
  • \eta:学习率。

它在计算效率和梯度稳定性之间取得了较好的平衡。

现代深度学习训练通常采用 Mini-batch SGD 这一形式。

需要注意,实际工程中人们经常直接把使用 Mini-batch 的训练方式称为 SGD,尤其是使用 Momentum 等改进版本时。

4.4 三种方式的对比

对比维度 Batch GD SGD Mini-batch SGD
单次样本数量 全部样本 1 一批样本
单次计算成本 高 低 中等
更新频率 低 高 较高
梯度波动 较小 较大 中等
并行计算 可以 受单样本粒度限制 适合批量并行
深度学习应用 相对少见 单样本训练较少 非常常见

4.5 Batch Size 对训练的影响

Batch Size 是训练过程中一个重要超参数。

较小的 Batch Size:

  • 单次计算量较小。
  • 参数更新次数较多。
  • 梯度估计噪声较大。
  • 可能带来一定的正则化效果。
  • 训练过程的损失波动可能更明显。

较大的 Batch Size:

  • 更适合 GPU 批量并行计算。
  • 单次梯度估计通常更稳定。
  • 每个 Epoch 中的参数更新次数更少。
  • 可能带来更高的显存占用。
  • 在相同训练配置下,不一定能获得更好的泛化能力。

不能简单认为 Batch Size 越大越好,实际需要结合学习率、模型规模、硬件资源和训练数据进行调整。


五、学习率:决定参数更新幅度的关键超参数

学习率(Learning Rate,简称 LR)是梯度优化中最重要的超参数之一。

它决定优化器每次根据梯度调整参数的幅度。

以梯度下降为例:

\theta_{t+1} = \theta_t-\eta\nabla_\theta L(\theta_t)

其中 \eta 就是学习率。

5.1 学习率过大

如果学习率过大,参数每次更新的幅度可能超过合理范围。

典型表现:

  • 损失函数剧烈震荡。
  • 参数在最优点附近来回跳动。
  • 损失不降反升。
  • 训练可能直接发散。

5.2 学习率过小

如果学习率过小,参数更新幅度不足。

典型表现:

  • 损失下降速度非常慢。
  • 训练需要更多迭代次数。
  • 可能长时间停留在平坦区域。
  • 在有限训练预算下难以达到理想结果。

5.3 学习率的影响示意

flowchart TB
    A["选择学习率"]
    B["学习率过大"]
    C["学习率合适"]
    D["学习率过小"]
    E["损失震荡或训练发散"]
    F["稳定降低损失"]
    G["收敛速度缓慢"]

    A --> B
    A --> C
    A --> D
    B --> E
    C --> F
    D --> G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style C fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

5.4 固定学习率与动态学习率

固定学习率:

整个训练过程中使用同一个学习率。

动态学习率:

根据训练进度、损失变化或预设调度策略调整学习率。

常见学习率调度策略:

调度策略 核心机制
Step Decay 每隔指定 Epoch 降低学习率
Exponential Decay 按指数规律衰减
Cosine Annealing 按余弦曲线逐步降低学习率
ReduceLROnPlateau 验证指标停滞时降低学习率
Warmup 训练初期逐步增加学习率
Cosine Warmup 先预热,再进行余弦衰减

学习率调度并不是优化器本身的梯度计算规则,而是控制训练过程中学习率变化的策略。


六、Momentum:引入历史梯度信息

普通 SGD 每次只根据当前批次的梯度更新参数。

如果不同批次的梯度方向波动较大,参数更新可能出现明显震荡。

Momentum(动量)通过引入历史梯度信息,改善这一问题。

6.1 动量的基本思想

可以将 Momentum 理解为:

不只考虑当前梯度,还考虑之前积累的更新方向。

其常见形式为:

v_t=\beta v_{t-1}+g_t
\theta_{t+1}=\theta_t-\eta v_t

其中:

  • g_t:当前梯度。
  • v_t:动量变量。
  • \beta:动量系数。
  • \eta:学习率。

通常将动量系数设置为接近 1 的值,例如 0.9。

6.2 Momentum 如何改善训练?

假设连续多个批次的梯度方向基本一致。

普通 SGD 每次只使用当前梯度。

Momentum 会不断累积历史梯度,使一致方向上的更新效果得到增强。

如果梯度方向反复变化,历史梯度也会对当前更新产生平滑作用。

因此,Momentum 通常能够:

  • 加速沿稳定方向的参数更新。
  • 减少部分方向上的震荡。
  • 改善某些狭长损失曲面上的优化表现。
  • 提高训练效率。

6.3 SGD 与 Momentum 对比

普通 SGD:

\theta_{t+1}=\theta_t-\eta g_t

Momentum:

v_t=\beta v_{t-1}+g_t
\theta_{t+1}=\theta_t-\eta v_t

Momentum 不只是简单放大学习率,而是引入了历史梯度状态。

需要注意,不同优化器实现可能采用不同的动量定义和初始化方式,公式表达需要与具体实现保持一致。


七、AdaGrad:根据历史梯度调整学习率

普通 SGD 使用统一学习率。

但在不同参数维度上,梯度的大小和出现频率可能差异很大。

例如:

  • 某些参数频繁获得较大梯度。
  • 某些参数很少获得梯度。
  • 不同参数维度的梯度尺度不同。

AdaGrad(Adaptive Gradient Algorithm)通过累计历史梯度平方,为不同参数维度自适应调整学习率。

7.1 AdaGrad 的更新公式

首先累计梯度平方:

r_t=r_{t-1}+g_t^2

然后更新参数:

\boxed{ \theta_{t+1} = \theta_t- \frac{\eta}{\sqrt{r_t}+\epsilon}g_t }

其中:

  • r_t:历史梯度平方累积量。
  • g_t:当前梯度。
  • \eta:初始学习率。
  • \epsilon:数值稳定项。

这里的平方和开方通常都是逐元素操作。

7.2 AdaGrad 的核心特点

对于历史梯度较大的参数:

\sqrt{r_t}

会逐渐增大,对应的有效学习率会降低。

对于历史梯度较小的参数,有效学习率相对较大。

因此,AdaGrad 能够针对不同参数维度调整更新幅度。

7.3 AdaGrad 的局限

AdaGrad 会持续累计历史梯度平方。

随着训练进行:

r_t=r_{t-1}+g_t^2

通常会不断增大。

这可能导致有效学习率持续缩小,甚至在训练后期变得非常小。

因此,AdaGrad 在某些持续训练场景下可能出现学习率衰减过快的问题。


八、RMSProp:改进 AdaGrad 的学习率衰减问题

RMSProp(Root Mean Square Propagation)通过指数移动平均累计梯度平方。

与 AdaGrad 不同,它不会无限制地累计所有历史梯度平方,而是让近期梯度拥有更高权重。

8.1 RMSProp 更新公式

首先计算梯度平方的指数移动平均:

s_t=\rho s_{t-1}+(1-\rho)g_t^2

然后更新参数:

\boxed{ \theta_{t+1} = \theta_t- \frac{\eta}{\sqrt{s_t}+\epsilon}g_t }

其中:

  • s_t:梯度平方的指数移动平均。
  • \rho:衰减系数。
  • \eta:学习率。
  • \epsilon:数值稳定项。

8.2 RMSProp 与 AdaGrad 的区别

对比维度 AdaGrad RMSProp
梯度统计方式 累计梯度平方 指数移动平均
历史信息 持续累计 近期信息权重更高
有效学习率 通常持续下降 能够随梯度统计动态调整
主要优势 适应稀疏梯度 缓解学习率过快衰减

RMSProp 通过滑动平均机制,使有效学习率不会因为无限累计历史梯度平方而持续单向缩小。


九、Adam:结合动量与自适应学习率

Adam(Adaptive Moment Estimation)是深度学习中应用非常广泛的优化算法。

它结合了两类思想:

  1. Momentum:利用历史梯度的一阶矩信息。
  2. RMSProp:利用历史梯度平方的二阶矩信息。

Adam 同时维护梯度的一阶矩估计和二阶矩估计,并进行偏差修正。

9.1 Adam 的核心变量

设当前梯度为:

g_t=\nabla_\theta L(\theta_t)

一阶矩估计:

m_t=\beta_1m_{t-1}+(1-\beta_1)g_t

二阶矩估计:

v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2

其中:

  • m_t:梯度的一阶矩估计。
  • v_t:梯度平方的二阶原始矩估计。
  • \beta_1:一阶矩衰减系数。
  • \beta_2:二阶矩衰减系数。

注意:这里的 v_t 是梯度平方的指数移动平均,不是严格意义上直接计算得到的统计方差。

9.2 为什么需要偏差修正?

Adam 通常将一阶矩和二阶矩变量初始化为零:

m_0=0
v_0=0

在训练初期,由于历史状态尚未积累,矩估计容易偏向零。

为此,Adam 引入偏差修正:

\hat{m}_t= \frac{m_t}{1-\beta_1^t}
\hat{v}_t= \frac{v_t}{1-\beta_2^t}

其中:

  • \hat{m}_t:修正后的一阶矩估计。
  • \hat{v}_t:修正后的二阶矩估计。

偏差修正可以减轻零初始化对训练初期矩估计的影响。

9.3 Adam 参数更新公式

最终参数更新:

\boxed{ \theta_{t+1} = \theta_t- \eta \frac{\hat{m}_t} {\sqrt{\hat{v}_t}+\epsilon} }

其中:

  • \eta:学习率。
  • \hat{m}_t:偏差修正后的一阶矩。
  • \hat{v}_t:偏差修正后的二阶矩。
  • \epsilon:数值稳定项。

这就是 Adam 的核心更新机制。

9.4 Adam 的完整计算流程

flowchart TB
    A["计算当前梯度 g"]
    B["更新一阶矩 m"]
    C["更新二阶矩 v"]
    D["执行一阶矩偏差修正"]
    E["执行二阶矩偏差修正"]
    F["计算自适应更新量"]
    G["更新模型参数"]

    A --> B
    A --> C
    B --> D
    C --> E
    D --> F
    E --> F
    F --> G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

9.5 Adam 的核心优势

一阶矩与二阶矩结合

一阶矩利用历史梯度方向信息,二阶矩用于调整不同参数维度的更新尺度。

自适应学习率