返回专栏
· 17 分钟阅读

学习率、批次大小与训练轮次:深入理解模型训练的三个核心超参数


一、前言

神经网络训练不仅取决于模型结构、训练数据和损失函数,还受到一系列训练超参数的影响。

其中,学习率(Learning Rate)、批次大小(Batch Size)和训练轮次(Epoch)是最基础、最重要的三个训练配置。

它们分别控制不同方面:

  • 学习率: 每次参数更新时,模型应该走多大一步。
  • 批次大小: 每次参数更新使用多少训练样本。
  • 训练轮次: 整个训练数据集需要被完整学习多少遍。

这三个参数看似简单,却会直接影响模型的训练速度、收敛过程、显存消耗和泛化能力。

它们之间也存在紧密联系。例如,调整 Batch Size 会改变每个 Epoch 中的参数更新次数;调整学习率会影响每次更新的幅度;调整 Epoch 则会影响模型经历的训练过程和总更新次数。

本文重点讲解:

  • 学习率的数学含义及其影响。
  • Batch Size 的计算机制与选择原则。
  • Epoch、Iteration、Step 的区别。
  • 三个超参数之间的相互作用。
  • 学习率调度与批次大小调整策略。
  • 过拟合、欠拟合与训练轮次的关系。
  • 大批次训练与小批次训练的差异。
  • PyTorch 中的训练参数配置与实践。

二、三个核心超参数的整体认知

先从模型训练的基本过程理解这三个参数。

假设训练集有 10,000 条样本:

  • Batch Size 设置为 100。
  • 每次读取 100 条样本。
  • 计算当前批次的损失和梯度。
  • 优化器更新一次模型参数。
  • 重复处理完全部 10,000 条样本,完成一个 Epoch。

如果训练 20 个 Epoch,就意味着模型完整遍历训练集 20 次。

在这个过程中:

  • Batch Size 决定每次读取多少数据。
  • Learning Rate 决定每次参数更新的步长。
  • Epoch 决定完整遍历训练集的次数。

2.1 三者之间的关系

flowchart TB
    A["模型训练配置"]
    B["学习率 Learning Rate"]
    C["批次大小 Batch Size"]
    D["训练轮次 Epoch"]
    E["控制单次参数更新幅度"]
    F["控制单次梯度计算的数据量"]
    G["控制完整数据集遍历次数"]
    H["共同影响训练过程"]
    I["收敛速度、训练稳定性与泛化能力"]

    A --> B
    A --> C
    A --> D
    B --> E
    C --> F
    D --> G
    E --> H
    F --> H
    G --> H
    H --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这三个参数不能孤立理解,需要结合模型规模、数据集规模、硬件条件和优化器共同考虑。


三、学习率:控制模型每次更新参数的幅度

学习率(Learning Rate,LR)是优化算法中的核心超参数。

它决定优化器根据当前梯度调整模型参数的幅度。

3.1 学习率的数学定义

以最基础的梯度下降为例:

\theta_{t+1} = \theta_t-\eta\nabla_\theta L(\theta_t)

其中:

  • \theta_t:当前模型参数。
  • \theta_{t+1}:更新后的模型参数。
  • \eta:学习率。
  • \nabla_\theta L(\theta_t):当前损失对参数的梯度。

学习率决定梯度在参数更新公式中的缩放比例。

例如:

\theta=2

当前梯度:

g=4

如果学习率为:

\eta=0.1

则:

\theta_{\text{new}}=2-0.1\times4=1.6

如果学习率调整为:

\eta=0.01

则:

\theta_{\text{new}}=2-0.01\times4=1.96

可以看到,梯度相同,学习率不同,最终参数更新幅度也不同。

3.2 学习率过大的影响

当学习率过大时,模型可能在损失函数的低谷附近不断越过目标位置。

典型表现:

  • 损失函数上下震荡。
  • 参数更新幅度过大。
  • 训练损失无法稳定下降。
  • 训练过程可能发散。
  • 数值异常时可能出现 NaN 或 Inf。

对于某些复杂损失曲面,过大的学习率还可能使参数进入损失更高的区域。

3.3 学习率过小的影响

当学习率过小时,每次参数更新都非常有限。

典型表现:

  • 损失下降缓慢。
  • 需要更多训练时间。
  • 在训练预算有限时难以充分优化。
  • 可能长时间停留在平坦区域。

学习率过小并不意味着模型一定无法收敛,而是可能需要更多迭代才能达到相同的优化效果。

3.4 学习率的选择

常见学习率取值示例:

学习率 典型特点
0.1 步长较大,需要关注训练稳定性
0.01 常见的初始尝试值
0.001 常见于 Adam 等优化器的初始配置
0.0001 较小的更新步长
0.00001 常用于部分微调任务或较敏感的训练阶段

这些数值仅用于建立直观认识,并不是固定标准。

不同优化器、模型架构、参数初始化和训练数据可能需要不同的学习率。

尤其需要注意:

同一个学习率数值,在 SGD 和 Adam 中不代表相同的实际参数更新幅度。

原因在于 Adam 等自适应优化器会根据历史梯度调整不同参数维度的更新幅度。

3.5 学习率与训练效果

flowchart TB
    A["设置学习率"]
    B["学习率过大"]
    C["学习率合适"]
    D["学习率过小"]
    E["损失震荡或发散"]
    F["稳定优化,逐步降低损失"]
    G["更新幅度过小,收敛缓慢"]

    A --> B
    A --> C
    A --> D
    B --> E
    C --> F
    D --> G

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

四、批次大小:决定每次使用多少训练样本

批次大小(Batch Size)是指模型每次计算损失和梯度时使用的训练样本数量。

例如:

训练集有 10,000 条数据。

如果 Batch Size 设置为 100,那么每次训练迭代会使用 100 条样本计算梯度。

处理完全部训练数据,需要:

\frac{10000}{100}=100

次迭代。

这里假设数据集大小能够被 Batch Size 整除。

4.1 Batch Size 的数学表达

假设完整训练集的损失函数为:

L(\theta)=\frac{1}{N}\sum_{i=1}^{N}\ell_i(\theta)

其中:

  • N:训练样本数量。
  • \ell_i(\theta):第 i 个样本的损失。

每次使用一个包含 B 个样本的小批次:

\mathcal B_t=\{i_1,i_2,\ldots,i_B\}

批次损失:

L_{\mathcal B_t}(\theta) = \frac{1}{B} \sum_{i\in\mathcal B_t}\ell_i(\theta)

对应的梯度:

g_t= \frac{1}{B} \sum_{i\in\mathcal B_t} \nabla_\theta\ell_i(\theta)

优化器根据这个批次梯度更新模型参数。

因此,Batch Size 本质上控制的是:

每次梯度估计使用多少训练样本。

4.2 Batch Size 的三种典型形式

根据每次参与梯度计算的样本数量,可以分为三种形式。

类型 Batch Size 说明
Batch Gradient Descent 全部训练样本 每次使用完整数据集计算梯度
Stochastic Gradient Descent 1 每次使用一个样本计算梯度
Mini-batch SGD 大于 1 且小于数据集规模 每次使用一批样本计算梯度

现代深度学习通常采用 Mini-batch 训练方式。

4.3 小批次训练

例如:

B=16

每次使用 16 条样本。

特点:

  • 单次计算量较小。
  • 显存占用相对较低。
  • 每个 Epoch 中参数更新次数较多。
  • 梯度估计噪声相对较大。
  • 训练过程可能存在较明显波动。

适用于显存有限、模型较大或数据量较大的部分场景。

4.4 大批次训练

例如:

B=1024

每次使用 1024 条样本。

特点:

  • 单次计算量较大。
  • 更容易利用 GPU 批量并行计算。
  • 梯度估计通常更加稳定。
  • 显存占用较高。
  • 每个 Epoch 中的参数更新次数较少。

大批次训练并不必然优于小批次训练。

在某些任务中,大批次训练需要配合学习率调整、Warmup 和其他优化策略,否则可能出现训练不稳定或泛化效果下降。

4.5 Batch Size 与梯度噪声

如果每个样本的梯度不同,那么不同批次计算出来的梯度也会存在差异。

小批次通常具有更大的梯度估计方差。

在独立同分布、有限方差等简化条件下,批次平均梯度的方差通常随批次大小增加而下降,近似与 1/B 成比例。

直观理解:

  • Batch Size 越小,每次采样的样本越少,梯度波动通常越明显。
  • Batch Size 越大,梯度平均效果越明显,估计通常越稳定。

不过,实际训练中的梯度方差还会受到样本相关性、数据分布、模型状态和采样策略影响。

4.6 Batch Size 对显存的影响

Batch Size 直接影响每次前向传播和反向传播处理的数据规模。

在模型结构和输入尺寸不变的情况下,增大 Batch Size 通常会增加激活值等中间数据的显存占用。

训练显存通常由以下部分构成:

  • 模型参数。
  • 参数梯度。
  • 优化器状态。
  • 前向传播中间激活值。
  • 临时计算空间。

其中,优化器状态也可能占据大量显存。

例如,Adam 通常需要维护一阶矩和二阶矩状态,因此其优化器状态显存通常高于不维护这些状态的基础 SGD。

需要注意,Batch Size 增大并不意味着所有显存占用都按相同比例增加,实际情况取决于模型架构、实现方式、混合精度和内存优化技术。


五、训练轮次:Epoch、Iteration 与 Step

训练轮次(Epoch)表示模型完整遍历训练数据集一次。

这是理解训练过程最容易混淆的概念之一。

需要明确区分:

  • Epoch
  • Iteration
  • Step

5.1 Epoch

Epoch 表示模型完整使用训练集进行一次训练遍历。

假设:

  • 训练集有 10,000 条样本。
  • Batch Size 为 100。

当模型处理完全部 10,000 条训练样本,就完成了一个 Epoch。

如果设置:

Epoch=20

表示模型计划完整遍历训练集 20 次。

5.2 Iteration

Iteration 通常表示一次训练迭代,即处理一个 Batch 并完成对应的梯度计算和参数更新。

假设:

N=10000
B=100

那么一个 Epoch 需要:

Iteration=\frac{10000}{100}=100

次迭代。

如果训练 20 个 Epoch:

Total\ Iterations=100\times20=2000

5.3 Step

Step 在深度学习工程中通常表示一次优化器更新,但具体含义需要结合框架和训练代码判断。

尤其在梯度累积场景下:

  • 一个 Batch 可能执行一次前向传播和反向传播。
  • 多个 Batch 的梯度可能累积起来。
  • 达到指定累积次数后,才执行一次优化器更新。

因此:

Iteration 与 Optimizer Step 在普通训练中通常对应,但在梯度累积等场景下不一定相同。

5.4 三个概念的关系

flowchart TB
    A["训练集"]
    B["Epoch 1"]
    C["Batch 1"]
    D["Batch 2"]
    E["Batch 3"]
    F["..."]
    G["Batch N"]
    H["Epoch 2"]
    I["继续遍历训练集"]
    J["训练结束"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    H --> I
    I --> J

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F

5.5 一个 Epoch 有多少次 Iteration?

假设:

N=1050
B=100

如果不丢弃最后一个不完整批次:

StepsPerEpoch= \left\lceil\frac{1050}{100}\right\rceil =11

其中:

  • 前 10 个 Batch,每个包含 100 条数据。
  • 最后 1 个 Batch,包含 50 条数据。

如果设置 drop_last=True,则最后 50 条数据会被丢弃:

StepsPerEpoch= \left\lfloor\frac{1050}{100}\right\rfloor =10

因此,计算训练步数时,需要考虑是否保留最后一个不完整批次。

5.6 Epoch 不等于参数更新次数

Epoch 表示数据集遍历次数。

参数更新次数取决于:

  • 数据集规模。
  • Batch Size。
  • 是否丢弃最后一个批次。
  • 是否使用梯度累积。
  • 是否跳过某些优化器更新。

在普通 Mini-batch 训练中:

\boxed{ StepsPerEpoch= \left\lceil\frac{N}{B}\right\rceil }

当最后一个批次被丢弃时:

StepsPerEpoch= \left\lfloor\frac{N}{B}\right\rfloor

如果没有梯度累积,一个 Batch 通常对应一次优化器更新。


六、三个超参数之间的相互作用

学习率、Batch Size 和 Epoch 并不是相互独立的参数。

改变其中一个参数,可能会影响另外两个参数的最佳配置。

6.1 Batch Size 与参数更新次数

假设训练集有:

N=10000

训练轮次:

Epoch=10

比较不同 Batch Size:

Batch Size 每个 Epoch 的更新次数 总更新次数
16 625 6250
32 313 3130
64 157 1570
128 79 790
256 40 400

这里假设不丢弃最后一个批次,并且没有梯度累积。

可以发现:

Batch Size 越大,每个 Epoch 中的参数更新次数通常越少。

这意味着,即使 Epoch 相同,不同 Batch Size 的训练过程也并不等价。

6.2 为什么相同 Epoch 不代表相同训练量?

假设两个模型都训练 10 个 Epoch:

  • 模型 A:Batch Size = 32。
  • 模型 B:Batch Size = 256。

模型 A 每个 Epoch 更新参数的次数明显更多。

因此,两个模型虽然都完整遍历训练集 10 次,但经历的参数更新次数不同。

如果需要公平比较训练配置,还应考虑:

  • 总优化器更新次数。
  • 实际处理的训练样本数量。
  • 总训练计算量。
  • 训练时间。
  • 学习率调度进度。

6.3 Batch Size 与 Learning Rate

调整 Batch Size 时,通常也需要重新评估学习率。

原因包括:

  1. 批次大小影响梯度估计的噪声水平。
  2. 梯度噪声会影响参数更新轨迹。
  3. 不同批次大小下,模型可能需要不同的学习率。
  4. 大批次训练的优化稳定性可能依赖 Warmup 等策略。

对于 SGD,在特定条件下,可以使用线性学习率缩放规则作为实验起点:

\eta_{\text{new}} = \eta_{\text{old}} \frac{B_{\text{new}}}{B_{\text{old}}}

例如,Batch Size 从 128 增加到 256,可以尝试将学习率扩大为原来的两倍。

但这不是普遍成立的数学定律。

实际效果还受到模型结构、优化器、数据规模、训练时长和学习率调度方式影响。

对于 Adam 等自适应优化器,也不能机械地照搬这一规则。

6.4 Epoch 与 Learning Rate

训练轮次增加,意味着模型有更多机会利用训练数据调整参数。

但随着训练推进,模型可能逐渐接近当前优化目标的较优区域。

此时,如果学习率仍然过大,可能难以稳定地进行精细优化。

因此,常见做法是:

  • 训练初期使用适当的学习率。
  • 中期根据训练情况调整。
  • 后期逐步降低学习率。
  • 根据验证集指标决定是否继续训练。

这就是学习率调度与训练轮次结合使用的原因。


七、学习率调度策略

实际深度学习训练中,很少始终使用完全固定的学习率。

更常见的做法是根据训练进度动态调整学习率。

7.1 Step Decay

Step Decay 按照固定间隔降低学习率。

例如:

\eta_t= \eta_0\gamma^k

其中:

  • \eta_0:初始学习率。
  • \gamma:衰减系数。
  • k:已经完成的衰减次数。

示例:

Epoch 1-10:  0.1
Epoch 11-20: 0.01
Epoch 21-30: 0.001

适合训练周期比较明确的场景。

7.2 Exponential Decay

指数衰减:

\eta_t=\eta_0e^{-kt}

其中 k 控制衰减速度。

学习率随着训练进度逐渐降低。

7.3 Cosine Annealing

余弦退火通过余弦函数调整学习率。

常见形式:

\eta_t= \eta_{\min} + \frac{1}{2} (\eta_{\max}-\eta_{\min}) \left( 1+\cos\frac{\pi t}{T} \right)

其中:

  • \eta_{\max}:最大学习率。
  • \eta_{\min}:最小学习率。
  • T:调度周期。
  • t:当前调度进度。

这种方式能够让学习率平滑下降。

7.4 Warmup

Warmup 是训练初期的学习率预热策略。

它不会在训练开始时直接使用目标学习率,而是逐渐增加学习率。

例如:

训练初期:0.00001
预热中期:0.0001
预热结束:0.001

Warmup 常用于大模型训练和大批次训练。

它可以降低训练初期使用较大学习率时的不稳定风险。

7.5 Warmup + Cosine

这是现代深度学习训练中常见的学习率调度组合。

整体过程:

  1. 训练初期逐步提高学习率。
  2. 达到预设峰值学习率。
  3. 进入余弦衰减阶段。
  4. 学习率逐步降低至设定的最小值。
flowchart TB
    A["训练开始"]
    B["Warmup 学习率预热"]
    C["达到峰值学习率"]
    D["Cosine 余弦衰减"]
    E["接近最小学习率"]
    F["训练结束"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F

需要注意,Warmup 和 Cosine 是学习率调度策略,不是独立的优化器。

它们可以与 SGD、Adam、AdamW 等优化器组合使用。


八、训练轮次与过拟合、欠拟合

Epoch 不只是控制训练时长,也会影响模型对训练数据的拟合程度。

8.1 欠拟合

欠拟合(Underfitting)表示模型尚未充分学习训练数据中的规律。

典型表现:

  • 训练损失较高。
  • 验证损失也较高。
  • 训练集和验证集表现都不理想。

可能原因:

  • 模型容量不足。
  • 训练轮次不足。
  • 学习率配置不合理。
  • 特征表达能力不足。
  • 正则化过强。

增加训练轮次有时可以改善欠拟合,但不一定能解决模型容量不足等问题。

8.2 过拟合

过拟合(Overfitting)表示模型过度适应训练数据中的特定模式,导致泛化能力下降。

典型表现:

  • 训练损失持续下降。
  • 验证损失停止下降,甚至开始上升。
  • 训练集表现明显优于验证集。

可能原因:

  • 模型容量过大。
  • 训练数据不足。
  • 训练轮次过多。
  • 正则化不足。
  • 训练数据分布与实际应用场景存在差异。

8.3 训练损失与验证损失

训练过程中通常需要同时观察:

  • Training Loss:训练集损失。
  • Validation Loss:验证集损失。

它们可以帮助判断模型是否还在有效学习,以及是否出现过拟合。

flowchart TB
    A["开始训练"]
    B["记录训练损失"]
    C["记录验证损失"]
    D{"训练与验证表现"}
    E["训练损失高,验证损失也高"]
    F["训练损失下降,验证损失同步改善"]
    G["训练损失继续下降,验证损失上升"]
    H["考虑欠拟合及模型配置"]
    I["继续观察训练过程"]
    J["考虑过拟合与早停"]
    K["根据验证集选择模型"]

    A --> B
    B --> C
    C --> D
    D --> E
    D --> F
    D --> G
    E --> H
    F --> I
    G --> J
    H --> K
    I --> K
    J --> K

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F