一、前言
神经网络训练不仅取决于模型结构、训练数据和损失函数,还受到一系列训练超参数的影响。
其中,学习率(Learning Rate)、批次大小(Batch Size)和训练轮次(Epoch)是最基础、最重要的三个训练配置。
它们分别控制不同方面:
- 学习率: 每次参数更新时,模型应该走多大一步。
- 批次大小: 每次参数更新使用多少训练样本。
- 训练轮次: 整个训练数据集需要被完整学习多少遍。
这三个参数看似简单,却会直接影响模型的训练速度、收敛过程、显存消耗和泛化能力。
它们之间也存在紧密联系。例如,调整 Batch Size 会改变每个 Epoch 中的参数更新次数;调整学习率会影响每次更新的幅度;调整 Epoch 则会影响模型经历的训练过程和总更新次数。
本文重点讲解:
- 学习率的数学含义及其影响。
- Batch Size 的计算机制与选择原则。
- Epoch、Iteration、Step 的区别。
- 三个超参数之间的相互作用。
- 学习率调度与批次大小调整策略。
- 过拟合、欠拟合与训练轮次的关系。
- 大批次训练与小批次训练的差异。
- PyTorch 中的训练参数配置与实践。
二、三个核心超参数的整体认知
先从模型训练的基本过程理解这三个参数。
假设训练集有 10,000 条样本:
- Batch Size 设置为 100。
- 每次读取 100 条样本。
- 计算当前批次的损失和梯度。
- 优化器更新一次模型参数。
- 重复处理完全部 10,000 条样本,完成一个 Epoch。
如果训练 20 个 Epoch,就意味着模型完整遍历训练集 20 次。
在这个过程中:
- Batch Size 决定每次读取多少数据。
- Learning Rate 决定每次参数更新的步长。
- Epoch 决定完整遍历训练集的次数。
2.1 三者之间的关系
flowchart TB
A["模型训练配置"]
B["学习率 Learning Rate"]
C["批次大小 Batch Size"]
D["训练轮次 Epoch"]
E["控制单次参数更新幅度"]
F["控制单次梯度计算的数据量"]
G["控制完整数据集遍历次数"]
H["共同影响训练过程"]
I["收敛速度、训练稳定性与泛化能力"]
A --> B
A --> C
A --> D
B --> E
C --> F
D --> G
E --> H
F --> H
G --> H
H --> I
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这三个参数不能孤立理解,需要结合模型规模、数据集规模、硬件条件和优化器共同考虑。
三、学习率:控制模型每次更新参数的幅度
学习率(Learning Rate,LR)是优化算法中的核心超参数。
它决定优化器根据当前梯度调整模型参数的幅度。
3.1 学习率的数学定义
以最基础的梯度下降为例:
其中:
- \theta_t:当前模型参数。
- \theta_{t+1}:更新后的模型参数。
- \eta:学习率。
- \nabla_\theta L(\theta_t):当前损失对参数的梯度。
学习率决定梯度在参数更新公式中的缩放比例。
例如:
当前梯度:
如果学习率为:
则:
如果学习率调整为:
则:
可以看到,梯度相同,学习率不同,最终参数更新幅度也不同。
3.2 学习率过大的影响
当学习率过大时,模型可能在损失函数的低谷附近不断越过目标位置。
典型表现:
- 损失函数上下震荡。
- 参数更新幅度过大。
- 训练损失无法稳定下降。
- 训练过程可能发散。
- 数值异常时可能出现 NaN 或 Inf。
对于某些复杂损失曲面,过大的学习率还可能使参数进入损失更高的区域。
3.3 学习率过小的影响
当学习率过小时,每次参数更新都非常有限。
典型表现:
- 损失下降缓慢。
- 需要更多训练时间。
- 在训练预算有限时难以充分优化。
- 可能长时间停留在平坦区域。
学习率过小并不意味着模型一定无法收敛,而是可能需要更多迭代才能达到相同的优化效果。
3.4 学习率的选择
常见学习率取值示例:
| 学习率 | 典型特点 |
|---|---|
| 0.1 | 步长较大,需要关注训练稳定性 |
| 0.01 | 常见的初始尝试值 |
| 0.001 | 常见于 Adam 等优化器的初始配置 |
| 0.0001 | 较小的更新步长 |
| 0.00001 | 常用于部分微调任务或较敏感的训练阶段 |
这些数值仅用于建立直观认识,并不是固定标准。
不同优化器、模型架构、参数初始化和训练数据可能需要不同的学习率。
尤其需要注意:
同一个学习率数值,在 SGD 和 Adam 中不代表相同的实际参数更新幅度。
原因在于 Adam 等自适应优化器会根据历史梯度调整不同参数维度的更新幅度。
3.5 学习率与训练效果
flowchart TB
A["设置学习率"]
B["学习率过大"]
C["学习率合适"]
D["学习率过小"]
E["损失震荡或发散"]
F["稳定优化,逐步降低损失"]
G["更新幅度过小,收敛缓慢"]
A --> B
A --> C
A --> D
B --> E
C --> F
D --> G
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
四、批次大小:决定每次使用多少训练样本
批次大小(Batch Size)是指模型每次计算损失和梯度时使用的训练样本数量。
例如:
训练集有 10,000 条数据。
如果 Batch Size 设置为 100,那么每次训练迭代会使用 100 条样本计算梯度。
处理完全部训练数据,需要:
次迭代。
这里假设数据集大小能够被 Batch Size 整除。
4.1 Batch Size 的数学表达
假设完整训练集的损失函数为:
其中:
- N:训练样本数量。
- \ell_i(\theta):第 i 个样本的损失。
每次使用一个包含 B 个样本的小批次:
批次损失:
对应的梯度:
优化器根据这个批次梯度更新模型参数。
因此,Batch Size 本质上控制的是:
每次梯度估计使用多少训练样本。
4.2 Batch Size 的三种典型形式
根据每次参与梯度计算的样本数量,可以分为三种形式。
| 类型 | Batch Size | 说明 |
|---|---|---|
| Batch Gradient Descent | 全部训练样本 | 每次使用完整数据集计算梯度 |
| Stochastic Gradient Descent | 1 | 每次使用一个样本计算梯度 |
| Mini-batch SGD | 大于 1 且小于数据集规模 | 每次使用一批样本计算梯度 |
现代深度学习通常采用 Mini-batch 训练方式。
4.3 小批次训练
例如:
每次使用 16 条样本。
特点:
- 单次计算量较小。
- 显存占用相对较低。
- 每个 Epoch 中参数更新次数较多。
- 梯度估计噪声相对较大。
- 训练过程可能存在较明显波动。
适用于显存有限、模型较大或数据量较大的部分场景。
4.4 大批次训练
例如:
每次使用 1024 条样本。
特点:
- 单次计算量较大。
- 更容易利用 GPU 批量并行计算。
- 梯度估计通常更加稳定。
- 显存占用较高。
- 每个 Epoch 中的参数更新次数较少。
大批次训练并不必然优于小批次训练。
在某些任务中,大批次训练需要配合学习率调整、Warmup 和其他优化策略,否则可能出现训练不稳定或泛化效果下降。
4.5 Batch Size 与梯度噪声
如果每个样本的梯度不同,那么不同批次计算出来的梯度也会存在差异。
小批次通常具有更大的梯度估计方差。
在独立同分布、有限方差等简化条件下,批次平均梯度的方差通常随批次大小增加而下降,近似与 1/B 成比例。
直观理解:
- Batch Size 越小,每次采样的样本越少,梯度波动通常越明显。
- Batch Size 越大,梯度平均效果越明显,估计通常越稳定。
不过,实际训练中的梯度方差还会受到样本相关性、数据分布、模型状态和采样策略影响。
4.6 Batch Size 对显存的影响
Batch Size 直接影响每次前向传播和反向传播处理的数据规模。
在模型结构和输入尺寸不变的情况下,增大 Batch Size 通常会增加激活值等中间数据的显存占用。
训练显存通常由以下部分构成:
- 模型参数。
- 参数梯度。
- 优化器状态。
- 前向传播中间激活值。
- 临时计算空间。
其中,优化器状态也可能占据大量显存。
例如,Adam 通常需要维护一阶矩和二阶矩状态,因此其优化器状态显存通常高于不维护这些状态的基础 SGD。
需要注意,Batch Size 增大并不意味着所有显存占用都按相同比例增加,实际情况取决于模型架构、实现方式、混合精度和内存优化技术。
五、训练轮次:Epoch、Iteration 与 Step
训练轮次(Epoch)表示模型完整遍历训练数据集一次。
这是理解训练过程最容易混淆的概念之一。
需要明确区分:
- Epoch
- Iteration
- Step
5.1 Epoch
Epoch 表示模型完整使用训练集进行一次训练遍历。
假设:
- 训练集有 10,000 条样本。
- Batch Size 为 100。
当模型处理完全部 10,000 条训练样本,就完成了一个 Epoch。
如果设置:
表示模型计划完整遍历训练集 20 次。
5.2 Iteration
Iteration 通常表示一次训练迭代,即处理一个 Batch 并完成对应的梯度计算和参数更新。
假设:
那么一个 Epoch 需要:
次迭代。
如果训练 20 个 Epoch:
5.3 Step
Step 在深度学习工程中通常表示一次优化器更新,但具体含义需要结合框架和训练代码判断。
尤其在梯度累积场景下:
- 一个 Batch 可能执行一次前向传播和反向传播。
- 多个 Batch 的梯度可能累积起来。
- 达到指定累积次数后,才执行一次优化器更新。
因此:
Iteration 与 Optimizer Step 在普通训练中通常对应,但在梯度累积等场景下不一定相同。
5.4 三个概念的关系
flowchart TB
A["训练集"]
B["Epoch 1"]
C["Batch 1"]
D["Batch 2"]
E["Batch 3"]
F["..."]
G["Batch N"]
H["Epoch 2"]
I["继续遍历训练集"]
J["训练结束"]
A --> B
B --> C
C --> D
D --> E
E --> F
F --> G
G --> H
H --> I
I --> J
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
5.5 一个 Epoch 有多少次 Iteration?
假设:
如果不丢弃最后一个不完整批次:
其中:
- 前 10 个 Batch,每个包含 100 条数据。
- 最后 1 个 Batch,包含 50 条数据。
如果设置 drop_last=True,则最后 50 条数据会被丢弃:
因此,计算训练步数时,需要考虑是否保留最后一个不完整批次。
5.6 Epoch 不等于参数更新次数
Epoch 表示数据集遍历次数。
参数更新次数取决于:
- 数据集规模。
- Batch Size。
- 是否丢弃最后一个批次。
- 是否使用梯度累积。
- 是否跳过某些优化器更新。
在普通 Mini-batch 训练中:
当最后一个批次被丢弃时:
如果没有梯度累积,一个 Batch 通常对应一次优化器更新。
六、三个超参数之间的相互作用
学习率、Batch Size 和 Epoch 并不是相互独立的参数。
改变其中一个参数,可能会影响另外两个参数的最佳配置。
6.1 Batch Size 与参数更新次数
假设训练集有:
训练轮次:
比较不同 Batch Size:
| Batch Size | 每个 Epoch 的更新次数 | 总更新次数 |
|---|---|---|
| 16 | 625 | 6250 |
| 32 | 313 | 3130 |
| 64 | 157 | 1570 |
| 128 | 79 | 790 |
| 256 | 40 | 400 |
这里假设不丢弃最后一个批次,并且没有梯度累积。
可以发现:
Batch Size 越大,每个 Epoch 中的参数更新次数通常越少。
这意味着,即使 Epoch 相同,不同 Batch Size 的训练过程也并不等价。
6.2 为什么相同 Epoch 不代表相同训练量?
假设两个模型都训练 10 个 Epoch:
- 模型 A:Batch Size = 32。
- 模型 B:Batch Size = 256。
模型 A 每个 Epoch 更新参数的次数明显更多。
因此,两个模型虽然都完整遍历训练集 10 次,但经历的参数更新次数不同。
如果需要公平比较训练配置,还应考虑:
- 总优化器更新次数。
- 实际处理的训练样本数量。
- 总训练计算量。
- 训练时间。
- 学习率调度进度。
6.3 Batch Size 与 Learning Rate
调整 Batch Size 时,通常也需要重新评估学习率。
原因包括:
- 批次大小影响梯度估计的噪声水平。
- 梯度噪声会影响参数更新轨迹。
- 不同批次大小下,模型可能需要不同的学习率。
- 大批次训练的优化稳定性可能依赖 Warmup 等策略。
对于 SGD,在特定条件下,可以使用线性学习率缩放规则作为实验起点:
例如,Batch Size 从 128 增加到 256,可以尝试将学习率扩大为原来的两倍。
但这不是普遍成立的数学定律。
实际效果还受到模型结构、优化器、数据规模、训练时长和学习率调度方式影响。
对于 Adam 等自适应优化器,也不能机械地照搬这一规则。
6.4 Epoch 与 Learning Rate
训练轮次增加,意味着模型有更多机会利用训练数据调整参数。
但随着训练推进,模型可能逐渐接近当前优化目标的较优区域。
此时,如果学习率仍然过大,可能难以稳定地进行精细优化。
因此,常见做法是:
- 训练初期使用适当的学习率。
- 中期根据训练情况调整。
- 后期逐步降低学习率。
- 根据验证集指标决定是否继续训练。
这就是学习率调度与训练轮次结合使用的原因。
七、学习率调度策略
实际深度学习训练中,很少始终使用完全固定的学习率。
更常见的做法是根据训练进度动态调整学习率。
7.1 Step Decay
Step Decay 按照固定间隔降低学习率。
例如:
其中:
- \eta_0:初始学习率。
- \gamma:衰减系数。
- k:已经完成的衰减次数。
示例:
Epoch 1-10: 0.1
Epoch 11-20: 0.01
Epoch 21-30: 0.001
适合训练周期比较明确的场景。
7.2 Exponential Decay
指数衰减:
其中 k 控制衰减速度。
学习率随着训练进度逐渐降低。
7.3 Cosine Annealing
余弦退火通过余弦函数调整学习率。
常见形式:
其中:
- \eta_{\max}:最大学习率。
- \eta_{\min}:最小学习率。
- T:调度周期。
- t:当前调度进度。
这种方式能够让学习率平滑下降。
7.4 Warmup
Warmup 是训练初期的学习率预热策略。
它不会在训练开始时直接使用目标学习率,而是逐渐增加学习率。
例如:
训练初期:0.00001
预热中期:0.0001
预热结束:0.001
Warmup 常用于大模型训练和大批次训练。
它可以降低训练初期使用较大学习率时的不稳定风险。
7.5 Warmup + Cosine
这是现代深度学习训练中常见的学习率调度组合。
整体过程:
- 训练初期逐步提高学习率。
- 达到预设峰值学习率。
- 进入余弦衰减阶段。
- 学习率逐步降低至设定的最小值。
flowchart TB
A["训练开始"]
B["Warmup 学习率预热"]
C["达到峰值学习率"]
D["Cosine 余弦衰减"]
E["接近最小学习率"]
F["训练结束"]
A --> B
B --> C
C --> D
D --> E
E --> F
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
需要注意,Warmup 和 Cosine 是学习率调度策略,不是独立的优化器。
它们可以与 SGD、Adam、AdamW 等优化器组合使用。
八、训练轮次与过拟合、欠拟合
Epoch 不只是控制训练时长,也会影响模型对训练数据的拟合程度。
8.1 欠拟合
欠拟合(Underfitting)表示模型尚未充分学习训练数据中的规律。
典型表现:
- 训练损失较高。
- 验证损失也较高。
- 训练集和验证集表现都不理想。
可能原因:
- 模型容量不足。
- 训练轮次不足。
- 学习率配置不合理。
- 特征表达能力不足。
- 正则化过强。
增加训练轮次有时可以改善欠拟合,但不一定能解决模型容量不足等问题。
8.2 过拟合
过拟合(Overfitting)表示模型过度适应训练数据中的特定模式,导致泛化能力下降。
典型表现:
- 训练损失持续下降。
- 验证损失停止下降,甚至开始上升。
- 训练集表现明显优于验证集。
可能原因:
- 模型容量过大。
- 训练数据不足。
- 训练轮次过多。
- 正则化不足。
- 训练数据分布与实际应用场景存在差异。
8.3 训练损失与验证损失
训练过程中通常需要同时观察:
- Training Loss:训练集损失。
- Validation Loss:验证集损失。
它们可以帮助判断模型是否还在有效学习,以及是否出现过拟合。
flowchart TB
A["开始训练"]
B["记录训练损失"]
C["记录验证损失"]
D{"训练与验证表现"}
E["训练损失高,验证损失也高"]
F["训练损失下降,验证损失同步改善"]
G["训练损失继续下降,验证损失上升"]
H["考虑欠拟合及模型配置"]
I["继续观察训练过程"]
J["考虑过拟合与早停"]
K["根据验证集选择模型"]
A --> B
B --> C
C --> D
D --> E
D --> F
D --> G
E --> H
F --> I
G --> J
H --> K
I --> K
J --> K
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F