在机器学习中,模型不仅需要学习训练数据中的规律,还需要证明自己能够处理未见过的数据。
如果使用同一批数据训练模型并评估模型,得到的结果往往无法真实反映模型的泛化能力。模型可能只是记住了训练样本,而不是真正学会了数据背后的规律。
因此,机器学习通常会将数据集划分为三个部分:
- 训练集(Training Set):用于训练模型,学习模型参数。
- 验证集(Validation Set):用于模型选择、超参数调整和训练过程监控。
- 测试集(Test Set):用于最终评估模型在未见数据上的泛化表现。
这三类数据集构成了机器学习实验设计和模型评估的基础。
一、为什么需要划分数据集?
1. 模型训练的目标不是记住数据
机器学习的核心目标,是从有限的样本中学习具有泛化能力的规律。
假设有一个房价预测任务:
输入特征:
- 房屋面积
- 房间数量
- 地理位置
- 房龄
- 周边配套
预测目标:
- 房屋成交价格
模型通过训练数据学习特征与房价之间的关系。
但训练数据只是现实世界的一部分样本。模型真正投入使用时,面对的是此前没有出现过的房屋数据。
因此,需要区分两个问题:
- 模型能否很好地拟合已经见过的数据?
- 模型能否正确预测从未见过的数据?
第一个问题关注拟合能力,第二个问题关注泛化能力。
2. 训练误差不等于泛化误差
训练误差(Training Error):模型在训练集上的预测误差。
泛化误差(Generalization Error):模型在目标数据分布下,对未见样本产生的预期误差。
通常情况下:
- 训练误差可以通过模型训练直接计算。
- 泛化误差无法直接获得,因为真实数据分布中的全部样本不可见。
- 测试集可以作为泛化能力的近似评估依据,但它并不等于真实泛化误差。
如果模型过度拟合训练数据,就可能出现训练误差很低、测试误差很高的情况。
flowchart TB
A["完整数据集"] --> B["划分数据集"]
B --> C["训练集"]
B --> D["验证集"]
B --> E["测试集"]
C --> F["模型学习"]
D --> G["模型选择与调参"]
F --> G
G --> H["确定最终模型"]
E --> I["最终性能评估"]
H --> I
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
二、训练集:模型学习参数的数据
1. 核心定义
训练集(Training Set) 是用于训练机器学习模型的数据集合。
模型通过训练集中的样本,学习输入特征与预测目标之间的关系,并不断调整内部参数,使损失函数逐渐降低。
对于一个监督学习任务,可以表示为:
其中:
- x_i:第 i 个样本的输入特征。
- y_i:第 i 个样本对应的标签。
- N:训练样本数量。
- D_{train}:训练集。
模型可以表示为:
其中:
- f_\theta:由参数 \theta 决定的模型。
- \hat{y}:模型预测结果。
- \theta:模型需要学习的参数。
2. 训练集如何参与模型训练?
模型训练的核心过程是:输入训练样本、产生预测、计算损失、更新参数。
以监督学习为例:
flowchart TB
A["读取训练样本"] --> B["输入模型"]
B --> C["前向传播"]
C --> D["生成预测结果"]
D --> E["计算损失函数"]
E --> F["反向传播计算梯度"]
F --> G["优化器更新参数"]
G --> H{"是否达到停止条件"}
H -->|"否"| A
H -->|"是"| I["得到训练后的模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
模型训练通常围绕一个优化目标展开:
其中:
- L:模型在训练集上的损失函数。
- \theta:模型参数。
- \theta^*:优化后得到的参数。
对于深度学习模型,训练过程通常包括:
- 前向传播:计算模型预测结果。
- 损失计算:衡量预测结果与真实标签之间的差异。
- 反向传播:计算损失对模型参数的梯度。
- 参数更新:通过优化器调整模型参数。
3. 训练集需要注意什么?
训练集直接决定模型从哪些数据中学习,因此数据质量非常重要。
重点关注:
- 样本代表性:训练数据应尽可能覆盖实际业务场景。
- 标签质量:标签错误会影响模型学习方向。
- 类别分布:类别严重不平衡可能导致模型偏向多数类别。
- 数据覆盖范围:训练数据应包含足够多样化的样本。
- 数据泄漏:训练数据不能包含本应在预测时未知的信息。
训练集规模也会影响模型表现。数据量不足时,模型可能无法学习到稳定的规律;数据质量存在问题时,单纯增加数据量也未必能改善模型。
三、验证集:模型选择与超参数调整的数据
1. 核心定义
验证集(Validation Set) 是用于评估模型训练过程、选择模型结构和调整超参数的数据集合。
验证集不直接参与常规模型参数的梯度更新,但会影响开发过程中最终选择哪个模型。
它主要解决一个问题:
如何在多个候选模型中,选择泛化能力更好的模型?
2. 为什么训练集之外还需要验证集?
假设我们正在训练一个分类模型,需要比较不同的学习率:
- 模型 A:学习率为 0.001。
- 模型 B:学习率为 0.01。
- 模型 C:学习率为 0.1。
如果只观察训练集损失,就无法充分判断哪组参数在未见数据上表现更好。
因此,可以在训练过程中定期使用验证集评估模型表现。
例如:
| 模型 | 训练集准确率 | 验证集准确率 |
|---|---|---|
| 模型 A | 96% | 94% |
| 模型 B | 99% | 91% |
| 模型 C | 100% | 83% |
模型 C 在训练集上的表现最好,但在验证集上的表现最差。
这说明模型 C 可能发生了严重过拟合。
如果以验证集表现作为模型选择依据,模型 A 可能是更合理的选择。
3. 验证集的主要用途
(1)超参数调整
超参数(Hyperparameters)是训练开始前或训练过程中由开发者设定的参数,不是通过当前训练过程直接学习得到的模型参数。
常见超参数包括:
- 学习率(Learning Rate)
- Batch Size
- Epoch 数量
- 网络层数
- 隐藏层维度
- 正则化系数
- Dropout 比例
- 决策树最大深度
- K-Means 聚类数量 K
通过验证集比较不同超参数组合的效果,可以选择更合适的配置。
(2)模型结构选择
例如比较:
- 逻辑回归与随机森林。
- CNN 与 Transformer。
- 不同层数的神经网络。
- 不同特征组合。
- 不同预处理方法。
验证集可以为模型选择提供统一的评估依据。
(3)Early Stopping
Early Stopping(早停)是一种防止过拟合的训练策略。
训练过程中,模型在训练集上的损失可能持续下降,但验证集上的损失可能先下降,随后开始上升。
当验证集指标在一定次数内没有改善时,可以提前停止训练,并恢复到验证集表现最佳时的模型参数。
flowchart TB
A["开始训练"] --> B["使用训练集更新参数"]
B --> C["使用验证集评估"]
C --> D{"验证指标是否改善"}
D -->|"是"| E["保存当前最佳模型"]
E --> F["继续训练"]
D -->|"否"| G["累计未改善次数"]
G --> H{"是否达到早停阈值"}
H -->|"否"| F
H -->|"是"| I["停止训练"]
F --> B
I --> J["恢复最佳模型参数"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
(4)模型选择与检查点保存
训练过程中可以保存多个模型检查点(Checkpoint),根据验证集指标选择最佳版本。
例如:
- 最低验证集损失。
- 最高验证集准确率。
- 最佳 F1 Score。
- 最低验证集 MAE。
需要注意,不同任务的评价指标不同,不能只根据准确率判断模型效果。
4. 验证集并非完全独立
这是一个容易被忽略的问题。
虽然验证集不参与常规梯度更新,但开发人员会反复观察验证集结果,并根据结果调整模型。
例如:
- 查看验证集准确率。
- 修改模型结构。
- 再次训练。
- 再次查看验证集准确率。
- 继续调整超参数。
随着调整次数增加,开发过程实际上会逐渐适应验证集。
因此,验证集也可能发生某种程度的过拟合。
验证集不是绝对独立的最终评估数据,这也是测试集必须单独保留的重要原因。
四、测试集:最终模型评估的数据
1. 核心定义
测试集(Test Set) 是用于评估最终模型性能的数据集合。
测试集在模型开发和超参数选择过程中应保持隔离,不应该被用于反复指导模型调整。
它的核心任务是:
在模型和训练方案确定之后,提供一次相对独立的性能评估。
2. 测试集的作用
假设已经完成模型训练,并通过验证集确定了最终模型。
此时使用测试集进行预测:
然后计算模型在测试集上的评价指标。
例如分类任务:
回归任务可以使用均方误差:
测试结果可以帮助判断:
- 模型是否具有较好的泛化能力。
- 模型是否存在明显过拟合。
- 模型是否达到业务上线要求。
- 模型在不同类别、不同人群或不同场景中的表现是否存在差异。
3. 为什么不能反复使用测试集调参?
假设模型开发过程中,反复查看测试集结果:
- 第一次测试准确率为 90%。
- 修改模型后,准确率为 91%。
- 再次修改模型后,准确率为 92%。
- 根据测试结果不断调整,最终得到 94%。
虽然最终测试准确率有所提高,但测试集已经参与了模型选择。
开发者实际上已经利用测试集反馈优化了模型。
此时,测试集不再是完全独立的评估数据,最终结果可能高估模型的真实泛化能力。
正确的做法是:
- 使用训练集训练模型。
- 使用验证集调整模型。
- 确定模型和训练方案。
- 最后使用测试集进行最终评估。
如果测试结果不理想,需要重新进入模型开发流程,那么就应意识到原测试集已经参与了开发决策。为了获得新的独立评估,需要额外保留新的测试数据,或在后续数据上建立新的评估集。
4. 测试集不是模型上线后的全部保障
测试集只能评估模型在特定数据样本和数据分布下的表现。
真实生产环境还可能发生:
- 数据分布变化(Data Drift)。
- 特征与标签关系变化(Concept Drift)。
- 用户行为变化。
- 外部环境变化。
- 数据采集和预处理逻辑变化。
因此,模型上线后仍然需要持续监控模型性能,并根据实际业务情况进行重新评估和训练。
五、训练集、验证集与测试集的核心区别
三者的区别不在于数据格式,而在于各自承担的职责,以及是否允许参与模型开发决策。
| 对比维度 | 训练集 | 验证集 | 测试集 |
|---|---|---|---|
| 英文名称 | Training Set | Validation Set | Test Set |
| 核心用途 | 学习模型参数 | 模型选择与调参 | 最终性能评估 |
| 是否参与梯度更新 | 是 | 通常否 | 否 |
| 是否用于超参数调整 | 间接参与训练方案 | 是 | 否 |
| 是否用于 Early Stopping | 否,提供训练数据 | 是 | 否 |
| 是否用于最终评估 | 否 | 否 | 是 |
| 使用频率 | 高频 | 开发阶段反复使用 | 最终评估时使用 |
需要特别区分两个概念:
- 模型参数(Parameters):模型通过训练数据学习得到,例如神经网络中的权重和偏置。
- 超参数(Hyperparameters):开发者设置或通过搜索确定,例如学习率、Batch Size、网络层数。
训练集主要用于学习模型参数,验证集主要用于辅助选择超参数和模型方案。
六、数据集应该按照什么比例划分?
1. 常见划分比例
机器学习中没有适用于所有任务的固定划分比例。
常见方案如下:
| 划分方案 | 训练集 | 验证集 | 测试集 | 适用情况 |
|---|---|---|---|---|
| 70 / 15 / 15 | 70% | 15% | 15% | 常规机器学习任务 |
| 80 / 10 / 10 | 80% | 10% | 10% | 数据量相对充足 |
| 80 / 20 | 80% | 无独立验证集 | 20% | 简单基线或结合交叉验证 |
| 90 / 5 / 5 | 90% | 5% | 5% | 数据量较少且需要更多训练数据 |
比例只是经验参考,需要结合数据规模、任务类型和评估目标确定。
2. 数据量对划分策略的影响
数据量较少时:
如果只有几百条或几千条样本,直接划分三个数据集可能导致验证集和测试集样本不足。
这时可以考虑 K 折交叉验证(K-Fold Cross Validation),提高有限数据的利用效率。
数据量较大时:
如果拥有数百万甚至数亿条样本,通常不需要让验证集和测试集占据很高比例。
即使只使用较小比例,也可能获得足够多的评估样本。
深度学习任务:
图像、文本、语音等深度学习任务往往需要大量训练数据。数据划分比例需要结合模型复杂度、数据规模和训练成本确定。
3. 数据量与评估可靠性
测试集样本数量过少,会导致评估指标存在较大随机波动。
例如,一个二分类模型在 20 个测试样本中预测正确 18 个,准确率为 90%。
但只要有一个样本预测结果发生变化,准确率就会变化 5 个百分点。
如果测试集包含 10 万个样本,单个样本对整体准确率的影响则小得多。
因此,测试集的设计不仅要考虑比例,还要考虑:
- 样本数量。
- 类别分布。
- 数据代表性。
- 评估指标的稳定性。
- 置信区间和统计不确定性。
七、数据集划分的常见方法
并不是所有数据集都适合直接随机划分。
数据的结构、时间关系、样本关联性都会影响划分策略。
1. 随机划分(Random Split)
随机划分是最常见的数据集划分方式。
将全部样本打乱,然后按照指定比例分配到训练集、验证集和测试集。
flowchart TB
A["原始数据集"] --> B["随机打乱样本"]
B --> C["按照比例划分"]
C --> D["训练集"]
C --> E["验证集"]
C --> F["测试集"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
适用场景:
- 样本相互独立。
- 数据分布相对稳定。
- 不存在明显时间顺序依赖。
- 不存在需要隔离的用户、设备或实体关联。
需要注意:随机划分不代表一定合理。如果数据存在时间关联、用户关联或重复样本,随机划分可能产生数据泄漏。
2. 分层抽样(Stratified Split)
分层抽样是指在划分数据集时,尽量保持各个子集中的类别比例与原始数据集一致。
例如,原始数据集包含:
- 正常样本:90%。
- 异常样本:10%。
如果直接随机划分,可能导致某个子集中的异常样本比例明显偏低。
采用分层抽样,可以让训练集、验证集和测试集尽可能保持相似的类别分布。
适用场景:
- 二分类任务。
- 多分类任务。
- 类别不平衡数据集。
- 少数类别样本较少的任务。
注意:分层抽样主要用于分类任务。多标签任务需要采用适合多标签分布的划分方法,不能简单套用普通单标签分层逻辑。
3. 时间划分(Time-based Split)
对于时间序列、金融预测、销量预测和用户行为预测等任务,不能简单地随机划分数据。
因为模型在真实预测时,只能使用当前时刻之前的信息。
例如:
- 训练集:2022 年至 2024 年。
- 验证集:2025 年上半年。
- 测试集:2025 年下半年。
flowchart TB
A["按时间排序的数据"] --> B["历史数据"]
B --> C["训练集"]
B --> D["验证集"]
B --> E["测试集"]
C --> F["较早时间段"]
D --> G["中间时间段"]
E --> H["较晚时间段"]
F --> I["训练模型"]
G --> J["调整模型"]
H --> K["模拟未来预测"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
时间划分的核心原则是:
训练数据的时间必须早于验证数据,验证数据的时间必须早于测试数据。
还需要考虑特征生成时间、标签观察窗口和预测窗口。例如,预测未来 7 天的用户流失时,不能使用预测时点之后才能获得的行为数据。
4. 分组划分(Group Split)
当多个样本来自同一个用户、设备、患者或实体时,需要考虑分组划分。
例如,一个医疗数据集包含多个患者,每位患者可能有多条检查记录。
如果随机划分,可能出现:
- 患者 A 的部分记录进入训练集。
- 患者 A 的其他记录进入测试集。
模型可能通过患者特有的信息识别测试样本,而不是学习可迁移的医学规律。
这会使测试结果偏高。
分组划分要求同一个分组中的样本只进入同一个数据子集。
适用场景:
- 医疗患者数据。
- 用户行为数据。
- 设备监控数据。
- 视频中的连续帧。
- 同一实体的多条记录。
5. 分层与分组、时间约束的组合
复杂任务可能同时具有多个约束。
例如:
- 用户之间需要隔离。
- 各个类别的比例需要尽量平衡。
- 数据还存在时间顺序。
此时需要根据实际评估目标设计划分方案,而不是机械地使用一种方法。
数据划分的核心不是追求某个固定比例,而是确保评估过程能够模拟模型未来真正面对的数据。
八、交叉验证:更充分地利用有限数据
1. 什么是交叉验证?
交叉验证(Cross Validation) 是一种通过多次划分训练数据,反复训练和评估模型的方法。
其中最常见的是 K 折交叉验证(K-Fold Cross Validation)。
假设将数据划分为 5 份:
- 第 1 次:第 1 份作为验证集,其余 4 份作为训练集。
- 第 2 次:第 2 份作为验证集,其余 4 份作为训练集。
- 依次进行。
- 最终得到 5 次评估结果。
flowchart TB
A["完整开发数据"] --> B["划分为 K 份"]
B --> C["第 1 折验证"]
B --> D["第 2 折验证"]
B --> E["第 3 折验证"]
B --> F["第 K 折验证"]
C --> G["模型训练与评估"]
D --> G
E --> G
F --> G
G --> H["汇总 K 次评估结果"]
H --> I["计算平均指标与波动"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F