返回专栏
· 18 分钟阅读

训练集、验证集与测试集:机器学习模型评估的数据划分机制


在机器学习中,模型不仅需要学习训练数据中的规律,还需要证明自己能够处理未见过的数据。

如果使用同一批数据训练模型并评估模型,得到的结果往往无法真实反映模型的泛化能力。模型可能只是记住了训练样本,而不是真正学会了数据背后的规律。

因此,机器学习通常会将数据集划分为三个部分:

  • 训练集(Training Set):用于训练模型,学习模型参数。
  • 验证集(Validation Set):用于模型选择、超参数调整和训练过程监控。
  • 测试集(Test Set):用于最终评估模型在未见数据上的泛化表现。

这三类数据集构成了机器学习实验设计和模型评估的基础。


一、为什么需要划分数据集?

1. 模型训练的目标不是记住数据

机器学习的核心目标,是从有限的样本中学习具有泛化能力的规律。

假设有一个房价预测任务:

输入特征:

  • 房屋面积
  • 房间数量
  • 地理位置
  • 房龄
  • 周边配套

预测目标:

  • 房屋成交价格

模型通过训练数据学习特征与房价之间的关系。

但训练数据只是现实世界的一部分样本。模型真正投入使用时,面对的是此前没有出现过的房屋数据。

因此,需要区分两个问题:

  1. 模型能否很好地拟合已经见过的数据?
  2. 模型能否正确预测从未见过的数据?

第一个问题关注拟合能力,第二个问题关注泛化能力。

2. 训练误差不等于泛化误差

训练误差(Training Error):模型在训练集上的预测误差。

泛化误差(Generalization Error):模型在目标数据分布下,对未见样本产生的预期误差。

通常情况下:

  • 训练误差可以通过模型训练直接计算。
  • 泛化误差无法直接获得,因为真实数据分布中的全部样本不可见。
  • 测试集可以作为泛化能力的近似评估依据,但它并不等于真实泛化误差。

如果模型过度拟合训练数据,就可能出现训练误差很低、测试误差很高的情况。

flowchart TB
    A["完整数据集"] --> B["划分数据集"]
    B --> C["训练集"]
    B --> D["验证集"]
    B --> E["测试集"]

    C --> F["模型学习"]
    D --> G["模型选择与调参"]
    F --> G
    G --> H["确定最终模型"]
    E --> I["最终性能评估"]
    H --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

二、训练集:模型学习参数的数据

1. 核心定义

训练集(Training Set) 是用于训练机器学习模型的数据集合。

模型通过训练集中的样本,学习输入特征与预测目标之间的关系,并不断调整内部参数,使损失函数逐渐降低。

对于一个监督学习任务,可以表示为:

D_{train}=\{(x_i,y_i)\}_{i=1}^{N}

其中:

  • x_i:第 i 个样本的输入特征。
  • y_i:第 i 个样本对应的标签。
  • N:训练样本数量。
  • D_{train}:训练集。

模型可以表示为:

\hat{y}=f_\theta(x)

其中:

  • f_\theta:由参数 \theta 决定的模型。
  • \hat{y}:模型预测结果。
  • \theta:模型需要学习的参数。

2. 训练集如何参与模型训练?

模型训练的核心过程是:输入训练样本、产生预测、计算损失、更新参数。

以监督学习为例:

flowchart TB
    A["读取训练样本"] --> B["输入模型"]
    B --> C["前向传播"]
    C --> D["生成预测结果"]
    D --> E["计算损失函数"]
    E --> F["反向传播计算梯度"]
    F --> G["优化器更新参数"]
    G --> H{"是否达到停止条件"}
    H -->|"否"| A
    H -->|"是"| I["得到训练后的模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

模型训练通常围绕一个优化目标展开:

\theta^*=\arg\min_{\theta}L(\theta;D_{train})

其中:

  • L:模型在训练集上的损失函数。
  • \theta:模型参数。
  • \theta^*:优化后得到的参数。

对于深度学习模型,训练过程通常包括:

  1. 前向传播:计算模型预测结果。
  2. 损失计算:衡量预测结果与真实标签之间的差异。
  3. 反向传播:计算损失对模型参数的梯度。
  4. 参数更新:通过优化器调整模型参数。

3. 训练集需要注意什么?

训练集直接决定模型从哪些数据中学习,因此数据质量非常重要。

重点关注:

  • 样本代表性:训练数据应尽可能覆盖实际业务场景。
  • 标签质量:标签错误会影响模型学习方向。
  • 类别分布:类别严重不平衡可能导致模型偏向多数类别。
  • 数据覆盖范围:训练数据应包含足够多样化的样本。
  • 数据泄漏:训练数据不能包含本应在预测时未知的信息。

训练集规模也会影响模型表现。数据量不足时,模型可能无法学习到稳定的规律;数据质量存在问题时,单纯增加数据量也未必能改善模型。


三、验证集:模型选择与超参数调整的数据

1. 核心定义

验证集(Validation Set) 是用于评估模型训练过程、选择模型结构和调整超参数的数据集合。

验证集不直接参与常规模型参数的梯度更新,但会影响开发过程中最终选择哪个模型。

它主要解决一个问题:

如何在多个候选模型中,选择泛化能力更好的模型?

2. 为什么训练集之外还需要验证集?

假设我们正在训练一个分类模型,需要比较不同的学习率:

  • 模型 A:学习率为 0.001。
  • 模型 B:学习率为 0.01。
  • 模型 C:学习率为 0.1。

如果只观察训练集损失,就无法充分判断哪组参数在未见数据上表现更好。

因此,可以在训练过程中定期使用验证集评估模型表现。

例如:

模型 训练集准确率 验证集准确率
模型 A 96% 94%
模型 B 99% 91%
模型 C 100% 83%

模型 C 在训练集上的表现最好,但在验证集上的表现最差。

这说明模型 C 可能发生了严重过拟合。

如果以验证集表现作为模型选择依据,模型 A 可能是更合理的选择。

3. 验证集的主要用途

(1)超参数调整

超参数(Hyperparameters)是训练开始前或训练过程中由开发者设定的参数,不是通过当前训练过程直接学习得到的模型参数。

常见超参数包括:

  • 学习率(Learning Rate)
  • Batch Size
  • Epoch 数量
  • 网络层数
  • 隐藏层维度
  • 正则化系数
  • Dropout 比例
  • 决策树最大深度
  • K-Means 聚类数量 K

通过验证集比较不同超参数组合的效果,可以选择更合适的配置。

(2)模型结构选择

例如比较:

  • 逻辑回归与随机森林。
  • CNN 与 Transformer。
  • 不同层数的神经网络。
  • 不同特征组合。
  • 不同预处理方法。

验证集可以为模型选择提供统一的评估依据。

(3)Early Stopping

Early Stopping(早停)是一种防止过拟合的训练策略。

训练过程中,模型在训练集上的损失可能持续下降,但验证集上的损失可能先下降,随后开始上升。

当验证集指标在一定次数内没有改善时,可以提前停止训练,并恢复到验证集表现最佳时的模型参数。

flowchart TB
    A["开始训练"] --> B["使用训练集更新参数"]
    B --> C["使用验证集评估"]
    C --> D{"验证指标是否改善"}
    D -->|"是"| E["保存当前最佳模型"]
    E --> F["继续训练"]
    D -->|"否"| G["累计未改善次数"]
    G --> H{"是否达到早停阈值"}
    H -->|"否"| F
    H -->|"是"| I["停止训练"]
    F --> B
    I --> J["恢复最佳模型参数"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F

(4)模型选择与检查点保存

训练过程中可以保存多个模型检查点(Checkpoint),根据验证集指标选择最佳版本。

例如:

  • 最低验证集损失。
  • 最高验证集准确率。
  • 最佳 F1 Score。
  • 最低验证集 MAE。

需要注意,不同任务的评价指标不同,不能只根据准确率判断模型效果。

4. 验证集并非完全独立

这是一个容易被忽略的问题。

虽然验证集不参与常规梯度更新,但开发人员会反复观察验证集结果,并根据结果调整模型。

例如:

  1. 查看验证集准确率。
  2. 修改模型结构。
  3. 再次训练。
  4. 再次查看验证集准确率。
  5. 继续调整超参数。

随着调整次数增加,开发过程实际上会逐渐适应验证集。

因此,验证集也可能发生某种程度的过拟合。

验证集不是绝对独立的最终评估数据,这也是测试集必须单独保留的重要原因。


四、测试集:最终模型评估的数据

1. 核心定义

测试集(Test Set) 是用于评估最终模型性能的数据集合。

测试集在模型开发和超参数选择过程中应保持隔离,不应该被用于反复指导模型调整。

它的核心任务是:

在模型和训练方案确定之后,提供一次相对独立的性能评估。

2. 测试集的作用

假设已经完成模型训练,并通过验证集确定了最终模型。

此时使用测试集进行预测:

\hat{y}_{test}=f_{\theta^*}(X_{test})

然后计算模型在测试集上的评价指标。

例如分类任务:

Accuracy=\frac{正确预测的样本数}{测试集总样本数}

回归任务可以使用均方误差:

MSE=\frac{1}{N}\sum_{i=1}^{N}(y_i-\hat{y}_i)^2

测试结果可以帮助判断:

  • 模型是否具有较好的泛化能力。
  • 模型是否存在明显过拟合。
  • 模型是否达到业务上线要求。
  • 模型在不同类别、不同人群或不同场景中的表现是否存在差异。

3. 为什么不能反复使用测试集调参?

假设模型开发过程中,反复查看测试集结果:

  • 第一次测试准确率为 90%。
  • 修改模型后,准确率为 91%。
  • 再次修改模型后,准确率为 92%。
  • 根据测试结果不断调整,最终得到 94%。

虽然最终测试准确率有所提高,但测试集已经参与了模型选择。

开发者实际上已经利用测试集反馈优化了模型。

此时,测试集不再是完全独立的评估数据,最终结果可能高估模型的真实泛化能力。

正确的做法是:

  • 使用训练集训练模型。
  • 使用验证集调整模型。
  • 确定模型和训练方案。
  • 最后使用测试集进行最终评估。

如果测试结果不理想,需要重新进入模型开发流程,那么就应意识到原测试集已经参与了开发决策。为了获得新的独立评估,需要额外保留新的测试数据,或在后续数据上建立新的评估集。

4. 测试集不是模型上线后的全部保障

测试集只能评估模型在特定数据样本和数据分布下的表现。

真实生产环境还可能发生:

  • 数据分布变化(Data Drift)。
  • 特征与标签关系变化(Concept Drift)。
  • 用户行为变化。
  • 外部环境变化。
  • 数据采集和预处理逻辑变化。

因此,模型上线后仍然需要持续监控模型性能,并根据实际业务情况进行重新评估和训练。


五、训练集、验证集与测试集的核心区别

三者的区别不在于数据格式,而在于各自承担的职责,以及是否允许参与模型开发决策。

对比维度 训练集 验证集 测试集
英文名称 Training Set Validation Set Test Set
核心用途 学习模型参数 模型选择与调参 最终性能评估
是否参与梯度更新 是 通常否 否
是否用于超参数调整 间接参与训练方案 是 否
是否用于 Early Stopping 否,提供训练数据 是 否
是否用于最终评估 否 否 是
使用频率 高频 开发阶段反复使用 最终评估时使用

需要特别区分两个概念:

  • 模型参数(Parameters):模型通过训练数据学习得到,例如神经网络中的权重和偏置。
  • 超参数(Hyperparameters):开发者设置或通过搜索确定,例如学习率、Batch Size、网络层数。

训练集主要用于学习模型参数,验证集主要用于辅助选择超参数和模型方案。


六、数据集应该按照什么比例划分?

1. 常见划分比例

机器学习中没有适用于所有任务的固定划分比例。

常见方案如下:

划分方案 训练集 验证集 测试集 适用情况
70 / 15 / 15 70% 15% 15% 常规机器学习任务
80 / 10 / 10 80% 10% 10% 数据量相对充足
80 / 20 80% 无独立验证集 20% 简单基线或结合交叉验证
90 / 5 / 5 90% 5% 5% 数据量较少且需要更多训练数据

比例只是经验参考,需要结合数据规模、任务类型和评估目标确定。

2. 数据量对划分策略的影响

数据量较少时:

如果只有几百条或几千条样本,直接划分三个数据集可能导致验证集和测试集样本不足。

这时可以考虑 K 折交叉验证(K-Fold Cross Validation),提高有限数据的利用效率。

数据量较大时:

如果拥有数百万甚至数亿条样本,通常不需要让验证集和测试集占据很高比例。

即使只使用较小比例,也可能获得足够多的评估样本。

深度学习任务:

图像、文本、语音等深度学习任务往往需要大量训练数据。数据划分比例需要结合模型复杂度、数据规模和训练成本确定。

3. 数据量与评估可靠性

测试集样本数量过少,会导致评估指标存在较大随机波动。

例如,一个二分类模型在 20 个测试样本中预测正确 18 个,准确率为 90%。

但只要有一个样本预测结果发生变化,准确率就会变化 5 个百分点。

如果测试集包含 10 万个样本,单个样本对整体准确率的影响则小得多。

因此,测试集的设计不仅要考虑比例,还要考虑:

  • 样本数量。
  • 类别分布。
  • 数据代表性。
  • 评估指标的稳定性。
  • 置信区间和统计不确定性。

七、数据集划分的常见方法

并不是所有数据集都适合直接随机划分。

数据的结构、时间关系、样本关联性都会影响划分策略。

1. 随机划分(Random Split)

随机划分是最常见的数据集划分方式。

将全部样本打乱,然后按照指定比例分配到训练集、验证集和测试集。

flowchart TB
    A["原始数据集"] --> B["随机打乱样本"]
    B --> C["按照比例划分"]
    C --> D["训练集"]
    C --> E["验证集"]
    C --> F["测试集"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

适用场景:

  • 样本相互独立。
  • 数据分布相对稳定。
  • 不存在明显时间顺序依赖。
  • 不存在需要隔离的用户、设备或实体关联。

需要注意:随机划分不代表一定合理。如果数据存在时间关联、用户关联或重复样本,随机划分可能产生数据泄漏。

2. 分层抽样(Stratified Split)

分层抽样是指在划分数据集时,尽量保持各个子集中的类别比例与原始数据集一致。

例如,原始数据集包含:

  • 正常样本:90%。
  • 异常样本:10%。

如果直接随机划分,可能导致某个子集中的异常样本比例明显偏低。

采用分层抽样,可以让训练集、验证集和测试集尽可能保持相似的类别分布。

适用场景:

  • 二分类任务。
  • 多分类任务。
  • 类别不平衡数据集。
  • 少数类别样本较少的任务。

注意:分层抽样主要用于分类任务。多标签任务需要采用适合多标签分布的划分方法,不能简单套用普通单标签分层逻辑。

3. 时间划分(Time-based Split)

对于时间序列、金融预测、销量预测和用户行为预测等任务,不能简单地随机划分数据。

因为模型在真实预测时,只能使用当前时刻之前的信息。

例如:

  • 训练集:2022 年至 2024 年。
  • 验证集:2025 年上半年。
  • 测试集:2025 年下半年。
flowchart TB
    A["按时间排序的数据"] --> B["历史数据"]
    B --> C["训练集"]
    B --> D["验证集"]
    B --> E["测试集"]

    C --> F["较早时间段"]
    D --> G["中间时间段"]
    E --> H["较晚时间段"]

    F --> I["训练模型"]
    G --> J["调整模型"]
    H --> K["模拟未来预测"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F

时间划分的核心原则是:

训练数据的时间必须早于验证数据,验证数据的时间必须早于测试数据。

还需要考虑特征生成时间、标签观察窗口和预测窗口。例如,预测未来 7 天的用户流失时,不能使用预测时点之后才能获得的行为数据。

4. 分组划分(Group Split)

当多个样本来自同一个用户、设备、患者或实体时,需要考虑分组划分。

例如,一个医疗数据集包含多个患者,每位患者可能有多条检查记录。

如果随机划分,可能出现:

  • 患者 A 的部分记录进入训练集。
  • 患者 A 的其他记录进入测试集。

模型可能通过患者特有的信息识别测试样本,而不是学习可迁移的医学规律。

这会使测试结果偏高。

分组划分要求同一个分组中的样本只进入同一个数据子集。

适用场景:

  • 医疗患者数据。
  • 用户行为数据。
  • 设备监控数据。
  • 视频中的连续帧。
  • 同一实体的多条记录。

5. 分层与分组、时间约束的组合

复杂任务可能同时具有多个约束。

例如:

  • 用户之间需要隔离。
  • 各个类别的比例需要尽量平衡。
  • 数据还存在时间顺序。

此时需要根据实际评估目标设计划分方案,而不是机械地使用一种方法。

数据划分的核心不是追求某个固定比例,而是确保评估过程能够模拟模型未来真正面对的数据。


八、交叉验证:更充分地利用有限数据

1. 什么是交叉验证?

交叉验证(Cross Validation) 是一种通过多次划分训练数据,反复训练和评估模型的方法。

其中最常见的是 K 折交叉验证(K-Fold Cross Validation)。

假设将数据划分为 5 份:

  • 第 1 次:第 1 份作为验证集,其余 4 份作为训练集。
  • 第 2 次:第 2 份作为验证集,其余 4 份作为训练集。
  • 依次进行。
  • 最终得到 5 次评估结果。
flowchart TB
    A["完整开发数据"] --> B["划分为 K 份"]
    B --> C["第 1 折验证"]
    B --> D["第 2 折验证"]
    B --> E["第 3 折验证"]
    B --> F["第 K 折验证"]

    C --> G["模型训练与评估"]
    D --> G
    E --> G
    F --> G

    G --> H["汇总 K 次评估结果"]
    H --> I["计算平均指标与波动"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F