机器学习的核心是从数据中学习规律,而数据如何组织、如何表达,以及如何输入模型,直接影响模型的训练效果和泛化能力。
在机器学习中,特征(Feature)、样本(Sample)、标签(Label)和数据集(Dataset)是最基础、也是最重要的四个概念。
它们构成了机器学习的数据组织体系:
- 样本:描述一个具体的观察对象。
- 特征:描述样本属性的信息。
- 标签:描述样本对应的目标结果。
- 数据集:由多个样本按照一定结构组织形成的数据集合。
这些概念看起来简单,但在实际工程中涉及特征工程、数据标注、数据预处理、数据划分、数据泄漏和模型泛化等大量关键问题。
理解这些基础概念,是学习机器学习算法和深度学习模型的重要前提。
一、机器学习为什么需要数据?
1.1 数据是模型学习的基础
传统程序通常由开发者编写明确的规则,程序根据输入执行预先定义的逻辑。
机器学习则不同。
开发者提供数据、学习目标和算法,由模型从数据中自动学习参数与规律。
例如,开发一个房价预测系统。
传统编程可能需要开发者手动制定规则:
- 面积越大,价格越高。
- 地段越好,价格越高。
- 房间数量越多,价格可能越高。
但真实房价受到多个因素共同影响,很难通过人工规则完整描述。
机器学习可以利用历史房屋数据,自动学习这些因素与房价之间的关系。
例如:
| 面积 | 房间数量 | 距离地铁 | 房屋年龄 | 房价 |
|---|---|---|---|---|
| 80㎡ | 2 | 500m | 5 年 | 200 万 |
| 100㎡ | 3 | 300m | 3 年 | 280 万 |
| 120㎡ | 3 | 800m | 10 年 | 310 万 |
| 150㎡ | 4 | 200m | 2 年 | 450 万 |
模型通过这些历史数据学习房价与各项属性之间的关系。
训练完成后,就可以根据一套新房屋的属性预测其价格。
1.2 机器学习的数据处理过程
机器学习通常需要经历数据获取、数据处理、特征构建、模型训练和模型评估等环节。
flowchart TB
A["原始数据"] --> B["数据清洗"]
B --> C["数据预处理"]
C --> D["特征构建与选择"]
D --> E["构建数据集"]
E --> F["模型训练"]
F --> G["模型评估"]
G --> H["模型部署与推理"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这几个环节并不是完全独立的。例如,模型评估发现某些特征效果较差,可能需要重新进行特征工程;训练过程中发现数据分布异常,也可能需要重新处理数据。
二、样本(Sample)
2.1 什么是样本?
样本是数据集中一个独立的数据实例,用于描述某个具体的观察对象或事件。
英文通常称为 Sample,也经常称为 Instance 或 Observation。
例如,在房价预测任务中:
一套具体的房屋可以作为一个样本。
在垃圾邮件识别任务中:
一封具体的邮件可以作为一个样本。
在用户流失预测任务中:
一个用户在某个观察周期内的行为记录可以作为一个样本。
样本是机器学习数据组织的基本单位。
2.2 样本由什么组成?
一个样本通常包含:
- 样本标识:用于区分不同样本。
- 特征:描述样本的属性。
- 标签:监督学习中对应的目标结果。
例如:
| 样本 ID | 面积 | 房间数量 | 距离地铁 | 房价 |
|---|---|---|---|---|
| H001 | 80㎡ | 2 | 500m | 200 万 |
| H002 | 100㎡ | 3 | 300m | 280 万 |
| H003 | 120㎡ | 3 | 800m | 310 万 |
其中,每一行代表一个样本。
H001、H002 和 H003 是三个不同的房屋样本。
样本 ID 主要用于数据管理和追踪,通常不应该直接作为模型特征,除非它本身具有明确的预测意义。
2.3 样本的数学表示
假设一个样本包含 n 个特征,可以表示为:
其中:
- i:样本编号。
- n:特征数量。
- x_{ij}:第 i 个样本的第 j 个特征值。
例如:
可以表示一套房屋的四个特征:
- 面积:80。
- 房间数量:2。
- 距离地铁:500。
- 房屋年龄:5。
在监督学习中,样本通常还包含对应标签:
其中 y_i 是第 i 个样本的目标值。
2.4 样本与特征的关系
一个样本由多个特征共同描述。
例如,一封邮件可以通过以下特征描述:
- 邮件长度。
- 是否包含链接。
- 发件人信誉。
- 特定关键词出现次数。
- 附件数量。
单个特征通常不足以完整描述一个对象,需要多个特征共同构成样本表示。
flowchart TB
A["一个邮件样本"] --> B["邮件长度"]
A --> C["链接数量"]
A --> D["关键词数量"]
A --> E["发件人信誉"]
A --> F["附件数量"]
B --> G["样本特征向量"]
C --> G
D --> G
E --> G
F --> G
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
2.5 样本数量与样本质量
样本数量通常是影响模型训练效果的重要因素,但并不意味着数据越多,模型效果就一定越好。
需要同时关注:
样本数量
数据量不足时,模型可能无法充分学习目标规律。
样本质量
重复数据、错误数据、缺失数据和异常数据可能影响模型学习。
样本代表性
训练样本需要尽可能覆盖真实应用场景中的数据分布。
样本独立性
某些数据虽然数量很多,但实际上来自相同用户、设备或事件,样本之间可能高度相关。
例如,将同一用户的多条记录随机拆分到训练集和测试集,可能导致模型间接记住用户特征,造成测试结果过于乐观。
因此,样本数量不能简单等同于有效信息量。
三、特征(Feature)
3.1 什么是特征?
特征是用于描述样本属性的信息,是模型理解和处理数据的主要输入。
英文称为 Feature。
在房价预测任务中:
- 房屋面积。
- 房间数量。
- 房屋年龄。
- 所在区域。
- 距离地铁的距离。
这些都可以作为特征。
在图像识别任务中:
- 像素值。
- 颜色分布。
- 边缘信息。
- 纹理信息。
- 深度神经网络提取的语义表示。
这些也可以构成模型使用的特征。
特征的质量、表达方式和信息含量,会直接影响模型的学习能力。
3.2 特征的数学表示
假设一个数据集包含 m 个样本,每个样本包含 n 个特征,可以构建特征矩阵:
其中:
- m:样本数量。
- n:特征数量。
- x_{ij}:第 i 个样本的第 j 个特征值。
- X:整个数据集的特征矩阵。
矩阵的每一行对应一个样本,每一列对应一个特征。
例如:
这里有 3 个样本,每个样本有 3 个特征。
在实际工程中,特征矩阵还可能是稀疏矩阵、张量或其他结构,不一定都以普通二维稠密矩阵存储。
3.3 特征的主要类型
不同数据类型需要采用不同的特征表达方式。
3.3.1 数值型特征(Numerical Feature)
数值型特征表示可以进行数学运算的数值。
常见分类:
| 类型 | 说明 | 示例 |
|---|---|---|
| 连续型 | 在一定范围内可以取任意实数值 | 身高、体重、温度 |
| 离散型 | 取值通常为有限或可数的数值 | 房间数量、购买次数 |
数值型特征通常可以直接输入模型,但不同特征的量纲和数值范围可能存在较大差异。
例如:
- 房屋面积:80。
- 房屋价格:3000000。
- 房间数量:3。
某些算法对特征尺度比较敏感,因此可能需要进行标准化或归一化。
3.3.2 类别型特征(Categorical Feature)
类别型特征表示不同的类别或属性。
例如:
- 性别。
- 城市。
- 商品类型。
- 用户等级。
- 支付方式。
类别型特征通常不能直接作为普通数值进行数学计算,需要转换为模型能够处理的表示。
常见编码方式:
Label Encoding
为不同类别分配整数编号。
例如:
| 城市 | 编码 |
|---|---|
| 北京 | 0 |
| 上海 | 1 |
| 深圳 | 2 |
这种方式不一定适合所有模型,因为整数编码可能引入并不存在的大小关系。
One-Hot Encoding
将每个类别转换为独立的二进制特征。
例如:
| 城市 | 北京 | 上海 | 深圳 |
|---|---|---|---|
| 北京 | 1 | 0 | 0 |
| 上海 | 0 | 1 | 0 |
| 深圳 | 0 | 0 | 1 |
One-Hot Encoding 可以避免直接赋予类别大小关系,但当类别数量非常大时,会产生高维稀疏特征。
Embedding Encoding
通过可训练的向量表示类别。
例如,用户 ID、商品 ID 可以映射为低维稠密向量。
Embedding 在推荐系统、自然语言处理和深度学习中非常常见。
3.3.3 文本型特征(Text Feature)
文本数据需要经过处理才能输入模型。
传统机器学习中常见的方法:
- Bag of Words。
- TF-IDF。
- N-gram。
- 词频统计。
深度学习中常见的方法:
- Tokenization。
- Word Embedding。
- Position Embedding。
- Contextual Embedding。
例如,一段文本:
"Machine learning is powerful"
可以先进行分词或 Tokenization,再将 Token ID 映射为向量表示。
现代语言模型通常通过 Embedding 层将 Token ID 转换为连续向量,再输入 Transformer 等网络结构。
3.3.4 时间型特征(Temporal Feature)
时间型特征描述时间及其相关属性。
例如:
- 年份。
- 月份。
- 星期。
- 小时。
- 节假日。
- 时间间隔。
- 历史行为序列。
时间型特征在时间序列预测、金融分析和用户行为预测中非常重要。
需要注意,时间数据通常具有顺序关系,不能像普通独立样本一样随意打乱。
3.3.5 图像与音频特征
图像和音频属于非结构化数据。
图像可以通过像素矩阵表达:
其中:
- H:图像高度。
- W:图像宽度。
- C:通道数量。
例如,RGB 图像通常包含 3 个颜色通道。
音频可以表示为连续波形,也可以转换为频谱或梅尔频谱等特征表示。
深度学习模型通常能够从原始图像、音频或经过预处理的数据中自动学习特征,不再完全依赖人工设计特征。
3.4 特征工程(Feature Engineering)
特征工程是根据业务知识和数据特点,对原始数据进行转换、构造、筛选和表达的过程。
它是传统机器学习工程中的重要环节。
主要包括:
1. 特征提取(Feature Extraction)
从原始数据中提取有意义的信息。
例如,从用户订单记录中提取:
- 最近一次购买时间。
- 历史购买次数。
- 平均订单金额。
- 最近 30 天消费金额。
2. 特征构造(Feature Construction)
通过已有特征组合生成新特征。
例如:
3. 特征选择(Feature Selection)
选择对预测目标有帮助的特征,减少冗余和噪声。
常见方法:
- Filter:基于统计指标筛选。
- Wrapper:基于模型表现筛选。
- Embedded:在模型训练过程中完成特征选择。
4. 特征变换(Feature Transformation)
改变特征的表示形式。
例如:
- 标准化。
- 归一化。
- 对数变换。
- 类别编码。
- 缺失值填充。
3.5 特征标准化与归一化
不同特征的数值范围可能相差很大。
例如:
| 特征 | 数值范围 |
|---|---|
| 房间数量 | 1~10 |
| 房屋面积 | 30~300 |
| 房屋价格 | 100000~10000000 |
如果直接输入某些模型,数值尺度差异可能影响模型训练。
标准化(Standardization)
常见的 Z-Score 标准化:
其中:
- x:原始特征值。
- \mu:特征均值。
- \sigma:特征标准差。
- x':标准化后的值。
处理后,特征通常具有接近 0 的均值和接近 1 的标准差。
归一化(Normalization)
常见的 Min-Max 归一化:
通常将特征缩放到 [0,1] 区间。
需要注意:
- 标准化不保证所有数据都落在固定区间。
- Min-Max 归一化容易受到极端值影响。
- 并不是所有算法都必须进行特征缩放。
- 决策树及其常见集成模型通常不依赖特征标准化。
- 标准化参数必须只从训练集计算,再应用到验证集和测试集,避免数据泄漏。
3.6 特征选择与模型效果
并不是特征越多,模型效果就一定越好。
无关特征、重复特征和噪声特征可能带来:
- 增加计算成本。
- 提高模型复杂度。
- 加剧过拟合。
- 降低模型稳定性。
- 增加数据采集和维护成本。
例如,在预测用户是否流失时:
- 最近 30 天登录次数可能是重要特征。
- 最近一次购买时间可能是重要特征。
- 一个随机生成且没有业务含义的编号通常不是有效特征。
但特征是否有效,不能只凭主观判断,需要通过数据分析、模型实验和验证集评估。
四、标签(Label)
4.1 什么是标签?
标签是监督学习中用于描述样本目标结果的信息。
英文称为 Label,也常称为 Target。
例如,在垃圾邮件识别任务中:
| 邮件内容 | 标签 |
|---|---|
| 恭喜获得奖励,立即领取 | 垃圾邮件 |
| 明天下午召开项目会议 | 正常邮件 |
| 您的账户存在异常,请验证 | 垃圾邮件 |
这里的邮件内容是输入,垃圾邮件或正常邮件是标签。
模型通过学习大量样本及其对应标签,建立输入与目标输出之间的映射关系。
4.2 标签的数学表示
监督学习的数据通常可以表示为:
其中:
- D:数据集。
- N:样本数量。
- x_i:第 i 个样本的特征。
- y_i:第 i 个样本对应的标签。
模型的训练目标是学习函数:
也就是让模型预测值尽可能接近真实标签。
4.3 标签的主要类型
4.3.1 二分类标签
二分类标签只有两个类别。
例如:
- 是 / 否。
- 正常 / 异常。
- 流失 / 未流失。
- 垃圾邮件 / 正常邮件。
通常可以使用 0 和 1 表示:
4.3.2 多分类标签
多分类任务包含三个或更多互斥类别。
例如:
- 猫。
- 狗。
- 鸟。
- 汽车。
标签可以使用整数编码或 One-Hot 表示。
其中 K 表示类别数量。
4.3.3 连续数值标签
回归任务中的标签通常是连续数值。
例如:
- 房价。
- 销售额。
- 温度。
- 设备剩余寿命。
4.3.4 多标签数据
多标签任务允许一个样本同时属于多个类别。
例如,一张图片中可能同时包含:
- 人。
- 汽车。
- 道路。
- 建筑物。
与多分类不同,多标签任务中的类别不一定互斥。
4.3.5 结构化标签
某些任务的标签不是单一数值或类别,而是结构化数据。
例如:
- 目标检测:边界框坐标和类别。
- 语义分割:每个像素对应的类别。
- 序列标注:每个 Token 对应的标签。
- 语音识别:文本 Token 序列。
4.4 标签质量为什么重要?
监督学习依赖标签提供训练反馈,因此标签质量会直接影响模型学习效果。
常见标签问题包括:
标签错误(Label Noise)
人工标注错误、数据采集错误或自动标注错误,导致标签与真实情况不一致。
标签不一致
不同标注人员对相同样本的判断标准不同。
类别不平衡(Class Imbalance)
不同类别的样本数量差异过大。
例如:
- 正常交易:99%。
- 欺诈交易:1%。
模型可能通过大量预测正常交易获得较高准确率,却无法有效识别欺诈交易。
标签偏差(Label Bias)
标签可能继承历史决策中的偏见或数据采集过程中的偏差。
标签泄漏(Target Leakage)
特征中包含了只有在目标结果发生之后才可能获得的信息,导致模型在训练和测试中获得不合理的优势。
4.5 标签不一定等于客观真相
标签通常是根据业务规则、人工判断或观测结果构建的目标。
例如:
用户流失标签可能定义为:
连续 30 天没有登录的用户。
这是一种业务定义,并不意味着该用户在真实意义上已经永久流失。
再例如:
信用风险标签可能由历史逾期记录构建,但历史记录本身可能受到授信策略、数据覆盖范围和社会因素影响。
因此,标签不仅需要准确,还需要明确其定义、时间范围和适用边界。
五、数据集(Dataset)
5.1 什么是数据集?
数据集是按照一定结构组织起来的一组数据样本。
英文称为 Dataset。
一个机器学习数据集通常包含多个样本,每个样本由特征构成;在监督学习任务中,还会包含对应标签。
例如:
| ID | 面积 | 房间数量 | 房屋年龄 | 房价 |
|---|---|---|---|---|
| H001 | 80 | 2 | 5 | 200 |
| H002 | 100 | 3 | 3 | 280 |
| H003 | 120 | 3 | 10 | 310 |
| H004 | 150 | 4 | 2 | 450 |
这里:
- 每一行是一个样本。
- 面积、房间数量、房屋年龄是特征。
- 房价是标签。
- 所有行构成一个数据集。
5.2 数据集的数学表示
假设数据集包含 N 个样本,每个样本有 d 个特征。
特征矩阵:
标签向量:
对于分类任务,标签也可以是类别索引或其他离散表示。
整个监督学习数据集可以表示为:
对于无监督学习,通常只有输入数据:
需要注意,实际数据不一定全部是实数矩阵,也可能包含字符串、类别、时间序列、图像、音频或其他结构化对象。
5.3 数据集的常见分类
5.3.1 结构化数据(Structured Data)
结构化数据通常具有明确的字段和表格结构。
例如:
- 用户信息表。
- 订单数据表。
- 交易记录。
- 设备传感器数据。
常见存储形式:
- CSV。
- Excel。
- SQL 数据库表。
结构化数据通常容易进行字段分析、统计和特征构建。
5.3.2 半结构化数据(Semi-Structured Data)
半结构化数据具有一定的组织结构,但字段不一定完全固定。
例如:
- JSON。
- XML。
- 日志数据。
- 部分事件流数据。
常见于 Web 系统、日志平台和数据交换场景。
5.3.3 非结构化数据(Unstructured Data)
非结构化数据没有统一的表格字段结构。
例如:
- 图片。
- 音频。
- 视频。
- 自然语言文本。
- 文档文件。
这类数据通常需要通过特定的数据处理和特征表示方式才能输入模型。
5.4 数据集的训练、验证和测试划分
在监督学习中,通常需要将数据集划分为三个部分:
- 训练集(Training Set)。
- 验证集(Validation Set)。
- 测试集(Test Set)。
它们的用途不同。
训练集
用于模型学习参数。
模型通过训练集中的样本计算损失,并更新参数。
验证集
用于模型选择和超参数调整。
例如:
- 选择学习率。
- 选择模型结构。
- 调整正则化强度。
- 比较不同算法。
测试集
用于在模型选择完成后评估最终泛化表现。
测试集应尽量保持独立,不应反复用于调参。
5.5 数据集划分示例
假设有 10000 条样本:
| 数据集 | 比例 | 数量 | 用途 |
|---|---|---|---|
| 训练集 | 70% | 7000 | 训练模型 |
| 验证集 | 15% | 1500 | 调整模型 |
| 测试集 | 15% | 1500 | 最终评估 |
这只是常见示例,并不是固定标准。
具体比例需要根据数据规模、任务类型和评估方式确定。
flowchart TB
A["完整数据集"] --> B["数据集划分"]
B --> C["训练集"]
B --> D["验证集"]
B --> E["测试集"]
C --> F["训练模型参数"]
D --> G["模型选择与超参数调整"]
F --> H["候选模型"]
G --> H
H --> I["最终模型"]
E --> J["独立评估"]
I --> J
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style J fill:#E5F0E9,stroke:#83A995,color:#315D49