机器学习并不是单一的算法体系,而是由多种不同的学习范式构成。不同范式在数据来源、反馈机制、优化目标和训练方式上存在明显差异。
其中,监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)和强化学习(Reinforcement Learning)是机器学习最具代表性的三大核心范式。
它们分别解决不同类型的问题:
- 监督学习:利用带标签的数据,学习输入与目标输出之间的映射关系。
- 无监督学习:利用没有明确标签的数据,发现数据内部的结构、分布和潜在规律。
- 强化学习:通过与环境交互,根据奖励或惩罚信号学习如何采取行动,以获得长期收益。
理解这三种学习范式,不仅有助于建立机器学习的整体认知,也是理解深度学习、大语言模型、智能体和自动决策系统的重要基础。
一、机器学习的学习范式是什么?
1.1 学习范式的定义
学习范式(Learning Paradigm)描述的是机器如何从数据或环境中获取经验、建立模型,并逐步改善任务表现。
不同学习范式的核心区别,不在于使用了哪一种神经网络或算法,而在于:
- 学习过程中使用什么样的数据?
- 是否存在明确的目标标签?
- 模型通过什么信号获得反馈?
- 模型优化的目标是什么?
- 学习过程是否涉及与环境的持续交互?
例如,使用神经网络既可以实现监督学习,也可以实现无监督学习和强化学习。
因此,学习范式与模型架构、具体算法是不同层次的概念。
1.2 三大范式对比
| 对比维度 | 监督学习 | 无监督学习 | 强化学习 |
|---|---|---|---|
| 英文名称 | Supervised Learning | Unsupervised Learning | Reinforcement Learning |
| 核心数据 | 带标签数据 | 无明确标签的数据 | 环境交互数据 |
| 反馈来源 | 真实标签 | 数据自身结构或训练目标 | 奖励信号 |
| 核心目标 | 学习输入到输出的映射 | 发现数据中的潜在规律 | 学习最优决策策略 |
| 典型任务 | 分类、回归 | 聚类、降维、密度估计 | 控制、决策、路径规划 |
| 学习方式 | 根据预测误差调整模型 | 根据结构或自定义目标优化 | 根据奖励调整策略或价值估计 |
| 典型算法 | 线性回归、SVM、随机森林 | K-Means、PCA、DBSCAN | Q-Learning、PPO、SAC |
| 典型应用 | 垃圾邮件识别、价格预测 | 用户分群、异常发现 | 机器人控制、游戏智能体 |
1.3 三大范式的整体关系
flowchart TB
A["机器学习"] --> B["监督学习"]
A --> C["无监督学习"]
A --> D["强化学习"]
B --> B1["带标签数据"]
B1 --> B2["学习输入与目标输出的映射"]
B2 --> B3["分类与回归"]
C --> C1["无明确标签的数据"]
C1 --> C2["发现数据内部结构"]
C2 --> C3["聚类与降维"]
D --> D1["与环境持续交互"]
D1 --> D2["获取奖励或惩罚"]
D2 --> D3["学习决策策略"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style B1 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B2 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B3 fill:#E5F0E9,stroke:#83A995,color:#315D49
style C1 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C2 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C3 fill:#E5F0E9,stroke:#83A995,color:#315D49
style D1 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D2 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D3 fill:#E5F0E9,stroke:#83A995,color:#315D49
二、监督学习(Supervised Learning)
2.1 什么是监督学习?
监督学习是一种使用带标签数据训练模型的机器学习方法。
所谓带标签数据,是指每条训练样本不仅包含输入特征,还包含对应的正确目标值。
例如:
| 房屋面积 | 房间数量 | 所在区域 | 房屋价格 |
|---|---|---|---|
| 80㎡ | 2 | A 区 | 200 万 |
| 100㎡ | 3 | B 区 | 280 万 |
| 120㎡ | 3 | A 区 | 350 万 |
| 150㎡ | 4 | C 区 | 420 万 |
其中:
- 输入特征(Features):房屋面积、房间数量、所在区域。
- 标签(Label):房屋价格。
- 模型(Model):学习输入特征与房屋价格之间的关系。
模型通过大量带标签样本进行训练,逐渐学习一个映射函数:
其中:
- X:输入特征空间。
- Y:目标输出空间。
- f_\theta:由参数 \theta 控制的模型。
- \theta:模型需要学习的参数。
训练完成后,模型可以根据新的房屋特征预测其价格。
2.2 监督学习的核心原理
监督学习的本质是:通过真实标签衡量模型预测结果的误差,并不断调整模型参数,使预测结果逐渐接近真实目标。
典型训练过程包括:
- 输入训练样本。
- 模型执行前向计算。
- 得到预测结果。
- 将预测结果与真实标签比较。
- 计算损失函数。
- 根据梯度更新模型参数。
- 重复训练,直到达到预期效果。
flowchart TB
A["准备带标签的训练数据"] --> B["输入特征 X"]
B --> C["模型前向计算"]
C --> D["得到预测结果 Ŷ"]
D --> E["与真实标签 Y 比较"]
E --> F["计算损失函数"]
F --> G["反向传播计算梯度"]
G --> H["优化器更新模型参数"]
H --> I{"是否满足训练条件"}
I -->|"否"| B
I -->|"是"| J["得到训练后的模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这里需要注意:
监督学习不一定都使用神经网络,也不一定都使用反向传播。
例如:
- 线性回归可以使用最小二乘法求解。
- 决策树可以使用信息增益或基尼指数进行分裂。
- 随机森林通过多个决策树进行集成。
- 神经网络通常使用反向传播和梯度优化。
它们虽然优化机制不同,但都依赖带标签数据来学习目标映射。
2.3 监督学习的两大任务
监督学习主要包括分类(Classification)和回归(Regression)。
2.3.1 分类(Classification)
分类任务的目标是预测样本所属的类别。
例如:
- 垃圾邮件识别:垃圾邮件 / 正常邮件。
- 图像识别:猫 / 狗 / 鸟。
- 用户流失预测:流失 / 未流失。
- 风险识别:高风险 / 低风险。
分类模型通常学习条件概率:
其中 X 是输入,Y 是类别标签。
二分类模型可能输出:
表示模型估计该样本属于正类的概率为 92%。
多分类任务通常通过 Softmax 将模型输出转换为类别概率分布。
常见分类算法:
- Logistic Regression
- Decision Tree
- Random Forest
- Support Vector Machine
- Naive Bayes
- Gradient Boosting
- Neural Network
2.3.2 回归(Regression)
回归任务的目标是预测连续数值。
例如:
- 房屋价格预测。
- 商品销量预测。
- 用户消费金额预测。
- 温度预测。
- 设备剩余寿命预测。
回归模型通常学习:
其中 \hat{y} 是模型预测值。
常见回归损失函数包括:
均方误差(MSE)
平均绝对误差(MAE)
MSE 对较大的预测误差惩罚更重;MAE 对异常误差相对不敏感。
2.4 监督学习的核心组成
| 组成 | 说明 |
|---|---|
| Training Data | 用于训练模型的数据 |
| Feature | 输入模型的特征 |
| Label | 样本对应的目标值 |
| Model | 学习输入与输出关系的函数 |
| Loss Function | 衡量预测误差 |
| Optimizer | 根据优化目标调整参数 |
| Validation Set | 用于模型选择和超参数调整 |
| Test Set | 用于评估模型的最终泛化表现 |
监督学习的训练目标通常可以表示为:
其中:
- x_i:第 i 个训练样本的输入。
- y_i:对应的真实标签。
- f_\theta(x_i):模型预测结果。
- L:损失函数。
- \theta^*:训练得到的最优参数。
实际训练中还可能加入正则化项,降低过拟合风险:
2.5 监督学习的优缺点
优点:
- 训练目标明确,容易定义评价指标。
- 在标签质量较高、数据分布合理时,预测效果通常较好。
- 可以直接用于分类、回归等业务任务。
- 模型训练和评估流程相对成熟。
缺点:
- 需要大量带标签数据。
- 高质量标注成本可能很高。
- 标签错误会影响模型学习。
- 训练数据与真实环境分布不一致时,泛化能力可能下降。
- 模型容易学习数据中的偏差,而不是真正有用的规律。
2.6 监督学习的典型应用
| 应用领域 | 典型任务 |
|---|---|
| 金融 | 信用评分、欺诈识别 |
| 医疗 | 医学影像分类、疾病风险预测 |
| 电商 | 商品销量预测、用户购买预测 |
| 互联网 | 垃圾内容识别、广告点击率预测 |
| 工业 | 产品缺陷检测、设备故障预测 |
| 自然语言处理 | 文本分类、情感分析、命名实体识别 |
| 计算机视觉 | 目标检测、图像分类、语义分割 |
三、无监督学习(Unsupervised Learning)
3.1 什么是无监督学习?
无监督学习是一种利用没有明确人工标签的数据进行训练的方法。
与监督学习不同,无监督学习没有预先提供每条样本对应的标准答案。
例如,一个电商平台拥有大量用户行为数据:
| 用户 | 浏览次数 | 购买次数 | 平均消费 |
|---|---|---|---|
| A | 120 | 15 | 800 元 |
| B | 20 | 2 | 100 元 |
| C | 95 | 12 | 750 元 |
| D | 15 | 1 | 80 元 |
| E | 60 | 8 | 450 元 |
这些数据没有明确标注用户属于哪一种类型。
无监督学习可以通过分析用户特征之间的相似性,将用户划分为不同群体。
例如:
- 高频消费用户。
- 低频消费用户。
- 潜在高价值用户。
- 价格敏感型用户。
模型不是根据人工提供的类别进行预测,而是从数据中发现潜在结构。
3.2 无监督学习的核心原理
无监督学习并不意味着模型没有优化目标。
它只是没有传统监督学习中的人工目标标签。
模型仍然需要通过某种目标函数学习数据特征,例如:
- 最小化聚类距离。
- 最大化数据似然。
- 最小化重构误差。
- 最大化表示之间的一致性。
- 学习数据的低维结构。
不同算法采用的目标函数可能完全不同。
例如,K-Means 通过最小化样本与所属聚类中心之间的平方距离来优化聚类结果。
其中:
- x_i:第 i 个样本。
- \mu_{c_i}:该样本所属簇的中心。
- c_i:样本所属的簇编号。
- J:聚类目标函数。
3.3 无监督学习的主要任务
3.3.1 聚类(Clustering)
聚类是将相似样本划分到同一个群体中的方法。
核心思想:
- 同一簇内部的样本尽可能相似。
- 不同簇之间的样本尽可能具有差异。
典型算法:
K-Means
将数据划分为预先指定数量的 K 个簇,通过迭代更新聚类中心完成聚类。
主要步骤:
- 指定聚类数量 K。
- 初始化 K 个聚类中心。
- 将每个样本分配给最近的中心。
- 根据簇内样本重新计算中心。
- 重复分配与更新,直到满足停止条件。
DBSCAN
基于密度的聚类算法。
主要特点:
- 不需要预先指定簇的数量。
- 可以发现非球形结构的簇。
- 能够识别噪声点和离群点。
- 对参数选择和不同密度的数据分布较为敏感。
层次聚类(Hierarchical Clustering)
通过不断合并或拆分样本群体构建层次结构。
常用于探索数据之间的层级关系。
3.3.2 降维(Dimensionality Reduction)
降维是将高维数据映射到较低维空间,同时尽可能保留重要信息的方法。
例如,一条用户行为记录可能包含上百个特征。
高维数据可能带来:
- 计算成本增加。
- 特征冗余。
- 噪声累积。
- 可视化困难。
- 高维空间中的距离度量退化等问题。
降维可以帮助模型提取更紧凑的数据表示。
典型算法:
PCA(Principal Component Analysis,主成分分析)
通过寻找数据方差最大的正交方向,将原始数据投影到低维空间。
PCA 的核心是对数据协方差矩阵进行特征值分解,或者使用奇异值分解(SVD)求取主成分。
需要注意:方差最大不等于任务相关信息最多。PCA 是一种线性降维方法,不一定适合所有数据结构。
t-SNE
主要用于高维数据的非线性可视化,尽可能保留局部邻域关系。
它适合探索数据分布,但不同簇之间的图上距离、簇的面积和密度不应被直接解释为严格的全局结构。
UMAP
一种基于流形学习和拓扑结构的降维方法,常用于高维数据可视化和表示探索。
3.3.3 密度估计(Density Estimation)
密度估计的目标是学习数据的概率分布:
通过估计数据在不同区域出现的概率密度,可以理解数据分布,并用于异常检测、生成建模等任务。
常见方法:
- Kernel Density Estimation(核密度估计)。
- Gaussian Mixture Model(高斯混合模型)。
- Normalizing Flow。
其中,高斯混合模型通过多个高斯分布的加权组合近似复杂数据分布:
这里的 \pi_k 是混合权重,满足:
3.3.4 表示学习(Representation Learning)
表示学习的目标是从原始数据中自动学习有意义的特征表示。
例如:
- 将图像转换为语义向量。
- 将文本转换为 Embedding。
- 将用户行为转换为用户向量。
- 将复杂数据压缩为潜在空间表示。
典型方法包括:
- Autoencoder(自编码器)。
- 对比学习(Contrastive Learning)。
- 自监督预训练。
- 部分生成式表示学习方法。
表示学习是现代深度学习和大模型技术的重要基础。
3.4 无监督学习的典型训练流程
flowchart TB
A["准备原始数据"] --> B["数据清洗与预处理"]
B --> C["提取或构造特征"]
C --> D["选择无监督学习算法"]
D --> E["学习数据结构或潜在表示"]
E --> F["优化模型目标函数"]
F --> G["获得聚类结果或数据表示"]
G --> H["分析与评估结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
需要注意,无监督学习的结果不一定存在唯一正确答案。
例如,用户分群可以按照消费能力、购买频率、商品偏好等不同维度进行划分。不同划分方式可能都具有业务价值。
因此,无监督学习除了使用轮廓系数、重构误差等技术指标,也需要结合业务背景判断结果是否有意义。
3.5 无监督学习的优缺点
优点:
- 不依赖大量人工标注数据。
- 能够发现未知的数据结构。
- 可以辅助特征提取和数据探索。
- 适合处理规模庞大、标签缺失的数据。
- 可以作为其他机器学习任务的预处理步骤。
缺点:
- 缺少明确标签,结果较难直接验证。
- 不同算法可能得到不同结构。
- 算法结果的业务解释可能比较困难。
- 对特征尺度、距离度量和超参数较为敏感。
- 发现的数据结构不一定具有实际业务价值。
3.6 无监督学习的典型应用
| 应用领域 | 典型任务 |
|---|---|
| 电商 | 用户分群、商品聚类 |
| 金融 | 异常交易发现、风险模式探索 |
| 网络安全 | 异常流量识别 |
| 医疗 | 患者群体分析 |
| 推荐系统 | 用户与物品表示学习 |
| 计算机视觉 | 图像特征提取、数据聚类 |
| 自然语言处理 | 文本聚类、语义表示学习 |
四、强化学习(Reinforcement Learning)
4.1 什么是强化学习?
强化学习是一种通过智能体(Agent)与环境(Environment)持续交互,并根据奖励信号学习决策策略的机器学习方法。
与监督学习不同,强化学习通常没有每一步都明确提供的标准答案。
智能体需要:
- 观察当前环境状态。
- 根据当前策略选择行动。
- 执行行动。
- 接收环境反馈。
- 根据奖励和后续状态调整决策策略。
例如,一个机器人学习如何行走:
- 机器人当前处于某个身体姿态。
- 模型选择关节运动指令。
- 机器人执行动作。
- 环境反馈机器人是否保持平衡、是否向目标前进。
- 模型根据奖励调整策略。
强化学习关注的不是单次预测是否准确,而是连续决策能否获得更高的长期收益。
4.2 强化学习的核心组成
强化学习通常包含以下核心概念:
| 概念 | 英文 | 说明 |
|---|---|---|
| 智能体 | Agent | 执行决策和学习的主体 |
| 环境 | Environment | 智能体交互的外部系统 |
| 状态 | State | 描述环境当前情况 |
| 动作 | Action | 智能体可以采取的行为 |
| 奖励 | Reward | 环境对动作结果提供的反馈 |
| 策略 | Policy | 根据状态选择动作的规则 |
| 价值函数 | Value Function | 衡量状态或动作的长期收益 |
| 回合 | Episode | 一段从开始到终止的交互过程 |
4.3 强化学习的基本交互机制
强化学习可以通过以下过程理解:
flowchart TB
A["智能体 Agent"] -->|"执行动作 Action"| B["环境 Environment"]
B -->|"返回状态 State"| A
B -->|"返回奖励 Reward"| A
A --> C["评估当前决策"]
C --> D["更新策略 Policy"]
D --> A
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#E5F0E9,stroke:#83A995,color:#315D49
这不是一次性的预测流程,而是一个持续交互、不断改进策略的闭环。
4.4 马尔可夫决策过程(MDP)
强化学习通常使用马尔可夫决策过程(Markov Decision Process,MDP)描述问题。
一个标准 MDP 可以表示为:
其中:
- S:状态空间。
- A:动作空间。
- P(s'|s,a):状态转移概率。
- R(s,a,s'):奖励函数。
- \gamma:折扣因子。
马尔可夫性质表示:在给定当前状态的条件下,未来状态的概率分布不再依赖完整历史,而取决于当前状态和当前动作。
这里有一个重要前提:
状态必须包含足够的信息,才能满足马尔可夫性质。
如果当前观测并不能完整描述环境状态,那么问题可能更适合建模为部分可观测马尔可夫决策过程(POMDP)。
4.5 强化学习的核心优化目标
强化学习的目标通常是最大化长期累积奖励,而不只是最大化当前一步的奖励。
定义折扣累积回报:
其中:
- G_t:从时间步 t 开始的累积回报。
- R_{t+k+1}:未来获得的奖励。
- \gamma:折扣因子,通常满足 0\leq\gamma<1。
折扣因子决定未来奖励相对于当前奖励的重要程度。
- 当 \gamma 较小时,策略更加重视近期奖励。
- 当 \gamma 较大时,策略更加重视长期收益。
策略的目标可以表示为:
其中 \pi 表示策略,\pi^* 表示最优策略。
4.6 价值函数与动作价值函数
强化学习需要评估不同状态和动作的长期收益。
状态价值函数(State Value Function)
表示在策略 \pi 下,从状态 s 开始能够获得的期望累积回报。
动作价值函数(Action Value Function)
表示在状态 s 下先执行动作 a,之后继续遵循策略 \pi 时能够获得的期望累积回报。
两者的区别:
- V(s):评价当前状态整体有多好。
- Q(s,a):评价在当前状态下采取某个动作有多好。
4.7 贝尔曼方程(Bellman Equation)
贝尔曼方程是强化学习的重要数学基础。
它将当前状态的价值表示为即时奖励与未来状态价值的组合。
对于状态价值函数:
对于动作价值函数:
贝尔曼方程揭示了强化学习的核心思想:
当前决策的价值,不仅取决于当前奖励,也取决于它带来的未来状态及其后续收益。
这也是强化学习区别于单纯即时反馈优化的重要原因。
4.8 强化学习的主要算法
强化学习算法可以从不同角度分类。
4.8.1 基于价值的方法(Value-Based)
这类方法重点学习状态价值或动作价值,再根据价值选择动作。
Q-Learning
Q-Learning 是经典的无模型、离策略强化学习算法。
其更新公式:
其中:
- \alpha:学习率。
- r:当前奖励。
- \gamma:折扣因子。
- s':执行动作后的新状态。
它通过不断修正 Q 值,逐渐逼近最优动作价值函数。
SARSA
SARSA 是一种典型的在策略算法。
其更新公式:
与 Q-Learning 的关键区别:
- Q-Learning 使用下一状态下的最大 Q 值进行更新。
- SARSA 使用实际策略选择的下一动作进行更新。
DQN(Deep Q-Network)
DQN 将深度神经网络引入 Q-Learning,使用神经网络近似动作价值函数:
经典 DQN 使用经验回放(Experience Replay)和目标网络(Target Network)提高训练稳定性。
4.8.2 基于策略的方法(Policy-Based)
这类方法直接学习策略:
模型根据当前状态直接输出动作概率分布或连续动作。
Policy Gradient
通过梯度上升优化策略的期望回报:
其核心思想是提高带来较高回报的动作概率,降低表现较差动作的概率。
PPO(Proximal Policy Optimization)
PPO 是目前广泛使用的策略优化算法之一。
它通过限制新旧策略之间的更新幅度,降低策略更新过大导致训练不稳定的风险。
PPO 常用于机器人控制、游戏智能体,以及部分大模型后训练流程。
4.8.3 Actor-Critic 方法
Actor-Critic 将策略学习与价值评估结合起来。
- Actor:负责根据状态选择动作。
- Critic:负责评估状态或动作的价值。
Actor 根据 Critic 提供的评价信号更新策略。
典型算法:
- A2C
- A3C
- DDPG
- TD3
- SAC
其中:
- DDPG 主要面向连续动作空间。
- TD3 通过多项机制缓解价值高估和训练不稳定。
- SAC 通过最大熵目标兼顾奖励最大化与策略探索。