返回专栏
· 20 分钟阅读

监督学习、无监督学习与强化学习:机器学习的三大核心范式


机器学习并不是单一的算法体系,而是由多种不同的学习范式构成。不同范式在数据来源、反馈机制、优化目标和训练方式上存在明显差异。

其中,监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)和强化学习(Reinforcement Learning)是机器学习最具代表性的三大核心范式。

它们分别解决不同类型的问题:

  • 监督学习:利用带标签的数据,学习输入与目标输出之间的映射关系。
  • 无监督学习:利用没有明确标签的数据,发现数据内部的结构、分布和潜在规律。
  • 强化学习:通过与环境交互,根据奖励或惩罚信号学习如何采取行动,以获得长期收益。

理解这三种学习范式,不仅有助于建立机器学习的整体认知,也是理解深度学习、大语言模型、智能体和自动决策系统的重要基础。


一、机器学习的学习范式是什么?

1.1 学习范式的定义

学习范式(Learning Paradigm)描述的是机器如何从数据或环境中获取经验、建立模型,并逐步改善任务表现。

不同学习范式的核心区别,不在于使用了哪一种神经网络或算法,而在于:

  1. 学习过程中使用什么样的数据?
  2. 是否存在明确的目标标签?
  3. 模型通过什么信号获得反馈?
  4. 模型优化的目标是什么?
  5. 学习过程是否涉及与环境的持续交互?

例如,使用神经网络既可以实现监督学习,也可以实现无监督学习和强化学习。

因此,学习范式与模型架构、具体算法是不同层次的概念。

1.2 三大范式对比

对比维度 监督学习 无监督学习 强化学习
英文名称 Supervised Learning Unsupervised Learning Reinforcement Learning
核心数据 带标签数据 无明确标签的数据 环境交互数据
反馈来源 真实标签 数据自身结构或训练目标 奖励信号
核心目标 学习输入到输出的映射 发现数据中的潜在规律 学习最优决策策略
典型任务 分类、回归 聚类、降维、密度估计 控制、决策、路径规划
学习方式 根据预测误差调整模型 根据结构或自定义目标优化 根据奖励调整策略或价值估计
典型算法 线性回归、SVM、随机森林 K-Means、PCA、DBSCAN Q-Learning、PPO、SAC
典型应用 垃圾邮件识别、价格预测 用户分群、异常发现 机器人控制、游戏智能体

1.3 三大范式的整体关系

flowchart TB
    A["机器学习"] --> B["监督学习"]
    A --> C["无监督学习"]
    A --> D["强化学习"]

    B --> B1["带标签数据"]
    B1 --> B2["学习输入与目标输出的映射"]
    B2 --> B3["分类与回归"]

    C --> C1["无明确标签的数据"]
    C1 --> C2["发现数据内部结构"]
    C2 --> C3["聚类与降维"]

    D --> D1["与环境持续交互"]
    D1 --> D2["获取奖励或惩罚"]
    D2 --> D3["学习决策策略"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style B1 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style B2 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style B3 fill:#E5F0E9,stroke:#83A995,color:#315D49
    style C1 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C2 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C3 fill:#E5F0E9,stroke:#83A995,color:#315D49
    style D1 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D2 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D3 fill:#E5F0E9,stroke:#83A995,color:#315D49

二、监督学习(Supervised Learning)

2.1 什么是监督学习?

监督学习是一种使用带标签数据训练模型的机器学习方法。

所谓带标签数据,是指每条训练样本不仅包含输入特征,还包含对应的正确目标值。

例如:

房屋面积 房间数量 所在区域 房屋价格
80㎡ 2 A 区 200 万
100㎡ 3 B 区 280 万
120㎡ 3 A 区 350 万
150㎡ 4 C 区 420 万

其中:

  • 输入特征(Features):房屋面积、房间数量、所在区域。
  • 标签(Label):房屋价格。
  • 模型(Model):学习输入特征与房屋价格之间的关系。

模型通过大量带标签样本进行训练,逐渐学习一个映射函数:

f_\theta:X\rightarrow Y

其中:

  • X:输入特征空间。
  • Y:目标输出空间。
  • f_\theta:由参数 \theta 控制的模型。
  • \theta:模型需要学习的参数。

训练完成后,模型可以根据新的房屋特征预测其价格。

2.2 监督学习的核心原理

监督学习的本质是:通过真实标签衡量模型预测结果的误差,并不断调整模型参数,使预测结果逐渐接近真实目标。

典型训练过程包括:

  1. 输入训练样本。
  2. 模型执行前向计算。
  3. 得到预测结果。
  4. 将预测结果与真实标签比较。
  5. 计算损失函数。
  6. 根据梯度更新模型参数。
  7. 重复训练,直到达到预期效果。
flowchart TB
    A["准备带标签的训练数据"] --> B["输入特征 X"]
    B --> C["模型前向计算"]
    C --> D["得到预测结果 Ŷ"]
    D --> E["与真实标签 Y 比较"]
    E --> F["计算损失函数"]
    F --> G["反向传播计算梯度"]
    G --> H["优化器更新模型参数"]
    H --> I{"是否满足训练条件"}
    I -->|"否"| B
    I -->|"是"| J["得到训练后的模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这里需要注意:

监督学习不一定都使用神经网络,也不一定都使用反向传播。

例如:

  • 线性回归可以使用最小二乘法求解。
  • 决策树可以使用信息增益或基尼指数进行分裂。
  • 随机森林通过多个决策树进行集成。
  • 神经网络通常使用反向传播和梯度优化。

它们虽然优化机制不同,但都依赖带标签数据来学习目标映射。

2.3 监督学习的两大任务

监督学习主要包括分类(Classification)和回归(Regression)。

2.3.1 分类(Classification)

分类任务的目标是预测样本所属的类别。

例如:

  • 垃圾邮件识别:垃圾邮件 / 正常邮件。
  • 图像识别:猫 / 狗 / 鸟。
  • 用户流失预测:流失 / 未流失。
  • 风险识别:高风险 / 低风险。

分类模型通常学习条件概率:

P(Y|X)

其中 X 是输入,Y 是类别标签。

二分类模型可能输出:

P(Y=1|X)=0.92

表示模型估计该样本属于正类的概率为 92%。

多分类任务通常通过 Softmax 将模型输出转换为类别概率分布。

常见分类算法:

  • Logistic Regression
  • Decision Tree
  • Random Forest
  • Support Vector Machine
  • Naive Bayes
  • Gradient Boosting
  • Neural Network

2.3.2 回归(Regression)

回归任务的目标是预测连续数值。

例如:

  • 房屋价格预测。
  • 商品销量预测。
  • 用户消费金额预测。
  • 温度预测。
  • 设备剩余寿命预测。

回归模型通常学习:

\hat{y}=f_\theta(x)

其中 \hat{y} 是模型预测值。

常见回归损失函数包括:

均方误差(MSE)

MSE=\frac{1}{N}\sum_{i=1}^{N}(y_i-\hat{y}_i)^2

平均绝对误差(MAE)

MAE=\frac{1}{N}\sum_{i=1}^{N}|y_i-\hat{y}_i|

MSE 对较大的预测误差惩罚更重;MAE 对异常误差相对不敏感。

2.4 监督学习的核心组成

组成 说明
Training Data 用于训练模型的数据
Feature 输入模型的特征
Label 样本对应的目标值
Model 学习输入与输出关系的函数
Loss Function 衡量预测误差
Optimizer 根据优化目标调整参数
Validation Set 用于模型选择和超参数调整
Test Set 用于评估模型的最终泛化表现

监督学习的训练目标通常可以表示为:

\theta^*=\arg\min_\theta \frac{1}{N}\sum_{i=1}^{N} L(f_\theta(x_i),y_i)

其中:

  • x_i:第 i 个训练样本的输入。
  • y_i:对应的真实标签。
  • f_\theta(x_i):模型预测结果。
  • L:损失函数。
  • \theta^*:训练得到的最优参数。

实际训练中还可能加入正则化项,降低过拟合风险:

\theta^*=\arg\min_\theta \left[ \frac{1}{N}\sum_{i=1}^{N}L(f_\theta(x_i),y_i) +\lambda R(\theta) \right]

2.5 监督学习的优缺点

优点:

  • 训练目标明确,容易定义评价指标。
  • 在标签质量较高、数据分布合理时,预测效果通常较好。
  • 可以直接用于分类、回归等业务任务。
  • 模型训练和评估流程相对成熟。

缺点:

  • 需要大量带标签数据。
  • 高质量标注成本可能很高。
  • 标签错误会影响模型学习。
  • 训练数据与真实环境分布不一致时,泛化能力可能下降。
  • 模型容易学习数据中的偏差,而不是真正有用的规律。

2.6 监督学习的典型应用

应用领域 典型任务
金融 信用评分、欺诈识别
医疗 医学影像分类、疾病风险预测
电商 商品销量预测、用户购买预测
互联网 垃圾内容识别、广告点击率预测
工业 产品缺陷检测、设备故障预测
自然语言处理 文本分类、情感分析、命名实体识别
计算机视觉 目标检测、图像分类、语义分割

三、无监督学习(Unsupervised Learning)

3.1 什么是无监督学习?

无监督学习是一种利用没有明确人工标签的数据进行训练的方法。

与监督学习不同,无监督学习没有预先提供每条样本对应的标准答案。

例如,一个电商平台拥有大量用户行为数据:

用户 浏览次数 购买次数 平均消费
A 120 15 800 元
B 20 2 100 元
C 95 12 750 元
D 15 1 80 元
E 60 8 450 元

这些数据没有明确标注用户属于哪一种类型。

无监督学习可以通过分析用户特征之间的相似性,将用户划分为不同群体。

例如:

  • 高频消费用户。
  • 低频消费用户。
  • 潜在高价值用户。
  • 价格敏感型用户。

模型不是根据人工提供的类别进行预测,而是从数据中发现潜在结构。

3.2 无监督学习的核心原理

无监督学习并不意味着模型没有优化目标。

它只是没有传统监督学习中的人工目标标签。

模型仍然需要通过某种目标函数学习数据特征,例如:

  • 最小化聚类距离。
  • 最大化数据似然。
  • 最小化重构误差。
  • 最大化表示之间的一致性。
  • 学习数据的低维结构。

不同算法采用的目标函数可能完全不同。

例如,K-Means 通过最小化样本与所属聚类中心之间的平方距离来优化聚类结果。

J=\sum_{i=1}^{N}\|x_i-\mu_{c_i}\|^2

其中:

  • x_i:第 i 个样本。
  • \mu_{c_i}:该样本所属簇的中心。
  • c_i:样本所属的簇编号。
  • J:聚类目标函数。

3.3 无监督学习的主要任务

3.3.1 聚类(Clustering)

聚类是将相似样本划分到同一个群体中的方法。

核心思想:

  • 同一簇内部的样本尽可能相似。
  • 不同簇之间的样本尽可能具有差异。

典型算法:

K-Means

将数据划分为预先指定数量的 K 个簇,通过迭代更新聚类中心完成聚类。

主要步骤:

  1. 指定聚类数量 K。
  2. 初始化 K 个聚类中心。
  3. 将每个样本分配给最近的中心。
  4. 根据簇内样本重新计算中心。
  5. 重复分配与更新,直到满足停止条件。

DBSCAN

基于密度的聚类算法。

主要特点:

  • 不需要预先指定簇的数量。
  • 可以发现非球形结构的簇。
  • 能够识别噪声点和离群点。
  • 对参数选择和不同密度的数据分布较为敏感。

层次聚类(Hierarchical Clustering)

通过不断合并或拆分样本群体构建层次结构。

常用于探索数据之间的层级关系。

3.3.2 降维(Dimensionality Reduction)

降维是将高维数据映射到较低维空间,同时尽可能保留重要信息的方法。

例如,一条用户行为记录可能包含上百个特征。

高维数据可能带来:

  • 计算成本增加。
  • 特征冗余。
  • 噪声累积。
  • 可视化困难。
  • 高维空间中的距离度量退化等问题。

降维可以帮助模型提取更紧凑的数据表示。

典型算法:

PCA(Principal Component Analysis,主成分分析)

通过寻找数据方差最大的正交方向,将原始数据投影到低维空间。

PCA 的核心是对数据协方差矩阵进行特征值分解,或者使用奇异值分解(SVD)求取主成分。

需要注意:方差最大不等于任务相关信息最多。PCA 是一种线性降维方法,不一定适合所有数据结构。

t-SNE

主要用于高维数据的非线性可视化,尽可能保留局部邻域关系。

它适合探索数据分布,但不同簇之间的图上距离、簇的面积和密度不应被直接解释为严格的全局结构。

UMAP

一种基于流形学习和拓扑结构的降维方法,常用于高维数据可视化和表示探索。

3.3.3 密度估计(Density Estimation)

密度估计的目标是学习数据的概率分布:

p(x)

通过估计数据在不同区域出现的概率密度,可以理解数据分布,并用于异常检测、生成建模等任务。

常见方法:

  • Kernel Density Estimation(核密度估计)。
  • Gaussian Mixture Model(高斯混合模型)。
  • Normalizing Flow。

其中,高斯混合模型通过多个高斯分布的加权组合近似复杂数据分布:

p(x)=\sum_{k=1}^{K}\pi_k\mathcal{N}(x|\mu_k,\Sigma_k)

这里的 \pi_k 是混合权重,满足:

\sum_{k=1}^{K}\pi_k=1

3.3.4 表示学习(Representation Learning)

表示学习的目标是从原始数据中自动学习有意义的特征表示。

例如:

  • 将图像转换为语义向量。
  • 将文本转换为 Embedding。
  • 将用户行为转换为用户向量。
  • 将复杂数据压缩为潜在空间表示。

典型方法包括:

  • Autoencoder(自编码器)。
  • 对比学习(Contrastive Learning)。
  • 自监督预训练。
  • 部分生成式表示学习方法。

表示学习是现代深度学习和大模型技术的重要基础。

3.4 无监督学习的典型训练流程

flowchart TB
    A["准备原始数据"] --> B["数据清洗与预处理"]
    B --> C["提取或构造特征"]
    C --> D["选择无监督学习算法"]
    D --> E["学习数据结构或潜在表示"]
    E --> F["优化模型目标函数"]
    F --> G["获得聚类结果或数据表示"]
    G --> H["分析与评估结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F

需要注意,无监督学习的结果不一定存在唯一正确答案。

例如,用户分群可以按照消费能力、购买频率、商品偏好等不同维度进行划分。不同划分方式可能都具有业务价值。

因此,无监督学习除了使用轮廓系数、重构误差等技术指标,也需要结合业务背景判断结果是否有意义。

3.5 无监督学习的优缺点

优点:

  • 不依赖大量人工标注数据。
  • 能够发现未知的数据结构。
  • 可以辅助特征提取和数据探索。
  • 适合处理规模庞大、标签缺失的数据。
  • 可以作为其他机器学习任务的预处理步骤。

缺点:

  • 缺少明确标签,结果较难直接验证。
  • 不同算法可能得到不同结构。
  • 算法结果的业务解释可能比较困难。
  • 对特征尺度、距离度量和超参数较为敏感。
  • 发现的数据结构不一定具有实际业务价值。

3.6 无监督学习的典型应用

应用领域 典型任务
电商 用户分群、商品聚类
金融 异常交易发现、风险模式探索
网络安全 异常流量识别
医疗 患者群体分析
推荐系统 用户与物品表示学习
计算机视觉 图像特征提取、数据聚类
自然语言处理 文本聚类、语义表示学习

四、强化学习(Reinforcement Learning)

4.1 什么是强化学习?

强化学习是一种通过智能体(Agent)与环境(Environment)持续交互,并根据奖励信号学习决策策略的机器学习方法。

与监督学习不同,强化学习通常没有每一步都明确提供的标准答案。

智能体需要:

  1. 观察当前环境状态。
  2. 根据当前策略选择行动。
  3. 执行行动。
  4. 接收环境反馈。
  5. 根据奖励和后续状态调整决策策略。

例如,一个机器人学习如何行走:

  • 机器人当前处于某个身体姿态。
  • 模型选择关节运动指令。
  • 机器人执行动作。
  • 环境反馈机器人是否保持平衡、是否向目标前进。
  • 模型根据奖励调整策略。

强化学习关注的不是单次预测是否准确,而是连续决策能否获得更高的长期收益。

4.2 强化学习的核心组成

强化学习通常包含以下核心概念:

概念 英文 说明
智能体 Agent 执行决策和学习的主体
环境 Environment 智能体交互的外部系统
状态 State 描述环境当前情况
动作 Action 智能体可以采取的行为
奖励 Reward 环境对动作结果提供的反馈
策略 Policy 根据状态选择动作的规则
价值函数 Value Function 衡量状态或动作的长期收益
回合 Episode 一段从开始到终止的交互过程

4.3 强化学习的基本交互机制

强化学习可以通过以下过程理解:

flowchart TB
    A["智能体 Agent"] -->|"执行动作 Action"| B["环境 Environment"]
    B -->|"返回状态 State"| A
    B -->|"返回奖励 Reward"| A
    A --> C["评估当前决策"]
    C --> D["更新策略 Policy"]
    D --> A

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#E5F0E9,stroke:#83A995,color:#315D49

这不是一次性的预测流程,而是一个持续交互、不断改进策略的闭环。

4.4 马尔可夫决策过程(MDP)

强化学习通常使用马尔可夫决策过程(Markov Decision Process,MDP)描述问题。

一个标准 MDP 可以表示为:

\mathcal{M}=(S,A,P,R,\gamma)

其中:

  • S:状态空间。
  • A:动作空间。
  • P(s'|s,a):状态转移概率。
  • R(s,a,s'):奖励函数。
  • \gamma:折扣因子。

马尔可夫性质表示:在给定当前状态的条件下,未来状态的概率分布不再依赖完整历史,而取决于当前状态和当前动作。

P(S_{t+1}|S_t,A_t,\ldots,S_0) = P(S_{t+1}|S_t,A_t)

这里有一个重要前提:

状态必须包含足够的信息,才能满足马尔可夫性质。

如果当前观测并不能完整描述环境状态,那么问题可能更适合建模为部分可观测马尔可夫决策过程(POMDP)。

4.5 强化学习的核心优化目标

强化学习的目标通常是最大化长期累积奖励,而不只是最大化当前一步的奖励。

定义折扣累积回报:

G_t=\sum_{k=0}^{\infty}\gamma^k R_{t+k+1}

其中:

  • G_t:从时间步 t 开始的累积回报。
  • R_{t+k+1}:未来获得的奖励。
  • \gamma:折扣因子,通常满足 0\leq\gamma<1。

折扣因子决定未来奖励相对于当前奖励的重要程度。

  • 当 \gamma 较小时,策略更加重视近期奖励。
  • 当 \gamma 较大时,策略更加重视长期收益。

策略的目标可以表示为:

\pi^*=\arg\max_\pi \mathbb{E}_{\pi}[G_t]

其中 \pi 表示策略,\pi^* 表示最优策略。

4.6 价值函数与动作价值函数

强化学习需要评估不同状态和动作的长期收益。

状态价值函数(State Value Function)

V^\pi(s)= \mathbb{E}_\pi[G_t|S_t=s]

表示在策略 \pi 下,从状态 s 开始能够获得的期望累积回报。

动作价值函数(Action Value Function)

Q^\pi(s,a)= \mathbb{E}_\pi[G_t|S_t=s,A_t=a]

表示在状态 s 下先执行动作 a,之后继续遵循策略 \pi 时能够获得的期望累积回报。

两者的区别:

  • V(s):评价当前状态整体有多好。
  • Q(s,a):评价在当前状态下采取某个动作有多好。

4.7 贝尔曼方程(Bellman Equation)

贝尔曼方程是强化学习的重要数学基础。

它将当前状态的价值表示为即时奖励与未来状态价值的组合。

对于状态价值函数:

V^\pi(s)= \sum_a\pi(a|s) \sum_{s'}P(s'|s,a) \left[ R(s,a,s')+\gamma V^\pi(s') \right]

对于动作价值函数:

Q^\pi(s,a)= \sum_{s'}P(s'|s,a) \left[ R(s,a,s')+ \gamma\sum_{a'}\pi(a'|s')Q^\pi(s',a') \right]

贝尔曼方程揭示了强化学习的核心思想:

当前决策的价值,不仅取决于当前奖励,也取决于它带来的未来状态及其后续收益。

这也是强化学习区别于单纯即时反馈优化的重要原因。

4.8 强化学习的主要算法

强化学习算法可以从不同角度分类。

4.8.1 基于价值的方法(Value-Based)

这类方法重点学习状态价值或动作价值,再根据价值选择动作。

Q-Learning

Q-Learning 是经典的无模型、离策略强化学习算法。

其更新公式:

Q(s,a)\leftarrow Q(s,a)+ \alpha \left[ r+\gamma\max_{a'}Q(s',a')-Q(s,a) \right]

其中:

  • \alpha:学习率。
  • r:当前奖励。
  • \gamma:折扣因子。
  • s':执行动作后的新状态。

它通过不断修正 Q 值,逐渐逼近最优动作价值函数。

SARSA

SARSA 是一种典型的在策略算法。

其更新公式:

Q(s,a)\leftarrow Q(s,a)+ \alpha \left[ r+\gamma Q(s',a')-Q(s,a) \right]

与 Q-Learning 的关键区别:

  • Q-Learning 使用下一状态下的最大 Q 值进行更新。
  • SARSA 使用实际策略选择的下一动作进行更新。

DQN(Deep Q-Network)

DQN 将深度神经网络引入 Q-Learning,使用神经网络近似动作价值函数:

Q(s,a;\theta)

经典 DQN 使用经验回放(Experience Replay)和目标网络(Target Network)提高训练稳定性。

4.8.2 基于策略的方法(Policy-Based)

这类方法直接学习策略:

\pi_\theta(a|s)

模型根据当前状态直接输出动作概率分布或连续动作。

Policy Gradient

通过梯度上升优化策略的期望回报:

\nabla_\theta J(\theta) = \mathbb{E} \left[ \nabla_\theta\log\pi_\theta(a|s)G_t \right]

其核心思想是提高带来较高回报的动作概率,降低表现较差动作的概率。

PPO(Proximal Policy Optimization)

PPO 是目前广泛使用的策略优化算法之一。

它通过限制新旧策略之间的更新幅度,降低策略更新过大导致训练不稳定的风险。

PPO 常用于机器人控制、游戏智能体,以及部分大模型后训练流程。

4.8.3 Actor-Critic 方法

Actor-Critic 将策略学习与价值评估结合起来。

  • Actor:负责根据状态选择动作。
  • Critic:负责评估状态或动作的价值。

Actor 根据 Critic 提供的评价信号更新策略。

典型算法:

  • A2C
  • A3C
  • DDPG
  • TD3
  • SAC

其中:

  • DDPG 主要面向连续动作空间。
  • TD3 通过多项机制缓解价值高估和训练不稳定。
  • SAC 通过最大熵目标兼顾奖励最大化与策略探索。