一、什么是判别式模型与生成式模型?
在机器学习领域,判别式模型(Discriminative Model)和生成式模型(Generative Model)是两种重要的建模思路。
它们最核心的区别在于:
- 判别式模型:重点学习如何根据输入判断输出。
- 生成式模型:重点学习数据本身的分布,或给定条件下数据如何生成。
例如,现在有一批猫和狗的图片。
我们希望训练一个模型,让它能够识别图片中的动物。
判别式模型关注:
给定一张图片,它属于猫还是狗?
生成式模型关注:
猫和狗的图片分别具有怎样的数据分布?如何生成一张新的猫或狗的图片?
两者解决的问题不同,学习目标也不同。
1. 判别式模型的核心思想
判别式模型主要学习输入 x 与目标标签 y 之间的条件概率关系。
其典型建模目标为:
其中:
- x:输入数据。
- y:目标标签。
- P(y|x):给定输入 x 后,输出属于类别 y 的条件概率。
例如,输入一张图片:
模型计算:
模型最终判断图片中的动物是猫。
判别式模型通常关注分类边界、预测准确率和输入输出映射关系,不需要完整学习输入数据的生成过程。
2. 生成式模型的核心思想
生成式模型通常学习数据的概率分布,或者学习给定条件下数据的生成分布。
常见建模目标包括:
以及:
条件生成任务则可以表示为:
其中:
- x:数据样本。
- y:标签。
- c:生成条件。
- P(x):数据的边缘概率分布。
- P(x,y):输入与标签的联合概率分布。
- P(x|c):给定条件下生成数据的条件概率分布。
例如,模型学习大量猫的图片,掌握猫的形状、纹理、颜色和空间结构等统计规律。
当输入生成条件:
一只白色的猫,坐在窗台上。
模型就可以根据学习到的分布生成符合描述的新图片。
需要注意,生成式模型并不一定都直接学习 P(x)。例如,条件生成模型可能直接学习 P(x|c),扩散模型也可能通过去噪目标间接学习生成分布。
二、两种模型的数学本质
理解判别式模型与生成式模型,最重要的是理解概率分布之间的关系。
1. 判别式模型:学习条件概率
判别式模型直接学习:
它关注的是:
给定输入数据,输出属于不同类别的概率是多少?
例如,垃圾邮件分类任务:
输入:
恭喜您获得高额奖金,请立即点击链接领取。
模型输出:
| 类别 | 预测概率 |
|---|---|
| 垃圾邮件 | 0.98 |
| 正常邮件 | 0.02 |
模型只需要判断输入属于哪个类别,不需要生成一封完整的邮件,也不一定需要学习正常邮件和垃圾邮件的完整数据分布。
常见的判别式建模方法包括:
- 逻辑回归(Logistic Regression)。
- 支持向量机(SVM)。
- 决策树(Decision Tree)。
- 随机森林(Random Forest)。
- 判别式神经网络。
2. 生成式模型:学习数据分布
生成式模型可以学习:
也可以学习:
例如,假设数据集包含猫和狗的图片。
模型可以学习:
- 猫的图片通常具有什么样的统计特征。
- 狗的图片通常具有什么样的统计特征。
- 不同类别的数据分布有什么差异。
- 输入数据与类别之间存在怎样的联合关系。
如果模型学习联合概率分布:
那么根据贝叶斯公式,可以得到:
进一步利用联合概率的分解:
可以得到:
这意味着生成式模型不仅可以用于生成数据,也可以利用学习到的概率分布完成分类任务。
3. 两种建模思路的关系
flowchart TB
A["训练数据"] --> B["模型学习"]
B --> C["判别式建模"]
B --> D["生成式建模"]
C --> E["学习条件概率 P(y|x)"]
D --> F["学习数据分布 P(x)"]
D --> G["学习联合分布 P(x,y)"]
D --> H["学习条件生成分布 P(x|c)"]
E --> I["分类与预测"]
F --> J["数据生成"]
G --> K["生成与分类"]
H --> L["条件内容生成"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
style J fill:#E5F0E9,stroke:#83A995,color:#315D49
style K fill:#E5F0E9,stroke:#83A995,color:#315D49
style L fill:#E5F0E9,stroke:#83A995,color:#315D49
这里需要区分三个概念:
| 概率形式 | 含义 | 典型用途 |
|---|---|---|
| (P(y | x)) | 给定输入,预测标签 |
| P(x) | 数据本身的概率分布 | 无条件数据生成 |
| P(x,y) | 输入与标签的联合分布 | 联合建模、分类与生成 |
| (P(x | c)) | 给定条件,生成数据 |
这也是两类模型最重要的数学区别。
三、判别式模型的工作原理
判别式模型主要通过训练数据学习输入与输出之间的映射关系。
以垃圾邮件分类为例。
1. 准备训练数据
假设我们有以下训练样本:
| 邮件内容 | 标签 |
|---|---|
| 立即领取免费奖金 | 垃圾邮件 |
| 本周项目会议安排 | 正常邮件 |
| 点击链接获得奖励 | 垃圾邮件 |
| 请查看本周工作报告 | 正常邮件 |
| 恭喜获得免费礼品 | 垃圾邮件 |
模型需要学习邮件内容与类别标签之间的关系。
2. 特征提取
在传统机器学习中,通常需要将文本转换成数值特征。
例如:
- 是否包含「免费」。
- 是否包含「奖金」。
- 是否包含「点击链接」。
- 邮件长度。
- 链接数量。
- 特定词汇出现频率。
得到特征向量:
其中每个 x_i 表示一个特征。
现代神经网络也可以直接从文本中学习特征表示,不一定需要人工设计这些特征。
3. 建立分类模型
以逻辑回归为例:
其中:
- w:模型权重。
- x:输入特征。
- b:偏置项。
- z:线性计算结果。
对于二分类任务,可以使用 Sigmoid 函数:
其中:
模型输出一个介于 0 和 1 之间的概率。
例如:
当预测概率超过设定阈值时,将邮件判定为垃圾邮件。
4. 计算损失并更新参数
二分类任务常用二元交叉熵损失:
其中:
- y:真实标签。
- p:模型预测概率。
- L:损失值。
训练过程通过优化算法不断调整参数,使预测结果尽可能接近真实标签。
5. 判别式模型的训练流程
flowchart TB
A["准备带标签的训练数据"] --> B["特征提取或表示学习"]
B --> C["输入判别式模型"]
C --> D["预测类别概率"]
D --> E["计算分类损失"]
E --> F["计算梯度"]
F --> G["更新模型参数"]
G --> H{"是否达到训练条件"}
H -->|"否"| C
H -->|"是"| I["得到训练后的分类模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
判别式模型的训练目标通常是提高分类或预测任务的性能,而不是学习完整的数据生成过程。
四、生成式模型的工作原理
生成式模型的核心是学习数据分布,并根据学习到的分布生成新的数据样本。
仍然以猫和狗的图片为例。
1. 准备训练数据
生成模型可以使用大量图片作为训练数据。
例如:
- 猫的图片。
- 狗的图片。
- 不同姿态的动物图片。
- 不同光照、背景和拍摄角度的图片。
如果是条件生成模型,还可能需要图片对应的文字描述或类别标签。
2. 学习数据分布
模型从训练数据中学习具有代表性的统计规律。
对于图像而言,这些规律可能包括:
- 颜色分布。
- 边缘和纹理。
- 形状结构。
- 局部与整体空间关系。
- 不同视觉元素之间的关联。
模型并不是简单记住所有图片,而是通过参数化的模型学习数据分布或生成过程。
3. 根据条件生成数据
例如,用户输入:
一只白色的猫,坐在窗台上,阳光照进房间。
模型将文字描述转换成生成条件,再通过生成过程产生图片。
生成结果不需要与训练集中的某张图片完全相同,而是希望符合学习到的数据规律和输入条件。
4. 生成式模型的训练流程
生成式模型种类很多,训练流程并不完全相同。
下面以扩散模型为例:
flowchart TB
A["准备训练图像"] --> B["数据预处理"]
B --> C["随机选择时间步"]
C --> D["向图像添加噪声"]
D --> E["输入去噪模型"]
E --> F["预测噪声"]
F --> G["计算去噪损失"]
G --> H["反向传播与参数更新"]
H --> I{"是否达到训练条件"}
I -->|"否"| C
I -->|"是"| J["得到训练后的生成模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#E5F0E9,stroke:#83A995,color:#315D49
上图展示的是扩散模型的典型训练思路,并不代表所有生成式模型都采用加噪和去噪训练。
5. 生成式模型如何产生新内容?
不同生成模型有不同的生成机制。
| 模型 | 生成机制 |
|---|---|
| 自回归模型 | 根据上下文逐步预测下一个 Token |
| GAN | 通过生成器将随机输入映射为数据样本 |
| VAE | 从潜在空间采样,再通过解码器生成数据 |
| Diffusion | 从噪声出发,逐步执行去噪过程 |
例如,大语言模型生成文本时,通常会根据已有上下文预测下一个 Token,并不断重复这一过程。
扩散模型生成图像时,则通常从随机噪声开始,逐步恢复图像结构。
两者虽然生成方式不同,但都属于生成式建模的重要技术路线。
五、判别式模型与生成式模型的核心区别
两种模型最重要的区别不是使用了什么编程语言、是否采用神经网络,而是建模目标和学习对象不同。
1. 核心对比
| 对比维度 | 判别式模型 | 生成式模型 |
|---|---|---|
| 英文名称 | Discriminative Model | Generative Model |
| 核心目标 | 判断、分类、预测 | 学习分布、生成数据 |
| 典型建模目标 | (P(y | x)) |
| 关注重点 | 输入与输出的关系 | 数据分布或生成过程 |
| 典型任务 | 分类、回归、识别 | 文本、图像、音频生成 |
| 数据要求 | 监督任务通常需要标签 | 训练数据可以有标签,也可以无标签 |
| 输出形式 | 类别、概率、预测值 | 文本、图像、音频等 |
| 典型模型 | 逻辑回归、SVM、分类网络 | GPT、GAN、VAE、Diffusion |
| 训练目标 | 分类损失、回归损失等 | 似然、对抗损失、去噪损失等 |
需要特别注意:生成式模型不意味着必须生成图片或文字,它也可以用于分类、异常检测和概率估计等任务。
2. 从输入输出角度理解
判别式模型:
输入:一张动物图片
模型:分类模型
输出:
猫:0.92
狗:0.08
最终结果:猫
生成式模型:
输入:一段文字描述
模型:图像生成模型
输出:一张符合描述的新图片
判别式模型通常把输入映射为标签或预测值。
生成式模型则根据学习到的分布或生成机制产生新的数据。
3. 从学习目标角度理解
判别式模型关注:
生成式模型关注:
或者:
前者根据输入选择最可能的类别,后者根据学习到的分布采样生成数据。
六、为什么生成式模型也能进行分类?
这是理解两类模型时非常容易产生疑惑的地方。
既然生成式模型主要用于生成内容,为什么它也可以完成分类?
关键在于:
生成式模型学习的数据分布,可以通过概率推断转化为分类结果。
1. 使用贝叶斯公式进行分类
假设我们需要判断一封邮件是否为垃圾邮件。