返回专栏
· 11 分钟阅读

判别式模型与生成式模型有什么区别?


一、什么是判别式模型与生成式模型?

在机器学习领域,判别式模型(Discriminative Model)和生成式模型(Generative Model)是两种重要的建模思路。

它们最核心的区别在于:

  • 判别式模型:重点学习如何根据输入判断输出。
  • 生成式模型:重点学习数据本身的分布,或给定条件下数据如何生成。

例如,现在有一批猫和狗的图片。

我们希望训练一个模型,让它能够识别图片中的动物。

判别式模型关注:

给定一张图片,它属于猫还是狗?

生成式模型关注:

猫和狗的图片分别具有怎样的数据分布?如何生成一张新的猫或狗的图片?

两者解决的问题不同,学习目标也不同。

1. 判别式模型的核心思想

判别式模型主要学习输入 x 与目标标签 y 之间的条件概率关系。

其典型建模目标为:

P(y|x)

其中:

  • x:输入数据。
  • y:目标标签。
  • P(y|x):给定输入 x 后,输出属于类别 y 的条件概率。

例如,输入一张图片:

x=\text{一张动物图片}

模型计算:

P(\text{猫}|x)=0.9
P(\text{狗}|x)=0.1

模型最终判断图片中的动物是猫。

判别式模型通常关注分类边界、预测准确率和输入输出映射关系,不需要完整学习输入数据的生成过程。

2. 生成式模型的核心思想

生成式模型通常学习数据的概率分布,或者学习给定条件下数据的生成分布。

常见建模目标包括:

P(x)

以及:

P(x,y)

条件生成任务则可以表示为:

P(x|c)

其中:

  • x:数据样本。
  • y:标签。
  • c:生成条件。
  • P(x):数据的边缘概率分布。
  • P(x,y):输入与标签的联合概率分布。
  • P(x|c):给定条件下生成数据的条件概率分布。

例如,模型学习大量猫的图片,掌握猫的形状、纹理、颜色和空间结构等统计规律。

当输入生成条件:

一只白色的猫,坐在窗台上。

模型就可以根据学习到的分布生成符合描述的新图片。

需要注意,生成式模型并不一定都直接学习 P(x)。例如,条件生成模型可能直接学习 P(x|c),扩散模型也可能通过去噪目标间接学习生成分布。

二、两种模型的数学本质

理解判别式模型与生成式模型,最重要的是理解概率分布之间的关系。

1. 判别式模型:学习条件概率

判别式模型直接学习:

P(y|x)

它关注的是:

给定输入数据,输出属于不同类别的概率是多少?

例如,垃圾邮件分类任务:

输入:

恭喜您获得高额奖金,请立即点击链接领取。

模型输出:

类别 预测概率
垃圾邮件 0.98
正常邮件 0.02

模型只需要判断输入属于哪个类别,不需要生成一封完整的邮件,也不一定需要学习正常邮件和垃圾邮件的完整数据分布。

常见的判别式建模方法包括:

  • 逻辑回归(Logistic Regression)。
  • 支持向量机(SVM)。
  • 决策树(Decision Tree)。
  • 随机森林(Random Forest)。
  • 判别式神经网络。

2. 生成式模型:学习数据分布

生成式模型可以学习:

P(x)

也可以学习:

P(x,y)

例如,假设数据集包含猫和狗的图片。

模型可以学习:

  • 猫的图片通常具有什么样的统计特征。
  • 狗的图片通常具有什么样的统计特征。
  • 不同类别的数据分布有什么差异。
  • 输入数据与类别之间存在怎样的联合关系。

如果模型学习联合概率分布:

P(x,y)

那么根据贝叶斯公式,可以得到:

P(y|x)=\frac{P(x,y)}{P(x)}

进一步利用联合概率的分解:

P(x,y)=P(x|y)P(y)

可以得到:

P(y|x)= \frac{P(x|y)P(y)}{P(x)}

这意味着生成式模型不仅可以用于生成数据,也可以利用学习到的概率分布完成分类任务。

3. 两种建模思路的关系

概率关系示意

flowchart TB
    A["训练数据"] --> B["模型学习"]

    B --> C["判别式建模"]
    B --> D["生成式建模"]

    C --> E["学习条件概率 P(y|x)"]
    D --> F["学习数据分布 P(x)"]
    D --> G["学习联合分布 P(x,y)"]
    D --> H["学习条件生成分布 P(x|c)"]

    E --> I["分类与预测"]
    F --> J["数据生成"]
    G --> K["生成与分类"]
    H --> L["条件内容生成"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49
    style J fill:#E5F0E9,stroke:#83A995,color:#315D49
    style K fill:#E5F0E9,stroke:#83A995,color:#315D49
    style L fill:#E5F0E9,stroke:#83A995,color:#315D49

这里需要区分三个概念:

概率形式 含义 典型用途
(P(y x)) 给定输入,预测标签
P(x) 数据本身的概率分布 无条件数据生成
P(x,y) 输入与标签的联合分布 联合建模、分类与生成
(P(x c)) 给定条件,生成数据

这也是两类模型最重要的数学区别。

三、判别式模型的工作原理

判别式模型主要通过训练数据学习输入与输出之间的映射关系。

以垃圾邮件分类为例。

1. 准备训练数据

假设我们有以下训练样本:

邮件内容 标签
立即领取免费奖金 垃圾邮件
本周项目会议安排 正常邮件
点击链接获得奖励 垃圾邮件
请查看本周工作报告 正常邮件
恭喜获得免费礼品 垃圾邮件

模型需要学习邮件内容与类别标签之间的关系。

2. 特征提取

在传统机器学习中,通常需要将文本转换成数值特征。

例如:

  • 是否包含「免费」。
  • 是否包含「奖金」。
  • 是否包含「点击链接」。
  • 邮件长度。
  • 链接数量。
  • 特定词汇出现频率。

得到特征向量:

x=[x_1,x_2,\ldots,x_n]

其中每个 x_i 表示一个特征。

现代神经网络也可以直接从文本中学习特征表示,不一定需要人工设计这些特征。

3. 建立分类模型

以逻辑回归为例:

z=w^Tx+b

其中:

  • w:模型权重。
  • x:输入特征。
  • b:偏置项。
  • z:线性计算结果。

对于二分类任务,可以使用 Sigmoid 函数:

P(y=1|x)=\sigma(z)

其中:

\sigma(z)=\frac{1}{1+e^{-z}}

模型输出一个介于 0 和 1 之间的概率。

例如:

P(\text{垃圾邮件}|x)=0.95

当预测概率超过设定阈值时,将邮件判定为垃圾邮件。

4. 计算损失并更新参数

二分类任务常用二元交叉熵损失:

L=-[y\log(p)+(1-y)\log(1-p)]

其中:

  • y:真实标签。
  • p:模型预测概率。
  • L:损失值。

训练过程通过优化算法不断调整参数,使预测结果尽可能接近真实标签。

5. 判别式模型的训练流程

flowchart TB
    A["准备带标签的训练数据"] --> B["特征提取或表示学习"]
    B --> C["输入判别式模型"]
    C --> D["预测类别概率"]
    D --> E["计算分类损失"]
    E --> F["计算梯度"]
    F --> G["更新模型参数"]
    G --> H{"是否达到训练条件"}
    H -->|"否"| C
    H -->|"是"| I["得到训练后的分类模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

判别式模型的训练目标通常是提高分类或预测任务的性能,而不是学习完整的数据生成过程。

四、生成式模型的工作原理

生成式模型的核心是学习数据分布,并根据学习到的分布生成新的数据样本。

仍然以猫和狗的图片为例。

1. 准备训练数据

生成模型可以使用大量图片作为训练数据。

例如:

  • 猫的图片。
  • 狗的图片。
  • 不同姿态的动物图片。
  • 不同光照、背景和拍摄角度的图片。

如果是条件生成模型,还可能需要图片对应的文字描述或类别标签。

2. 学习数据分布

模型从训练数据中学习具有代表性的统计规律。

对于图像而言,这些规律可能包括:

  • 颜色分布。
  • 边缘和纹理。
  • 形状结构。
  • 局部与整体空间关系。
  • 不同视觉元素之间的关联。

模型并不是简单记住所有图片,而是通过参数化的模型学习数据分布或生成过程。

3. 根据条件生成数据

例如,用户输入:

一只白色的猫,坐在窗台上,阳光照进房间。

模型将文字描述转换成生成条件,再通过生成过程产生图片。

生成结果不需要与训练集中的某张图片完全相同,而是希望符合学习到的数据规律和输入条件。

4. 生成式模型的训练流程

生成式模型种类很多,训练流程并不完全相同。

下面以扩散模型为例:

flowchart TB
    A["准备训练图像"] --> B["数据预处理"]
    B --> C["随机选择时间步"]
    C --> D["向图像添加噪声"]
    D --> E["输入去噪模型"]
    E --> F["预测噪声"]
    F --> G["计算去噪损失"]
    G --> H["反向传播与参数更新"]
    H --> I{"是否达到训练条件"}
    I -->|"否"| C
    I -->|"是"| J["得到训练后的生成模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style J fill:#E5F0E9,stroke:#83A995,color:#315D49

上图展示的是扩散模型的典型训练思路,并不代表所有生成式模型都采用加噪和去噪训练。

5. 生成式模型如何产生新内容?

不同生成模型有不同的生成机制。

模型 生成机制
自回归模型 根据上下文逐步预测下一个 Token
GAN 通过生成器将随机输入映射为数据样本
VAE 从潜在空间采样,再通过解码器生成数据
Diffusion 从噪声出发,逐步执行去噪过程

例如,大语言模型生成文本时,通常会根据已有上下文预测下一个 Token,并不断重复这一过程。

扩散模型生成图像时,则通常从随机噪声开始,逐步恢复图像结构。

两者虽然生成方式不同,但都属于生成式建模的重要技术路线。

五、判别式模型与生成式模型的核心区别

两种模型最重要的区别不是使用了什么编程语言、是否采用神经网络,而是建模目标和学习对象不同。

1. 核心对比

对比维度 判别式模型 生成式模型
英文名称 Discriminative Model Generative Model
核心目标 判断、分类、预测 学习分布、生成数据
典型建模目标 (P(y x))
关注重点 输入与输出的关系 数据分布或生成过程
典型任务 分类、回归、识别 文本、图像、音频生成
数据要求 监督任务通常需要标签 训练数据可以有标签,也可以无标签
输出形式 类别、概率、预测值 文本、图像、音频等
典型模型 逻辑回归、SVM、分类网络 GPT、GAN、VAE、Diffusion
训练目标 分类损失、回归损失等 似然、对抗损失、去噪损失等

需要特别注意:生成式模型不意味着必须生成图片或文字,它也可以用于分类、异常检测和概率估计等任务。

2. 从输入输出角度理解

判别式模型:

输入:一张动物图片

模型:分类模型

输出:
猫:0.92
狗:0.08

最终结果:猫

生成式模型:

输入:一段文字描述

模型:图像生成模型

输出:一张符合描述的新图片

判别式模型通常把输入映射为标签或预测值。

生成式模型则根据学习到的分布或生成机制产生新的数据。

3. 从学习目标角度理解

判别式模型关注:

\hat{y}=\arg\max_y P(y|x)

生成式模型关注:

x\sim P(x)

或者:

x\sim P(x|c)

前者根据输入选择最可能的类别,后者根据学习到的分布采样生成数据。

六、为什么生成式模型也能进行分类?

这是理解两类模型时非常容易产生疑惑的地方。

既然生成式模型主要用于生成内容,为什么它也可以完成分类?

关键在于:

生成式模型学习的数据分布,可以通过概率推断转化为分类结果。

1. 使用贝叶斯公式进行分类

假设我们需要判断一封邮件是否为垃圾邮件。