返回专栏
· 18 分钟阅读

什么是生成式人工智能?从核心原理到技术体系全面理解 Generative AI


一、什么是生成式人工智能?

生成式人工智能(Generative Artificial Intelligence,Generative AI),简称生成式 AI,是人工智能领域的重要技术方向。

它的核心能力是:

通过学习大量数据中的统计规律和结构,根据输入条件生成新的内容。

这些内容可以是:

  • 文本:文章、报告、摘要、对话。
  • 图像:插画、照片、设计图。
  • 音频:语音、音乐、音效。
  • 视频:短视频、动画、视频片段。
  • 代码:程序代码、SQL、脚本。
  • 三维内容:模型、场景和空间结构。

例如:

用户输入:

请生成一篇关于 Python 异步编程的技术文章。

生成式 AI 可以根据指令生成一篇结构化文章。

用户输入:

生成一张未来科技风格的数据中心图片。

图像生成模型可以根据文本描述生成对应图片。

用户输入:

编写一个 Python 函数,实现快速排序。

代码生成模型可以生成相应的程序代码。

这些任务有一个共同点:

模型并不是简单地从数据库中查找已有答案,而是根据学习到的模式和当前输入,计算并生成新的内容。

1. 生成式 AI 的核心特征

特征 说明
数据驱动 通过大量数据学习内容规律
模型驱动 使用训练好的生成模型产生结果
条件生成 根据文本、图像或其他输入生成内容
概率建模 通过概率分布或其他生成机制构造输出
内容多样性 相同输入在不同生成条件下可能产生不同结果
可控生成 可以通过提示词、参数或条件信息控制生成过程

需要注意,生成式 AI 并不是简单的内容复制工具。

它的核心在于学习数据分布、结构和关联关系,再通过模型生成符合条件的新样本。

但生成结果不一定真实、正确或可靠。模型能够生成看似合理的内容,并不代表它掌握了所有内容背后的事实。

二、生成式 AI 与传统人工智能有什么区别?

理解生成式 AI,首先需要了解传统人工智能与生成式 AI 在任务目标上的区别。

传统 AI 系统经常用于识别、分类、预测和决策。

例如:

  • 判断一张图片中是否存在猫。
  • 判断一封邮件是否属于垃圾邮件。
  • 预测明天的销售额。
  • 判断一笔交易是否存在异常。
  • 根据用户行为推荐商品。

生成式 AI 则更加关注内容生成。

例如:

  • 根据描述生成一张猫的图片。
  • 根据需求生成一封邮件。
  • 根据问题生成一段代码。
  • 根据文章生成摘要。
  • 根据文字描述生成视频。

1. 判别式模型与生成式模型

在机器学习中,经常使用判别式模型(Discriminative Model)和生成式模型(Generative Model)来区分不同的建模思路。

判别式模型:

主要学习输入数据与目标标签之间的关系,或者直接学习类别之间的决策边界。

例如:

给定一封邮件,判断它属于垃圾邮件还是正常邮件。

可以表示为:

P(y|x)

其中:

  • x:输入数据。
  • y:目标类别。
  • P(y|x):给定输入后属于某个类别的条件概率。

生成式模型:

通常学习数据本身的概率分布,或者学习给定条件下数据的生成分布。

例如:

学习大量人脸图片的分布,再生成符合该分布的新图片。

可以表示为:

P(x)

条件生成任务可以表示为:

P(x|c)

其中:

  • x:生成的数据。
  • c:生成条件。
  • P(x|c):给定条件下生成数据的概率分布。

这是一种经典的概率建模视角。

需要注意,现代生成模型不一定都显式计算完整的数据概率分布。有些模型通过去噪、对抗训练或其他目标学习生成过程。

2. 两种模型的对比

对比维度 判别式模型 生成式模型
核心目标 识别、分类和预测 生成新内容
主要建模对象 输入与标签的关系 数据分布或生成过程
典型输出 类别、分数、预测值 文本、图像、音频等
典型技术 逻辑回归、SVM、分类网络 GPT、GAN、VAE、Diffusion
典型任务 垃圾邮件分类 文本和图像生成

两者并不是绝对互斥的。

一个模型可以同时具备表示学习、判别和生成等能力。生成式模型也可以用于分类和预测任务。

例如,大语言模型除了生成文本,也可以完成文本分类、信息提取和问答任务。

三、生成式 AI 的整体技术体系

生成式 AI 不是单一模型,而是由数据、算法、模型架构、训练方法和推理机制共同组成的技术体系。

从技术角度,可以拆分为以下几个部分:

  1. 数据:为模型提供学习材料。
  2. 算法:定义模型如何学习和生成。
  3. 模型架构:定义模型的计算结构。
  4. 模型训练:通过优化过程学习模型参数。
  5. 模型推理:使用训练好的模型生成内容。
  6. 应用系统:将生成能力集成到实际业务中。

1. 生成式 AI 技术架构

flowchart TB
    A["生成式 AI"]

    A --> B["数据层"]
    A --> C["算法与模型层"]
    A --> D["训练与推理层"]
    A --> E["应用层"]

    B --> B1["文本数据"]
    B --> B2["图像数据"]
    B --> B3["音频与视频数据"]
    B --> B4["代码与结构化数据"]

    C --> C1["自回归模型"]
    C --> C2["GAN"]
    C --> C3["VAE"]
    C --> C4["Diffusion"]

    D --> D1["预训练"]
    D --> D2["微调"]
    D --> D3["推理与采样"]

    E --> E1["文本生成"]
    E --> E2["图像生成"]
    E --> E3["音频生成"]
    E --> E4["视频生成"]
    E --> E5["代码生成"]

    classDef root fill:#DCEFE5,stroke:#4F8B70,color:#24563F,stroke-width:2px
    classDef group fill:#EAF3EC,stroke:#83A995,color:#315D49
    classDef item fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

    class A root
    class B,C,D,E group
    class B1,B2,B3,B4,C1,C2,C3,C4,D1,D2,D3,E1,E2,E3,E4,E5 item

2. 生成式 AI 的核心技术组成

技术组成 主要作用
数据工程 数据采集、清洗、过滤和预处理
Tokenization 将输入转换为模型使用的 Token
模型架构 定义模型的计算结构
损失函数 衡量模型预测与训练目标的差异
优化算法 更新模型参数
预训练 学习通用数据规律
微调 适配特定任务或行为要求
推理引擎 执行模型前向计算
采样算法 控制生成结果的选择过程
应用工程 将模型能力集成到产品和业务系统

这些环节共同构成生成式 AI 的技术基础。

四、生成式 AI 的主要技术路线

生成式 AI 可以使用不同的模型架构和训练方式实现。

当前具有代表性的技术路线包括:

  • 自回归模型(Autoregressive Model)。
  • 生成对抗网络(GAN)。
  • 变分自编码器(VAE)。
  • 扩散模型(Diffusion Model)。

它们的生成机制存在明显区别。

1. 自回归模型:逐步预测下一个元素

自回归模型是当前文本生成和大语言模型的重要技术路线。

它的核心思想是:

根据已经生成的内容,预测下一个 Token,再不断重复这个过程。

例如,模型需要生成:

人工智能正在改变软件开发方式。

模型可能按照以下过程生成:

人工
人工智能
人工智能正在
人工智能正在改变
人工智能正在改变软件
人工智能正在改变软件开发
人工智能正在改变软件开发方式

这里的分段仅用于理解生成过程。真实模型通常以 Token 为单位生成,而一个 Token 不一定对应一个完整汉字或单词。

1.1 自回归生成的数学原理

假设一段文本由多个 Token 组成:

X=(x_1,x_2,\ldots,x_n)

根据概率链式法则,联合概率可以分解为:

P(X)=\prod_{t=1}^{n}P(x_t|x_1,\ldots,x_{t-1})

也可以写成:

P(X)=\prod_{t=1}^{n}P(x_t|x_{<t})

其中:

  • x_t:当前位置的 Token。
  • x_{<t}:当前位置之前的所有 Token。
  • P(x_t|x_{<t}):给定上下文后,下一个 Token 的条件概率。

模型每一步都会输出一个词表上的概率分布,再根据采样策略选择下一个 Token。

1.2 自回归生成流程

flowchart TB
    A["输入提示词 Prompt"] --> B["Tokenization"]
    B --> C["输入模型"]
    C --> D["计算下一个 Token 的概率分布"]
    D --> E["采样选择 Token"]
    E --> F["追加到上下文"]
    F --> G{"是否结束生成"}
    G -->|"否"| C
    G -->|"是"| H["输出完整内容"]

    classDef start fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    classDef process fill:#EAF3EC,stroke:#83A995,color:#315D49
    classDef decision fill:#F7F4E8,stroke:#C7B77A,color:#675A2D

    class A,H start
    class B,C,D,E,F process
    class G decision

1.3 典型技术

  • GPT 系列语言模型。
  • 自回归代码生成模型。
  • 部分音频和视频生成模型。

自回归模型的优势是生成过程具有明确的上下文依赖关系,适合语言、代码等序列数据。

其局限是生成过程通常需要逐 Token 执行,长序列生成存在一定的延迟和计算成本。

2. GAN:生成对抗网络

GAN(Generative Adversarial Network)是一种通过两个网络相互对抗进行训练的生成模型。

它包含两个核心部分:

Generator:生成器

负责根据随机输入生成数据。

Discriminator:判别器

负责判断输入数据来自真实数据还是生成器。

两个网络在训练过程中相互竞争:

  • 生成器努力生成更接近真实数据的样本。
  • 判别器努力区分真实数据和生成数据。

随着训练进行,生成器逐渐提高生成质量。

2.1 GAN 的基本结构

flowchart TB
    A["随机噪声"] --> B["生成器 Generator"]
    B --> C["生成样本"]

    D["真实样本"] --> E["判别器 Discriminator"]
    C --> E

    E --> F["真实或生成的判别结果"]
    F --> G["对抗损失"]
    G --> B
    G --> E

    classDef data fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    classDef model fill:#EAF3EC,stroke:#83A995,color:#315D49
    classDef process fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

    class A,D,C data
    class B,E model
    class F,G process

2.2 GAN 的训练目标

GAN 的经典目标函数可以表示为:

\min_G\max_D V(D,G)

其中:

V(D,G)= \mathbb{E}_{x\sim p_{data}}[\log D(x)] + \mathbb{E}_{z\sim p_z}[\log(1-D(G(z)))]

其中:

  • G:生成器。
  • D:判别器。
  • x:真实样本。
  • z:随机噪声。
  • G(z):生成器生成的样本。

判别器试图区分真实样本与生成样本,生成器则试图让生成样本被判别器识别为真实数据。

2.3 GAN 的典型应用

  • 人脸生成。
  • 图像风格迁移。
  • 图像修复。
  • 图像增强。
  • 超分辨率重建。

2.4 GAN 的主要局限

  • 训练过程可能不稳定。
  • 生成器和判别器需要保持训练平衡。
  • 可能出现模式崩溃(Mode Collapse)。
  • 大规模复杂数据上的训练和控制存在挑战。

GAN 是生成式 AI 发展过程中的重要技术,但当前主流高质量图像生成技术已经大量转向扩散模型等路线。

3. VAE:变分自编码器

VAE(Variational Autoencoder)是一种基于概率潜在变量建模的生成模型。

它通过学习数据在潜在空间中的概率表示,实现数据重构和新样本生成。

VAE 主要包含两个部分:

  • Encoder:编码器。
  • Decoder:解码器。

编码器负责将输入数据映射到潜在变量的概率分布,解码器负责根据潜在变量生成数据。

3.1 VAE 的基本结构

flowchart LR
    A["输入数据"] --> B["编码器 Encoder"]
    B --> C["潜在变量分布"]
    C --> D["采样潜在变量"]
    D --> E["解码器 Decoder"]
    E --> F["重构或生成数据"]

    classDef data fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    classDef process fill:#EAF3EC,stroke:#83A995,color:#315D49
    classDef latent fill:#F7F4E8,stroke:#C7B77A,color:#675A2D

    class A,F data
    class B,E process
    class C,D latent

3.2 VAE 的核心原理

假设输入数据为 x,潜在变量为 z。

编码器学习:

q_\phi(z|x)

表示给定输入数据后,潜在变量的近似后验分布。

解码器学习:

p_\theta(x|z)

表示给定潜在变量后,生成输入数据的条件分布。

VAE 通常通过最大化证据下界(ELBO)进行训练:

\mathcal{L}_{ELBO} = \mathbb{E}_{q_\phi(z|x)} [\log p_\theta(x|z)] - D_{KL}(q_\phi(z|x)\|p(z))

也可以理解为最小化:

\mathcal{L} = \mathcal{L}_{reconstruction} + D_{KL}(q_\phi(z|x)\|p(z))

其中:

  • 重构损失:衡量生成结果与原始输入之间的差异。
  • KL 散度:约束潜在分布与先验分布之间的差异。

VAE 的核心价值是学习具有连续概率结构的潜在空间,使模型可以通过采样生成新数据。

3.3 VAE 的典型应用

  • 图像生成。
  • 数据压缩。
  • 潜在表示学习。
  • 异常检测。
  • 数据分布建模。

4. Diffusion:扩散模型

扩散模型(Diffusion Model)是现代图像生成领域的重要技术路线,也被广泛应用于音频和视频生成。

它的核心思想是:

先学习如何逐步去除数据中的噪声,再从随机噪声出发,通过反向去噪过程生成新的数据。

4.1 扩散模型的两个过程

扩散模型通常包含两个核心过程。

前向扩散过程(Forward Process)

逐步向真实数据添加噪声,使数据逐渐接近预设的噪声分布。

反向去噪过程(Reverse Process)

训练神经网络学习如何逐步去除噪声,从随机噪声中恢复出符合目标分布的数据。

flowchart LR
    A["真实图像"] --> B["添加少量噪声"]
    B --> C["中等噪声"]
    C --> D["大量噪声"]
    D --> E["近似随机噪声"]

    E --> F["反向去噪"]
    F --> G["逐步恢复结构"]
    G --> H["生成图像"]

    classDef data fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    classDef process fill:#EAF3EC,stroke:#83A995,color:#315D49
    classDef noise fill:#F7F4E8,stroke:#C7B77A,color:#675A2D

    class A,H data
    class B,C,F,G process
    class D,E noise

上图是扩散模型原理的简化示意。真实训练和采样过程还包含噪声调度、时间步编码和去噪网络等机制。

4.2 扩散模型的数学原理

在常见的 DDPM 框架中,前向过程可以表示为:

q(x_t|x_{t-1}) = \mathcal{N} \left( x_t; \sqrt{1-\beta_t}x_{t-1}, \beta_t I \right)

其中:

  • x_t:第 t 个时间步的带噪数据。
  • \beta_t:当前时间步的噪声强度。
  • I:单位矩阵。

通过重参数化,可以直接从原始数据得到任意时间步的带噪样本:

x_t= \sqrt{\bar{\alpha}_t}x_0+ \sqrt{1-\bar{\alpha}_t}\epsilon

其中:

  • x_0:原始数据。
  • \epsilon:高斯噪声。
  • \alpha_t=1-\beta_t。
  • \bar{\alpha}_t=\prod_{s=1}^{t}\alpha_s。

训练时,模型通常学习预测添加的噪声:

\mathcal{L}_{simple} = \mathbb{E}_{x_0,\epsilon,t} \left[ \|\epsilon-\epsilon_\theta(x_t,t)\|^2 \right]

其中:

  • \epsilon_\theta:模型预测的噪声。
  • t:扩散时间步。

模型学习到去噪能力后,就可以从随机噪声出发,逐步生成新的图像。

4.3 扩散模型的条件生成

在文生图任务中,模型不仅需要学习去噪,还需要理解文本条件。

例如:

一只橘猫坐在窗台上,阳光照进房间,写实摄影风格。

文本编码器将提示词转换成模型可以使用的条件表示,扩散模型根据这些条件控制生成过程。

典型技术:

  • Stable Diffusion。
  • Latent Diffusion。
  • Denoising Diffusion Probabilistic Models(DDPM)。
  • Denoising Diffusion Implicit Models(DDIM)。

4.4 扩散模型的主要应用

  • 文生图。
  • 图像编辑。
  • 图像修复。
  • 图像超分辨率。
  • 视频生成。
  • 音频生成。
  • 三维内容生成。

5. 四种生成模型的对比

技术 核心原理 生成方式 典型应用
自回归模型 条件概率建模 逐步预测下一个元素 文本、代码
GAN 生成器与判别器对抗 生成器直接生成样本 图像生成
VAE 概率潜在空间建模 潜在变量采样与解码 图像、表示学习
Diffusion 学习反向去噪过程 从噪声逐步生成数据 图像、视频、音频

这四种技术代表了生成模型的重要路线,但并不是生成式 AI 的全部。

实际系统中还存在流匹配(Flow Matching)、归一化流(Normalizing Flows)、混合专家架构及其他生成建模方法。

五、大语言模型为什么属于生成式 AI?

大语言模型(Large Language Model,LLM)是生成式 AI 最重要的技术代表之一。

例如 GPT 系列模型,主要基于 Transformer 架构,通过大规模文本数据训练,学习语言的统计规律和上下文关系。

1. 什么是大语言模型?

大语言模型是指通过大规模数据训练、具有大量参数的语言模型。

它可以完成:

  • 文本理解。
  • 文本生成。
  • 对话交互。
  • 代码生成。
  • 文本摘要。
  • 信息提取。
  • 翻译。
  • 问答。
  • 一定程度的推理与问题求解。

需要注意,LLM 并不是所有生成式 AI 的统称。

它主要指语言模型,而生成式 AI 还包含图像、音频、视频和其他数据模态的生成模型。

2. Transformer 是什么?

Transformer 是一种基于注意力机制的神经网络架构。

它最重要的核心技术之一是自注意力机制(Self-Attention)。

自注意力能够根据输入序列中不同位置之间的关联,计算各个位置的信息权重。

其核心计算形式为:

Attention(Q,K,V) = softmax\left( \frac{QK^T}{\sqrt{d_k}} \right)V

其中:

  • Q:Query,查询矩阵。
  • K:Key,键矩阵。
  • V:Value,值矩阵。
  • d_k:Key 向量维度。

通过注意力机制,模型能够根据上下文关系整合不同位置的信息。

Transformer 通常还包含:

  • 多头注意力(Multi-Head Attention)。
  • 前馈网络(Feed Forward Network)。
  • 残差连接(Residual Connection)。
  • 层归一化(Layer Normalization)。
  • 位置表示机制(Positional Representation)。

3. 大语言模型的基本结构

flowchart TB
    A["输入文本"] --> B["Tokenization"]
    B --> C["Token Embedding"]
    C --> D["位置表示"]
    D --> E["Transformer 网络"]
    E --> F["输出层"]
    F --> G["下一个 Token 概率分布"]
    G --> H["生成 Token"]

    classDef data fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    classDef process fill:#EAF3EC,stroke:#83A995,color:#315D49
    classDef model fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

    class A,H data
    class B,C,D,F,G process
    class E model

这是一种典型的自回归语言模型结构示意。不同模型可能采用 Encoder-Decoder、Decoder-only 或其他架构。

4. 大语言模型如何生成文本?

以用户输入:

人工智能的发展方向包括

模型会根据当前上下文计算下一个 Token 的概率分布。

例如:

候选 Token 示例概率
机器学习 0.35
深度学习 0.25
自然语言处理 0.20
其他 Token 0.20

以上数字仅用于说明概率分布,不代表任何实际模型的输出。

模型根据采样策略选择一个 Token,再将它加入上下文,继续预测下一个 Token。

重复这个过程,最终形成完整文本。

因此,大语言模型的核心生成机制可以概括为:

理解上下文表示,预测下一个 Token,循环生成序列。

六、生成式 AI 是如何训练出来的?

生成式 AI 的能力不是凭空产生的,而是通过数据、模型架构和训练算法逐步学习得到的。

不同生成模型的训练目标存在差异,但整体上通常涉及数据准备、预训练、后训练和模型评估等阶段。

1. 数据准备

数据是训练模型的基础。

不同模型需要不同类型的数据:

模型类型 主要训练数据
大语言模型 文本、代码、文档
图像生成模型 图像及文本描述
语音生成模型 音频、文本、语音标注
视频生成模型 视频、文本、时间信息
多模态模型 文本、图像、音频、视频等

数据准备通常包括:

  • 数据采集。
  • 数据清洗。
  • 重复数据处理。
  • 低质量数据过滤。
  • 格式统一。
  • 隐私与版权合规处理。
  • Tokenization 或其他模态编码。

数据质量会直接影响模型训练效果。

2. 预训练(Pre-training)

预训练是让模型从大规模数据中学习通用规律的过程。

以自回归语言模型为例:

模型通过预测下一个 Token 学习语言中的词汇、句法、上下文和其他统计规律。

训练目标通常可以表示为:

\mathcal{L}_{pretrain} = -\sum_{t=1}^{T} \log P_\theta(x_t|x_{<t})

其中:

  • x_t:训练文本中的当前 Token。
  • x_{<t}:之前的上下文。
  • P_\theta:模型预测的条件概率。
  • T:序列长度。

模型通过不断调整参数,降低预测目标的损失。

需要注意,不同生成模型的预训练目标并不相同。

例如:

  • GPT 类自回归模型通常使用下一 Token 预测。
  • BERT 类模型常使用掩码语言建模,但其典型用途是表示学习和理解任务,并非标准的自回归文本生成模型。
  • 扩散模型通常学习噪声预测或去噪目标。

3. 监督微调(SFT)

预训练模型已经学习了大量通用数据规律,但不一定能够按照用户要求稳定地完成任务。