一、什么是生成式人工智能?
生成式人工智能(Generative Artificial Intelligence,Generative AI),简称生成式 AI,是人工智能领域的重要技术方向。
它的核心能力是:
通过学习大量数据中的统计规律和结构,根据输入条件生成新的内容。
这些内容可以是:
- 文本:文章、报告、摘要、对话。
- 图像:插画、照片、设计图。
- 音频:语音、音乐、音效。
- 视频:短视频、动画、视频片段。
- 代码:程序代码、SQL、脚本。
- 三维内容:模型、场景和空间结构。
例如:
用户输入:
请生成一篇关于 Python 异步编程的技术文章。
生成式 AI 可以根据指令生成一篇结构化文章。
用户输入:
生成一张未来科技风格的数据中心图片。
图像生成模型可以根据文本描述生成对应图片。
用户输入:
编写一个 Python 函数,实现快速排序。
代码生成模型可以生成相应的程序代码。
这些任务有一个共同点:
模型并不是简单地从数据库中查找已有答案,而是根据学习到的模式和当前输入,计算并生成新的内容。
1. 生成式 AI 的核心特征
| 特征 | 说明 |
|---|---|
| 数据驱动 | 通过大量数据学习内容规律 |
| 模型驱动 | 使用训练好的生成模型产生结果 |
| 条件生成 | 根据文本、图像或其他输入生成内容 |
| 概率建模 | 通过概率分布或其他生成机制构造输出 |
| 内容多样性 | 相同输入在不同生成条件下可能产生不同结果 |
| 可控生成 | 可以通过提示词、参数或条件信息控制生成过程 |
需要注意,生成式 AI 并不是简单的内容复制工具。
它的核心在于学习数据分布、结构和关联关系,再通过模型生成符合条件的新样本。
但生成结果不一定真实、正确或可靠。模型能够生成看似合理的内容,并不代表它掌握了所有内容背后的事实。
二、生成式 AI 与传统人工智能有什么区别?
理解生成式 AI,首先需要了解传统人工智能与生成式 AI 在任务目标上的区别。
传统 AI 系统经常用于识别、分类、预测和决策。
例如:
- 判断一张图片中是否存在猫。
- 判断一封邮件是否属于垃圾邮件。
- 预测明天的销售额。
- 判断一笔交易是否存在异常。
- 根据用户行为推荐商品。
生成式 AI 则更加关注内容生成。
例如:
- 根据描述生成一张猫的图片。
- 根据需求生成一封邮件。
- 根据问题生成一段代码。
- 根据文章生成摘要。
- 根据文字描述生成视频。
1. 判别式模型与生成式模型
在机器学习中,经常使用判别式模型(Discriminative Model)和生成式模型(Generative Model)来区分不同的建模思路。
判别式模型:
主要学习输入数据与目标标签之间的关系,或者直接学习类别之间的决策边界。
例如:
给定一封邮件,判断它属于垃圾邮件还是正常邮件。
可以表示为:
其中:
- x:输入数据。
- y:目标类别。
- P(y|x):给定输入后属于某个类别的条件概率。
生成式模型:
通常学习数据本身的概率分布,或者学习给定条件下数据的生成分布。
例如:
学习大量人脸图片的分布,再生成符合该分布的新图片。
可以表示为:
条件生成任务可以表示为:
其中:
- x:生成的数据。
- c:生成条件。
- P(x|c):给定条件下生成数据的概率分布。
这是一种经典的概率建模视角。
需要注意,现代生成模型不一定都显式计算完整的数据概率分布。有些模型通过去噪、对抗训练或其他目标学习生成过程。
2. 两种模型的对比
| 对比维度 | 判别式模型 | 生成式模型 |
|---|---|---|
| 核心目标 | 识别、分类和预测 | 生成新内容 |
| 主要建模对象 | 输入与标签的关系 | 数据分布或生成过程 |
| 典型输出 | 类别、分数、预测值 | 文本、图像、音频等 |
| 典型技术 | 逻辑回归、SVM、分类网络 | GPT、GAN、VAE、Diffusion |
| 典型任务 | 垃圾邮件分类 | 文本和图像生成 |
两者并不是绝对互斥的。
一个模型可以同时具备表示学习、判别和生成等能力。生成式模型也可以用于分类和预测任务。
例如,大语言模型除了生成文本,也可以完成文本分类、信息提取和问答任务。
三、生成式 AI 的整体技术体系
生成式 AI 不是单一模型,而是由数据、算法、模型架构、训练方法和推理机制共同组成的技术体系。
从技术角度,可以拆分为以下几个部分:
- 数据:为模型提供学习材料。
- 算法:定义模型如何学习和生成。
- 模型架构:定义模型的计算结构。
- 模型训练:通过优化过程学习模型参数。
- 模型推理:使用训练好的模型生成内容。
- 应用系统:将生成能力集成到实际业务中。
1. 生成式 AI 技术架构
flowchart TB
A["生成式 AI"]
A --> B["数据层"]
A --> C["算法与模型层"]
A --> D["训练与推理层"]
A --> E["应用层"]
B --> B1["文本数据"]
B --> B2["图像数据"]
B --> B3["音频与视频数据"]
B --> B4["代码与结构化数据"]
C --> C1["自回归模型"]
C --> C2["GAN"]
C --> C3["VAE"]
C --> C4["Diffusion"]
D --> D1["预训练"]
D --> D2["微调"]
D --> D3["推理与采样"]
E --> E1["文本生成"]
E --> E2["图像生成"]
E --> E3["音频生成"]
E --> E4["视频生成"]
E --> E5["代码生成"]
classDef root fill:#DCEFE5,stroke:#4F8B70,color:#24563F,stroke-width:2px
classDef group fill:#EAF3EC,stroke:#83A995,color:#315D49
classDef item fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
class A root
class B,C,D,E group
class B1,B2,B3,B4,C1,C2,C3,C4,D1,D2,D3,E1,E2,E3,E4,E5 item
2. 生成式 AI 的核心技术组成
| 技术组成 | 主要作用 |
|---|---|
| 数据工程 | 数据采集、清洗、过滤和预处理 |
| Tokenization | 将输入转换为模型使用的 Token |
| 模型架构 | 定义模型的计算结构 |
| 损失函数 | 衡量模型预测与训练目标的差异 |
| 优化算法 | 更新模型参数 |
| 预训练 | 学习通用数据规律 |
| 微调 | 适配特定任务或行为要求 |
| 推理引擎 | 执行模型前向计算 |
| 采样算法 | 控制生成结果的选择过程 |
| 应用工程 | 将模型能力集成到产品和业务系统 |
这些环节共同构成生成式 AI 的技术基础。
四、生成式 AI 的主要技术路线
生成式 AI 可以使用不同的模型架构和训练方式实现。
当前具有代表性的技术路线包括:
- 自回归模型(Autoregressive Model)。
- 生成对抗网络(GAN)。
- 变分自编码器(VAE)。
- 扩散模型(Diffusion Model)。
它们的生成机制存在明显区别。
1. 自回归模型:逐步预测下一个元素
自回归模型是当前文本生成和大语言模型的重要技术路线。
它的核心思想是:
根据已经生成的内容,预测下一个 Token,再不断重复这个过程。
例如,模型需要生成:
人工智能正在改变软件开发方式。
模型可能按照以下过程生成:
人工
人工智能
人工智能正在
人工智能正在改变
人工智能正在改变软件
人工智能正在改变软件开发
人工智能正在改变软件开发方式
这里的分段仅用于理解生成过程。真实模型通常以 Token 为单位生成,而一个 Token 不一定对应一个完整汉字或单词。
1.1 自回归生成的数学原理
假设一段文本由多个 Token 组成:
根据概率链式法则,联合概率可以分解为:
也可以写成:
其中:
- x_t:当前位置的 Token。
- x_{<t}:当前位置之前的所有 Token。
- P(x_t|x_{<t}):给定上下文后,下一个 Token 的条件概率。
模型每一步都会输出一个词表上的概率分布,再根据采样策略选择下一个 Token。
1.2 自回归生成流程
flowchart TB
A["输入提示词 Prompt"] --> B["Tokenization"]
B --> C["输入模型"]
C --> D["计算下一个 Token 的概率分布"]
D --> E["采样选择 Token"]
E --> F["追加到上下文"]
F --> G{"是否结束生成"}
G -->|"否"| C
G -->|"是"| H["输出完整内容"]
classDef start fill:#DCEFE5,stroke:#4F8B70,color:#24563F
classDef process fill:#EAF3EC,stroke:#83A995,color:#315D49
classDef decision fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
class A,H start
class B,C,D,E,F process
class G decision
1.3 典型技术
- GPT 系列语言模型。
- 自回归代码生成模型。
- 部分音频和视频生成模型。
自回归模型的优势是生成过程具有明确的上下文依赖关系,适合语言、代码等序列数据。
其局限是生成过程通常需要逐 Token 执行,长序列生成存在一定的延迟和计算成本。
2. GAN:生成对抗网络
GAN(Generative Adversarial Network)是一种通过两个网络相互对抗进行训练的生成模型。
它包含两个核心部分:
Generator:生成器
负责根据随机输入生成数据。
Discriminator:判别器
负责判断输入数据来自真实数据还是生成器。
两个网络在训练过程中相互竞争:
- 生成器努力生成更接近真实数据的样本。
- 判别器努力区分真实数据和生成数据。
随着训练进行,生成器逐渐提高生成质量。
2.1 GAN 的基本结构
flowchart TB
A["随机噪声"] --> B["生成器 Generator"]
B --> C["生成样本"]
D["真实样本"] --> E["判别器 Discriminator"]
C --> E
E --> F["真实或生成的判别结果"]
F --> G["对抗损失"]
G --> B
G --> E
classDef data fill:#DCEFE5,stroke:#4F8B70,color:#24563F
classDef model fill:#EAF3EC,stroke:#83A995,color:#315D49
classDef process fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
class A,D,C data
class B,E model
class F,G process
2.2 GAN 的训练目标
GAN 的经典目标函数可以表示为:
其中:
其中:
- G:生成器。
- D:判别器。
- x:真实样本。
- z:随机噪声。
- G(z):生成器生成的样本。
判别器试图区分真实样本与生成样本,生成器则试图让生成样本被判别器识别为真实数据。
2.3 GAN 的典型应用
- 人脸生成。
- 图像风格迁移。
- 图像修复。
- 图像增强。
- 超分辨率重建。
2.4 GAN 的主要局限
- 训练过程可能不稳定。
- 生成器和判别器需要保持训练平衡。
- 可能出现模式崩溃(Mode Collapse)。
- 大规模复杂数据上的训练和控制存在挑战。
GAN 是生成式 AI 发展过程中的重要技术,但当前主流高质量图像生成技术已经大量转向扩散模型等路线。
3. VAE:变分自编码器
VAE(Variational Autoencoder)是一种基于概率潜在变量建模的生成模型。
它通过学习数据在潜在空间中的概率表示,实现数据重构和新样本生成。
VAE 主要包含两个部分:
- Encoder:编码器。
- Decoder:解码器。
编码器负责将输入数据映射到潜在变量的概率分布,解码器负责根据潜在变量生成数据。
3.1 VAE 的基本结构
flowchart LR
A["输入数据"] --> B["编码器 Encoder"]
B --> C["潜在变量分布"]
C --> D["采样潜在变量"]
D --> E["解码器 Decoder"]
E --> F["重构或生成数据"]
classDef data fill:#DCEFE5,stroke:#4F8B70,color:#24563F
classDef process fill:#EAF3EC,stroke:#83A995,color:#315D49
classDef latent fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
class A,F data
class B,E process
class C,D latent
3.2 VAE 的核心原理
假设输入数据为 x,潜在变量为 z。
编码器学习:
表示给定输入数据后,潜在变量的近似后验分布。
解码器学习:
表示给定潜在变量后,生成输入数据的条件分布。
VAE 通常通过最大化证据下界(ELBO)进行训练:
也可以理解为最小化:
其中:
- 重构损失:衡量生成结果与原始输入之间的差异。
- KL 散度:约束潜在分布与先验分布之间的差异。
VAE 的核心价值是学习具有连续概率结构的潜在空间,使模型可以通过采样生成新数据。
3.3 VAE 的典型应用
- 图像生成。
- 数据压缩。
- 潜在表示学习。
- 异常检测。
- 数据分布建模。
4. Diffusion:扩散模型
扩散模型(Diffusion Model)是现代图像生成领域的重要技术路线,也被广泛应用于音频和视频生成。
它的核心思想是:
先学习如何逐步去除数据中的噪声,再从随机噪声出发,通过反向去噪过程生成新的数据。
4.1 扩散模型的两个过程
扩散模型通常包含两个核心过程。
前向扩散过程(Forward Process)
逐步向真实数据添加噪声,使数据逐渐接近预设的噪声分布。
反向去噪过程(Reverse Process)
训练神经网络学习如何逐步去除噪声,从随机噪声中恢复出符合目标分布的数据。
flowchart LR
A["真实图像"] --> B["添加少量噪声"]
B --> C["中等噪声"]
C --> D["大量噪声"]
D --> E["近似随机噪声"]
E --> F["反向去噪"]
F --> G["逐步恢复结构"]
G --> H["生成图像"]
classDef data fill:#DCEFE5,stroke:#4F8B70,color:#24563F
classDef process fill:#EAF3EC,stroke:#83A995,color:#315D49
classDef noise fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
class A,H data
class B,C,F,G process
class D,E noise
上图是扩散模型原理的简化示意。真实训练和采样过程还包含噪声调度、时间步编码和去噪网络等机制。
4.2 扩散模型的数学原理
在常见的 DDPM 框架中,前向过程可以表示为:
其中:
- x_t:第 t 个时间步的带噪数据。
- \beta_t:当前时间步的噪声强度。
- I:单位矩阵。
通过重参数化,可以直接从原始数据得到任意时间步的带噪样本:
其中:
- x_0:原始数据。
- \epsilon:高斯噪声。
- \alpha_t=1-\beta_t。
- \bar{\alpha}_t=\prod_{s=1}^{t}\alpha_s。
训练时,模型通常学习预测添加的噪声:
其中:
- \epsilon_\theta:模型预测的噪声。
- t:扩散时间步。
模型学习到去噪能力后,就可以从随机噪声出发,逐步生成新的图像。
4.3 扩散模型的条件生成
在文生图任务中,模型不仅需要学习去噪,还需要理解文本条件。
例如:
一只橘猫坐在窗台上,阳光照进房间,写实摄影风格。
文本编码器将提示词转换成模型可以使用的条件表示,扩散模型根据这些条件控制生成过程。
典型技术:
- Stable Diffusion。
- Latent Diffusion。
- Denoising Diffusion Probabilistic Models(DDPM)。
- Denoising Diffusion Implicit Models(DDIM)。
4.4 扩散模型的主要应用
- 文生图。
- 图像编辑。
- 图像修复。
- 图像超分辨率。
- 视频生成。
- 音频生成。
- 三维内容生成。
5. 四种生成模型的对比
| 技术 | 核心原理 | 生成方式 | 典型应用 |
|---|---|---|---|
| 自回归模型 | 条件概率建模 | 逐步预测下一个元素 | 文本、代码 |
| GAN | 生成器与判别器对抗 | 生成器直接生成样本 | 图像生成 |
| VAE | 概率潜在空间建模 | 潜在变量采样与解码 | 图像、表示学习 |
| Diffusion | 学习反向去噪过程 | 从噪声逐步生成数据 | 图像、视频、音频 |
这四种技术代表了生成模型的重要路线,但并不是生成式 AI 的全部。
实际系统中还存在流匹配(Flow Matching)、归一化流(Normalizing Flows)、混合专家架构及其他生成建模方法。
五、大语言模型为什么属于生成式 AI?
大语言模型(Large Language Model,LLM)是生成式 AI 最重要的技术代表之一。
例如 GPT 系列模型,主要基于 Transformer 架构,通过大规模文本数据训练,学习语言的统计规律和上下文关系。
1. 什么是大语言模型?
大语言模型是指通过大规模数据训练、具有大量参数的语言模型。
它可以完成:
- 文本理解。
- 文本生成。
- 对话交互。
- 代码生成。
- 文本摘要。
- 信息提取。
- 翻译。
- 问答。
- 一定程度的推理与问题求解。
需要注意,LLM 并不是所有生成式 AI 的统称。
它主要指语言模型,而生成式 AI 还包含图像、音频、视频和其他数据模态的生成模型。
2. Transformer 是什么?
Transformer 是一种基于注意力机制的神经网络架构。
它最重要的核心技术之一是自注意力机制(Self-Attention)。
自注意力能够根据输入序列中不同位置之间的关联,计算各个位置的信息权重。
其核心计算形式为:
其中:
- Q:Query,查询矩阵。
- K:Key,键矩阵。
- V:Value,值矩阵。
- d_k:Key 向量维度。
通过注意力机制,模型能够根据上下文关系整合不同位置的信息。
Transformer 通常还包含:
- 多头注意力(Multi-Head Attention)。
- 前馈网络(Feed Forward Network)。
- 残差连接(Residual Connection)。
- 层归一化(Layer Normalization)。
- 位置表示机制(Positional Representation)。
3. 大语言模型的基本结构
flowchart TB
A["输入文本"] --> B["Tokenization"]
B --> C["Token Embedding"]
C --> D["位置表示"]
D --> E["Transformer 网络"]
E --> F["输出层"]
F --> G["下一个 Token 概率分布"]
G --> H["生成 Token"]
classDef data fill:#DCEFE5,stroke:#4F8B70,color:#24563F
classDef process fill:#EAF3EC,stroke:#83A995,color:#315D49
classDef model fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
class A,H data
class B,C,D,F,G process
class E model
这是一种典型的自回归语言模型结构示意。不同模型可能采用 Encoder-Decoder、Decoder-only 或其他架构。
4. 大语言模型如何生成文本?
以用户输入:
人工智能的发展方向包括
模型会根据当前上下文计算下一个 Token 的概率分布。
例如:
| 候选 Token | 示例概率 |
|---|---|
| 机器学习 | 0.35 |
| 深度学习 | 0.25 |
| 自然语言处理 | 0.20 |
| 其他 Token | 0.20 |
以上数字仅用于说明概率分布,不代表任何实际模型的输出。
模型根据采样策略选择一个 Token,再将它加入上下文,继续预测下一个 Token。
重复这个过程,最终形成完整文本。
因此,大语言模型的核心生成机制可以概括为:
理解上下文表示,预测下一个 Token,循环生成序列。
六、生成式 AI 是如何训练出来的?
生成式 AI 的能力不是凭空产生的,而是通过数据、模型架构和训练算法逐步学习得到的。
不同生成模型的训练目标存在差异,但整体上通常涉及数据准备、预训练、后训练和模型评估等阶段。
1. 数据准备
数据是训练模型的基础。
不同模型需要不同类型的数据:
| 模型类型 | 主要训练数据 |
|---|---|
| 大语言模型 | 文本、代码、文档 |
| 图像生成模型 | 图像及文本描述 |
| 语音生成模型 | 音频、文本、语音标注 |
| 视频生成模型 | 视频、文本、时间信息 |
| 多模态模型 | 文本、图像、音频、视频等 |
数据准备通常包括:
- 数据采集。
- 数据清洗。
- 重复数据处理。
- 低质量数据过滤。
- 格式统一。
- 隐私与版权合规处理。
- Tokenization 或其他模态编码。
数据质量会直接影响模型训练效果。
2. 预训练(Pre-training)
预训练是让模型从大规模数据中学习通用规律的过程。
以自回归语言模型为例:
模型通过预测下一个 Token 学习语言中的词汇、句法、上下文和其他统计规律。
训练目标通常可以表示为:
其中:
- x_t:训练文本中的当前 Token。
- x_{<t}:之前的上下文。
- P_\theta:模型预测的条件概率。
- T:序列长度。
模型通过不断调整参数,降低预测目标的损失。
需要注意,不同生成模型的预训练目标并不相同。
例如:
- GPT 类自回归模型通常使用下一 Token 预测。
- BERT 类模型常使用掩码语言建模,但其典型用途是表示学习和理解任务,并非标准的自回归文本生成模型。
- 扩散模型通常学习噪声预测或去噪目标。
3. 监督微调(SFT)
预训练模型已经学习了大量通用数据规律,但不一定能够按照用户要求稳定地完成任务。