人工智能领域涉及大量专业术语,涵盖数学基础、机器学习、深度学习、神经网络、大语言模型、生成式 AI、模型训练、推理部署以及智能体等多个方向。
这些术语之间并不是相互独立的。
例如:
- 机器学习是人工智能的重要分支。
- 深度学习是机器学习中的重要技术路线。
- Transformer 是一种深度神经网络架构。
- 大语言模型通常基于 Transformer 等架构构建。
- RAG 通过外部知识增强大语言模型。
- Agent 将大模型、工具、记忆和任务规划组合起来,实现更复杂的任务处理。
如果只记住单个术语的定义,很容易形成零散的知识点,难以建立完整的技术认知。
本文按照技术体系,将人工智能领域的常见术语分为基础概念、机器学习、深度学习、生成式 AI、大语言模型、训练与推理、知识增强、Agent、多模态、安全评估和工程部署等模块,帮助建立完整的 AI 技术知识体系。
一、人工智能基础概念
这一部分主要解决三个问题:
- 人工智能是什么?
- 机器学习和深度学习有什么关系?
- 不同 AI 技术路线之间有什么区别?
1.1 人工智能(Artificial Intelligence,AI)
人工智能是计算机科学的重要研究领域,目标是让机器具备感知、学习、推理、决策、理解和生成等智能行为。
AI 是一个广义概念,并不特指某一种模型或算法。
主要研究方向包括:
- 知识表示(Knowledge Representation)
- 自动推理(Automated Reasoning)
- 机器学习(Machine Learning)
- 计算机视觉(Computer Vision)
- 自然语言处理(Natural Language Processing)
- 语音识别与合成(Speech Recognition and Synthesis)
- 规划与决策(Planning and Decision Making)
- 机器人学(Robotics)
1.2 机器学习(Machine Learning,ML)
机器学习是人工智能的重要分支。
其核心思想是让计算机从数据中学习规律,而不是完全依赖人工编写固定规则。
例如,传统规则系统可能需要人工定义:
- 哪些特征代表垃圾邮件。
- 哪些条件代表异常交易。
- 哪些规则可以判断图像中的目标。
机器学习则通过训练数据,让模型自动学习输入与输出之间的关系。
典型任务:
- 分类(Classification)
- 回归(Regression)
- 聚类(Clustering)
- 降维(Dimensionality Reduction)
- 异常检测(Anomaly Detection)
1.3 深度学习(Deep Learning,DL)
深度学习是机器学习中的重要技术路线,主要使用多层神经网络学习数据中的复杂表示。
其特点包括:
- 使用多层神经网络。
- 通过反向传播训练模型参数。
- 能够学习复杂的非线性关系。
- 通常需要较多数据和计算资源。
- 可以自动学习多层次特征表示。
常见网络架构:
- CNN:卷积神经网络。
- RNN:循环神经网络。
- LSTM:长短期记忆网络。
- Transformer:基于注意力机制的网络架构。
- GNN:图神经网络。
1.4 三者之间的关系
flowchart TB
A["人工智能 AI"] --> B["机器学习 ML"]
A --> C["符号主义 AI"]
A --> D["搜索、规划与推理"]
B --> E["传统机器学习"]
B --> F["深度学习 DL"]
F --> G["CNN、RNN、Transformer"]
F --> H["生成式深度学习模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
需要注意,AI、ML 和 DL 不是三个完全并列的技术。
通常可以表示为:
但人工智能还包含不依赖机器学习的技术,例如符号推理、搜索和规则系统。
1.5 弱人工智能、强人工智能与通用人工智能
| 术语 | 英文 | 核心含义 |
|---|---|---|
| 弱人工智能 | Narrow AI | 针对特定任务设计的 AI |
| 强人工智能 | Strong AI | 关于具备真正通用智能的理论概念 |
| 通用人工智能 | AGI | 能够在广泛任务领域达到通用能力的 AI |
| 超级人工智能 | ASI | 能力在广泛领域显著超过人类的假设性智能 |
目前广泛部署的 AI 系统主要属于特定任务或特定能力范围内的人工智能。
需要注意,强人工智能和 AGI 在不同研究语境中可能有不同定义,不能简单地将两者视为完全相同的术语。
二、机器学习核心术语
机器学习主要研究如何从数据中学习模型,以及如何使用模型完成预测和决策。
2.1 数据集(Dataset)
数据集是模型训练、验证和测试所使用的数据集合。
常见数据集划分:
| 数据集 | 英文 | 主要用途 |
|---|---|---|
| 训练集 | Training Set | 学习模型参数 |
| 验证集 | Validation Set | 调整超参数、选择模型 |
| 测试集 | Test Set | 评估模型泛化性能 |
典型数据流程:
flowchart TB
A["原始数据集"] --> B["数据清洗与预处理"]
B --> C["数据集划分"]
C --> D["训练集"]
C --> E["验证集"]
C --> F["测试集"]
D --> G["模型训练"]
E --> H["模型选择与超参数调整"]
G --> H
H --> I["最终模型评估"]
F --> I
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
注意:验证集和测试集不能随意混用。
如果反复使用测试集调整模型,测试集就会逐渐参与模型选择,最终评估结果可能过于乐观。
2.2 特征(Feature)
特征是用于描述样本的输入信息。
例如,预测房价时可能使用:
- 房屋面积。
- 房间数量。
- 建筑年代。
- 所在地区。
- 周边交通条件。
特征可以是数值型、类别型、文本型、图像型或其他结构化表示。
2.3 标签(Label)
标签是监督学习中用于表示目标结果的信息。
例如:
- 垃圾邮件识别:垃圾邮件或正常邮件。
- 房价预测:实际成交价格。
- 图像分类:图像对应的类别。
特征通常表示输入,标签通常表示模型需要学习预测的目标。
2.4 模型(Model)
模型是通过算法和参数对输入与输出关系进行建模的计算结构。
可以抽象表示为:
其中:
- x:输入。
- \hat{y}:模型预测结果。
- f:模型计算函数。
- \theta:模型参数。
模型并不等于训练算法。
模型负责根据输入计算输出,训练算法负责寻找合适的参数。
2.5 参数(Parameter)
参数是模型在训练过程中学习得到的内部数值。
例如,神经网络中的:
- 权重(Weight)。
- 偏置(Bias)。
参数决定了模型如何将输入映射为输出。
2.6 超参数(Hyperparameter)
超参数是训练过程中由开发者或训练策略设定的配置,不是通过当前训练过程直接学习得到的普通模型参数。
常见超参数:
- Learning Rate:学习率。
- Batch Size:批次大小。
- Epoch:训练轮数。
- Hidden Size:隐藏层维度。
- Number of Layers:网络层数。
- Dropout:随机失活比例。
- Weight Decay:权重衰减系数。
参数与超参数的区别:
| 对比项 | 参数 | 超参数 |
|---|---|---|
| 英文 | Parameter | Hyperparameter |
| 来源 | 模型训练学习 | 人工设定或自动搜索 |
| 作用 | 决定模型具体计算行为 | 控制模型结构或训练过程 |
| 示例 | 权重、偏置 | 学习率、批次大小 |
2.7 损失函数(Loss Function)
损失函数用于衡量模型预测结果与目标结果之间的差异。
例如,回归任务中的均方误差:
分类任务中常见交叉熵损失:
其中:
- N:样本数量。
- C:类别数量。
- y_i:真实标签。
- \hat{y}_i:模型预测概率。
损失函数是训练过程中优化模型参数的重要依据。
2.8 优化器(Optimizer)
优化器根据损失函数的梯度更新模型参数。
常见优化器:
- SGD:随机梯度下降。
- Momentum:动量优化。
- AdaGrad:自适应梯度算法。
- RMSprop:均方根传播。
- Adam:自适应矩估计。
- AdamW:解耦权重衰减的 Adam 变体。
2.9 过拟合与欠拟合
| 术语 | 英文 | 含义 |
|---|---|---|
| 过拟合 | Overfitting | 模型过度适应训练数据,泛化能力下降 |
| 欠拟合 | Underfitting | 模型无法充分学习数据中的规律 |
| 泛化能力 | Generalization | 模型处理未见过数据的能力 |
过拟合和欠拟合是机器学习中非常重要的模型性能问题。
常见缓解方法:
- 正则化。
- Dropout。
- 数据增强。
- Early Stopping。
- 调整模型复杂度。
- 增加高质量训练数据。
三、机器学习的主要学习范式
3.1 监督学习(Supervised Learning)
使用带标签的数据训练模型。
目标是学习输入与目标输出之间的映射关系。
主要任务:
- 分类。
- 回归。
典型算法:
- Linear Regression。
- Logistic Regression。
- Decision Tree。
- Random Forest。
- SVM。
- XGBoost。
- 神经网络。
3.2 无监督学习(Unsupervised Learning)
使用没有明确目标标签的数据,学习数据内部的结构、分布或潜在规律。
典型任务:
- 聚类。
- 降维。
- 密度估计。
- 异常检测。
典型算法:
- K-Means。
- DBSCAN。
- PCA。
- Gaussian Mixture Model。
3.3 半监督学习(Semi-supervised Learning)
使用少量有标签数据和大量无标签数据共同训练模型。
适合标注成本较高、无标签数据容易获取的场景。
3.4 自监督学习(Self-supervised Learning)
通过数据自身构造训练目标,不需要人工为每个样本提供传统意义上的标签。
例如,大语言模型通过预测下一个 Token 学习语言规律。
自监督学习是当前大模型预训练的重要技术基础。
3.5 强化学习(Reinforcement Learning,RL)
通过智能体与环境之间的交互学习策略。
核心概念:
| 术语 | 英文 | 含义 |
|---|---|---|
| 智能体 | Agent | 执行动作的学习主体 |
| 环境 | Environment | 智能体交互的外部系统 |
| 状态 | State | 当前环境状态 |
| 动作 | Action | 智能体执行的行为 |
| 奖励 | Reward | 环境对动作结果的反馈 |
| 策略 | Policy | 根据状态选择动作的方法 |
| 价值函数 | Value Function | 评估状态或动作长期价值 |
| 回报 | Return | 累积奖励 |
强化学习的基本交互:
flowchart TB
A["智能体 Agent"] -->|"选择动作 Action"| B["环境 Environment"]
B -->|"返回状态 State"| A
B -->|"返回奖励 Reward"| A
A --> C["更新策略 Policy"]
C --> A
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
3.6 不同学习范式对比
| 学习范式 | 是否依赖人工标签 | 核心目标 | 典型应用 |
|---|---|---|---|
| 监督学习 | 是 | 学习输入到目标的映射 | 分类、预测 |
| 无监督学习 | 否 | 发现数据结构 | 聚类、降维 |
| 半监督学习 | 部分依赖 | 利用少量标签学习 | 图像分类 |
| 自监督学习 | 不需要传统人工标签 | 从数据构造训练目标 | 大模型预训练 |
| 强化学习 | 使用奖励信号 | 学习长期决策策略 | 游戏、机器人、策略优化 |
需要注意,自监督学习与无监督学习存在联系,但两者并非完全相同。自监督学习通常具有明确构造的代理监督目标。
四、深度学习与神经网络术语
深度学习通过神经网络学习数据的复杂表示,是当前计算机视觉、语音处理和大语言模型的重要基础。
4.1 神经网络(Neural Network)
神经网络是一种由多个计算单元组成的模型结构。
典型组成:
- 输入层(Input Layer)。
- 隐藏层(Hidden Layer)。
- 输出层(Output Layer)。
- 权重(Weight)。
- 偏置(Bias)。
- 激活函数(Activation Function)。
4.2 神经元(Neuron)
神经元是神经网络中的基本计算单元。
其计算过程可以表示为:
其中:
- x_i:输入。
- w_i:权重。
- b:偏置。
- f:激活函数。
- y:输出。
4.3 激活函数(Activation Function)
激活函数为神经网络引入非线性表达能力。
常见激活函数:
| 激活函数 | 公式或特点 | 常见用途 |
|---|---|---|
| Sigmoid | 输出范围为 (0,1) | 二分类输出 |
| Tanh | 输出范围为 (-1,1) | 部分循环网络 |
| ReLU | \max(0,x) | 传统深度网络 |
| Leaky ReLU | 负区间保留较小斜率 | 缓解神经元失活 |
| GELU | 平滑的非线性激活 | Transformer |
| SiLU | x\cdot sigmoid(x) | 多种现代网络 |
4.4 前向传播(Forward Propagation)
输入数据经过网络各层计算,得到预测结果的过程。
4.5 反向传播(Backpropagation)
根据损失函数,使用链式法则计算模型参数的梯度。
4.6 梯度下降(Gradient Descent)
根据梯度方向调整模型参数,使损失函数逐渐降低。
基本更新公式:
其中:
- \theta_t:当前参数。
- \eta:学习率。
- \nabla_{\theta}L:损失函数对参数的梯度。
4.7 Epoch、Batch、Iteration
这三个术语在模型训练中非常常见。
| 术语 | 含义 |
|---|---|
| Epoch | 完整遍历一次训练数据 |
| Batch | 一次送入模型处理的数据批次 |
| Iteration / Step | 一次训练更新步骤,通常对应处理一个 Batch |
例如:
训练集有 10,000 条数据,Batch Size 为 100。
那么一个 Epoch 理论上包含:
如果训练 20 个 Epoch,则理论上需要 2,000 次参数更新(假设每个 Batch 都进行一次更新且没有丢弃数据)。
4.8 梯度消失与梯度爆炸
| 术语 | 英文 | 现象 |
|---|---|---|
| 梯度消失 | Vanishing Gradient | 梯度在反向传播中逐渐变小 |
| 梯度爆炸 | Exploding Gradient | 梯度在反向传播中变得过大 |
常见解决方法:
- 合理初始化权重。
- 使用适当的激活函数。
- 使用残差连接。
- 使用归一化技术。
- 使用梯度裁剪。
- 调整网络结构和学习率。
4.9 常见神经网络架构
| 架构 | 英文 | 核心特点 | 典型应用 |
|---|---|---|---|
| CNN | Convolutional Neural Network | 卷积运算提取局部特征 | 图像识别 |
| RNN | Recurrent Neural Network | 循环处理序列信息 | 序列建模 |
| LSTM | Long Short-Term Memory | 使用门控结构处理长期依赖 | 时间序列 |
| GRU | Gated Recurrent Unit | 简化的门控循环网络 | 序列建模 |
| Transformer | Transformer | 使用注意力机制建模关系 | 大语言模型 |
| GNN | Graph Neural Network | 面向图结构数据 | 社交网络、知识图谱 |
| Autoencoder | AE | 学习输入的压缩表示 | 降维、重构 |
| U-Net | U-Net | 编码器与解码器及跳跃连接 | 图像分割、扩散模型 |
五、生成式人工智能术语
生成式 AI 是当前人工智能领域的重要方向。
与主要进行分类和预测的传统模型不同,生成式模型可以学习数据分布,并生成新的内容。
5.1 生成式人工智能(Generative AI)
生成式 AI 是能够根据学习到的数据规律生成新内容的人工智能技术。
生成内容包括:
- 文本。
- 图像。
- 音频。
- 视频。
- 代码。
- 三维内容。
5.2 判别式模型(Discriminative Model)
主要学习输入与标签之间的关系,或直接学习条件概率:
典型任务:
- 分类。
- 回归。
- 识别。
- 预测。
5.3 生成式模型(Generative Model)
学习数据本身的分布或条件生成分布,例如:
或者:
其中 c 表示条件信息。
5.4 主要生成模型架构
| 技术 | 英文 | 核心原理 | 典型应用 |
|---|---|---|---|
| GAN | Generative Adversarial Network | 生成器与判别器对抗训练 | 图像生成 |
| VAE | Variational Autoencoder | 学习潜在变量分布 | 数据生成、表示学习 |
| Diffusion Model | 扩散模型 | 学习逐步去噪生成数据 | 图像、音频、视频生成 |
| Autoregressive Model | 自回归模型 | 根据已有内容逐步预测下一个内容单元 | 文本生成、代码生成 |
| Flow-based Model | 流模型 | 使用可逆变换建模概率分布 | 密度估计、生成 |
5.5 判别式模型与生成式模型的区别
| 对比维度 | 判别式模型 | 生成式模型 |
|---|---|---|
| 主要目标 | 区分或预测 | 学习数据分布并生成 |
| 典型建模对象 | P(y\mid x) | P(x)、P(x,y)、P(x\mid c) |
| 常见任务 | 分类、回归 | 文本、图像、音频生成 |
| 典型模型 | Logistic Regression、SVM | GAN、VAE、Diffusion、LLM |
需要注意,生成式与判别式描述的是建模目标和方法,并不意味着所有模型都只能用于一种任务。
5.6 多模态生成(Multimodal Generation)
多模态生成是指模型能够处理或生成多种不同类型的数据。
例如:
- 文本生成图像。
- 文本生成视频。
- 文本生成语音。
- 图像生成描述。
- 视频生成摘要。
- 语音驱动文本对话。
六、大语言模型(LLM)核心术语
大语言模型是当前生成式 AI 的重要技术基础。
它通过大规模文本及其他训练数据学习语言结构、知识关联和上下文表示,并能够完成文本理解、生成和多种复杂任务。
6.1 大语言模型(Large Language Model,LLM)
大语言模型通常指具有较大规模参数,并通过大规模数据训练的语言模型。
典型特点:
- 基于深度神经网络。
- 通常采用 Transformer 或其变体。
- 使用大规模数据进行预训练。
- 通过 Token 进行文本建模。
- 具有上下文建模和文本生成能力。
6.2 Token
Token 是模型处理文本时使用的基本离散单元。
一个 Token 可能对应:
- 一个完整单词。
- 单词的一部分。
- 一个汉字。
- 多个字符组成的片段。
- 标点符号。
- 特殊控制标记。
Token 不等于自然语言中的词,也不一定与字符一一对应。
6.3 Tokenization
Tokenization 是将原始文本转换为 Token 序列的过程。
例如:
原始文本:
Artificial Intelligence
经过 Tokenizer 后,可能被拆分为多个 Token。
不同模型使用的 Tokenizer 不同,因此同一段文本在不同模型中可能对应不同数量的 Token。
6.4 Vocabulary
Vocabulary 是模型 Tokenizer 使用的词表。
它定义了 Token 与 Token ID 之间的映射关系。
6.5 Token ID
Token ID 是 Token 在词表中的数字编号。
模型通常通过 Token ID 而不是直接使用原始文本进行计算。
6.6 Embedding
Embedding 是将离散 Token ID 映射为连续向量的过程。
例如:
得到的向量能够作为神经网络的输入表示。
Embedding 不只是简单的数字编码,它是模型学习语义和上下文关系的重要基础。
6.7 Positional Encoding
位置编码用于向模型提供序列中的位置信息。
因为 Attention 本身并不天然包含完整的序列顺序信息,所以 Transformer 需要通过位置编码或位置相关机制表达 Token 的位置关系。
常见方式:
- Sinusoidal Positional Encoding。
- Learned Positional Embedding。
- RoPE(Rotary Positional Embedding)。
- ALiBi(Attention with Linear Biases)。
6.8 Attention
Attention 是一种根据输入之间的相关性动态聚合信息的机制。
Scaled Dot-Product Attention 的公式:
其中:
- Query:查询向量。
- Key:键向量。
- Value:值向量。
- d_k:Key 的维度。
6.9 Self-Attention
Self-Attention 是指 Query、Key 和 Value 来自同一序列表示的注意力机制。
它能够让序列中的不同 Token 建立信息关联。
6.10 Multi-Head Attention
多头注意力通过多个不同的注意力头并行计算,学习不同的信息关系。
它可以在不同表示子空间中建模 Token 之间的交互。
6.11 Transformer
Transformer 是一种以 Attention 为核心的神经网络架构。
主要组件包括:
- Embedding。
- Positional Encoding 或位置机制。
- Multi-Head Attention。
- Feed Forward Network。
- Residual Connection。
- Layer Normalization。
常见结构类型:
| 结构 | 主要特点 | 代表性用途 |
|---|---|---|
| Encoder-only | 双向上下文表示 | 文本理解、分类 |
| Decoder-only | 因果自回归生成 | 大语言模型 |
| Encoder-Decoder | 编码输入,再生成输出 | 翻译、序列转换 |
6.12 Context Window
上下文窗口是模型一次处理或参考的 Token 范围。
它通常包括:
- 系统指令。
- 用户输入。
- 历史对话。
- 工具返回内容。
- 当前生成内容。
上下文窗口越大,不代表模型一定能够同样有效地利用其中所有信息。
长上下文还涉及注意力计算成本、信息干扰和长距离信息检索等问题。
6.13 Inference
Inference 是模型训练完成后,使用模型进行预测或生成的过程。
大语言模型推理通常包括:
- 输入 Tokenization。
- Embedding。
- Transformer 前向计算。
- 输出 Logits。
- 概率分布计算。
- Token 采样或选择。
- 自回归生成后续 Token。
6.14 Logits
Logits 是模型输出层产生的未归一化分数。
Logits 经过 Softmax 后可以得到概率分布。
6.15 Softmax
Softmax 将一组实数映射为总和为 1 的概率分布。
6.16 Decoding
Decoding 是根据模型输出的概率分布选择后续 Token 的过程。
常见策略:
- Greedy Decoding:贪心解码。
- Beam Search:束搜索。
- Top-K Sampling:限制候选 Token 数量。
- Top-P Sampling:按累计概率选择候选范围。
- Temperature:调整概率分布的尖锐程度。
6.17 KV Cache
KV Cache 是在自回归生成过程中缓存历史 Token 的 Key 和 Value 表示。
其作用是避免每生成一个新 Token 都重复计算全部历史 Token 的 Key 和 Value。
它可以减少重复计算,提高推理效率。
6.18 Prompt
Prompt 是输入给模型的提示内容,用于提供任务要求、上下文和约束。
6.19 Prompt Engineering
Prompt Engineering 是通过设计和优化提示内容,提高模型任务表现的方法。
常见技巧:
- 明确角色和任务。
- 提供上下文。
- 指定输出格式。
- 给出示例。
- 明确约束条件。
- 拆分复杂任务。
6.20 大语言模型生成流程
flowchart TB
A["用户输入文本"] --> B["Tokenizer"]
B --> C["Token ID"]
C --> D["Embedding"]
D --> E["Transformer"]
E --> F["输出 Logits"]
F --> G["Softmax 概率分布"]
G --> H["Decoding"]
H --> I["选择下一个 Token"]
I --> J{"是否结束生成"}
J -->|"否"| E
J -->|"是"| K["输出最终文本"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#E5F0E9,stroke:#83A995,color:#315D49
七、大语言模型训练与对齐术语
大语言模型并不是通过一次训练就直接具备成熟的对话能力。
通常需要经过多个训练阶段,使模型逐步获得语言建模、指令遵循和偏好对齐能力。
7.1 预训练(Pre-training)
预训练是在大规模数据上学习通用语言和知识表示的过程。
对于典型自回归语言模型,常见训练目标是预测下一个 Token:
预训练主要让模型学习:
- 语言结构。
- 词汇与语义关系。
- 知识关联。
- 上下文模式。
- 部分推理和任务模式。
7.2 微调(Fine-tuning)
微调是在已有预训练模型基础上,使用特定数据继续训练,使模型适应特定任务或应用场景。
常见类型:
- 全量微调(Full Fine-tuning)。
- 监督微调(SFT)。
- 参数高效微调(PEFT)。
7.3 SFT(Supervised Fine-Tuning)
监督微调使用指令和期望回答构成的数据训练模型。
主要目标是让模型学习如何按照指令完成任务。
7.4 RLHF(Reinforcement Learning from Human Feedback)
RLHF 是基于人类反馈进行强化学习优化的方法。
典型过程:
- 收集人类偏好数据。
- 训练奖励模型。
- 使用强化学习优化语言模型。
- 使模型输出更符合人类偏好。
7.5 DPO(Direct Preference Optimization)
DPO 是一种直接利用偏好数据优化模型的方法。
它不需要按照传统 RLHF 流程单独训练奖励模型并执行完整强化学习优化过程。
DPO 直接利用偏好样本优化策略模型,使其更倾向于生成被偏好的回答。
7.6 Reward Model
奖励模型用于评估模型输出的质量或偏好程度。
它通常通过偏好数据训练,输出一个评分或奖励信号。
7.7 Alignment
Alignment 是指让 AI 模型的行为与人类意图、价值观、规范和安全要求保持一致。
常见研究方向:
- 指令遵循。
- 人类偏好对齐。
- 安全对齐。
- 价值对齐。
- 拒绝不安全请求。
7.8 PEFT
PEFT(Parameter-Efficient Fine-Tuning)是参数高效微调技术。
其目标是在尽可能减少可训练参数和计算资源的情况下,使模型适应特定任务。
常见方法:
- LoRA。
- QLoRA。
- Adapter。
- Prefix Tuning。
- Prompt Tuning。
7.9 LoRA
LoRA(Low-Rank Adaptation)通过低秩矩阵分解的方式,对预训练模型的部分权重更新进行参数高效近似。
其核心形式可以表示为:
其中:
这里 A 和 B 是低秩矩阵。
通过限制更新矩阵的秩,可以显著减少需要训练的参数量。
7.10 训练与对齐流程
flowchart TB
A["大规模训练数据"] --> B["预训练 Pre-training"]
B --> C["基础模型"]
C --> D["监督微调 SFT"]
D --> E["指令模型"]
E --> F["偏好数据与对齐优化"]
F --> G["RLHF 或 DPO"]
G --> H["对齐后的模型"]
H --> I["评估与安全测试"]
I --> J["部署与应用"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#E5F0E9,stroke:#83A995,color:#315D49
说明:这是一种典型的训练和对齐路径,并非所有模型都严格采用相同流程。部分模型会采用其他数据配方、训练目标和后训练方法。
八、知识增强与外部能力术语
大语言模型的知识主要通过训练数据学习并编码在模型参数中,但参数化知识存在更新、检索和事实准确性方面的局限。
因此,实际应用通常会引入外部知识与工具。
8.1 RAG(Retrieval-Augmented Generation)
检索增强生成。
在生成答案之前,先从外部知识库检索相关内容,再将检索结果提供给大语言模型作为上下文。
主要组成:
- 文档解析。
- 文本切分(Chunking)。
- Embedding。
- 向量数据库。
- 检索(Retrieval)。
- 重排序(Reranking)。
- 上下文构建。
- 答案生成。
8.2 Embedding Model
Embedding Model 是将文本、图像或其他数据映射为向量表示的模型。
在 RAG 中,常用于将文档和用户问题转换为向量,以便进行语义检索。
8.3 Vector Database
向量数据库用于存储和检索向量数据。
常见能力:
- 向量存储。
- 相似度检索。
- 元数据过滤。
- 索引管理。
- 混合检索。
8.4 Similarity Search
相似度搜索是根据向量之间的相似程度寻找相关内容的方法。
常见度量:
- Cosine Similarity:余弦相似度。
- Dot Product:点积。
- Euclidean Distance:欧氏距离。
8.5 Chunking
Chunking 是将长文档切分为较小文本片段的过程。
合理的文本切分能够帮助检索系统定位相关内容。
切分方式包括:
- 固定长度切分。
- 按段落切分。
- 按标题结构切分。
- 递归文本切分。
- 语义切分。
8.6 Reranker
Reranker 是重排序模型。
它会对初步检索得到的候选文档重新计算相关性分数,从而优化最终提供给大模型的上下文。
8.7 Hybrid Search
混合检索通常结合关键词检索与向量语义检索。
例如:
- BM25:基于词项统计的关键词检索方法。
- Dense Retrieval:基于稠密向量的语义检索。
两种方式可以互补。
关键词检索擅长匹配明确术语、编号和名称,向量检索则更擅长处理语义相似但措辞不同的内容。
8.8 Knowledge Graph
知识图谱通过实体、关系和属性组织知识。
典型结构:
- Entity:实体。
- Relation:关系。
- Attribute:属性。
- Triple:三元组。
例如:
Python —— 属于 —— 编程语言
Python —— 具有 —— 动态类型特征
Transformer —— 使用 —— Attention 机制
8.9 RAG 与 Fine-tuning 的区别
| 对比项 | RAG | Fine-tuning |
|---|---|---|
| 核心方式 | 检索外部知识 | 更新模型参数 |
| 知识更新 | 更新知识库即可 | 通常需要再次训练 |
| 主要作用 | 补充事实与上下文 | 调整模型行为和任务能力 |
| 可追溯性 | 可以关联检索来源 | 参数中的知识通常难以直接追溯 |
| 适合场景 | 企业知识问答、实时资料 | 特定任务适配、输出风格和行为优化 |
两者并不冲突。
在实际系统中,可以同时使用 RAG 和微调。
九、AI Agent 与智能体技术术语
AI Agent 是近年来人工智能工程应用的重要方向。
与传统的一问一答式模型调用不同,Agent 可以围绕目标进行任务规划、工具调用、状态管理和多步骤执行。
9.1 Agent
Agent 通常指能够感知环境、根据目标进行决策并执行动作的智能体。
在 LLM 应用中,Agent 通常以大语言模型作为核心决策组件,结合工具、上下文、记忆和执行循环完成任务。
9.2 Tool Calling
工具调用是模型根据任务需要生成结构化工具请求,由外部程序执行,再将执行结果返回模型的机制。
常见工具:
- 搜索引擎。
- 数据库。
- 文件系统。
- 代码执行环境。
- 企业 API。
- 浏览器自动化工具。
需要注意,模型通常负责提出工具调用请求,真正执行工具的是外部系统。
9.3 Function Calling
Function Calling 通常指模型按照预定义函数接口生成结构化调用参数的能力。
例如:
{
"name": "get_weather",
"arguments": {
"city": "Singapore"
}
}
这只是一个结构化调用请求示例,并不意味着模型直接执行了函数。
9.4 Planning
Planning 是任务规划。
Agent 会将复杂目标拆分为多个子任务,并确定任务的执行顺序和依赖关系。
9.5 Reasoning
Reasoning 是推理。
模型根据输入条件、已有知识和中间结果进行分析,得出结论或选择下一步行动。
9.6 Memory
Memory 是记忆机制。
在 Agent 系统中,通常用于保存任务执行过程中的信息。
常见分类:
| 类型 | 作用 |
|---|---|
| Short-term Memory | 保存当前任务或对话上下文 |
| Long-term Memory | 保存跨任务可复用的信息 |
| Episodic Memory | 保存过去的事件和执行经历 |
| Semantic Memory | 保存结构化事实和知识 |
| Procedural Memory | 保存任务执行方法或流程 |
不同系统对 Memory 的分类方式可能有所不同。
9.7 Reflection
Reflection 是反思机制。
Agent 可以对已有执行结果进行检查,分析错误并调整后续策略。
但模型自我反思并不等于客观验证。反思结果仍然需要结合外部证据和执行反馈。