返回专栏
· 30 分钟阅读

人工智能常见技术术语与概念体系


人工智能领域涉及大量专业术语,涵盖数学基础、机器学习、深度学习、神经网络、大语言模型、生成式 AI、模型训练、推理部署以及智能体等多个方向。

这些术语之间并不是相互独立的。

例如:

  • 机器学习是人工智能的重要分支。
  • 深度学习是机器学习中的重要技术路线。
  • Transformer 是一种深度神经网络架构。
  • 大语言模型通常基于 Transformer 等架构构建。
  • RAG 通过外部知识增强大语言模型。
  • Agent 将大模型、工具、记忆和任务规划组合起来,实现更复杂的任务处理。

如果只记住单个术语的定义,很容易形成零散的知识点,难以建立完整的技术认知。

本文按照技术体系,将人工智能领域的常见术语分为基础概念、机器学习、深度学习、生成式 AI、大语言模型、训练与推理、知识增强、Agent、多模态、安全评估和工程部署等模块,帮助建立完整的 AI 技术知识体系。


一、人工智能基础概念

这一部分主要解决三个问题:

  • 人工智能是什么?
  • 机器学习和深度学习有什么关系?
  • 不同 AI 技术路线之间有什么区别?

1.1 人工智能(Artificial Intelligence,AI)

人工智能是计算机科学的重要研究领域,目标是让机器具备感知、学习、推理、决策、理解和生成等智能行为。

AI 是一个广义概念,并不特指某一种模型或算法。

主要研究方向包括:

  • 知识表示(Knowledge Representation)
  • 自动推理(Automated Reasoning)
  • 机器学习(Machine Learning)
  • 计算机视觉(Computer Vision)
  • 自然语言处理(Natural Language Processing)
  • 语音识别与合成(Speech Recognition and Synthesis)
  • 规划与决策(Planning and Decision Making)
  • 机器人学(Robotics)

1.2 机器学习(Machine Learning,ML)

机器学习是人工智能的重要分支。

其核心思想是让计算机从数据中学习规律,而不是完全依赖人工编写固定规则。

例如,传统规则系统可能需要人工定义:

  • 哪些特征代表垃圾邮件。
  • 哪些条件代表异常交易。
  • 哪些规则可以判断图像中的目标。

机器学习则通过训练数据,让模型自动学习输入与输出之间的关系。

典型任务:

  • 分类(Classification)
  • 回归(Regression)
  • 聚类(Clustering)
  • 降维(Dimensionality Reduction)
  • 异常检测(Anomaly Detection)

1.3 深度学习(Deep Learning,DL)

深度学习是机器学习中的重要技术路线,主要使用多层神经网络学习数据中的复杂表示。

其特点包括:

  • 使用多层神经网络。
  • 通过反向传播训练模型参数。
  • 能够学习复杂的非线性关系。
  • 通常需要较多数据和计算资源。
  • 可以自动学习多层次特征表示。

常见网络架构:

  • CNN:卷积神经网络。
  • RNN:循环神经网络。
  • LSTM:长短期记忆网络。
  • Transformer:基于注意力机制的网络架构。
  • GNN:图神经网络。

1.4 三者之间的关系

flowchart TB
    A["人工智能 AI"] --> B["机器学习 ML"]
    A --> C["符号主义 AI"]
    A --> D["搜索、规划与推理"]
    B --> E["传统机器学习"]
    B --> F["深度学习 DL"]
    F --> G["CNN、RNN、Transformer"]
    F --> H["生成式深度学习模型"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

需要注意,AI、ML 和 DL 不是三个完全并列的技术。

通常可以表示为:

DL \subseteq ML \subseteq AI

但人工智能还包含不依赖机器学习的技术,例如符号推理、搜索和规则系统。

1.5 弱人工智能、强人工智能与通用人工智能

术语 英文 核心含义
弱人工智能 Narrow AI 针对特定任务设计的 AI
强人工智能 Strong AI 关于具备真正通用智能的理论概念
通用人工智能 AGI 能够在广泛任务领域达到通用能力的 AI
超级人工智能 ASI 能力在广泛领域显著超过人类的假设性智能

目前广泛部署的 AI 系统主要属于特定任务或特定能力范围内的人工智能。

需要注意,强人工智能和 AGI 在不同研究语境中可能有不同定义,不能简单地将两者视为完全相同的术语。


二、机器学习核心术语

机器学习主要研究如何从数据中学习模型,以及如何使用模型完成预测和决策。

2.1 数据集(Dataset)

数据集是模型训练、验证和测试所使用的数据集合。

常见数据集划分:

数据集 英文 主要用途
训练集 Training Set 学习模型参数
验证集 Validation Set 调整超参数、选择模型
测试集 Test Set 评估模型泛化性能

典型数据流程:

flowchart TB
    A["原始数据集"] --> B["数据清洗与预处理"]
    B --> C["数据集划分"]
    C --> D["训练集"]
    C --> E["验证集"]
    C --> F["测试集"]
    D --> G["模型训练"]
    E --> H["模型选择与超参数调整"]
    G --> H
    H --> I["最终模型评估"]
    F --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

注意:验证集和测试集不能随意混用。

如果反复使用测试集调整模型,测试集就会逐渐参与模型选择,最终评估结果可能过于乐观。

2.2 特征(Feature)

特征是用于描述样本的输入信息。

例如,预测房价时可能使用:

  • 房屋面积。
  • 房间数量。
  • 建筑年代。
  • 所在地区。
  • 周边交通条件。

特征可以是数值型、类别型、文本型、图像型或其他结构化表示。

2.3 标签(Label)

标签是监督学习中用于表示目标结果的信息。

例如:

  • 垃圾邮件识别:垃圾邮件或正常邮件。
  • 房价预测:实际成交价格。
  • 图像分类:图像对应的类别。

特征通常表示输入,标签通常表示模型需要学习预测的目标。

2.4 模型(Model)

模型是通过算法和参数对输入与输出关系进行建模的计算结构。

可以抽象表示为:

\hat{y}=f_{\theta}(x)

其中:

  • x:输入。
  • \hat{y}:模型预测结果。
  • f:模型计算函数。
  • \theta:模型参数。

模型并不等于训练算法。

模型负责根据输入计算输出,训练算法负责寻找合适的参数。

2.5 参数(Parameter)

参数是模型在训练过程中学习得到的内部数值。

例如,神经网络中的:

  • 权重(Weight)。
  • 偏置(Bias)。

参数决定了模型如何将输入映射为输出。

2.6 超参数(Hyperparameter)

超参数是训练过程中由开发者或训练策略设定的配置,不是通过当前训练过程直接学习得到的普通模型参数。

常见超参数:

  • Learning Rate:学习率。
  • Batch Size:批次大小。
  • Epoch:训练轮数。
  • Hidden Size:隐藏层维度。
  • Number of Layers:网络层数。
  • Dropout:随机失活比例。
  • Weight Decay:权重衰减系数。

参数与超参数的区别:

对比项 参数 超参数
英文 Parameter Hyperparameter
来源 模型训练学习 人工设定或自动搜索
作用 决定模型具体计算行为 控制模型结构或训练过程
示例 权重、偏置 学习率、批次大小

2.7 损失函数(Loss Function)

损失函数用于衡量模型预测结果与目标结果之间的差异。

例如,回归任务中的均方误差:

MSE= \frac{1}{N} \sum_{i=1}^{N}(y_i-\hat{y}_i)^2

分类任务中常见交叉熵损失:

L= -\sum_{i=1}^{C}y_i\log(\hat{y}_i)

其中:

  • N:样本数量。
  • C:类别数量。
  • y_i:真实标签。
  • \hat{y}_i:模型预测概率。

损失函数是训练过程中优化模型参数的重要依据。

2.8 优化器(Optimizer)

优化器根据损失函数的梯度更新模型参数。

常见优化器:

  • SGD:随机梯度下降。
  • Momentum:动量优化。
  • AdaGrad:自适应梯度算法。
  • RMSprop:均方根传播。
  • Adam:自适应矩估计。
  • AdamW:解耦权重衰减的 Adam 变体。

2.9 过拟合与欠拟合

术语 英文 含义
过拟合 Overfitting 模型过度适应训练数据,泛化能力下降
欠拟合 Underfitting 模型无法充分学习数据中的规律
泛化能力 Generalization 模型处理未见过数据的能力

过拟合和欠拟合是机器学习中非常重要的模型性能问题。

常见缓解方法:

  • 正则化。
  • Dropout。
  • 数据增强。
  • Early Stopping。
  • 调整模型复杂度。
  • 增加高质量训练数据。

三、机器学习的主要学习范式

3.1 监督学习(Supervised Learning)

使用带标签的数据训练模型。

目标是学习输入与目标输出之间的映射关系。

主要任务:

  • 分类。
  • 回归。

典型算法:

  • Linear Regression。
  • Logistic Regression。
  • Decision Tree。
  • Random Forest。
  • SVM。
  • XGBoost。
  • 神经网络。

3.2 无监督学习(Unsupervised Learning)

使用没有明确目标标签的数据,学习数据内部的结构、分布或潜在规律。

典型任务:

  • 聚类。
  • 降维。
  • 密度估计。
  • 异常检测。

典型算法:

  • K-Means。
  • DBSCAN。
  • PCA。
  • Gaussian Mixture Model。

3.3 半监督学习(Semi-supervised Learning)

使用少量有标签数据和大量无标签数据共同训练模型。

适合标注成本较高、无标签数据容易获取的场景。

3.4 自监督学习(Self-supervised Learning)

通过数据自身构造训练目标,不需要人工为每个样本提供传统意义上的标签。

例如,大语言模型通过预测下一个 Token 学习语言规律。

自监督学习是当前大模型预训练的重要技术基础。

3.5 强化学习(Reinforcement Learning,RL)

通过智能体与环境之间的交互学习策略。

核心概念:

术语 英文 含义
智能体 Agent 执行动作的学习主体
环境 Environment 智能体交互的外部系统
状态 State 当前环境状态
动作 Action 智能体执行的行为
奖励 Reward 环境对动作结果的反馈
策略 Policy 根据状态选择动作的方法
价值函数 Value Function 评估状态或动作长期价值
回报 Return 累积奖励

强化学习的基本交互:

flowchart TB
    A["智能体 Agent"] -->|"选择动作 Action"| B["环境 Environment"]
    B -->|"返回状态 State"| A
    B -->|"返回奖励 Reward"| A
    A --> C["更新策略 Policy"]
    C --> A

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

3.6 不同学习范式对比

学习范式 是否依赖人工标签 核心目标 典型应用
监督学习 是 学习输入到目标的映射 分类、预测
无监督学习 否 发现数据结构 聚类、降维
半监督学习 部分依赖 利用少量标签学习 图像分类
自监督学习 不需要传统人工标签 从数据构造训练目标 大模型预训练
强化学习 使用奖励信号 学习长期决策策略 游戏、机器人、策略优化

需要注意,自监督学习与无监督学习存在联系,但两者并非完全相同。自监督学习通常具有明确构造的代理监督目标。


四、深度学习与神经网络术语

深度学习通过神经网络学习数据的复杂表示,是当前计算机视觉、语音处理和大语言模型的重要基础。

4.1 神经网络(Neural Network)

神经网络是一种由多个计算单元组成的模型结构。

典型组成:

  • 输入层(Input Layer)。
  • 隐藏层(Hidden Layer)。
  • 输出层(Output Layer)。
  • 权重(Weight)。
  • 偏置(Bias)。
  • 激活函数(Activation Function)。

4.2 神经元(Neuron)

神经元是神经网络中的基本计算单元。

其计算过程可以表示为:

y=f\left(\sum_{i=1}^{n}w_ix_i+b\right)

其中:

  • x_i:输入。
  • w_i:权重。
  • b:偏置。
  • f:激活函数。
  • y:输出。

4.3 激活函数(Activation Function)

激活函数为神经网络引入非线性表达能力。

常见激活函数:

激活函数 公式或特点 常见用途
Sigmoid 输出范围为 (0,1) 二分类输出
Tanh 输出范围为 (-1,1) 部分循环网络
ReLU \max(0,x) 传统深度网络
Leaky ReLU 负区间保留较小斜率 缓解神经元失活
GELU 平滑的非线性激活 Transformer
SiLU x\cdot sigmoid(x) 多种现代网络

4.4 前向传播(Forward Propagation)

输入数据经过网络各层计算,得到预测结果的过程。

4.5 反向传播(Backpropagation)

根据损失函数,使用链式法则计算模型参数的梯度。

4.6 梯度下降(Gradient Descent)

根据梯度方向调整模型参数,使损失函数逐渐降低。

基本更新公式:

\theta_{t+1} = \theta_t-\eta\nabla_{\theta}L(\theta_t)

其中:

  • \theta_t:当前参数。
  • \eta:学习率。
  • \nabla_{\theta}L:损失函数对参数的梯度。

4.7 Epoch、Batch、Iteration

这三个术语在模型训练中非常常见。

术语 含义
Epoch 完整遍历一次训练数据
Batch 一次送入模型处理的数据批次
Iteration / Step 一次训练更新步骤,通常对应处理一个 Batch

例如:

训练集有 10,000 条数据,Batch Size 为 100。

那么一个 Epoch 理论上包含:

Iterations=\frac{10000}{100}=100

如果训练 20 个 Epoch,则理论上需要 2,000 次参数更新(假设每个 Batch 都进行一次更新且没有丢弃数据)。

4.8 梯度消失与梯度爆炸

术语 英文 现象
梯度消失 Vanishing Gradient 梯度在反向传播中逐渐变小
梯度爆炸 Exploding Gradient 梯度在反向传播中变得过大

常见解决方法:

  • 合理初始化权重。
  • 使用适当的激活函数。
  • 使用残差连接。
  • 使用归一化技术。
  • 使用梯度裁剪。
  • 调整网络结构和学习率。

4.9 常见神经网络架构

架构 英文 核心特点 典型应用
CNN Convolutional Neural Network 卷积运算提取局部特征 图像识别
RNN Recurrent Neural Network 循环处理序列信息 序列建模
LSTM Long Short-Term Memory 使用门控结构处理长期依赖 时间序列
GRU Gated Recurrent Unit 简化的门控循环网络 序列建模
Transformer Transformer 使用注意力机制建模关系 大语言模型
GNN Graph Neural Network 面向图结构数据 社交网络、知识图谱
Autoencoder AE 学习输入的压缩表示 降维、重构
U-Net U-Net 编码器与解码器及跳跃连接 图像分割、扩散模型

五、生成式人工智能术语

生成式 AI 是当前人工智能领域的重要方向。

与主要进行分类和预测的传统模型不同,生成式模型可以学习数据分布,并生成新的内容。

5.1 生成式人工智能(Generative AI)

生成式 AI 是能够根据学习到的数据规律生成新内容的人工智能技术。

生成内容包括:

  • 文本。
  • 图像。
  • 音频。
  • 视频。
  • 代码。
  • 三维内容。

5.2 判别式模型(Discriminative Model)

主要学习输入与标签之间的关系,或直接学习条件概率:

P(y\mid x)

典型任务:

  • 分类。
  • 回归。
  • 识别。
  • 预测。

5.3 生成式模型(Generative Model)

学习数据本身的分布或条件生成分布,例如:

P(x)

或者:

P(x\mid c)

其中 c 表示条件信息。

5.4 主要生成模型架构

技术 英文 核心原理 典型应用
GAN Generative Adversarial Network 生成器与判别器对抗训练 图像生成
VAE Variational Autoencoder 学习潜在变量分布 数据生成、表示学习
Diffusion Model 扩散模型 学习逐步去噪生成数据 图像、音频、视频生成
Autoregressive Model 自回归模型 根据已有内容逐步预测下一个内容单元 文本生成、代码生成
Flow-based Model 流模型 使用可逆变换建模概率分布 密度估计、生成

5.5 判别式模型与生成式模型的区别

对比维度 判别式模型 生成式模型
主要目标 区分或预测 学习数据分布并生成
典型建模对象 P(y\mid x) P(x)、P(x,y)、P(x\mid c)
常见任务 分类、回归 文本、图像、音频生成
典型模型 Logistic Regression、SVM GAN、VAE、Diffusion、LLM

需要注意,生成式与判别式描述的是建模目标和方法,并不意味着所有模型都只能用于一种任务。

5.6 多模态生成(Multimodal Generation)

多模态生成是指模型能够处理或生成多种不同类型的数据。

例如:

  • 文本生成图像。
  • 文本生成视频。
  • 文本生成语音。
  • 图像生成描述。
  • 视频生成摘要。
  • 语音驱动文本对话。

六、大语言模型(LLM)核心术语

大语言模型是当前生成式 AI 的重要技术基础。

它通过大规模文本及其他训练数据学习语言结构、知识关联和上下文表示,并能够完成文本理解、生成和多种复杂任务。

6.1 大语言模型(Large Language Model,LLM)

大语言模型通常指具有较大规模参数,并通过大规模数据训练的语言模型。

典型特点:

  • 基于深度神经网络。
  • 通常采用 Transformer 或其变体。
  • 使用大规模数据进行预训练。
  • 通过 Token 进行文本建模。
  • 具有上下文建模和文本生成能力。

6.2 Token

Token 是模型处理文本时使用的基本离散单元。

一个 Token 可能对应:

  • 一个完整单词。
  • 单词的一部分。
  • 一个汉字。
  • 多个字符组成的片段。
  • 标点符号。
  • 特殊控制标记。

Token 不等于自然语言中的词,也不一定与字符一一对应。

6.3 Tokenization

Tokenization 是将原始文本转换为 Token 序列的过程。

例如:

原始文本:

Artificial Intelligence

经过 Tokenizer 后,可能被拆分为多个 Token。

不同模型使用的 Tokenizer 不同,因此同一段文本在不同模型中可能对应不同数量的 Token。

6.4 Vocabulary

Vocabulary 是模型 Tokenizer 使用的词表。

它定义了 Token 与 Token ID 之间的映射关系。

6.5 Token ID

Token ID 是 Token 在词表中的数字编号。

模型通常通过 Token ID 而不是直接使用原始文本进行计算。

6.6 Embedding

Embedding 是将离散 Token ID 映射为连续向量的过程。

例如:

TokenID \rightarrow Embedding

得到的向量能够作为神经网络的输入表示。

Embedding 不只是简单的数字编码,它是模型学习语义和上下文关系的重要基础。

6.7 Positional Encoding

位置编码用于向模型提供序列中的位置信息。

因为 Attention 本身并不天然包含完整的序列顺序信息,所以 Transformer 需要通过位置编码或位置相关机制表达 Token 的位置关系。

常见方式:

  • Sinusoidal Positional Encoding。
  • Learned Positional Embedding。
  • RoPE(Rotary Positional Embedding)。
  • ALiBi(Attention with Linear Biases)。

6.8 Attention

Attention 是一种根据输入之间的相关性动态聚合信息的机制。

Scaled Dot-Product Attention 的公式:

Attention(Q,K,V) = softmax\left( \frac{QK^T}{\sqrt{d_k}} \right)V

其中:

  • Query:查询向量。
  • Key:键向量。
  • Value:值向量。
  • d_k:Key 的维度。

6.9 Self-Attention

Self-Attention 是指 Query、Key 和 Value 来自同一序列表示的注意力机制。

它能够让序列中的不同 Token 建立信息关联。

6.10 Multi-Head Attention

多头注意力通过多个不同的注意力头并行计算,学习不同的信息关系。

它可以在不同表示子空间中建模 Token 之间的交互。

6.11 Transformer

Transformer 是一种以 Attention 为核心的神经网络架构。

主要组件包括:

  • Embedding。
  • Positional Encoding 或位置机制。
  • Multi-Head Attention。
  • Feed Forward Network。
  • Residual Connection。
  • Layer Normalization。

常见结构类型:

结构 主要特点 代表性用途
Encoder-only 双向上下文表示 文本理解、分类
Decoder-only 因果自回归生成 大语言模型
Encoder-Decoder 编码输入,再生成输出 翻译、序列转换

6.12 Context Window

上下文窗口是模型一次处理或参考的 Token 范围。

它通常包括:

  • 系统指令。
  • 用户输入。
  • 历史对话。
  • 工具返回内容。
  • 当前生成内容。

上下文窗口越大,不代表模型一定能够同样有效地利用其中所有信息。

长上下文还涉及注意力计算成本、信息干扰和长距离信息检索等问题。

6.13 Inference

Inference 是模型训练完成后,使用模型进行预测或生成的过程。

大语言模型推理通常包括:

  • 输入 Tokenization。
  • Embedding。
  • Transformer 前向计算。
  • 输出 Logits。
  • 概率分布计算。
  • Token 采样或选择。
  • 自回归生成后续 Token。

6.14 Logits

Logits 是模型输出层产生的未归一化分数。

Logits 经过 Softmax 后可以得到概率分布。

6.15 Softmax

Softmax 将一组实数映射为总和为 1 的概率分布。

P_i=\frac{e^{z_i}}{\sum_j e^{z_j}}

6.16 Decoding

Decoding 是根据模型输出的概率分布选择后续 Token 的过程。

常见策略:

  • Greedy Decoding:贪心解码。
  • Beam Search:束搜索。
  • Top-K Sampling:限制候选 Token 数量。
  • Top-P Sampling:按累计概率选择候选范围。
  • Temperature:调整概率分布的尖锐程度。

6.17 KV Cache

KV Cache 是在自回归生成过程中缓存历史 Token 的 Key 和 Value 表示。

其作用是避免每生成一个新 Token 都重复计算全部历史 Token 的 Key 和 Value。

它可以减少重复计算,提高推理效率。

6.18 Prompt

Prompt 是输入给模型的提示内容,用于提供任务要求、上下文和约束。

6.19 Prompt Engineering

Prompt Engineering 是通过设计和优化提示内容,提高模型任务表现的方法。

常见技巧:

  • 明确角色和任务。
  • 提供上下文。
  • 指定输出格式。
  • 给出示例。
  • 明确约束条件。
  • 拆分复杂任务。

6.20 大语言模型生成流程

flowchart TB
    A["用户输入文本"] --> B["Tokenizer"]
    B --> C["Token ID"]
    C --> D["Embedding"]
    D --> E["Transformer"]
    E --> F["输出 Logits"]
    F --> G["Softmax 概率分布"]
    G --> H["Decoding"]
    H --> I["选择下一个 Token"]
    I --> J{"是否结束生成"}
    J -->|"否"| E
    J -->|"是"| K["输出最终文本"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style K fill:#E5F0E9,stroke:#83A995,color:#315D49

七、大语言模型训练与对齐术语

大语言模型并不是通过一次训练就直接具备成熟的对话能力。

通常需要经过多个训练阶段,使模型逐步获得语言建模、指令遵循和偏好对齐能力。

7.1 预训练(Pre-training)

预训练是在大规模数据上学习通用语言和知识表示的过程。

对于典型自回归语言模型,常见训练目标是预测下一个 Token:

\mathcal{L}(\theta) = -\sum_{t=1}^{T} \log P_{\theta}(x_t\mid x_{<t})

预训练主要让模型学习:

  • 语言结构。
  • 词汇与语义关系。
  • 知识关联。
  • 上下文模式。
  • 部分推理和任务模式。

7.2 微调(Fine-tuning)

微调是在已有预训练模型基础上,使用特定数据继续训练,使模型适应特定任务或应用场景。

常见类型:

  • 全量微调(Full Fine-tuning)。
  • 监督微调(SFT)。
  • 参数高效微调(PEFT)。

7.3 SFT(Supervised Fine-Tuning)

监督微调使用指令和期望回答构成的数据训练模型。

主要目标是让模型学习如何按照指令完成任务。

7.4 RLHF(Reinforcement Learning from Human Feedback)

RLHF 是基于人类反馈进行强化学习优化的方法。

典型过程:

  1. 收集人类偏好数据。
  2. 训练奖励模型。
  3. 使用强化学习优化语言模型。
  4. 使模型输出更符合人类偏好。

7.5 DPO(Direct Preference Optimization)

DPO 是一种直接利用偏好数据优化模型的方法。

它不需要按照传统 RLHF 流程单独训练奖励模型并执行完整强化学习优化过程。

DPO 直接利用偏好样本优化策略模型,使其更倾向于生成被偏好的回答。

7.6 Reward Model

奖励模型用于评估模型输出的质量或偏好程度。

它通常通过偏好数据训练,输出一个评分或奖励信号。

7.7 Alignment

Alignment 是指让 AI 模型的行为与人类意图、价值观、规范和安全要求保持一致。

常见研究方向:

  • 指令遵循。
  • 人类偏好对齐。
  • 安全对齐。
  • 价值对齐。
  • 拒绝不安全请求。

7.8 PEFT

PEFT(Parameter-Efficient Fine-Tuning)是参数高效微调技术。

其目标是在尽可能减少可训练参数和计算资源的情况下,使模型适应特定任务。

常见方法:

  • LoRA。
  • QLoRA。
  • Adapter。
  • Prefix Tuning。
  • Prompt Tuning。

7.9 LoRA

LoRA(Low-Rank Adaptation)通过低秩矩阵分解的方式,对预训练模型的部分权重更新进行参数高效近似。

其核心形式可以表示为:

W'=W+\Delta W

其中:

\Delta W=BA

这里 A 和 B 是低秩矩阵。

通过限制更新矩阵的秩,可以显著减少需要训练的参数量。

7.10 训练与对齐流程

flowchart TB
    A["大规模训练数据"] --> B["预训练 Pre-training"]
    B --> C["基础模型"]
    C --> D["监督微调 SFT"]
    D --> E["指令模型"]
    E --> F["偏好数据与对齐优化"]
    F --> G["RLHF 或 DPO"]
    G --> H["对齐后的模型"]
    H --> I["评估与安全测试"]
    I --> J["部署与应用"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#E5F0E9,stroke:#83A995,color:#315D49

说明:这是一种典型的训练和对齐路径,并非所有模型都严格采用相同流程。部分模型会采用其他数据配方、训练目标和后训练方法。


八、知识增强与外部能力术语

大语言模型的知识主要通过训练数据学习并编码在模型参数中,但参数化知识存在更新、检索和事实准确性方面的局限。

因此,实际应用通常会引入外部知识与工具。

8.1 RAG(Retrieval-Augmented Generation)

检索增强生成。

在生成答案之前,先从外部知识库检索相关内容,再将检索结果提供给大语言模型作为上下文。

主要组成:

  • 文档解析。
  • 文本切分(Chunking)。
  • Embedding。
  • 向量数据库。
  • 检索(Retrieval)。
  • 重排序(Reranking)。
  • 上下文构建。
  • 答案生成。

8.2 Embedding Model

Embedding Model 是将文本、图像或其他数据映射为向量表示的模型。

在 RAG 中,常用于将文档和用户问题转换为向量,以便进行语义检索。

8.3 Vector Database

向量数据库用于存储和检索向量数据。

常见能力:

  • 向量存储。
  • 相似度检索。
  • 元数据过滤。
  • 索引管理。
  • 混合检索。

8.4 Similarity Search

相似度搜索是根据向量之间的相似程度寻找相关内容的方法。

常见度量:

  • Cosine Similarity:余弦相似度。
  • Dot Product:点积。
  • Euclidean Distance:欧氏距离。

8.5 Chunking

Chunking 是将长文档切分为较小文本片段的过程。

合理的文本切分能够帮助检索系统定位相关内容。

切分方式包括:

  • 固定长度切分。
  • 按段落切分。
  • 按标题结构切分。
  • 递归文本切分。
  • 语义切分。

8.6 Reranker

Reranker 是重排序模型。

它会对初步检索得到的候选文档重新计算相关性分数,从而优化最终提供给大模型的上下文。

8.7 Hybrid Search

混合检索通常结合关键词检索与向量语义检索。

例如:

  • BM25:基于词项统计的关键词检索方法。
  • Dense Retrieval:基于稠密向量的语义检索。

两种方式可以互补。

关键词检索擅长匹配明确术语、编号和名称,向量检索则更擅长处理语义相似但措辞不同的内容。

8.8 Knowledge Graph

知识图谱通过实体、关系和属性组织知识。

典型结构:

  • Entity:实体。
  • Relation:关系。
  • Attribute:属性。
  • Triple:三元组。

例如:

Python —— 属于 —— 编程语言
Python —— 具有 —— 动态类型特征
Transformer —— 使用 —— Attention 机制

8.9 RAG 与 Fine-tuning 的区别

对比项 RAG Fine-tuning
核心方式 检索外部知识 更新模型参数
知识更新 更新知识库即可 通常需要再次训练
主要作用 补充事实与上下文 调整模型行为和任务能力
可追溯性 可以关联检索来源 参数中的知识通常难以直接追溯
适合场景 企业知识问答、实时资料 特定任务适配、输出风格和行为优化

两者并不冲突。

在实际系统中,可以同时使用 RAG 和微调。


九、AI Agent 与智能体技术术语

AI Agent 是近年来人工智能工程应用的重要方向。

与传统的一问一答式模型调用不同,Agent 可以围绕目标进行任务规划、工具调用、状态管理和多步骤执行。

9.1 Agent

Agent 通常指能够感知环境、根据目标进行决策并执行动作的智能体。

在 LLM 应用中,Agent 通常以大语言模型作为核心决策组件,结合工具、上下文、记忆和执行循环完成任务。

9.2 Tool Calling

工具调用是模型根据任务需要生成结构化工具请求,由外部程序执行,再将执行结果返回模型的机制。

常见工具:

  • 搜索引擎。
  • 数据库。
  • 文件系统。
  • 代码执行环境。
  • 企业 API。
  • 浏览器自动化工具。

需要注意,模型通常负责提出工具调用请求,真正执行工具的是外部系统。

9.3 Function Calling

Function Calling 通常指模型按照预定义函数接口生成结构化调用参数的能力。

例如:

{
  "name": "get_weather",
  "arguments": {
    "city": "Singapore"
  }
}

这只是一个结构化调用请求示例,并不意味着模型直接执行了函数。

9.4 Planning

Planning 是任务规划。

Agent 会将复杂目标拆分为多个子任务,并确定任务的执行顺序和依赖关系。

9.5 Reasoning

Reasoning 是推理。

模型根据输入条件、已有知识和中间结果进行分析,得出结论或选择下一步行动。

9.6 Memory

Memory 是记忆机制。

在 Agent 系统中,通常用于保存任务执行过程中的信息。

常见分类:

类型 作用
Short-term Memory 保存当前任务或对话上下文
Long-term Memory 保存跨任务可复用的信息
Episodic Memory 保存过去的事件和执行经历
Semantic Memory 保存结构化事实和知识
Procedural Memory 保存任务执行方法或流程

不同系统对 Memory 的分类方式可能有所不同。

9.7 Reflection

Reflection 是反思机制。

Agent 可以对已有执行结果进行检查,分析错误并调整后续策略。

但模型自我反思并不等于客观验证。反思结果仍然需要结合外部证据和执行反馈。

9.8 Multi-Agent