人工智能能够理解文本、识别图像、分析语音,甚至根据一段描述生成代码和视频。但从计算机的角度来看,AI 并不是像人类一样直接感知和理解信息。
计算机处理的本质仍然是数字、矩阵、向量和数学运算。所谓的“理解”,是模型通过大量数据训练,学习到信息中的统计规律、结构关系和语义关联,并将这些规律编码到模型参数中。
以大语言模型为例,当用户输入:
请解释一下什么是操作系统。
模型并不是简单地查找某个固定答案,而是需要完成一系列处理:
- 将输入文本转换为模型能够处理的 Token。
- 将 Token 映射为向量表示。
- 通过神经网络提取上下文信息。
- 建立词语、概念和上下文之间的关联。
- 根据当前上下文计算下一个 Token 的概率分布。
- 通过解码策略逐步生成回答。
理解这套机制,是理解大语言模型、计算机视觉、语音识别以及多模态 AI 的基础。
本文从信息表示、特征提取、语义建模、上下文理解和信息生成几个层面,分析人工智能究竟是如何处理信息的。
一、计算机如何表示信息?
在讨论 AI 如何理解信息之前,需要先明确一个基础问题:
计算机本身并不直接处理人类语言、图像和声音,而是处理经过编码的数字信息。
不同类型的信息,需要采用不同的数字表示方式。
1.1 文本信息
人类看到的是文字,例如:
人工智能正在改变软件开发方式。
计算机内部并不是直接存储抽象的文字含义,而是先通过字符编码,将字符转换为数字。
常见的字符编码包括:
- ASCII:主要用于英文字符及基础符号。
- Unicode:为全球各种语言和符号分配统一的码点。
- UTF-8:一种广泛使用的 Unicode 编码实现方式。
例如,字符 A 的 Unicode 码点是 U+0041,UTF-8 编码为字节 0x41。
需要注意:
字符编码解决的是字符如何表示为字节的问题,并没有解决词语的语义问题。
例如:
苹果
计算机可以通过编码知道这两个字符分别是什么,但仅凭字符编码,并不知道它指的是水果、品牌,还是某个软件项目。
1.2 图像信息
数字图像通常可以表示为像素矩阵。
一张宽度为 3、高度为 2 的 RGB 图像,可以抽象为:
其中:
- 2:图像高度。
- 3:图像宽度。
- 3:RGB 三个颜色通道。
每个像素包含红色、绿色和蓝色三个数值。
例如:
表示一个纯红色像素。
真实图像通常具有更大的分辨率。例如,一张 1920 × 1080 的 RGB 图像,包含:
个颜色数值。
计算机视觉模型需要从这些数值中提取边缘、纹理、形状、物体以及更高层次的视觉特征。
1.3 音频信息
数字音频通常通过采样将连续的声音信号转换为离散数值。
假设采样率为 16 kHz,表示每秒采集 16000 个音频样本。
音频信号可以表示为:
其中每个 x_i 表示某一时刻采集到的声音幅度。
除了原始波形,AI 还可能将音频转换为频谱或梅尔频谱等特征表示,以便模型分析声音的频率结构和时间变化。
1.4 不同信息类型的数字表示
| 信息类型 | 原始表示 | AI 常见处理形式 |
|---|---|---|
| 文本 | 字符、字节 | Token、向量 |
| 图像 | 像素矩阵 | 图像块、视觉特征向量 |
| 音频 | 离散采样序列 | 波形、频谱、音频 Token |
| 视频 | 连续图像帧及音频 | 帧序列、时空特征 |
| 结构化数据 | 数值、字段、记录 | 数值特征、类别编码、向量 |
从这里可以看出,不同类型的信息虽然表现形式不同,但最终都可以转换为模型能够处理的数值结构。
flowchart TB
A["现实世界的信息"] --> B["数字化与编码"]
B --> C["文本"]
B --> D["图像"]
B --> E["音频"]
B --> F["视频"]
B --> G["结构化数据"]
C --> H["Token 序列"]
D --> I["像素矩阵或图像块"]
E --> J["波形或频谱"]
F --> K["视频帧与音频序列"]
G --> L["数值与类别特征"]
H --> M["模型输入表示"]
I --> M
J --> M
K --> M
L --> M
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#EAF3EC,stroke:#83A995,color:#315D49
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
二、AI 如何把信息转换为可理解的表示?
数字化只是第一步。
对于 AI 来说,知道一个字符对应哪个数字,或者一个像素对应什么颜色,并不等于理解它们的含义。
模型需要进一步建立能够反映信息特征和语义关系的内部表示。
这通常涉及三个重要概念:
- Tokenization:信息切分与编码。
- Embedding:向量表示。
- Representation Learning:表示学习。
2.1 Tokenization:将信息切分为 Token
以大语言模型为例,模型通常不会直接将整段文字作为一个不可分割的整体输入,而是先将文本切分为 Token。
Token 可以是:
- 一个完整单词。
- 一个词语的一部分。
- 一个汉字。
- 标点符号。
- 特殊控制标记。
例如:
人工智能正在改变世界
某个模型可能将其切分为:
["人工", "智能", "正在", "改变", "世界"]
这只是示意。不同模型使用不同的 Tokenizer,同一段文本的切分结果可能完全不同。
Tokenization 的主要作用是:
- 将文本转换为模型词表中的离散符号。
- 控制模型输入和输出的基本单位。
- 将不同语言和文本形式统一到模型可处理的序列中。
每个 Token 通常对应词表中的一个整数 ID。
例如:
| Token | Token ID |
|---|---|
| 人工 | 1024 |
| 智能 | 2048 |
| 正在 | 3056 |
| 改变 | 4096 |
| 世界 | 5120 |
以上 ID 仅用于说明,不代表真实模型的词表。
经过 Tokenization 后,文本可以表示为:
这里需要区分三个概念:
| 概念 | 含义 |
|---|---|
| 字符 | 人类语言中的基本书写单位 |
| Token | 模型处理的离散符号单位 |
| Token ID | Token 在词表中的整数索引 |
Token 不等于词语,也不等于字符。
中文、英文、代码和特殊符号在不同 Tokenizer 中可能有不同的切分方式。
2.2 Embedding:将 Token 转换为向量
Token ID 只是一个整数索引。
模型不能简单地根据整数大小理解 Token 之间的语义关系。
例如,Token ID 为 100 的词语,并不意味着它比 Token ID 为 200 的词语更重要,也不意味着二者之间存在某种语义距离。
因此,模型需要通过 Embedding 将离散的 Token ID 映射为连续向量。
假设模型的向量维度为 4:
实际大语言模型的隐藏维度通常远大于 4。
Embedding 可以理解为一个向量查找过程。
设:
- 词表大小为 V。
- Embedding 维度为 d。
- Embedding 矩阵为 W_E。
则:
对于 Token ID i,其向量表示为:
也就是从 Embedding 矩阵中取出对应的一行。
经过这一步,离散的 Token 就转换成了连续向量。
2.3 为什么要使用向量?
向量能够在连续数学空间中表达特征和关系。
例如:
猫
狗
汽车
经过训练后,模型可能学习到:
- 猫和狗在某些语义特征上比较接近。
- 猫和汽车在这些语义特征上可能相距较远。
- 猫与动物、宠物、哺乳动物等概念存在统计关联。
向量之间的相似程度可以通过余弦相似度等方式计算:
其中:
- A、B:两个向量。
- A\cdot B:向量点积。
- \|A\|、\|B\|:向量的模长。
余弦相似度越接近 1,说明两个向量的方向越接近。
但需要注意:
Embedding 向量并不是天然包含人类定义的语义标签,而是模型在训练过程中学习到的数值表示。
向量空间中的关系是由训练目标、数据分布、模型结构和参数共同塑造的。
2.4 Representation Learning:表示学习
表示学习是机器学习中的重要概念。
它指的是模型从数据中自动学习有用特征表示,而不是完全依赖人工设计特征。
传统机器学习中,开发人员可能需要手动提取特征。
例如,判断一封邮件是否为垃圾邮件,可能使用:
- 是否包含特定关键词。
- 是否存在大量链接。
- 发件人是否可疑。
- 邮件标题是否包含营销词汇。
深度学习则可以通过训练,让神经网络自动学习多层特征表示。
flowchart TB
A["原始数据"] --> B["初始特征表示"]
B --> C["低层特征提取"]
C --> D["中层特征组合"]
D --> E["高层特征表示"]
E --> F["任务相关信息"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
以图像识别为例:
- 低层特征:边缘、颜色、纹理。
- 中层特征:局部形状、部件结构。
- 高层特征:物体类别、场景关系。
以自然语言处理为例:
- 低层特征:词语、字符和局部模式。
- 中层特征:短语、句法关系。
- 高层特征:上下文语义、任务相关信息。
这并不是说模型内部一定存在与人类语言概念一一对应的层级结构,而是用于理解深度神经网络逐层提取和组合信息的基本思想。
三、AI 如何理解上下文和语义关系?
如果模型只把每个 Token 映射为一个固定向量,那么它仍然难以理解复杂语言。
因为同一个词语,在不同上下文中可能具有不同含义。
例如:
苹果很好吃。
苹果发布了新款手机。
两句话中的“苹果”指向的概念并不相同。
模型需要结合上下文,动态调整对 Token 的表示。
这正是现代大语言模型的重要能力之一。
3.1 上下文信息为什么重要?
自然语言具有明显的上下文依赖性。
一个词语的含义,通常受到以下因素影响:
- 前后词语。
- 所在句子。
- 当前段落。
- 对话历史。
- 当前任务。
- 领域知识。
例如:
Java 是一种编程语言。
我今天喝了一杯 Java。
第二句话中的 Java 可能涉及咖啡相关语境,而不是编程语言。
如果模型只根据单个词语进行判断,很容易产生歧义。
因此,AI 需要综合多个 Token 的信息,建立上下文相关的表示。
3.2 Attention:注意力机制
Attention 是现代 Transformer 架构中的核心机制之一。
它使模型能够根据当前处理位置的需要,动态关注序列中的其他位置。
例如:
小明把书放在桌子上,因为它很重。
模型需要结合上下文,判断“它”更可能指代什么。
注意力机制可以帮助模型建立不同 Token 之间的关联。
其核心思想是:
根据 Query 与 Key 的相关程度,计算不同 Value 的加权组合。
在 Transformer 中,输入向量会通过三个可学习的线性变换生成:
- Query(Q):当前 Token 希望寻找什么信息。
- Key(K):当前 Token 提供什么匹配特征。
- Value(V):当前 Token 实际提供的信息内容。
计算过程:
其中:
- X:输入向量矩阵。
- W_Q、W_K、W_V:模型训练得到的参数矩阵。
注意力权重通过以下公式计算:
其中:
- QK^T:计算 Query 与 Key 之间的相关性。
- d_k:Key 向量的维度。
- \sqrt{d_k}:缩放因子。
- softmax:将相关性分数转换为归一化权重。
- V:参与加权求和的信息。
最终结果是根据注意力权重,对多个 Value 进行加权组合。
3.3 注意力机制的计算过程
flowchart TB
A["输入向量 X"] --> B["线性变换"]
B --> C["生成 Query"]
B --> D["生成 Key"]
B --> E["生成 Value"]
C --> F["计算 Q 与 K 的相关性"]
D --> F
F --> G["缩放处理"]
G --> H["Softmax 归一化"]
H --> I["得到注意力权重"]
I --> J["对 Value 加权求和"]
E --> J
J --> K["输出上下文相关表示"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
3.4 Self-Attention:自注意力机制
Self-Attention 是指 Query、Key、Value 都来自同一组输入序列。
例如:
人工智能正在改变软件开发方式。
序列中的每个 Token 都可以根据注意力权重,聚合其他 Token 的信息。
这意味着:
- “人工”可以关注“智能”。
- “改变”可以关注“软件开发”。
- “方式”可以关注整个句子的上下文。
实际模型中的注意力关系由数据和参数共同决定,并不是简单地为每个词语指定固定的关联对象。
3.5 Multi-Head Attention:多头注意力
单个注意力头只能通过一组投影矩阵计算注意力关系。
Multi-Head Attention 则使用多个注意力头,让模型在不同的表示子空间中学习信息关联。
其基本形式为:
其中:
- h:注意力头数量。
- Concat:将多个注意力头的结果拼接。
- W_O:输出投影矩阵。
多个注意力头能够提供不同的信息组合方式,但不能简单理解为每个头都对应一种明确的人类语义关系。
3.6 位置编码:模型如何知道信息顺序?
Attention 本身并不天然理解序列顺序。
例如:
猫追狗。
狗追猫。
如果不提供位置信息,模型难以仅通过无序的 Token 集合区分这两句话。
因此,Transformer 需要引入位置信息。
常见方法包括:
- 绝对位置编码。
- 相对位置编码。
- RoPE(Rotary Position Embedding,旋转位置编码)。
- ALiBi(Attention with Linear Biases)。
以 RoPE 为例,它通过对 Query 和 Key 的部分维度施加与位置有关的旋转变换,使注意力计算能够体现相对位置信息。
位置编码解决的是序列顺序如何进入模型计算的问题。
需要注意,位置编码不是语义理解本身,而是模型理解序列结构的重要基础。
四、AI 如何从信息中学习知识?
前面介绍了信息如何转换为向量,以及模型如何建立上下文关系。
但模型为什么能够理解没有见过的句子,甚至回答训练数据中没有直接出现过的问题?
关键在于训练。
模型通过大量数据和优化算法,不断调整内部参数,使其逐渐学会数据中的统计规律和结构关系。
4.1 神经网络的基本结构
一个深度神经网络通常包含:
- 输入层:接收输入信息。
- 隐藏层:提取和组合特征。
- 输出层:产生预测结果。
以一个简单的神经网络为例:
其中:
- x:输入向量。
- W:权重矩阵。
- b:偏置项。
- f:激活函数。
- h:输出特征。
模型通常由大量这样的计算单元和参数构成。
通过多层网络的组合,模型能够学习复杂的非线性映射关系。
4.2 模型训练的基本过程
模型训练的核心目标是调整参数,使模型输出尽可能符合训练目标。
典型训练过程包括:
- 输入训练数据。
- 前向传播,计算模型输出。
- 根据真实目标计算损失。
- 反向传播,计算参数梯度。
- 优化器根据梯度更新参数。
- 重复训练过程。
flowchart TB
A["准备训练数据"] --> B["输入模型"]
B --> C["前向传播"]
C --> D["计算模型输出"]
D --> E["计算损失函数"]
E --> F["反向传播"]
F --> G["计算参数梯度"]
G --> H["优化器更新参数"]
H --> I{"是否继续训练"}
I -->|"是"| B
I -->|"否"| J["得到训练后的模型"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
4.3 损失函数:如何衡量模型预测得好不好?
损失函数用于衡量模型预测结果与训练目标之间的差异。
例如,语言模型训练时,通常需要预测下一个 Token。
假设真实的下一个 Token 是:
操作系统
模型可能输出:
| 候选 Token | 模型预测概率 |
|---|---|
| 操作系统 | 0.70 |
| 数据库 | 0.15 |
| 编译器 | 0.10 |
| 其他 | 0.05 |
如果真实 Token 的概率越高,通常意味着模型对当前训练目标的预测越好。
交叉熵损失可以表示为:
其中:
- V:词表大小。
- y_i:真实标签分布。
- p_i:模型预测概率。
当真实标签采用 One-Hot 编码时,损失可以简化为:
模型需要通过训练,尽可能提高真实 Token 的预测概率。
4.4 反向传播:模型如何调整参数?
模型产生预测结果后,需要知道哪些参数导致了当前误差。
反向传播通过链式法则计算损失函数对各个参数的梯度:
其中:
- L:损失函数。
- \theta:模型参数。
随后,优化器根据梯度更新参数。
以最基础的梯度下降为例:
其中:
- \theta_t:当前参数。
- \eta:学习率。
- \nabla_\theta L:损失函数对参数的梯度。
通过反复迭代,模型逐渐学习训练数据中的规律。
4.5 大语言模型为什么能够学习语言规律?
以自回归语言模型为例,其核心训练目标通常是根据前面的 Token 预测下一个 Token。
对于序列:
人工智能正在改变世界
模型可能学习以下预测任务:
输入:人工
预测:智能
输入:人工智能
预测:正在
输入:人工智能正在
预测:改变
输入:人工智能正在改变
预测:世界
实际训练时通常会通过并行化计算同时处理多个预测位置,而不是必须逐个 Token 串行完成训练。
自回归语言模型的典型目标函数为:
其中:
- x_t:当前位置的 Token。
- x_{<t}:当前位置之前的 Token。
- P_\theta:由模型参数决定的条件概率分布。
模型通过大量文本学习词语搭配、语法结构、上下文关联、知识表达方式和推理相关模式。
需要特别强调:
预测下一个 Token 是训练目标,并不意味着模型只会机械地预测文字。
为了提高预测能力,模型需要学习能够支持预测的多层次内部表示。这些表示可能包含语义、语法、知识关联和任务结构等信息。
不过,这种学习结果并不等于人类意义上的意识或主观理解。
五、AI 如何处理一条用户输入?
理解了信息表示、注意力机制和模型训练之后,可以把这些知识结合起来,看一条用户输入在大语言模型中的完整处理过程。
假设用户输入:
请解释一下 Python 中的装饰器。
5.1 输入预处理
系统接收用户输入,并根据模型接口和任务要求进行必要的处理。
可能涉及:
- 文本规范化。
- 消息结构解析。
- Tokenization。
- 特殊 Token 添加。
- 输入长度检查。
对于对话模型,输入通常不只是用户当前的一句话,还可能包含系统指令、历史消息、工具结果等上下文信息。
5.2 Tokenization
文本被转换为 Token 序列。
例如:
["请", "解释", "一下", "Python", "中", "的", "装饰器"]
实际切分结果取决于模型的 Tokenizer。
随后,Token 被映射为整数 ID。
5.3 Embedding 与位置处理
模型将 Token ID 转换为向量表示,并引入位置相关信息。
此时,模型输入不再只是离散的整数序列,而是一个包含多个向量的矩阵。
可以抽象表示为:
其中:
- T:输入序列长度。
- d:模型隐藏维度。
5.4 Transformer 网络处理
向量序列进入 Transformer 网络。
典型 Transformer Block 通常包含:
- 多头自注意力机制。
- 前馈神经网络(FFN)。
- 残差连接。
- Layer Normalization 或其他归一化结构。
不同模型在归一化方式、注意力实现、激活函数和网络结构上可能有所差异。
一个简化的 Transformer Block 可以表示为:
这里的公式是结构示意,实际实现还可能涉及位置编码、注意力掩码、门控机制等细节。
5.5 输出层与概率计算
经过多层网络处理后,模型会得到当前预测位置的隐藏状态。
随后通过输出投影层,将隐藏状态映射到词表维度:
其中:
- h:最终隐藏状态。
- W_U:输出投影矩阵。
- b_U:偏置项。
- z:Logits,即未归一化的分数。
再通过 Softmax 转换为概率分布:
模型由此得到下一个 Token 的概率分布。
5.6 解码与文本生成
模型根据解码策略,从概率分布中选择下一个 Token。
常见策略包括:
- Greedy Decoding:选择概率最高的 Token。
- Temperature:调整概率分布的尖锐程度。
- Top-K:只在概率最高的 K 个候选中采样。
- Top-P:从累计概率达到指定阈值的候选集合中采样。
生成一个 Token 后,模型将它加入上下文,再继续预测下一个 Token。
这个过程持续进行,直到达到停止条件。
flowchart TB
A["用户输入"] --> B["输入预处理"]
B --> C["Tokenization"]
C --> D["Token ID 序列"]
D --> E["Embedding 与位置处理"]
E --> F["Transformer 网络"]
F --> G["输出隐藏状态"]
G --> H["输出投影层"]
H --> I["Logits"]
I --> J["Softmax 概率分布"]
J --> K["解码与 Token 选择"]
K --> L{"是否结束生成"}
L -->|"否"| M["将新 Token 加入上下文"]
M --> F
L -->|"是"| N["生成最终文本"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style M fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style N fill:#DCEFE5,stroke:#4F8B70,color:#24563F