一、什么是向量空间?
向量空间(Vector Space)是由向量构成,并定义了向量加法和标量乘法等运算规则的数学结构。
在机器学习和自然语言处理中,向量空间为文本、词语、句子、图像等对象提供了一种统一的数值表示方式。
例如:
猫 → [0.21, 0.83, -0.14, 0.56]
狗 → [0.19, 0.79, -0.11, 0.52]
汽车 → [0.91, -0.32, 0.45, -0.18]
这些向量本身没有直接可读的自然语言含义,但模型可以通过向量之间的数学关系,学习和表达对象之间的关联。
1.1 向量的基本形式
一个 n 维向量可以表示为:
其中:
- \mathbf{x}:一个向量。
- x_i:向量的第 i 个维度。
- n:向量维度。
- \mathbb{R}^{n}:由 n 个实数构成的向量空间。
例如,一个 4 维向量:
可以看作四个数值维度共同构成的一个表示。
在机器学习中,向量维度通常由模型架构决定,并不一定对应人类能够明确命名的概念。
1.2 向量空间中的基本运算
向量加法
两个维度相同的向量可以逐维相加:
标量乘法
向量可以与一个实数相乘:
向量减法
点积
点积可以衡量两个向量在方向上的一致程度,也是计算余弦相似度和注意力权重的重要基础。
二、为什么要将语义表示为向量?
计算机无法直接按照人类的方式理解自然语言。
对于计算系统而言,文本首先是一串离散符号。要让模型处理语义关系,需要将离散的文本转化为可计算的数值表示。
一种最简单的方式是使用整数编码:
猫 → 101
狗 → 102
汽车 → 103
但这种编码只能表示不同对象的身份,不能直接表达它们之间的语义关系。
例如:
- 猫和狗在语义上都属于动物。
- 汽车和自行车都属于交通工具。
- 苹果和香蕉都属于水果。
整数编码无法直接体现这些关系。
如果使用向量表示,模型就可以通过训练,让语义相近的对象在向量空间中形成一定的几何关联。
离散文本
↓
数值编码
↓
向量表示
↓
计算向量之间的关系
↓
实现语义匹配、分类、聚类等任务
因此,向量表示的核心价值是:
将难以直接计算的语义关系,转化为可以通过数学运算处理的数值关系。
需要注意,向量化并不意味着计算机获得了人类意义上的理解。它意味着模型学习到了一种能够支持预测和任务处理的数值表示。
三、Embedding:从离散符号到连续向量
Embedding(嵌入)是将离散对象映射到连续向量空间的技术。
在自然语言处理中,Embedding 可以将 Token、词语、句子或文档表示为向量。
3.1 Token Embedding
大语言模型通常先通过 Tokenizer 将文本切分为 Token,再将 Token 转换为 Token ID。
例如:
原始文本
↓
Tokenizer
↓
Token 序列
↓
Token ID 序列
↓
Embedding 层
↓
向量序列
假设词表中包含以下 Token:
| Token | Token ID |
|---|---|
| 我 | 101 |
| 喜欢 | 205 |
| 人工智能 | 308 |
模型可以通过 Embedding 矩阵,将每个 Token ID 映射为一个固定维度的向量。
设词表大小为 V,Embedding 维度为 d,则 Embedding 矩阵为:
对于 Token ID i,对应的向量为:
例如:
表示词表包含 50000 个 Token,每个 Token 对应一个 768 维向量。
这里需要区分:
- Token ID 是词表中的离散索引。
- Embedding 向量是模型学习得到的连续数值表示。
- 向量维度不是 Token 数量。
- Token ID 的大小不代表语义大小或相似程度。
3.2 Embedding 是如何学习的?
Embedding 通常是模型训练过程中的可学习参数。
在训练开始时,Embedding 参数可能通过随机初始化获得初始值。
随着模型训练,损失函数产生梯度,反向传播将梯度传递到 Embedding 参数,优化器再根据梯度更新参数。
其过程可以抽象为:
flowchart TB
A["输入 Token ID"] --> B["查询 Embedding 矩阵"]
B --> C["获得初始向量表示"]
C --> D["参与模型前向计算"]
D --> E["计算训练损失"]
E --> F["反向传播计算梯度"]
F --> G["更新 Embedding 参数"]
G --> H["形成新的向量表示"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
Embedding 并不是通过人工指定每个维度的含义来构建的。
它通过训练目标和上下文关系,逐渐形成对下游任务有用的表示。
3.3 静态 Embedding 与上下文相关表示
传统词向量模型通常为一个词学习一个相对固定的向量。
例如,Word2Vec 和 GloVe 都属于经典的静态词向量方法。
但自然语言存在多义性。
例如:
- 苹果是一种水果。
- 苹果发布了一款新产品。
两个句子中的「苹果」具有不同的语义。
静态词向量通常无法根据上下文动态调整同一个词的表示。
现代 Transformer 模型则通过上下文计算生成动态表示:
其中:
- x_i:第 i 个 Token。
- \mathbf{h}_i:模型在当前上下文中为该 Token 生成的隐藏表示。
- f:模型的上下文计算过程。
因此,同一个 Token 在不同上下文中可以产生不同的隐藏向量。
需要注意,Token Embedding 和上下文隐藏状态不是同一个概念:
| 类型 | 含义 |
|---|---|
| Token Embedding | Token ID 对应的基础向量 |
| Position Embedding | 表示位置信息的向量或位置编码 |
| Hidden State | 经过模型层计算后的上下文表示 |
| Sentence Embedding | 将句子整体映射为一个向量 |
| Document Embedding | 将文档整体映射为一个向量 |
四、向量空间中的几何关系
向量表示的价值不仅在于将文本转换为数字,更重要的是可以利用几何关系衡量不同表示之间的关联。
4.1 向量的模长
向量模长(Norm)表示向量的长度。
对于向量:
其 L2 范数为:
例如:
则:
模长可以用于衡量向量的数值规模。
在不同模型和应用中,向量模长可能具有不同意义,不能简单地将模长越大理解为语义越强。
4.2 欧氏距离
欧氏距离(Euclidean Distance)表示两个向量在空间中的直线距离。
对于两个 n 维向量:
欧氏距离为:
距离越小,表示两个向量在该度量下越接近。
常见应用:
- 向量聚类。
- K-Means。
- 最近邻搜索。
- 特征空间中的距离计算。
但是,欧氏距离会受到向量模长影响。如果任务更关注方向而非数值规模,余弦相似度通常更合适。
4.3 余弦相似度
余弦相似度(Cosine Similarity)衡量两个向量方向之间的相似程度。
定义为:
其取值范围为:
通常可以这样理解:
| 余弦相似度 | 几何关系 |
|---|---|
| 接近 1 | 方向相近 |
| 接近 0 | 方向近似正交 |
| 接近 -1 | 方向相反 |
例如:
两个向量方向非常接近,因此余弦相似度较高。
余弦相似度在语义搜索、文本匹配和推荐系统中应用广泛。
需要注意:
- 余弦相似度主要衡量方向,不直接衡量向量长度。
- 零向量的余弦相似度没有定义,实际实现通常需要特殊处理。
- 相似度高不代表两个文本完全等价。
- 不同 Embedding 模型产生的向量,通常不能直接比较。
4.4 点积与余弦相似度的区别
点积和余弦相似度关系密切,但并不相同。
其中 \theta 是两个向量之间的夹角。
点积同时受到方向和模长影响,而余弦相似度对向量模长进行了归一化。
| 比较项 | 点积 | 余弦相似度 |
|---|---|---|
| 是否考虑方向 | 是 | 是 |
| 是否考虑模长 | 是 | 否,归一化后不考虑 |
| 数值范围 | 不固定 | [-1, 1] |
| 常见用途 | Attention、向量检索 | 语义相似度、文本匹配 |
如果向量都经过 L2 归一化:
那么:
这也是很多向量检索系统使用归一化向量和内积进行相似度搜索的原因。
五、语义空间:向量如何表达语义关系?
语义空间(Semantic Space)是指模型通过向量表示学习到的、能够反映语义关联的表示空间。
在理想情况下,语义相近的对象会在空间中表现出一定的相似性。
例如:
- 猫、狗、兔子可能形成动物相关的局部区域。
- 苹果、香蕉、橙子可能形成水果相关的局部区域。
- 汽车、公交车、地铁可能形成交通工具相关的局部区域。
但需要注意:
语义空间不是人工绘制的概念分类地图,而是模型通过训练目标形成的高维表示结构。
它可能同时编码多个因素,例如:
- 词语含义。
- 上下文关系。
- 语法结构。
- 领域信息。
- 任务相关特征。
- 词语之间的统计关联。
5.1 语义相似性
语义相似性(Semantic Similarity)表示两个文本在含义上的接近程度。
例如:
文本 A:如何学习 Python 编程?
文本 B:Python 应该从哪里开始入门?
虽然两个句子的词语并不完全相同,但它们表达的意图相近。
基于语义 Embedding,可以将它们转换为向量:
然后计算:
如果两个向量具有较高的相似度,就说明模型认为它们在当前表示空间中具有较强关联。
5.2 语义相似不等于语义相同
以下文本可能具有较高的主题相似度,但实际含义并不相同:
文本 A:如何安装 Python?
文本 B:如何卸载 Python?
它们共享大量词汇和主题,但操作目标完全相反。
这说明:
- 词汇相似不等于语义相似。
- 主题相似不等于意图相同。
- 向量相似度不能代替完整的语义判断。
Embedding 模型的训练目标、数据分布和任务类型都会影响其相似度表现。
5.3 语义方向与向量关系
在经典词向量研究中,曾观察到一些词语关系可以通过向量运算呈现。
例如:
这一现象说明,某些语义关系可能在特定词向量空间中表现为相对稳定的几何方向。
但不能将其理解为:
- 所有语义关系都具有线性结构。
- 每个向量维度都对应一个明确的人类概念。
- 任意模型都能稳定复现这种关系。
- 向量运算一定能得到符合常识的结果。
现代上下文 Embedding 的表示空间更加复杂,语义关系也不一定能够通过简单的向量加减表达。
六、高维向量空间与维度诅咒
Embedding 通常具有较高维度,例如 384、768、1024、1536 或更高。
高维空间能够为模型提供更丰富的表示容量,但也会带来计算和几何方面的问题。
6.1 为什么需要高维表示?
自然语言包含大量复杂关系:
- 词汇语义。
- 语法关系。
- 上下文依赖。
- 实体关系。
- 领域知识。
- 任务特征。
低维表示可能难以充分表达这些关系。
增加维度能够提供更大的表示空间,但并不意味着维度越高,效果一定越好。
实际效果还取决于:
- 模型结构。
- 训练数据。
- 训练目标。
- 参数规模。
- 负样本构造。
- 向量归一化方式。
- 下游任务。
6.2 维度诅咒
维度诅咒(Curse of Dimensionality)描述了数据维度增加后,许多传统几何和统计直觉可能失效的现象。
例如,在低维空间中,邻近点通常比较容易识别。
但在高维空间中:
- 数据分布可能变得稀疏。
- 距离计算的区分能力可能下降。
- 最近邻和最远邻之间的距离差异可能缩小。
- 模型可能需要更多数据才能覆盖空间。
在独立同分布、坐标尺度相近等特定条件下,高维随机向量的距离可能出现集中现象。
这意味着不能仅凭向量距离大小,就假定其具有稳定的语义解释。
6.3 向量归一化
L2 归一化可以将向量映射到单位球面:
归一化后:
它可以降低向量模长差异对相似度计算的影响。
但归一化并不是所有任务的默认正确选择。
如果模型训练目标本身利用向量模长表达置信度或其他信息,盲目归一化可能损失有用信息。
七、句子 Embedding 与文档 Embedding
Token Embedding 主要处理单个 Token 的表示,而语义搜索通常需要比较完整句子或文档。
因此,需要将 Token 序列进一步转换为一个固定维度的向量。
7.1 Mean Pooling
Mean Pooling(平均池化)是常见的句子向量生成方式。
假设一个句子经过模型后产生 n 个 Token 隐藏向量:
平均池化:
在实际实现中,通常需要通过 Attention Mask 排除 Padding Token:
其中 m_i 表示该位置是否为有效 Token。
Mean Pooling 简单、计算成本低,但并不保证生成的句子向量具备良好的语义检索能力。
7.2 CLS Pooling
部分模型使用特殊的 CLS Token 表示整个输入序列。
模型通过训练,使 CLS 位置的隐藏状态能够承载与任务相关的序列信息。
这种方法依赖模型架构和训练目标,并不是所有 Transformer 都适合直接使用 CLS Pooling。
7.3 专门训练的 Sentence Embedding
现代语义搜索通常使用专门训练的句子 Embedding 模型。
常见训练方法包括:
- 对比学习(Contrastive Learning)。
- 三元组损失(Triplet Loss)。
- 多负样本排序损失。
- 配对文本相似度训练。
- 查询与文档的相关性训练。
例如,对比学习可以让正样本向量更加接近,让负样本向量更加远离。
一种常见的 InfoNCE 损失形式为:
其中:
- \mathbf{q}_i:查询向量。
- \mathbf{d}_i^+:与查询匹配的正样本文档向量。
- \mathbf{d}_j:候选文档向量,通常包含负样本。
- sim:相似度函数。
- \tau:温度参数。
这种训练方式能够让向量空间更适合语义检索任务。
八、向量空间在 AI 中的典型应用
8.1 语义搜索
传统关键词搜索主要依赖关键词匹配。
例如:
用户查询:怎样提升程序运行速度?
文档中可能出现:
性能优化:降低程序执行时间的方法
两者没有完全相同的关键词,但表达的含义接近。
语义搜索可以将查询和文档转换为向量,再计算相似度。
flowchart TB
A["用户输入查询"] --> B["查询 Embedding"]
B --> C["生成查询向量"]
D["文档集合"] --> E["文档切分"]
E --> F["文档 Embedding"]
F --> G["生成文档向量"]
C --> H["向量相似度计算"]
G --> H
H --> I["排序与筛选"]
I --> J["返回相关文档"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#E5F0E9,stroke:#83A995,color:#315D49
语义搜索通常包括:
- 将文档切分为适当的文本块。
- 使用 Embedding 模型生成文档向量。
- 将向量写入向量数据库或向量索引。
- 将用户查询转换为查询向量。
- 检索相似度较高的候选文档。
- 根据相关性排序并返回结果。
8.2 RAG 检索增强生成
RAG(Retrieval-Augmented Generation)将外部知识检索与大语言模型生成结合起来。
向量检索通常是 RAG 的重要组成部分。
其基本过程: