一、什么是向量数据库?
向量数据库(Vector Database)是一种专门用于存储、索引、检索和管理高维向量数据的数据库系统。
与传统关系型数据库主要通过主键、字段值和条件表达式查找数据不同,向量数据库的核心任务是:
根据向量之间的距离或相似度,找到与查询向量最接近的数据。
例如,知识库中有三段文本:
文本 A:Redis 是一种内存数据结构存储系统。
文本 B:Redis 支持 String、Hash、List 等数据类型。
文本 C:Transformer 使用 Self-Attention 机制。
通过 Embedding 模型,可以将文本转换为向量:
当用户查询:
Redis 支持哪些数据类型?
系统将查询转换为向量:
然后计算查询向量与数据库中各个向量之间的相似度,返回最相关的文本。
向量数据库通常负责:
- 向量存储。
- 向量索引构建。
- 相似度计算。
- 最近邻检索。
- 元数据过滤。
- 数据更新与删除。
- 检索结果排序。
- 向量数据持久化。
需要注意,向量数据库通常不负责理解原始文本,也不一定负责生成 Embedding。Embedding 模型和向量数据库是两个不同的组件。
二、向量数据库在 RAG 中的位置
在 RAG 架构中,向量数据库主要承担知识存储和相似度检索的职责。
整体架构分为离线知识入库和在线查询两个阶段。
2.1 离线知识入库
flowchart TD
A["原始文档"] --> B["文档解析"]
B --> C["文本切片 Chunking"]
C --> D["生成 Embedding"]
D --> E["构建向量记录"]
E --> F["写入向量数据库"]
F --> G["构建或更新向量索引"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
2.2 在线查询
flowchart TD
A["用户问题"] --> B["Query Embedding"]
B --> C["生成查询向量"]
C --> D["向量数据库"]
D --> E["相似度检索"]
E --> F["元数据过滤"]
F --> G["返回 Top-K Chunk"]
G --> H["Reranking"]
H --> I["构建上下文"]
I --> J["大模型生成答案"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这里需要区分几个概念:
| 组件 | 主要职责 |
|---|---|
| Embedding Model | 将文本或其他数据转换为向量 |
| Vector Database | 存储、索引和检索向量 |
| ANN Index | 加速高维向量近邻搜索 |
| Reranker | 对初步检索结果进行精细排序 |
| LLM | 根据检索上下文生成答案 |
向量数据库解决的是向量检索问题,并不等于完整的 RAG 系统。
三、向量数据的基本结构
理解向量数据库,需要先理解它存储的数据结构。
3.1 什么是向量?
向量是由多个数值组成的有序数组。
例如:
这是一个 4 维向量。
Embedding 模型通常会将输入数据映射到一个高维向量空间。
例如:
其中:
- text:输入文本。
- d:向量维度。
- \mathbb{R}^{d}:d 维实数向量空间。
常见 Embedding 维度可能是 384、768、1024、1536 或其他数值,具体取决于模型。
需要注意:
- 向量维度不是 Token 数量。
- 向量元素不是单词或字符。
- 向量坐标通常没有直接可解释的独立语义。
- 不同 Embedding 模型生成的向量空间通常不能直接混合比较。
3.2 向量记录(Vector Record)
向量数据库通常不只保存向量,还会保存向量对应的标识、原始内容或元数据。
例如:
{
"id": "chunk_001",
"vector": [0.12, 0.35, 0.81, 0.24],
"metadata": {
"document_id": "doc_001",
"title": "Redis 技术文档",
"section": "数据类型",
"page": 12,
"content": "Redis 支持 String、Hash、List 等数据类型。",
"version": "2.0"
}
}
一条记录通常包含三个核心部分:
| 字段 | 作用 |
|---|---|
| ID | 唯一标识向量记录 |
| Vector | 用于相似度计算 |
| Metadata | 保存业务属性和关联信息 |
部分向量数据库支持独立的文本字段、稀疏向量、多个向量字段和多模态数据。
实际数据结构取决于数据库的产品设计。
3.3 向量与原始文本的关系
向量本身通常不能直接还原成原始文本。
因此,系统需要维护向量与原始知识之间的关联。
常见设计有两种:
方案一:向量数据库保存完整文本
Vector Record
├── ID
├── Vector
├── Text
└── Metadata
优点是检索后可以直接返回文本。
方案二:向量数据库只保存向量和关联 ID
Vector Record
├── ID
├── Vector
└── Metadata
└── document_id
检索命中后,再通过 ID 从文档数据库或对象存储中读取原始内容。
这种设计可以将向量索引和原始内容存储分离,便于独立扩展。
四、向量相似度计算原理
向量数据库的核心操作是计算向量之间的距离或相似度。
常见方法包括:
- Cosine Similarity:余弦相似度。
- Euclidean Distance:欧氏距离。
- Dot Product:点积。
- Manhattan Distance:曼哈顿距离。
不同距离函数会影响向量排序结果,因此需要与 Embedding 模型的训练方式和使用约定保持一致。
4.1 余弦相似度(Cosine Similarity)
余弦相似度通过两个向量之间的夹角衡量方向相似程度。
公式:
其中:
- A:向量 A。
- B:向量 B。
- A\cdot B:向量点积。
- \|A\|:向量 A 的模长。
- \|B\|:向量 B 的模长。
计算结果通常位于:
对于非零向量:
- 越接近 1,方向越相似。
- 越接近 0,方向越接近正交。
- 越接近 -1,方向越相反。
示例:
则:
所以:
余弦相似度主要关注方向,不直接关注向量长度。
适用场景:
- 文本语义检索。
- 文档相似度。
- 语义搜索。
- Embedding 向量匹配。
4.2 欧氏距离(Euclidean Distance)
欧氏距离表示两个向量在空间中的直线距离。
公式:
例如:
则:
欧氏距离越小,两个向量越接近。
特点:
- 考虑向量方向和长度。
- 对向量尺度较敏感。
- 常用于空间距离计算。
- 在某些聚类和检索任务中很常见。
4.3 点积(Dot Product)
点积表示两个向量对应元素相乘后求和。
公式:
例如:
则:
点积同时受到向量方向和长度影响。
当向量已经经过 L2 归一化时:
此时:
因此,在单位归一化向量上,点积可以用于计算余弦相似度,并且通常更容易实现高效计算。
4.4 曼哈顿距离(Manhattan Distance)
曼哈顿距离计算两个向量各维度差值绝对值之和。
公式:
例如:
则:
它适用于某些对坐标轴方向差异敏感的任务,但并不是常规文本 Embedding 检索中最常见的默认选择。
4.5 不同距离度量的区别
| 度量方式 | 关注重点 | 优化方向 |
|---|---|---|
| Cosine | 向量方向 | 越大越相似 |
| Euclidean | 空间直线距离 | 越小越相似 |
| Dot Product | 方向与向量长度 | 越大通常越相似 |
| Manhattan | 各维度绝对差值 | 越小越相似 |
一个容易忽略的问题:
不同距离函数不能随意替换。
即使两个 Embedding 模型的维度相同,也不代表它们适合使用相同的距离度量。
需要参考模型训练目标、向量归一化方式以及数据库对距离的具体定义。
五、为什么需要向量索引?
如果向量数据库只有向量存储,没有索引,那么查询时可能需要遍历全部向量。
假设数据库有 1000 万条向量,每条向量有 768 个维度。
暴力搜索需要对大量向量逐一计算距离。
5.1 暴力搜索(Brute-force Search)
暴力搜索也称为精确最近邻搜索(Exact Nearest Neighbor Search)。
假设数据库有:
查询向量为 q。
系统计算:
然后根据距离或相似度排序,取出 Top-K。
基本流程:
flowchart TD
A["输入查询向量 q"] --> B["读取全部向量"]
B --> C["逐条计算距离"]
C --> D["得到距离集合"]
D --> E["排序"]
E --> F["选取 Top-K"]
F --> G["返回检索结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
对于 N 条 d 维向量:
- 计算距离的时间复杂度通常为 O(Nd)。
- 完整排序通常需要 O(N\log N)。
- 如果只维护 Top-K,可以使用大小为 K 的堆,通常需要 O(N\log K)。
当数据规模较小时,暴力搜索可能具有不错的性能,而且能够获得精确结果。
但当数据规模增长时,逐条计算的成本会显著增加。
5.2 精确检索与近似检索
向量索引的核心目标是减少搜索过程中需要访问的向量数量。
这里有两个重要概念:
Exact Nearest Neighbor,精确最近邻
返回数据库中真实距离最近的 Top-K 向量。
Approximate Nearest Neighbor,近似最近邻
通过索引结构减少搜索范围,返回高概率接近真实最近邻的结果。
近似检索不保证每次都找到数学意义上真正最近的全部向量,但通常能够在检索质量和性能之间取得较好平衡。
常见索引算法:
- HNSW。
- IVF。
- PQ。
- IVF-PQ。
- DiskANN。
- ScaNN。
不同算法采用不同的数据组织方式和搜索机制。
六、HNSW 索引原理
HNSW(Hierarchical Navigable Small World)是向量数据库中非常常见的一种近似最近邻索引算法。
其核心思想是:
构建多层近邻图,通过高层快速定位目标区域,再逐层进入底层进行精细搜索。
6.1 什么是近邻图?
近邻图是一种图结构。
每个向量对应一个节点,节点之间通过边连接。
边通常表示两个向量之间存在一定的邻近关系。
例如:
A
/ \
B---C
/ \ \
D---E---F
当查询一个新向量时,可以从某个入口节点开始,不断访问更接近查询向量的邻居。
6.2 为什么需要分层?
如果只有一层图,搜索可能需要经过大量节点才能找到目标区域。
HNSW 使用多层结构:
- 高层:节点较少,负责快速跳转。
- 中层:负责缩小搜索范围。
- 底层:包含全部数据节点,进行更精细的搜索。
可以将其理解为:
Layer 2:A -------- G
Layer 1:A --- C --- G --- J
Layer 0:A-B-C-D-E-F-G-H-I-J-K-L
高层节点数量较少,能够帮助搜索快速跨越较大的区域。
6.3 HNSW 搜索流程
flowchart TD
A["输入查询向量"] --> B["从最高层入口节点开始"]
B --> C["计算当前节点及邻居距离"]
C --> D{"是否存在更近的邻居"}
D -->|"是"| E["移动到更近的邻居"]
E --> C
D -->|"否"| F{"是否还有下一层"}
F -->|"是"| G["进入下一层"]
G --> C
F -->|"否"| H["底层候选集搜索"]
H --> I["维护候选节点集合"]
I --> J["返回 Top-K"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
实际 HNSW 搜索比图中的简化流程更复杂。
通常会维护:
- 当前搜索节点。
- 已访问节点集合。
- 候选节点队列。
- 当前最优结果集合。
- 搜索扩展参数。
高层通常使用贪心搜索不断寻找更近的节点,直到无法进一步改善,再进入下一层。
在底层,算法使用更大的候选搜索范围,以获得较好的召回效果。
6.4 HNSW 构建过程
HNSW 不只是搜索算法,还包含索引构建过程。
每插入一个新向量,通常需要:
- 为新节点随机分配最高层级。
- 从入口节点开始搜索邻近节点。
- 在各层找到候选邻居。
- 选择适合的邻居建立连接。
- 根据连接限制修剪部分边。
- 将新节点加入图结构。
- 必要时更新入口节点。
层级通常采用概率分布生成,使得越高层的节点越稀疏。
6.5 HNSW 的关键参数
| 参数 | 含义 | 影响 |
|---|---|---|
| M | 每个节点允许的邻居连接数量相关参数 | 影响图密度与内存 |
| ef_construction | 构建索引时的搜索候选规模 | 影响构建质量和速度 |
| ef_search | 查询时的搜索候选规模 | 影响召回率和延迟 |
| max_elements | 索引支持的最大元素数量 | 影响容量规划 |
其中:
M 越大:
- 图连接通常更加丰富。
- 搜索可能更容易找到有效路径。
- 内存占用增加。
- 索引构建成本可能增加。
ef_construction 越大:
- 构建时考虑更多候选邻居。
- 通常有利于索引质量。
- 构建速度下降。
- 构建资源消耗增加。
ef_search 越大:
- 查询时探索更多候选节点。
- 通常有利于提高 Recall@K。
- 查询延迟和计算开销增加。
HNSW 的参数需要根据数据分布、维度、数据规模和召回目标进行测试,不能只依赖默认值。
6.6 HNSW 的优缺点
优点:
- 检索速度较快。
- 召回率通常较高。
- 支持动态插入。
- 适合内存充足的场景。
- 对很多通用向量检索任务具有较好的表现。
缺点:
- 图结构需要额外内存。
- 构建索引存在计算开销。
- 大规模数据可能需要较高内存预算。
- 删除操作和图维护相对复杂。
- 参数调节需要实验。
七、IVF 倒排索引原理
IVF(Inverted File Index)是一种基于聚类思想的向量索引方法。
它的核心思路是:
先将向量空间划分为多个区域,查询时只搜索其中最相关的部分区域。
7.1 聚类与分区
假设有大量向量:
通过聚类算法将它们划分为 K 个簇:
每个簇具有一个中心向量:
通常可以使用 K-Means 训练这些中心点。
示意:
向量空间
● ● ●
● C1 ●
● ●
● C2 ●
● ●
● C3 ●
● ● ●
● C4 ●
7.2 IVF 建立索引
构建 IVF 索引时:
- 训练聚类中心。
- 计算每个向量与聚类中心的距离。
- 将向量分配到最近的簇。
- 为每个簇维护向量列表。
例如:
Cluster 1:
Vector A
Vector B
Vector C
Cluster 2:
Vector D
Vector E
Cluster 3:
Vector F
Vector G
7.3 IVF 查询流程
查询时,不需要搜索所有簇。
先计算查询向量与聚类中心的距离,再选择最近的若干个簇进行搜索。
这个数量通常由 nprobe 控制。
flowchart TD
A["输入查询向量"] --> B["计算与聚类中心的距离"]
B --> C["选择最近的 nprobe 个簇"]
C --> D["读取选中簇中的向量"]
D --> E["计算精确距离"]
E --> F["合并候选结果"]
F --> G["返回 Top-K"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
7.4 nlist 与 nprobe
IVF 有两个重要参数:
| 参数 | 含义 |
|---|---|
| nlist | 聚类中心数量,即分区数量 |
| nprobe | 查询时实际探测的簇数量 |
假设:
那么查询时只探测 16 个簇,而不是搜索全部 1024 个簇。
通常:
- nlist 越大,分区越细。
- nprobe 越大,搜索范围越广。
- nprobe 越大,召回率通常越高。
- nprobe 越大,查询开销通常越高。
但 nlist 过大可能使聚类训练和索引维护变得复杂。
7.5 IVF 的优缺点
优点:
- 可以减少搜索范围。
- 适合大规模向量数据。
- 可以结合量化压缩。
- 搜索范围容易通过 nprobe 调整。
缺点:
- 依赖聚类质量。
- 聚类边界可能造成漏检。
- 新数据分布变化时可能需要重新训练。
- nlist 与 nprobe 需要结合数据规模调节。
八、PQ 向量量化原理
PQ(Product Quantization,乘积量化)主要用于降低向量存储成本和距离计算开销。
它不是简单的向量索引,而是一种向量压缩技术,通常可以与 IVF 等索引结合使用。
8.1 为什么需要量化?
假设一个向量具有 1536 个维度。
如果每个维度使用 FP32:
也就是每条向量约占 6 KB。
如果有 1000 万条向量:
仅原始向量数据就需要约 61.44 GB,尚未计算索引、元数据和其他系统开销。
当数据规模非常大时,向量内存会成为重要成本。
8.2 PQ 的核心思想
PQ 将一个高维向量拆分为多个低维子向量。
例如,一个 8 维向量:
可以拆成 4 个 2 维子向量:
然后分别对每个子空间进行聚类,建立对应的码本(Codebook)。
每个子向量不再保存完整浮点数,而是保存它所属聚类中心的编号。
8.3 PQ 编码过程
flowchart TD
A["输入高维向量"] --> B["划分为多个子向量"]
B --> C["每个子空间独立聚类"]
C --> D["生成多个 Codebook"]
D --> E["寻找每个子向量最近的中心"]
E --> F["保存中心编号"]
F --> G["得到压缩向量编码"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
8.4 PQ 的压缩效果
假设:
- 原始维度 d=1536。
- 划分为 m=96 个子向量。
- 每个子空间使用 256 个聚类中心。
每个子向量只需要保存一个 8 位编号:
因此,每条向量的编码大小为:
原始 FP32 向量约为:
理论上,向量编码部分压缩为原来的:
实际系统还需要保存 Codebook、ID、索引结构和其他元数据,因此整体存储压缩比例不会完全等于这个数值。
8.5 PQ 如何计算距离?
查询向量不一定需要与每个原始向量完整解码后再计算距离。
可以预先计算查询向量各个子空间与 Codebook 中聚类中心的距离,构建距离查找表。
然后通过查表累加近似距离。
这样能够降低计算和内存访问开销。
但由于原始向量经过量化压缩,距离计算是近似的,可能带来召回率损失。
8.6 IVF-PQ
IVF 和 PQ 可以组合使用:
- IVF 负责缩小搜索区域。
- PQ 负责压缩向量。
- 查询时只在部分分区中搜索压缩向量。
- 对候选结果进行近似距离计算。
- 必要时使用原始向量进行精确重排。
这种组合适合对存储成本和大规模检索性能要求较高的场景。
九、其他常见向量索引技术
9.1 DiskANN
DiskANN 是面向大规模向量检索的一类图索引技术。
其重要特点是:
- 利用 SSD 等外部存储保存大量索引数据。
- 将部分关键结构放在内存中。
- 通过图搜索访问相关节点。
- 降低完全依赖内存的成本。
它适合内存无法容纳全部向量数据,但仍需要较高检索性能的场景。
需要注意,DiskANN 是一系列相关算法和实现的统称,不同实现的索引结构、缓存和磁盘访问策略可能存在差异。
9.2 ScaNN
ScaNN 是 Google 提出的向量相似度搜索系统。
它采用分区、候选筛选和量化等技术加速检索。
其核心目标是在大规模向量数据中实现高效的近似最近邻搜索。
9.3 常见索引对比
| 索引技术 | 核心思想 | 主要优势 | 主要限制 |
|---|---|---|---|
| Flat | 暴力精确搜索 | 结果精确,实现简单 | 大规模查询成本高 |
| HNSW | 多层近邻图 | 低延迟、召回率较高 | 内存占用较大 |
| IVF | 聚类分区 | 减少搜索范围 | 依赖聚类质量 |
| PQ | 子空间量化 | 压缩存储 | 近似距离存在误差 |
| IVF-PQ | 分区与量化结合 | 适合大规模数据 | 参数和精度权衡复杂 |
| DiskANN | 磁盘辅助图搜索 | 降低内存压力 | 磁盘访问带来额外延迟 |
| ScaNN | 分区与量化优化 | 高效近似搜索 | 依赖具体实现与数据分布 |
不存在适用于所有业务的最佳索引。
实际选型需要同时考虑:
- 数据规模。
- 向量维度。
- 内存容量。
- 磁盘性能。
- 查询 QPS。
- Recall@K。
- 查询延迟。
- 数据更新频率。
十、向量数据库的完整内部架构
向量数据库不仅是一个 ANN 索引。
一个生产级向量数据库通常还包括数据接入、存储引擎、索引管理、查询执行、元数据过滤、事务或一致性管理等模块。
10.1 逻辑架构
flowchart TD
A["客户端 / 应用程序"] --> B["API 接入层"]
B --> C["查询与写入协调器"]
C --> D["Schema 与 Collection 管理"]
C --> E["查询执行引擎"]
C --> F["写入处理引擎"]
E --> G["向量索引模块"]
E --> H["元数据过滤模块"]
E --> I["距离计算模块"]
F --> J["数据缓冲与持久化"]
F --> G
J --> K["磁盘存储"]
G --> L["索引存储"]
H --> M["元数据索引"]
K --> N["恢复与一致性管理"]
L --> N
M --> N
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style E fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style F fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style M fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style N fill:#E5F0E9,stroke:#83A995,color:#315D49
不同产品的实际内部架构并不完全相同。
例如,有些系统使用内存优先架构,有些系统采用磁盘与内存分层,有些系统将向量索引集成在现有数据库引擎中。
上图描述的是逻辑模块,不代表所有向量数据库都采用相同的物理实现。
10.2 Collection
Collection 可以理解为向量数据的逻辑集合,类似关系型数据库中的表。
一个 Collection 通常具有:
- Collection Name。
- Vector Dimension。
- Distance Metric。
- ID。
- Vector Field。
- Metadata Schema。
- Index Configuration。
例如:
{
"collection": "knowledge_base",
"dimension": 768,
"metric_type": "COSINE",
"fields": {
"id": "string",
"vector": "float_vector",
"content": "string",
"document_id": "string",
"category": "string"
}
}
同一个 Collection 中的向量通常需要满足相同的向量维度要求。
某些数据库支持多向量字段,但每个向量字段仍然需要满足各自的维度和配置约束。
10.3 Schema 管理
Schema 用于定义向量记录的字段结构和数据类型。
常见字段类型:
- String。
- Integer。
- Float。
- Boolean。
- Array。
- JSON。
- Vector。
- Sparse Vector。
Schema 的作用包括:
- 限制数据结构。
- 验证写入内容。
- 支持元数据过滤。
- 管理向量维度。
- 为索引构建提供字段信息。
10.4 存储引擎
向量数据库需要保存:
- 原始向量。
- 向量 ID。
- 元数据。
- 索引结构。
- 数据版本。
- 持久化日志或快照。
不同系统可能使用:
- 内存存储。
- 本地 SSD。
- 分布式文件系统。
- 对象存储。
- WAL(Write-Ahead Log)。
- Segment 文件。
在很多生产系统中,内存与磁盘会采用分层设计。
例如:
- 热点索引放在内存。
- 大规模原始向量放在磁盘。
- 冷数据放在对象存储。
- 元数据使用独立索引。
具体实现依产品架构而定。
十一、向量写入与索引构建机制
向量写入并不一定意味着数据立即进入最终 ANN 索引。
在生产系统中,写入和索引构建可能采用异步处理。
11.1 向量写入流程
flowchart TD
A["接收写入请求"] --> B["校验 ID 与向量维度"]
B --> C{"数据是否合法"}
C -->|"否"| D["返回参数错误"]
C -->|"是"| E["写入缓冲区或日志"]
E --> F["持久化数据"]
F --> G["构建或更新索引"]
G --> H["更新可检索状态"]
H --> I["写入完成"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#F7EAE7,stroke:#C98D7C,color:#754438
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这里需要区分三个时间点:
- 请求被系统接收。
- 数据已经持久化。
- 数据已经能够被查询。
它们不一定同时发生。
例如,某些系统先将数据写入 WAL 或缓冲区,再异步构建索引。
因此,应用需要理解数据库的写入确认、可见性和一致性语义。
11.2 Segment 与索引构建
为了提高写入吞吐量,一些向量数据库采用 Segment 机制。
Segment 是一组逻辑上组织在一起的数据记录。
常见处理方式:
- 新数据先进入可写入的缓冲区。
- 达到一定条件后形成数据段。
- 为数据段构建向量索引。
- 索引构建完成后参与查询。
- 多个数据段可以通过 Compaction 合并。
flowchart TD
A["新向量写入"] --> B["WAL / 缓冲区"]
B --> C["形成 Growing Segment"]
C --> D["数据达到构建条件"]
D --> E["构建 ANN Index"]
E --> F["转换为 Sealed Segment"]
F --> G["参与查询"]
G --> H["后台 Compaction"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
这是一种常见的分段式索引管理思路,具体产品对 Growing、Sealed、Compaction 等概念的定义可能不同。
十二、向量查询的执行机制
向量数据库收到查询请求后,通常需要执行多个阶段。
12.1 查询请求
典型查询包含:
{
"collection": "knowledge_base",
"vector": [0.12, 0.35, 0.81, 0.24],
"top_k": 5,
"filter": {
"category": "database",
"version": "2.0"
}
}
主要参数:
| 参数 | 含义 |
|---|---|
| collection | 查询目标集合 |
| vector | 查询向量 |
| top_k | 返回结果数量 |
| filter | 元数据过滤条件 |
| metric | 距离或相似度度量 |
| search_params | ANN 搜索参数 |
不同产品的请求结构并不统一。
12.2 查询执行过程
flowchart TD
A["接收查询请求"] --> B["解析查询参数"]
B --> C["校验向量维度"]
C --> D["处理 Metadata Filter"]
D --> E["选择相关索引与数据段"]
E --> F["执行 ANN 搜索"]
F --> G["合并候选结果"]
G --> H["计算或校正距离"]
H --> I["排序并选取 Top-K"]
I --> J["返回 ID、向量与元数据"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
实际查询执行计划可能根据索引类型、过滤条件和数据分布发生变化。
12.3 Top-K 检索
Top-K 表示返回相似度最高或距离最近的 K 条记录。
例如:
表示返回前五条候选结果。
需要注意:
Top-K 并不意味着这五条结果都一定相关。
如果查询问题不在知识库覆盖范围内,数据库仍可能返回五条相对接近的记录。
因此,实际系统通常还需要设置:
- 相似度阈值。
- 最小相关性要求。
- 元数据过滤。
- Reranking。
- 无结果处理策略。
12.4 元数据过滤(Metadata Filtering)
向量检索不一定只依赖向量距离。
实际系统通常还需要结合业务条件进行过滤。
例如:
{
"category": "database",
"department": "engineering",
"version": "2.0",
"status": "published"
}
只搜索满足条件的记录。
元数据过滤可以帮助实现:
- 按部门检索。
- 按知识分类检索。
- 按时间范围检索。
- 按文档版本检索。
- 按用户权限检索。
12.5 Filter 与 ANN 的执行顺序
过滤条件和向量索引之间存在一个重要的工程问题:
先过滤还是先搜索?
常见策略有两种。
Pre-filter:先过滤,再进行向量检索。