返回专栏
· 30 分钟阅读

向量数据库的工作原理:从向量存储、索引构建到近似最近邻检索


一、什么是向量数据库?

向量数据库(Vector Database)是一种专门用于存储、索引、检索和管理高维向量数据的数据库系统。

与传统关系型数据库主要通过主键、字段值和条件表达式查找数据不同,向量数据库的核心任务是:

根据向量之间的距离或相似度,找到与查询向量最接近的数据。

例如,知识库中有三段文本:

文本 A:Redis 是一种内存数据结构存储系统。
文本 B:Redis 支持 String、Hash、List 等数据类型。
文本 C:Transformer 使用 Self-Attention 机制。

通过 Embedding 模型,可以将文本转换为向量:

v_A=Embedding(A)
v_B=Embedding(B)
v_C=Embedding(C)

当用户查询:

Redis 支持哪些数据类型?

系统将查询转换为向量:

q=Embedding(Query)

然后计算查询向量与数据库中各个向量之间的相似度,返回最相关的文本。

向量数据库通常负责:

  • 向量存储。
  • 向量索引构建。
  • 相似度计算。
  • 最近邻检索。
  • 元数据过滤。
  • 数据更新与删除。
  • 检索结果排序。
  • 向量数据持久化。

需要注意,向量数据库通常不负责理解原始文本,也不一定负责生成 Embedding。Embedding 模型和向量数据库是两个不同的组件。

二、向量数据库在 RAG 中的位置

在 RAG 架构中,向量数据库主要承担知识存储和相似度检索的职责。

整体架构分为离线知识入库和在线查询两个阶段。

2.1 离线知识入库

flowchart TD
    A["原始文档"] --> B["文档解析"]
    B --> C["文本切片 Chunking"]
    C --> D["生成 Embedding"]
    D --> E["构建向量记录"]
    E --> F["写入向量数据库"]
    F --> G["构建或更新向量索引"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#E5F0E9,stroke:#83A995,color:#315D49

2.2 在线查询

flowchart TD
    A["用户问题"] --> B["Query Embedding"]
    B --> C["生成查询向量"]
    C --> D["向量数据库"]
    D --> E["相似度检索"]
    E --> F["元数据过滤"]
    F --> G["返回 Top-K Chunk"]
    G --> H["Reranking"]
    H --> I["构建上下文"]
    I --> J["大模型生成答案"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这里需要区分几个概念:

组件 主要职责
Embedding Model 将文本或其他数据转换为向量
Vector Database 存储、索引和检索向量
ANN Index 加速高维向量近邻搜索
Reranker 对初步检索结果进行精细排序
LLM 根据检索上下文生成答案

向量数据库解决的是向量检索问题,并不等于完整的 RAG 系统。

三、向量数据的基本结构

理解向量数据库,需要先理解它存储的数据结构。

3.1 什么是向量?

向量是由多个数值组成的有序数组。

例如:

v=[0.12,0.35,0.81,0.24]

这是一个 4 维向量。

Embedding 模型通常会将输入数据映射到一个高维向量空间。

例如:

Embedding(text)\rightarrow \mathbb{R}^{d}

其中:

  • text:输入文本。
  • d:向量维度。
  • \mathbb{R}^{d}:d 维实数向量空间。

常见 Embedding 维度可能是 384、768、1024、1536 或其他数值,具体取决于模型。

需要注意:

  • 向量维度不是 Token 数量。
  • 向量元素不是单词或字符。
  • 向量坐标通常没有直接可解释的独立语义。
  • 不同 Embedding 模型生成的向量空间通常不能直接混合比较。

3.2 向量记录(Vector Record)

向量数据库通常不只保存向量,还会保存向量对应的标识、原始内容或元数据。

例如:

{
  "id": "chunk_001",
  "vector": [0.12, 0.35, 0.81, 0.24],
  "metadata": {
    "document_id": "doc_001",
    "title": "Redis 技术文档",
    "section": "数据类型",
    "page": 12,
    "content": "Redis 支持 String、Hash、List 等数据类型。",
    "version": "2.0"
  }
}

一条记录通常包含三个核心部分:

字段 作用
ID 唯一标识向量记录
Vector 用于相似度计算
Metadata 保存业务属性和关联信息

部分向量数据库支持独立的文本字段、稀疏向量、多个向量字段和多模态数据。

实际数据结构取决于数据库的产品设计。

3.3 向量与原始文本的关系

向量本身通常不能直接还原成原始文本。

因此,系统需要维护向量与原始知识之间的关联。

常见设计有两种:

方案一:向量数据库保存完整文本

Vector Record
    ├── ID
    ├── Vector
    ├── Text
    └── Metadata

优点是检索后可以直接返回文本。

方案二:向量数据库只保存向量和关联 ID

Vector Record
    ├── ID
    ├── Vector
    └── Metadata
          └── document_id

检索命中后,再通过 ID 从文档数据库或对象存储中读取原始内容。

这种设计可以将向量索引和原始内容存储分离,便于独立扩展。

四、向量相似度计算原理

向量数据库的核心操作是计算向量之间的距离或相似度。

常见方法包括:

  • Cosine Similarity:余弦相似度。
  • Euclidean Distance:欧氏距离。
  • Dot Product:点积。
  • Manhattan Distance:曼哈顿距离。

不同距离函数会影响向量排序结果,因此需要与 Embedding 模型的训练方式和使用约定保持一致。

4.1 余弦相似度(Cosine Similarity)

余弦相似度通过两个向量之间的夹角衡量方向相似程度。

公式:

Cosine(A,B)= \frac{A\cdot B}

其中:

  • A:向量 A。
  • B:向量 B。
  • A\cdot B:向量点积。
  • \|A\|:向量 A 的模长。
  • \|B\|:向量 B 的模长。

计算结果通常位于:

[-1,1]

对于非零向量:

  • 越接近 1,方向越相似。
  • 越接近 0,方向越接近正交。
  • 越接近 -1,方向越相反。

示例:

A=[1,0]
B=[0.8,0.6]

则:

A\cdot B=0.8
\|A\|=1,\quad \|B\|=1

所以:

Cosine(A,B)=0.8

余弦相似度主要关注方向,不直接关注向量长度。

适用场景:

  • 文本语义检索。
  • 文档相似度。
  • 语义搜索。
  • Embedding 向量匹配。

4.2 欧氏距离(Euclidean Distance)

欧氏距离表示两个向量在空间中的直线距离。

公式:

D(A,B)= \sqrt{\sum_{i=1}^{d}(A_i-B_i)^2}

例如:

A=[1,2]
B=[4,6]

则:

D(A,B)= \sqrt{(1-4)^2+(2-6)^2}
=\sqrt{9+16}=5

欧氏距离越小,两个向量越接近。

特点:

  • 考虑向量方向和长度。
  • 对向量尺度较敏感。
  • 常用于空间距离计算。
  • 在某些聚类和检索任务中很常见。

4.3 点积(Dot Product)

点积表示两个向量对应元素相乘后求和。

公式:

A\cdot B=\sum_{i=1}^{d}A_iB_i

例如:

A=[1,2,3]
B=[4,5,6]

则:

A\cdot B=1\times4+2\times5+3\times6=32

点积同时受到向量方向和长度影响。

当向量已经经过 L2 归一化时:

\|A\|=\|B\|=1

此时:

A\cdot B=Cosine(A,B)

因此,在单位归一化向量上,点积可以用于计算余弦相似度,并且通常更容易实现高效计算。

4.4 曼哈顿距离(Manhattan Distance)

曼哈顿距离计算两个向量各维度差值绝对值之和。

公式:

D_1(A,B)= \sum_{i=1}^{d}|A_i-B_i|

例如:

A=[1,2]
B=[4,6]

则:

D_1(A,B)=|1-4|+|2-6|=7

它适用于某些对坐标轴方向差异敏感的任务,但并不是常规文本 Embedding 检索中最常见的默认选择。

4.5 不同距离度量的区别

度量方式 关注重点 优化方向
Cosine 向量方向 越大越相似
Euclidean 空间直线距离 越小越相似
Dot Product 方向与向量长度 越大通常越相似
Manhattan 各维度绝对差值 越小越相似

一个容易忽略的问题:

不同距离函数不能随意替换。

即使两个 Embedding 模型的维度相同,也不代表它们适合使用相同的距离度量。

需要参考模型训练目标、向量归一化方式以及数据库对距离的具体定义。

五、为什么需要向量索引?

如果向量数据库只有向量存储,没有索引,那么查询时可能需要遍历全部向量。

假设数据库有 1000 万条向量,每条向量有 768 个维度。

暴力搜索需要对大量向量逐一计算距离。

5.1 暴力搜索(Brute-force Search)

暴力搜索也称为精确最近邻搜索(Exact Nearest Neighbor Search)。

假设数据库有:

X=\{x_1,x_2,\ldots,x_N\}

查询向量为 q。

系统计算:

d_i=Distance(q,x_i)

然后根据距离或相似度排序,取出 Top-K。

基本流程:

flowchart TD
    A["输入查询向量 q"] --> B["读取全部向量"]
    B --> C["逐条计算距离"]
    C --> D["得到距离集合"]
    D --> E["排序"]
    E --> F["选取 Top-K"]
    F --> G["返回检索结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

对于 N 条 d 维向量:

  • 计算距离的时间复杂度通常为 O(Nd)。
  • 完整排序通常需要 O(N\log N)。
  • 如果只维护 Top-K,可以使用大小为 K 的堆,通常需要 O(N\log K)。

当数据规模较小时,暴力搜索可能具有不错的性能,而且能够获得精确结果。

但当数据规模增长时,逐条计算的成本会显著增加。

5.2 精确检索与近似检索

向量索引的核心目标是减少搜索过程中需要访问的向量数量。

这里有两个重要概念:

Exact Nearest Neighbor,精确最近邻

返回数据库中真实距离最近的 Top-K 向量。

Approximate Nearest Neighbor,近似最近邻

通过索引结构减少搜索范围,返回高概率接近真实最近邻的结果。

近似检索不保证每次都找到数学意义上真正最近的全部向量,但通常能够在检索质量和性能之间取得较好平衡。

常见索引算法:

  • HNSW。
  • IVF。
  • PQ。
  • IVF-PQ。
  • DiskANN。
  • ScaNN。

不同算法采用不同的数据组织方式和搜索机制。

六、HNSW 索引原理

HNSW(Hierarchical Navigable Small World)是向量数据库中非常常见的一种近似最近邻索引算法。

其核心思想是:

构建多层近邻图,通过高层快速定位目标区域,再逐层进入底层进行精细搜索。

6.1 什么是近邻图?

近邻图是一种图结构。

每个向量对应一个节点,节点之间通过边连接。

边通常表示两个向量之间存在一定的邻近关系。

例如:

       A
      / \
     B---C
    / \   \
   D---E---F

当查询一个新向量时,可以从某个入口节点开始,不断访问更接近查询向量的邻居。

6.2 为什么需要分层?

如果只有一层图,搜索可能需要经过大量节点才能找到目标区域。

HNSW 使用多层结构:

  • 高层:节点较少,负责快速跳转。
  • 中层:负责缩小搜索范围。
  • 底层:包含全部数据节点,进行更精细的搜索。

可以将其理解为:

Layer 2:A -------- G

Layer 1:A --- C --- G --- J

Layer 0:A-B-C-D-E-F-G-H-I-J-K-L

高层节点数量较少,能够帮助搜索快速跨越较大的区域。

6.3 HNSW 搜索流程

flowchart TD
    A["输入查询向量"] --> B["从最高层入口节点开始"]
    B --> C["计算当前节点及邻居距离"]
    C --> D{"是否存在更近的邻居"}
    D -->|"是"| E["移动到更近的邻居"]
    E --> C
    D -->|"否"| F{"是否还有下一层"}
    F -->|"是"| G["进入下一层"]
    G --> C
    F -->|"否"| H["底层候选集搜索"]
    H --> I["维护候选节点集合"]
    I --> J["返回 Top-K"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F

实际 HNSW 搜索比图中的简化流程更复杂。

通常会维护:

  • 当前搜索节点。
  • 已访问节点集合。
  • 候选节点队列。
  • 当前最优结果集合。
  • 搜索扩展参数。

高层通常使用贪心搜索不断寻找更近的节点,直到无法进一步改善,再进入下一层。

在底层,算法使用更大的候选搜索范围,以获得较好的召回效果。

6.4 HNSW 构建过程

HNSW 不只是搜索算法,还包含索引构建过程。

每插入一个新向量,通常需要:

  1. 为新节点随机分配最高层级。
  2. 从入口节点开始搜索邻近节点。
  3. 在各层找到候选邻居。
  4. 选择适合的邻居建立连接。
  5. 根据连接限制修剪部分边。
  6. 将新节点加入图结构。
  7. 必要时更新入口节点。

层级通常采用概率分布生成,使得越高层的节点越稀疏。

6.5 HNSW 的关键参数

参数 含义 影响
M 每个节点允许的邻居连接数量相关参数 影响图密度与内存
ef_construction 构建索引时的搜索候选规模 影响构建质量和速度
ef_search 查询时的搜索候选规模 影响召回率和延迟
max_elements 索引支持的最大元素数量 影响容量规划

其中:

M 越大:

  • 图连接通常更加丰富。
  • 搜索可能更容易找到有效路径。
  • 内存占用增加。
  • 索引构建成本可能增加。

ef_construction 越大:

  • 构建时考虑更多候选邻居。
  • 通常有利于索引质量。
  • 构建速度下降。
  • 构建资源消耗增加。

ef_search 越大:

  • 查询时探索更多候选节点。
  • 通常有利于提高 Recall@K。
  • 查询延迟和计算开销增加。

HNSW 的参数需要根据数据分布、维度、数据规模和召回目标进行测试,不能只依赖默认值。

6.6 HNSW 的优缺点

优点:

  • 检索速度较快。
  • 召回率通常较高。
  • 支持动态插入。
  • 适合内存充足的场景。
  • 对很多通用向量检索任务具有较好的表现。

缺点:

  • 图结构需要额外内存。
  • 构建索引存在计算开销。
  • 大规模数据可能需要较高内存预算。
  • 删除操作和图维护相对复杂。
  • 参数调节需要实验。

七、IVF 倒排索引原理

IVF(Inverted File Index)是一种基于聚类思想的向量索引方法。

它的核心思路是:

先将向量空间划分为多个区域,查询时只搜索其中最相关的部分区域。

7.1 聚类与分区

假设有大量向量:

X=\{x_1,x_2,\ldots,x_N\}

通过聚类算法将它们划分为 K 个簇:

C=\{C_1,C_2,\ldots,C_K\}

每个簇具有一个中心向量:

\mu_1,\mu_2,\ldots,\mu_K

通常可以使用 K-Means 训练这些中心点。

示意:

向量空间

        ● ● ●
      ●   C1  ●

                    ● ●
                  ● C2 ●

    ● ●
   ● C3 ●

                         ● ● ●
                       ●  C4  ●

7.2 IVF 建立索引

构建 IVF 索引时:

  1. 训练聚类中心。
  2. 计算每个向量与聚类中心的距离。
  3. 将向量分配到最近的簇。
  4. 为每个簇维护向量列表。

例如:

Cluster 1:
    Vector A
    Vector B
    Vector C

Cluster 2:
    Vector D
    Vector E

Cluster 3:
    Vector F
    Vector G

7.3 IVF 查询流程

查询时,不需要搜索所有簇。

先计算查询向量与聚类中心的距离,再选择最近的若干个簇进行搜索。

这个数量通常由 nprobe 控制。

flowchart TD
    A["输入查询向量"] --> B["计算与聚类中心的距离"]
    B --> C["选择最近的 nprobe 个簇"]
    C --> D["读取选中簇中的向量"]
    D --> E["计算精确距离"]
    E --> F["合并候选结果"]
    F --> G["返回 Top-K"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

7.4 nlist 与 nprobe

IVF 有两个重要参数:

参数 含义
nlist 聚类中心数量,即分区数量
nprobe 查询时实际探测的簇数量

假设:

nlist=1024
nprobe=16

那么查询时只探测 16 个簇,而不是搜索全部 1024 个簇。

通常:

  • nlist 越大,分区越细。
  • nprobe 越大,搜索范围越广。
  • nprobe 越大,召回率通常越高。
  • nprobe 越大,查询开销通常越高。

但 nlist 过大可能使聚类训练和索引维护变得复杂。

7.5 IVF 的优缺点

优点:

  • 可以减少搜索范围。
  • 适合大规模向量数据。
  • 可以结合量化压缩。
  • 搜索范围容易通过 nprobe 调整。

缺点:

  • 依赖聚类质量。
  • 聚类边界可能造成漏检。
  • 新数据分布变化时可能需要重新训练。
  • nlist 与 nprobe 需要结合数据规模调节。

八、PQ 向量量化原理

PQ(Product Quantization,乘积量化)主要用于降低向量存储成本和距离计算开销。

它不是简单的向量索引,而是一种向量压缩技术,通常可以与 IVF 等索引结合使用。

8.1 为什么需要量化?

假设一个向量具有 1536 个维度。

如果每个维度使用 FP32:

1536\times4=6144\ bytes

也就是每条向量约占 6 KB。

如果有 1000 万条向量:

10000000\times6144

仅原始向量数据就需要约 61.44 GB,尚未计算索引、元数据和其他系统开销。

当数据规模非常大时,向量内存会成为重要成本。

8.2 PQ 的核心思想

PQ 将一个高维向量拆分为多个低维子向量。

例如,一个 8 维向量:

x=[x_1,x_2,x_3,x_4,x_5,x_6,x_7,x_8]

可以拆成 4 个 2 维子向量:

x^{(1)}=[x_1,x_2]
x^{(2)}=[x_3,x_4]
x^{(3)}=[x_5,x_6]
x^{(4)}=[x_7,x_8]

然后分别对每个子空间进行聚类,建立对应的码本(Codebook)。

每个子向量不再保存完整浮点数,而是保存它所属聚类中心的编号。

8.3 PQ 编码过程

flowchart TD
    A["输入高维向量"] --> B["划分为多个子向量"]
    B --> C["每个子空间独立聚类"]
    C --> D["生成多个 Codebook"]
    D --> E["寻找每个子向量最近的中心"]
    E --> F["保存中心编号"]
    F --> G["得到压缩向量编码"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

8.4 PQ 的压缩效果

假设:

  • 原始维度 d=1536。
  • 划分为 m=96 个子向量。
  • 每个子空间使用 256 个聚类中心。

每个子向量只需要保存一个 8 位编号:

\log_2 256=8\ bits

因此,每条向量的编码大小为:

96\times1=96\ bytes

原始 FP32 向量约为:

1536\times4=6144\ bytes

理论上,向量编码部分压缩为原来的:

\frac{96}{6144}=\frac{1}{64}

实际系统还需要保存 Codebook、ID、索引结构和其他元数据,因此整体存储压缩比例不会完全等于这个数值。

8.5 PQ 如何计算距离?

查询向量不一定需要与每个原始向量完整解码后再计算距离。

可以预先计算查询向量各个子空间与 Codebook 中聚类中心的距离,构建距离查找表。

然后通过查表累加近似距离。

这样能够降低计算和内存访问开销。

但由于原始向量经过量化压缩,距离计算是近似的,可能带来召回率损失。

8.6 IVF-PQ

IVF 和 PQ 可以组合使用:

  • IVF 负责缩小搜索区域。
  • PQ 负责压缩向量。
  • 查询时只在部分分区中搜索压缩向量。
  • 对候选结果进行近似距离计算。
  • 必要时使用原始向量进行精确重排。

这种组合适合对存储成本和大规模检索性能要求较高的场景。

九、其他常见向量索引技术

9.1 DiskANN

DiskANN 是面向大规模向量检索的一类图索引技术。

其重要特点是:

  • 利用 SSD 等外部存储保存大量索引数据。
  • 将部分关键结构放在内存中。
  • 通过图搜索访问相关节点。
  • 降低完全依赖内存的成本。

它适合内存无法容纳全部向量数据,但仍需要较高检索性能的场景。

需要注意,DiskANN 是一系列相关算法和实现的统称,不同实现的索引结构、缓存和磁盘访问策略可能存在差异。

9.2 ScaNN

ScaNN 是 Google 提出的向量相似度搜索系统。

它采用分区、候选筛选和量化等技术加速检索。

其核心目标是在大规模向量数据中实现高效的近似最近邻搜索。

9.3 常见索引对比

索引技术 核心思想 主要优势 主要限制
Flat 暴力精确搜索 结果精确,实现简单 大规模查询成本高
HNSW 多层近邻图 低延迟、召回率较高 内存占用较大
IVF 聚类分区 减少搜索范围 依赖聚类质量
PQ 子空间量化 压缩存储 近似距离存在误差
IVF-PQ 分区与量化结合 适合大规模数据 参数和精度权衡复杂
DiskANN 磁盘辅助图搜索 降低内存压力 磁盘访问带来额外延迟
ScaNN 分区与量化优化 高效近似搜索 依赖具体实现与数据分布

不存在适用于所有业务的最佳索引。

实际选型需要同时考虑:

  • 数据规模。
  • 向量维度。
  • 内存容量。
  • 磁盘性能。
  • 查询 QPS。
  • Recall@K。
  • 查询延迟。
  • 数据更新频率。

十、向量数据库的完整内部架构

向量数据库不仅是一个 ANN 索引。

一个生产级向量数据库通常还包括数据接入、存储引擎、索引管理、查询执行、元数据过滤、事务或一致性管理等模块。

10.1 逻辑架构

flowchart TD
    A["客户端 / 应用程序"] --> B["API 接入层"]
    B --> C["查询与写入协调器"]
    C --> D["Schema 与 Collection 管理"]
    C --> E["查询执行引擎"]
    C --> F["写入处理引擎"]
    E --> G["向量索引模块"]
    E --> H["元数据过滤模块"]
    E --> I["距离计算模块"]
    F --> J["数据缓冲与持久化"]
    F --> G
    J --> K["磁盘存储"]
    G --> L["索引存储"]
    H --> M["元数据索引"]
    K --> N["恢复与一致性管理"]
    L --> N
    M --> N

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style E fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style F fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style M fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style N fill:#E5F0E9,stroke:#83A995,color:#315D49

不同产品的实际内部架构并不完全相同。

例如,有些系统使用内存优先架构,有些系统采用磁盘与内存分层,有些系统将向量索引集成在现有数据库引擎中。

上图描述的是逻辑模块,不代表所有向量数据库都采用相同的物理实现。

10.2 Collection

Collection 可以理解为向量数据的逻辑集合,类似关系型数据库中的表。

一个 Collection 通常具有:

  • Collection Name。
  • Vector Dimension。
  • Distance Metric。
  • ID。
  • Vector Field。
  • Metadata Schema。
  • Index Configuration。

例如:

{
  "collection": "knowledge_base",
  "dimension": 768,
  "metric_type": "COSINE",
  "fields": {
    "id": "string",
    "vector": "float_vector",
    "content": "string",
    "document_id": "string",
    "category": "string"
  }
}

同一个 Collection 中的向量通常需要满足相同的向量维度要求。

某些数据库支持多向量字段,但每个向量字段仍然需要满足各自的维度和配置约束。

10.3 Schema 管理

Schema 用于定义向量记录的字段结构和数据类型。

常见字段类型:

  • String。
  • Integer。
  • Float。
  • Boolean。
  • Array。
  • JSON。
  • Vector。
  • Sparse Vector。

Schema 的作用包括:

  1. 限制数据结构。
  2. 验证写入内容。
  3. 支持元数据过滤。
  4. 管理向量维度。
  5. 为索引构建提供字段信息。

10.4 存储引擎

向量数据库需要保存:

  • 原始向量。
  • 向量 ID。
  • 元数据。
  • 索引结构。
  • 数据版本。
  • 持久化日志或快照。

不同系统可能使用:

  • 内存存储。
  • 本地 SSD。
  • 分布式文件系统。
  • 对象存储。
  • WAL(Write-Ahead Log)。
  • Segment 文件。

在很多生产系统中,内存与磁盘会采用分层设计。

例如:

  • 热点索引放在内存。
  • 大规模原始向量放在磁盘。
  • 冷数据放在对象存储。
  • 元数据使用独立索引。

具体实现依产品架构而定。

十一、向量写入与索引构建机制

向量写入并不一定意味着数据立即进入最终 ANN 索引。

在生产系统中,写入和索引构建可能采用异步处理。

11.1 向量写入流程

flowchart TD
    A["接收写入请求"] --> B["校验 ID 与向量维度"]
    B --> C{"数据是否合法"}
    C -->|"否"| D["返回参数错误"]
    C -->|"是"| E["写入缓冲区或日志"]
    E --> F["持久化数据"]
    F --> G["构建或更新索引"]
    G --> H["更新可检索状态"]
    H --> I["写入完成"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这里需要区分三个时间点:

  • 请求被系统接收。
  • 数据已经持久化。
  • 数据已经能够被查询。

它们不一定同时发生。

例如,某些系统先将数据写入 WAL 或缓冲区,再异步构建索引。

因此,应用需要理解数据库的写入确认、可见性和一致性语义。

11.2 Segment 与索引构建

为了提高写入吞吐量,一些向量数据库采用 Segment 机制。

Segment 是一组逻辑上组织在一起的数据记录。

常见处理方式:

  1. 新数据先进入可写入的缓冲区。
  2. 达到一定条件后形成数据段。
  3. 为数据段构建向量索引。
  4. 索引构建完成后参与查询。
  5. 多个数据段可以通过 Compaction 合并。
flowchart TD
    A["新向量写入"] --> B["WAL / 缓冲区"]
    B --> C["形成 Growing Segment"]
    C --> D["数据达到构建条件"]
    D --> E["构建 ANN Index"]
    E --> F["转换为 Sealed Segment"]
    F --> G["参与查询"]
    G --> H["后台 Compaction"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

这是一种常见的分段式索引管理思路,具体产品对 Growing、Sealed、Compaction 等概念的定义可能不同。

十二、向量查询的执行机制

向量数据库收到查询请求后,通常需要执行多个阶段。

12.1 查询请求

典型查询包含:

{
  "collection": "knowledge_base",
  "vector": [0.12, 0.35, 0.81, 0.24],
  "top_k": 5,
  "filter": {
    "category": "database",
    "version": "2.0"
  }
}

主要参数:

参数 含义
collection 查询目标集合
vector 查询向量
top_k 返回结果数量
filter 元数据过滤条件
metric 距离或相似度度量
search_params ANN 搜索参数

不同产品的请求结构并不统一。

12.2 查询执行过程

flowchart TD
    A["接收查询请求"] --> B["解析查询参数"]
    B --> C["校验向量维度"]
    C --> D["处理 Metadata Filter"]
    D --> E["选择相关索引与数据段"]
    E --> F["执行 ANN 搜索"]
    F --> G["合并候选结果"]
    G --> H["计算或校正距离"]
    H --> I["排序并选取 Top-K"]
    I --> J["返回 ID、向量与元数据"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F

实际查询执行计划可能根据索引类型、过滤条件和数据分布发生变化。

12.3 Top-K 检索

Top-K 表示返回相似度最高或距离最近的 K 条记录。

例如:

K=5

表示返回前五条候选结果。

需要注意:

Top-K 并不意味着这五条结果都一定相关。

如果查询问题不在知识库覆盖范围内,数据库仍可能返回五条相对接近的记录。

因此,实际系统通常还需要设置:

  • 相似度阈值。
  • 最小相关性要求。
  • 元数据过滤。
  • Reranking。
  • 无结果处理策略。

12.4 元数据过滤(Metadata Filtering)

向量检索不一定只依赖向量距离。

实际系统通常还需要结合业务条件进行过滤。

例如:

{
  "category": "database",
  "department": "engineering",
  "version": "2.0",
  "status": "published"
}

只搜索满足条件的记录。

元数据过滤可以帮助实现:

  • 按部门检索。
  • 按知识分类检索。
  • 按时间范围检索。
  • 按文档版本检索。
  • 按用户权限检索。

12.5 Filter 与 ANN 的执行顺序

过滤条件和向量索引之间存在一个重要的工程问题:

先过滤还是先搜索?

常见策略有两种。

Pre-filter:先过滤,再进行向量检索。