返回专栏
· 18 分钟阅读

语义检索与余弦相似度:从向量空间理解文本的语义匹配机制


一、什么是语义检索?

语义检索(Semantic Search)是一种基于内容含义进行信息检索的技术。它不只关注查询文本与文档是否包含相同的关键词,而是尝试理解两者表达的语义是否接近。

传统关键词检索主要关注词项匹配:

  • 查询中是否出现目标关键词。
  • 文档中关键词出现的频率。
  • 关键词在文档中的重要程度。
  • 查询词与文档词之间是否存在字面匹配。

语义检索则关注:

  • 两段文本表达的含义是否相近。
  • 不同措辞是否描述相同的问题。
  • 查询与文档是否存在语义关联。
  • 文本在上下文中表达的意图是否一致。

例如,用户输入:

如何降低数据库查询的响应时间?

传统关键词检索可能优先匹配包含“数据库”“查询”“响应时间”的文档。

语义检索则可能找到:

  • SQL 慢查询的优化方法。
  • 数据库索引设计与执行计划分析。
  • 数据库连接池与并发控制。
  • 查询缓存与读写分离。

即使文档没有出现完整的查询关键词,只要语义表达足够接近,仍然可能被检索出来。

1.1 语义检索的核心组成

语义检索通常由三个核心部分组成:

组成 主要职责
Embedding 模型 将文本编码为高维向量
向量相似度计算 衡量查询向量与文档向量之间的接近程度
向量检索系统 从大量向量中快速找到最相似的候选结果

其中,Embedding 负责构建语义表示,向量相似度负责计算语义接近程度,向量检索系统负责提升大规模检索效率。

1.2 语义检索与关键词检索的区别

对比维度 关键词检索 语义检索
核心依据 词项匹配 向量语义相似性
表达方式 更依赖关键词 可以使用不同措辞
同义词处理 依赖词典、扩展等机制 可通过 Embedding 学习语义关系
计算方式 倒排索引、词项评分 向量距离或相似度计算
主要优势 精确匹配、可解释性较强 语义泛化能力较强
主要局限 容易遗漏不同措辞的相关内容 可能召回语义相近但实际不相关的内容

需要注意,语义检索并不是对关键词检索的全面替代。

例如,检索订单编号、用户 ID、错误码、产品型号等精确标识符时,关键词检索通常更加直接可靠。

实际系统中经常将两者结合,形成混合检索。


二、Embedding:将文本映射到向量空间

语义检索的基础是 Embedding(向量嵌入)。

Embedding 模型将文本转换为一个固定维度的数值向量,使计算机能够通过数学运算比较不同文本的语义表示。

2.1 文本向量化

假设有三段文本:

  • A:如何优化数据库查询性能?
  • B:怎样提升 SQL 查询速度?
  • C:如何制作一道番茄炒蛋?

经过 Embedding 模型处理后,可以得到三个向量:

\mathbf{v}_A \in \mathbb{R}^{d}
\mathbf{v}_B \in \mathbb{R}^{d}
\mathbf{v}_C \in \mathbb{R}^{d}

其中,d 表示向量维度。

不同 Embedding 模型的输出维度可能不同,例如 384、768、1024、1536 或其他维度。

这些数字并不是语义类别的数量,而是模型用于表示文本特征的向量空间维度。

可以将文本向量理解为:

\mathbf{v} = \begin{bmatrix} v_1 \\ v_2 \\ v_3 \\ \vdots \\ v_d \end{bmatrix}

每个维度都是模型学习得到的数值特征。通常无法将某一个维度简单解释为“数据库”“性能”或其他明确的人类概念。

2.2 Embedding 如何表达语义关系?

Embedding 模型通过训练数据学习文本之间的语义关系。

训练过程可能涉及:

  • 对比学习(Contrastive Learning)。
  • 正负样本构造。
  • 查询与文档匹配训练。
  • 语义相似度学习。
  • 排序与相关性优化。

模型训练完成后,语义接近的文本通常会在向量空间中形成相对接近的表示。

例如:

文本 A:如何优化数据库查询性能?
文本 B:怎样提升 SQL 查询速度?
文本 C:如何制作一道番茄炒蛋?

理想情况下:

\operatorname{sim}(\mathbf{v}_A,\mathbf{v}_B) > \operatorname{sim}(\mathbf{v}_A,\mathbf{v}_C)

这意味着 A 与 B 的语义关联程度高于 A 与 C。

但需要注意,Embedding 并不保证所有语义相近的文本都具有更高的相似度,也不保证相似度能够准确反映事实相关性。最终效果取决于模型训练目标、领域数据、文本表达和任务类型。

2.3 查询向量与文档向量

语义检索通常涉及两类向量:

查询向量(Query Embedding)

由用户输入的问题或查询文本生成。

文档向量(Document Embedding)

由待检索的文档、段落或文本切片生成。

在实际 RAG 系统中,通常先离线处理文档并保存文档向量,在线接收查询时再生成查询向量。

需要注意,部分 Embedding 模型会针对 Query 和 Document 使用不同的编码指令或编码路径,例如查询前缀与文档前缀。即使两者来自同一个模型,也应遵循模型规定的编码方式。

2.4 语义检索的基本流程

flowchart TD
    A["准备知识文档"] --> B["文档切片"]
    B --> C["Embedding 模型"]
    C --> D["生成文档向量"]
    D --> E["保存向量与元数据"]
    F["用户输入查询"] --> G["生成查询向量"]
    G --> H["向量相似度计算"]
    E --> H
    H --> I["相似度排序"]
    I --> J["返回 Top-K 结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#E5F0E9,stroke:#83A995,color:#315D49

三、什么是余弦相似度?

余弦相似度(Cosine Similarity)是向量检索中常用的一种相似度度量方法。

它通过计算两个向量夹角的余弦值,衡量两个向量在方向上的接近程度。

核心公式:

\operatorname{cosine}(A,B) = \frac{A \cdot B}

其中:

  • A:第一个向量。
  • B:第二个向量。
  • A \cdot B:两个向量的点积。
  • \|A\|:向量 A 的模长。
  • \|B\|:向量 B 的模长。

3.1 从向量夹角理解余弦相似度

对于两个非零向量,余弦相似度只关注向量方向之间的夹角。

\operatorname{cosine}(A,B)=\cos(\theta)

其中,\theta 表示两个向量之间的夹角。

夹角接近 0°:方向接近,相似度接近 1
夹角为 90°:方向正交,相似度为 0
夹角接近 180°:方向相反,相似度接近 -1

余弦相似度的理论取值范围为:

-1 \leq \operatorname{cosine}(A,B) \leq 1

通常可以这样理解:

余弦相似度 几何含义
接近 1 两个向量方向接近
接近 0 两个向量近似正交
接近 -1 两个向量方向相反

需要特别强调:余弦相似度为 0 并不代表两段文本毫无关系,只代表在当前向量空间和度量方式下,两向量近似正交。

同样,余弦相似度接近 1,也不代表文本在事实层面完全相同。

3.2 为什么使用向量夹角,而不是直接比较向量长度?

假设两个向量分别为:

A=(1,2)
B=(2,4)

向量 B 是向量 A 的两倍:

B=2A

它们的长度不同,但方向完全一致。

计算余弦相似度:

A\cdot B=1\times2+2\times4=10
\|A\|=\sqrt{1^2+2^2}=\sqrt{5}
\|B\|=\sqrt{2^2+4^2}=\sqrt{20}

因此:

\operatorname{cosine}(A,B) = \frac{10}{\sqrt{5}\sqrt{20}} =1

这说明余弦相似度对向量整体缩放不敏感。

只要两个非零向量方向相同,即使模长不同,余弦相似度仍然为 1。

这也是它适合用于文本语义相似度比较的重要原因之一。

3.3 余弦相似度的几何直觉

flowchart TD
    A["比较两个非零向量"] --> B["计算向量夹角"]
    B --> C{"夹角大小"}
    C -->|"接近 0°"| D["cosine 接近 1"]
    C -->|"接近 90°"| E["cosine 接近 0"]
    C -->|"接近 180°"| F["cosine 接近 -1"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#E5F0E9,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F7EAE7,stroke:#C98D7C,color:#754438

四、余弦相似度的计算原理

余弦相似度的计算可以拆解为两个部分:

  1. 计算向量点积。
  2. 将点积除以两个向量模长的乘积。

4.1 向量点积

向量点积(Dot Product)又称内积。

对于两个 d 维向量:

A=(a_1,a_2,\ldots,a_d)
B=(b_1,b_2,\ldots,b_d)

点积定义为:

A\cdot B=\sum_{i=1}^{d}a_ib_i

展开后:

A\cdot B= a_1b_1+a_2b_2+\cdots+a_db_d

例如:

A=(1,2,3)
B=(4,5,6)

则:

A\cdot B =1\times4+2\times5+3\times6 =32

点积反映两个向量在数值上的关联程度,但它同时受到向量方向和长度的影响。

因此,不能直接将点积大小等同于余弦相似度。

4.2 向量模长

向量模长(Vector Norm)表示向量的长度。

对于向量:

A=(a_1,a_2,\ldots,a_d)

其 L2 模长为:

\|A\|_2= \sqrt{\sum_{i=1}^{d}a_i^2}

例如:

A=(3,4)

则:

\|A\|_2=\sqrt{3^2+4^2}=5

向量模长用于消除向量长度对点积结果的影响。

4.3 完整计算示例

给定:

A=(1,2,3)
B=(2,3,4)

第一步:计算点积。

A\cdot B =1\times2+2\times3+3\times4 =20

第二步:计算向量模长。

\|A\|_2=\sqrt{1+4+9}=\sqrt{14}
\|B\|_2=\sqrt{4+9+16}=\sqrt{29}

第三步:代入余弦相似度公式。

\operatorname{cosine}(A,B) = \frac{20}{\sqrt{14}\sqrt{29}}
\operatorname{cosine}(A,B) \approx 0.9926

两个向量的方向非常接近,因此余弦相似度接近 1。

4.4 Python 实现

可以使用 NumPy 实现余弦相似度:

import numpy as np


def cosine_similarity(a, b):
    a = np.asarray(a, dtype=np.float64)
    b = np.asarray(b, dtype=np.float64)

    if a.ndim != 1 or b.ndim != 1:
        raise ValueError("输入必须是一维向量")

    if a.shape != b.shape:
        raise ValueError("向量维度必须一致")

    norm_a = np.linalg.norm(a)
    norm_b = np.linalg.norm(b)

    if norm_a == 0 or norm_b == 0:
        raise ValueError("零向量无法计算余弦相似度")

    return np.dot(a, b) / (norm_a * norm_b)


a = [1, 2, 3]
b = [2, 3, 4]

score = cosine_similarity(a, b)

print(score)

输出:

0.9925833339709303

这里使用 float64 主要是为了让示例计算更加稳定。实际 Embedding 模型和向量数据库可能使用 float32、float16 或量化数据类型。


五、余弦相似度与向量归一化

向量归一化(Normalization)是向量检索中的重要操作。

其核心目标是将向量调整为统一的长度,通常调整为单位长度 1。

5.1 L2 归一化

对于非零向量 A,L2 归一化公式为:

A'=\frac{A}{\|A\|_2}

归一化后:

\|A'\|_2=1

例如:

A=(3,4)

其模长为:

\|A\|_2=5

归一化后:

A'= \left( \frac{3}{5}, \frac{4}{5} \right)
A'=(0.6,0.8)

此时:

\|A'\|_2=1

5.2 归一化后,余弦相似度可以简化

原始余弦相似度:

\operatorname{cosine}(A,B) = \frac{A\cdot B}

如果 A、B 都已经归一化:

\|A\|_2=\|B\|_2=1

那么:

\operatorname{cosine}(A,B)=A\cdot B

也就是说,两个单位向量的点积就等于它们的余弦相似度。

这带来一个重要的工程优化:

如果向量在写入和查询时都已经完成 L2 归一化,就可以使用内积计算代替完整的余弦相似度计算。

但前提是数据库的距离度量配置、数据预处理和查询向量处理方式必须保持一致。

5.3 归一化与内积、余弦相似度的关系

向量状态 内积与余弦相似度的关系
两个向量均未归一化 通常不相等
两个向量均经过 L2 归一化 完全相等
只有一个向量归一化 通常不相等
两个向量使用其他归一化方式 不能直接认为相等

5.4 Python 归一化实现

import numpy as np


def l2_normalize(vector):
    vector = np.asarray(vector, dtype=np.float32)

    norm = np.linalg.norm(vector)

    if norm == 0:
        raise ValueError("零向量无法进行 L2 归一化")

    return vector / norm


vector = np.array([3, 4], dtype=np.float32)

normalized = l2_normalize(vector)

print(normalized)
print(np.linalg.norm(normalized))

输出:

[0.6 0.8]
1.0

5.5 归一化并不总是必要的

需要注意,归一化并不是所有 Embedding 模型都必须执行的步骤。

不同模型的训练目标和向量输出方式可能不同:

  • 有些模型默认输出归一化向量。
  • 有些模型输出未归一化向量。
  • 有些模型的推荐检索方式是 Cosine Similarity。
  • 有些模型推荐使用 Dot Product。
  • 有些模型需要严格遵循指定的 Query / Document 编码方式。

如果模型本身将向量模长作为训练目标的一部分,额外归一化可能改变原本的相似度排序行为。

因此,应优先遵循 Embedding 模型的使用规范,而不是无条件对所有向量执行归一化。


六、余弦相似度、欧氏距离与内积的区别

向量检索不只有余弦相似度,还存在多种距离度量方式。

最常见的包括:

  1. Cosine Similarity:余弦相似度。
  2. Euclidean Distance:欧氏距离。
  3. Inner Product:内积。

它们都可以用于衡量向量之间的关系,但数学含义和排序行为不同。

6.1 余弦相似度

公式:

\operatorname{cosine}(A,B) = \frac{A\cdot B}{\|A\|_2\|B\|_2}

特点:

  • 关注向量方向。
  • 对正比例缩放不敏感。
  • 常用于文本 Embedding 检索。
  • 需要处理零向量问题。

通常分数越大,表示方向越接近。

6.2 欧氏距离

欧氏距离(Euclidean Distance)用于衡量两个向量在空间中的直线距离。

公式:

d(A,B)=\|A-B\|_2

展开:

d(A,B)= \sqrt{ \sum_{i=1}^{d}(a_i-b_i)^2 }

例如:

A=(1,2)
B=(4,6)

则:

d(A,B) = \sqrt{(1-4)^2+(2-6)^2}
d(A,B)=5

欧氏距离越小,两个向量在空间中的位置越接近。

与余弦相似度不同,欧氏距离同时受到向量方向和模长的影响。

6.3 内积

内积公式:

IP(A,B)=A\cdot B

它直接计算对应维度乘积之和。

特点:

  • 计算过程简单。
  • 向量长度会影响结果。
  • 对某些检索模型非常合适。
  • 不能在未满足条件时直接替代余弦相似度。

6.4 三种度量方式的比较

维度 Cosine Euclidean Inner Product
计算依据 向量夹角 向量空间距离 向量点积
是否受模长影响 不受正比例缩放影响 受影响 受影响
排序方向 越大越相似 越小越接近 通常越大越相似
常见用途 语义检索 空间距离检索 向量匹配、模型指定检索

6.5 为什么归一化后,欧氏距离与余弦相似度也存在关系?

对于两个单位向量 A、B:

\|A\|_2=\|B\|_2=1

欧氏距离的平方:

\|A-B\|_2^2 = (A-B)\cdot(A-B)

展开:

\|A-B\|_2^2 = A\cdot A+B\cdot B-2A\cdot B

因为:

A\cdot A=1
B\cdot B=1

因此:

\|A-B\|_2^2 = 2-2A\cdot B

又因为单位向量的点积等于余弦相似度:

\boxed{ \|A-B\|_2^2 = 2(1-\operatorname{cosine}(A,B)) }

由此可以得到:

当所有向量都经过 L2 归一化时,余弦相似度越大,欧氏距离就越小,两者产生相同的最近邻排序。

但它们的原始分数并不相同。

6.6 一个重要的工程陷阱

假设向量数据库配置为 L2 距离,但业务代码将返回值当成 Cosine Similarity 使用。

这可能导致:

  • 将距离越小误认为相似度越低。
  • 排序方向处理错误。
  • 阈值判断完全失效。
  • 检索结果被错误过滤。

不同向量数据库对 Score、Distance、Similarity 的定义可能不同。

使用数据库时必须确认:

  • 配置的距离度量类型。
  • 返回字段代表距离还是相似度。
  • 数值越大还是越小代表越接近。
  • 是否执行了向量归一化。
  • 是否对距离进行了转换。

不要仅凭字段名称 score 就假设它是余弦相似度。


七、语义检索的完整执行流程

语义检索不仅是计算两个向量的相似度,还涉及数据准备、查询编码、过滤、候选召回和结果排序等环节。

7.1 离线知识入库

离线阶段负责将文档转换为可检索的数据。

主要步骤:

  1. 获取原始文档。
  2. 解析文档内容。
  3. 将文档切分为 Chunk。
  4. 使用 Embedding 模型生成向量。
  5. 保存向量、文本和元数据。
  6. 构建向量索引。
flowchart TD
    A["原始文档"] --> B["文档解析"]
    B --> C["文本切片 Chunking"]
    C --> D["Embedding 编码"]
    D --> E["生成文档向量"]
    E --> F["写入向量数据库"]
    F --> G["构建向量索引"]
    G --> H["完成知识入库"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

7.2 在线语义检索

用户提交查询后,系统需要将查询转换成向量,并从向量数据库中查找最接近的文档向量。

主要步骤:

  1. 接收用户查询。
  2. 使用匹配的 Embedding 模型生成查询向量。
  3. 检查向量维度与模型配置。
  4. 根据权限和业务条件执行元数据过滤。
  5. 使用向量索引召回候选结果。
  6. 计算或获取相似度分数。
  7. 对候选结果排序。
  8. 返回 Top-K 文档。
flowchart TD
    A["用户提交查询"] --> B["Query Embedding"]
    B --> C{"向量维度与模型配置是否匹配"}
    C -->|"否"| X["检索失败:配置不匹配"]
    C -->|"是"| D["执行元数据与权限过滤"]
    D --> E["ANN 向量候选召回"]
    E --> F{"是否找到候选结果"}
    F -->|"否"| Y["返回空结果"]
    F -->|"是"| G["相似度计算与排序"]
    G --> H["Top-K 结果"]
    H --> I["可选 Reranker 重排序"]
    I --> J["返回检索结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#E5F0E9,stroke:#83A995,color:#315D49
    style X fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style Y fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

需要注意,元数据过滤的实际执行位置取决于向量数据库的实现。有些系统支持检索前过滤,有些系统会结合索引遍历执行过滤,也有系统支持检索后过滤。不同策略会影响召回数量和查询性能。

7.3 Top-K 检索

Top-K 表示从候选文档中选出相似度最高的 K 个结果。

例如:

用户查询:如何优化数据库查询性能?

候选结果:
文档 A:SQL 索引优化方法
文档 B:数据库执行计划分析
文档 C:数据库连接池配置
文档 D:Python 文件读取方法
文档 E:数据库查询缓存设计

假设 K = 3,系统最终返回三个最相关的候选文档。

需要注意:

  • Top-K 越大,召回范围通常越广。
  • Top-K 越大,也可能带来更多无关内容。
  • 对 RAG 而言,过多上下文会增加 Token 成本和噪声。
  • Top-K 应结合召回率、排序质量和上下文窗口进行调优。

八、相似度分数应该如何理解?

在语义检索系统中,经常会看到类似结果:

[
  {
    "id": "doc_001",
    "text": "SQL 索引能够减少数据库查询扫描的数据量。",
    "score": 0.92
  },
  {
    "id": "doc_002",
    "text": "数据库执行计划可以帮助分析慢查询。",
    "score": 0.87
  },
  {
    "id": "doc_003",
    "text": "Python 可以通过文件对象读取文本。",
    "score": 0.31
  }
]

如果这里的 score 明确表示 Cosine Similarity,那么分数越大,表示向量方向越接近。