一、什么是语义检索?
语义检索(Semantic Search)是一种基于内容含义进行信息检索的技术。它不只关注查询文本与文档是否包含相同的关键词,而是尝试理解两者表达的语义是否接近。
传统关键词检索主要关注词项匹配:
- 查询中是否出现目标关键词。
- 文档中关键词出现的频率。
- 关键词在文档中的重要程度。
- 查询词与文档词之间是否存在字面匹配。
语义检索则关注:
- 两段文本表达的含义是否相近。
- 不同措辞是否描述相同的问题。
- 查询与文档是否存在语义关联。
- 文本在上下文中表达的意图是否一致。
例如,用户输入:
如何降低数据库查询的响应时间?
传统关键词检索可能优先匹配包含“数据库”“查询”“响应时间”的文档。
语义检索则可能找到:
- SQL 慢查询的优化方法。
- 数据库索引设计与执行计划分析。
- 数据库连接池与并发控制。
- 查询缓存与读写分离。
即使文档没有出现完整的查询关键词,只要语义表达足够接近,仍然可能被检索出来。
1.1 语义检索的核心组成
语义检索通常由三个核心部分组成:
| 组成 | 主要职责 |
|---|---|
| Embedding 模型 | 将文本编码为高维向量 |
| 向量相似度计算 | 衡量查询向量与文档向量之间的接近程度 |
| 向量检索系统 | 从大量向量中快速找到最相似的候选结果 |
其中,Embedding 负责构建语义表示,向量相似度负责计算语义接近程度,向量检索系统负责提升大规模检索效率。
1.2 语义检索与关键词检索的区别
| 对比维度 | 关键词检索 | 语义检索 |
|---|---|---|
| 核心依据 | 词项匹配 | 向量语义相似性 |
| 表达方式 | 更依赖关键词 | 可以使用不同措辞 |
| 同义词处理 | 依赖词典、扩展等机制 | 可通过 Embedding 学习语义关系 |
| 计算方式 | 倒排索引、词项评分 | 向量距离或相似度计算 |
| 主要优势 | 精确匹配、可解释性较强 | 语义泛化能力较强 |
| 主要局限 | 容易遗漏不同措辞的相关内容 | 可能召回语义相近但实际不相关的内容 |
需要注意,语义检索并不是对关键词检索的全面替代。
例如,检索订单编号、用户 ID、错误码、产品型号等精确标识符时,关键词检索通常更加直接可靠。
实际系统中经常将两者结合,形成混合检索。
二、Embedding:将文本映射到向量空间
语义检索的基础是 Embedding(向量嵌入)。
Embedding 模型将文本转换为一个固定维度的数值向量,使计算机能够通过数学运算比较不同文本的语义表示。
2.1 文本向量化
假设有三段文本:
- A:如何优化数据库查询性能?
- B:怎样提升 SQL 查询速度?
- C:如何制作一道番茄炒蛋?
经过 Embedding 模型处理后,可以得到三个向量:
其中,d 表示向量维度。
不同 Embedding 模型的输出维度可能不同,例如 384、768、1024、1536 或其他维度。
这些数字并不是语义类别的数量,而是模型用于表示文本特征的向量空间维度。
可以将文本向量理解为:
每个维度都是模型学习得到的数值特征。通常无法将某一个维度简单解释为“数据库”“性能”或其他明确的人类概念。
2.2 Embedding 如何表达语义关系?
Embedding 模型通过训练数据学习文本之间的语义关系。
训练过程可能涉及:
- 对比学习(Contrastive Learning)。
- 正负样本构造。
- 查询与文档匹配训练。
- 语义相似度学习。
- 排序与相关性优化。
模型训练完成后,语义接近的文本通常会在向量空间中形成相对接近的表示。
例如:
文本 A:如何优化数据库查询性能? 文本 B:怎样提升 SQL 查询速度? 文本 C:如何制作一道番茄炒蛋?
理想情况下:
这意味着 A 与 B 的语义关联程度高于 A 与 C。
但需要注意,Embedding 并不保证所有语义相近的文本都具有更高的相似度,也不保证相似度能够准确反映事实相关性。最终效果取决于模型训练目标、领域数据、文本表达和任务类型。
2.3 查询向量与文档向量
语义检索通常涉及两类向量:
查询向量(Query Embedding)
由用户输入的问题或查询文本生成。
文档向量(Document Embedding)
由待检索的文档、段落或文本切片生成。
在实际 RAG 系统中,通常先离线处理文档并保存文档向量,在线接收查询时再生成查询向量。
需要注意,部分 Embedding 模型会针对 Query 和 Document 使用不同的编码指令或编码路径,例如查询前缀与文档前缀。即使两者来自同一个模型,也应遵循模型规定的编码方式。
2.4 语义检索的基本流程
flowchart TD
A["准备知识文档"] --> B["文档切片"]
B --> C["Embedding 模型"]
C --> D["生成文档向量"]
D --> E["保存向量与元数据"]
F["用户输入查询"] --> G["生成查询向量"]
G --> H["向量相似度计算"]
E --> H
H --> I["相似度排序"]
I --> J["返回 Top-K 结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#E5F0E9,stroke:#83A995,color:#315D49
三、什么是余弦相似度?
余弦相似度(Cosine Similarity)是向量检索中常用的一种相似度度量方法。
它通过计算两个向量夹角的余弦值,衡量两个向量在方向上的接近程度。
核心公式:
其中:
- A:第一个向量。
- B:第二个向量。
- A \cdot B:两个向量的点积。
- \|A\|:向量 A 的模长。
- \|B\|:向量 B 的模长。
3.1 从向量夹角理解余弦相似度
对于两个非零向量,余弦相似度只关注向量方向之间的夹角。
其中,\theta 表示两个向量之间的夹角。
夹角接近 0°:方向接近,相似度接近 1 夹角为 90°:方向正交,相似度为 0 夹角接近 180°:方向相反,相似度接近 -1
余弦相似度的理论取值范围为:
通常可以这样理解:
| 余弦相似度 | 几何含义 |
|---|---|
| 接近 1 | 两个向量方向接近 |
| 接近 0 | 两个向量近似正交 |
| 接近 -1 | 两个向量方向相反 |
需要特别强调:余弦相似度为 0 并不代表两段文本毫无关系,只代表在当前向量空间和度量方式下,两向量近似正交。
同样,余弦相似度接近 1,也不代表文本在事实层面完全相同。
3.2 为什么使用向量夹角,而不是直接比较向量长度?
假设两个向量分别为:
向量 B 是向量 A 的两倍:
它们的长度不同,但方向完全一致。
计算余弦相似度:
因此:
这说明余弦相似度对向量整体缩放不敏感。
只要两个非零向量方向相同,即使模长不同,余弦相似度仍然为 1。
这也是它适合用于文本语义相似度比较的重要原因之一。
3.3 余弦相似度的几何直觉
flowchart TD
A["比较两个非零向量"] --> B["计算向量夹角"]
B --> C{"夹角大小"}
C -->|"接近 0°"| D["cosine 接近 1"]
C -->|"接近 90°"| E["cosine 接近 0"]
C -->|"接近 180°"| F["cosine 接近 -1"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#E5F0E9,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F7EAE7,stroke:#C98D7C,color:#754438
四、余弦相似度的计算原理
余弦相似度的计算可以拆解为两个部分:
- 计算向量点积。
- 将点积除以两个向量模长的乘积。
4.1 向量点积
向量点积(Dot Product)又称内积。
对于两个 d 维向量:
点积定义为:
展开后:
例如:
则:
点积反映两个向量在数值上的关联程度,但它同时受到向量方向和长度的影响。
因此,不能直接将点积大小等同于余弦相似度。
4.2 向量模长
向量模长(Vector Norm)表示向量的长度。
对于向量:
其 L2 模长为:
例如:
则:
向量模长用于消除向量长度对点积结果的影响。
4.3 完整计算示例
给定:
第一步:计算点积。
第二步:计算向量模长。
第三步:代入余弦相似度公式。
两个向量的方向非常接近,因此余弦相似度接近 1。
4.4 Python 实现
可以使用 NumPy 实现余弦相似度:
import numpy as np
def cosine_similarity(a, b):
a = np.asarray(a, dtype=np.float64)
b = np.asarray(b, dtype=np.float64)
if a.ndim != 1 or b.ndim != 1:
raise ValueError("输入必须是一维向量")
if a.shape != b.shape:
raise ValueError("向量维度必须一致")
norm_a = np.linalg.norm(a)
norm_b = np.linalg.norm(b)
if norm_a == 0 or norm_b == 0:
raise ValueError("零向量无法计算余弦相似度")
return np.dot(a, b) / (norm_a * norm_b)
a = [1, 2, 3]
b = [2, 3, 4]
score = cosine_similarity(a, b)
print(score)
输出:
0.9925833339709303
这里使用 float64 主要是为了让示例计算更加稳定。实际 Embedding 模型和向量数据库可能使用 float32、float16 或量化数据类型。
五、余弦相似度与向量归一化
向量归一化(Normalization)是向量检索中的重要操作。
其核心目标是将向量调整为统一的长度,通常调整为单位长度 1。
5.1 L2 归一化
对于非零向量 A,L2 归一化公式为:
归一化后:
例如:
其模长为:
归一化后:
此时:
5.2 归一化后,余弦相似度可以简化
原始余弦相似度:
如果 A、B 都已经归一化:
那么:
也就是说,两个单位向量的点积就等于它们的余弦相似度。
这带来一个重要的工程优化:
如果向量在写入和查询时都已经完成 L2 归一化,就可以使用内积计算代替完整的余弦相似度计算。
但前提是数据库的距离度量配置、数据预处理和查询向量处理方式必须保持一致。
5.3 归一化与内积、余弦相似度的关系
| 向量状态 | 内积与余弦相似度的关系 |
|---|---|
| 两个向量均未归一化 | 通常不相等 |
| 两个向量均经过 L2 归一化 | 完全相等 |
| 只有一个向量归一化 | 通常不相等 |
| 两个向量使用其他归一化方式 | 不能直接认为相等 |
5.4 Python 归一化实现
import numpy as np
def l2_normalize(vector):
vector = np.asarray(vector, dtype=np.float32)
norm = np.linalg.norm(vector)
if norm == 0:
raise ValueError("零向量无法进行 L2 归一化")
return vector / norm
vector = np.array([3, 4], dtype=np.float32)
normalized = l2_normalize(vector)
print(normalized)
print(np.linalg.norm(normalized))
输出:
[0.6 0.8]
1.0
5.5 归一化并不总是必要的
需要注意,归一化并不是所有 Embedding 模型都必须执行的步骤。
不同模型的训练目标和向量输出方式可能不同:
- 有些模型默认输出归一化向量。
- 有些模型输出未归一化向量。
- 有些模型的推荐检索方式是 Cosine Similarity。
- 有些模型推荐使用 Dot Product。
- 有些模型需要严格遵循指定的 Query / Document 编码方式。
如果模型本身将向量模长作为训练目标的一部分,额外归一化可能改变原本的相似度排序行为。
因此,应优先遵循 Embedding 模型的使用规范,而不是无条件对所有向量执行归一化。
六、余弦相似度、欧氏距离与内积的区别
向量检索不只有余弦相似度,还存在多种距离度量方式。
最常见的包括:
- Cosine Similarity:余弦相似度。
- Euclidean Distance:欧氏距离。
- Inner Product:内积。
它们都可以用于衡量向量之间的关系,但数学含义和排序行为不同。
6.1 余弦相似度
公式:
特点:
- 关注向量方向。
- 对正比例缩放不敏感。
- 常用于文本 Embedding 检索。
- 需要处理零向量问题。
通常分数越大,表示方向越接近。
6.2 欧氏距离
欧氏距离(Euclidean Distance)用于衡量两个向量在空间中的直线距离。
公式:
展开:
例如:
则:
欧氏距离越小,两个向量在空间中的位置越接近。
与余弦相似度不同,欧氏距离同时受到向量方向和模长的影响。
6.3 内积
内积公式:
它直接计算对应维度乘积之和。
特点:
- 计算过程简单。
- 向量长度会影响结果。
- 对某些检索模型非常合适。
- 不能在未满足条件时直接替代余弦相似度。
6.4 三种度量方式的比较
| 维度 | Cosine | Euclidean | Inner Product |
|---|---|---|---|
| 计算依据 | 向量夹角 | 向量空间距离 | 向量点积 |
| 是否受模长影响 | 不受正比例缩放影响 | 受影响 | 受影响 |
| 排序方向 | 越大越相似 | 越小越接近 | 通常越大越相似 |
| 常见用途 | 语义检索 | 空间距离检索 | 向量匹配、模型指定检索 |
6.5 为什么归一化后,欧氏距离与余弦相似度也存在关系?
对于两个单位向量 A、B:
欧氏距离的平方:
展开:
因为:
因此:
又因为单位向量的点积等于余弦相似度:
由此可以得到:
当所有向量都经过 L2 归一化时,余弦相似度越大,欧氏距离就越小,两者产生相同的最近邻排序。
但它们的原始分数并不相同。
6.6 一个重要的工程陷阱
假设向量数据库配置为 L2 距离,但业务代码将返回值当成 Cosine Similarity 使用。
这可能导致:
- 将距离越小误认为相似度越低。
- 排序方向处理错误。
- 阈值判断完全失效。
- 检索结果被错误过滤。
不同向量数据库对 Score、Distance、Similarity 的定义可能不同。
使用数据库时必须确认:
- 配置的距离度量类型。
- 返回字段代表距离还是相似度。
- 数值越大还是越小代表越接近。
- 是否执行了向量归一化。
- 是否对距离进行了转换。
不要仅凭字段名称 score 就假设它是余弦相似度。
七、语义检索的完整执行流程
语义检索不仅是计算两个向量的相似度,还涉及数据准备、查询编码、过滤、候选召回和结果排序等环节。
7.1 离线知识入库
离线阶段负责将文档转换为可检索的数据。
主要步骤:
- 获取原始文档。
- 解析文档内容。
- 将文档切分为 Chunk。
- 使用 Embedding 模型生成向量。
- 保存向量、文本和元数据。
- 构建向量索引。
flowchart TD
A["原始文档"] --> B["文档解析"]
B --> C["文本切片 Chunking"]
C --> D["Embedding 编码"]
D --> E["生成文档向量"]
E --> F["写入向量数据库"]
F --> G["构建向量索引"]
G --> H["完成知识入库"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
7.2 在线语义检索
用户提交查询后,系统需要将查询转换成向量,并从向量数据库中查找最接近的文档向量。
主要步骤:
- 接收用户查询。
- 使用匹配的 Embedding 模型生成查询向量。
- 检查向量维度与模型配置。
- 根据权限和业务条件执行元数据过滤。
- 使用向量索引召回候选结果。
- 计算或获取相似度分数。
- 对候选结果排序。
- 返回 Top-K 文档。
flowchart TD
A["用户提交查询"] --> B["Query Embedding"]
B --> C{"向量维度与模型配置是否匹配"}
C -->|"否"| X["检索失败:配置不匹配"]
C -->|"是"| D["执行元数据与权限过滤"]
D --> E["ANN 向量候选召回"]
E --> F{"是否找到候选结果"}
F -->|"否"| Y["返回空结果"]
F -->|"是"| G["相似度计算与排序"]
G --> H["Top-K 结果"]
H --> I["可选 Reranker 重排序"]
I --> J["返回检索结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#E5F0E9,stroke:#83A995,color:#315D49
style X fill:#F7EAE7,stroke:#C98D7C,color:#754438
style Y fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
需要注意,元数据过滤的实际执行位置取决于向量数据库的实现。有些系统支持检索前过滤,有些系统会结合索引遍历执行过滤,也有系统支持检索后过滤。不同策略会影响召回数量和查询性能。
7.3 Top-K 检索
Top-K 表示从候选文档中选出相似度最高的 K 个结果。
例如:
用户查询:如何优化数据库查询性能?
候选结果:
文档 A:SQL 索引优化方法
文档 B:数据库执行计划分析
文档 C:数据库连接池配置
文档 D:Python 文件读取方法
文档 E:数据库查询缓存设计
假设 K = 3,系统最终返回三个最相关的候选文档。
需要注意:
- Top-K 越大,召回范围通常越广。
- Top-K 越大,也可能带来更多无关内容。
- 对 RAG 而言,过多上下文会增加 Token 成本和噪声。
- Top-K 应结合召回率、排序质量和上下文窗口进行调优。
八、相似度分数应该如何理解?
在语义检索系统中,经常会看到类似结果:
[
{
"id": "doc_001",
"text": "SQL 索引能够减少数据库查询扫描的数据量。",
"score": 0.92
},
{
"id": "doc_002",
"text": "数据库执行计划可以帮助分析慢查询。",
"score": 0.87
},
{
"id": "doc_003",
"text": "Python 可以通过文件对象读取文本。",
"score": 0.31
}
]
如果这里的 score 明确表示 Cosine Similarity,那么分数越大,表示向量方向越接近。