一、什么是混合检索?
混合检索(Hybrid Search)是一种组合多种检索策略的信息检索方法。在现代 AI 应用中,通常指:
- 关键词检索(Lexical Search):根据查询词与文档词项的匹配程度进行检索,典型算法是 BM25。
- 向量检索(Vector Search):将查询和文档转换为向量,通过向量距离或相似度寻找语义相关内容。
- 结果融合(Result Fusion):将不同检索器召回的结果合并、去重和排序,形成最终候选集。
两种检索方式解决的问题不同:
| 维度 | 关键词检索 | 向量检索 |
|---|---|---|
| 匹配依据 | 词项及其统计特征 | 向量空间中的语义关系 |
| 典型算法 | BM25、TF-IDF | Dense Embedding、ANN |
| 精确术语 | 强 | 不一定稳定 |
| 同义表达 | 较弱 | 较强 |
| 语义理解 | 有限 | 较强 |
| 专有名词 | 通常较好 | 取决于 Embedding 能力 |
| 数字、编号、代码 | 通常较好 | 容易出现语义偏差 |
| 计算资源 | 主要消耗 CPU 和索引资源 | 需要向量存储及向量计算资源 |
例如,用户查询:
如何解决 Python 中的 GIL 导致的多线程性能问题?
关键词检索可能重点命中: - Python - GIL - 多线程 - 性能
向量检索可能召回: - CPython 全局解释器锁的工作机制 - 多线程与多进程的性能差异 - CPU 密集型任务的并行执行 - GIL 对线程调度的影响
两种检索结果存在互补关系。
二、为什么需要混合检索?
单独使用关键词检索或向量检索,都存在明显的能力边界。
2.1 关键词检索的局限
BM25 等关键词检索算法主要依据词项匹配和统计权重计算相关性。
例如:
查询:
如何提升模型推理速度?
文档:
通过 KV Cache 缓存历史 Token 的 Key 和 Value,减少 Decode 阶段重复计算。
两者在语义上高度相关,但没有明显的共同关键词。
关键词检索可能无法充分识别这种语义关联。
主要问题:
- 同义词问题:不同词语表达相同或相近的含义。
- 语义表达问题:查询与文档的表述方式不同。
- 自然语言问题:用户可能使用口语化表达,而文档使用专业术语。
- 上下文问题:关键词匹配难以直接理解复杂语义关系。
2.2 向量检索的局限
向量检索通过 Embedding 将文本映射到向量空间,利用向量相似度衡量语义关联。
但语义相似不等于检索目标完全一致。
例如:
查询:
PostgreSQL 16.2 的安装命令是什么?
向量检索可能召回:
- PostgreSQL 安装教程
- PostgreSQL 数据库架构
- PostgreSQL 版本升级说明
- PostgreSQL 16 系列的新特性
这些文档在语义上相关,但用户可能需要包含精确版本号和命令的内容。
向量检索的典型问题:
- 精确匹配不足:版本号、错误码、产品编号等可能被弱化。
- 术语区分不足:相似技术名词可能映射到相近向量。
- 语义噪声:召回内容相关,但未必能直接回答问题。
- 向量模型依赖:Embedding 模型的训练数据和表达能力影响检索结果。
2.3 两种检索方式的互补关系
混合检索并不是简单地将两个结果列表拼接起来,而是利用不同检索机制形成互补召回。
| 查询类型 | 关键词检索贡献 | 向量检索贡献 |
|---|---|---|
| 专业术语 | 精确匹配术语 | 扩展相关概念 |
| 自然语言问题 | 提取关键实体 | 识别整体语义 |
| 错误码查询 | 精确命中错误码 | 召回相关故障说明 |
| 技术方案比较 | 命中具体技术名称 | 召回概念关联内容 |
| 同义表达 | 可能漏召回 | 补充语义相关内容 |
| 版本与参数查询 | 精确匹配数字和参数 | 补充上下文解释 |
核心思想:
关键词检索保证精确性,向量检索扩展语义召回,结果融合提高整体检索覆盖能力。
三、混合检索的整体架构
一个典型的 Hybrid Search 系统由以下模块构成:
- 查询预处理:清洗查询文本,提取必要信息。
- 查询分发:将同一个查询提交给不同检索器。
- 关键词检索:通过倒排索引和 BM25 召回候选文档。
- 向量检索:通过 Embedding 和 ANN 检索语义相关文档。
- 结果融合:合并多个检索结果。
- 去重与过滤:消除重复结果,执行权限及元数据过滤。
- 重排序:使用 Reranker 对候选文档进行精细排序。
- 上下文构建:选择最终文档片段交给 LLM。
3.1 整体流程图
flowchart TD
A["用户查询"] --> B["查询预处理"]
B --> C["查询分发"]
C --> D["关键词检索 BM25"]
C --> E["向量检索 Dense Search"]
D --> F["关键词候选集"]
E --> G["向量候选集"]
F --> H["结果融合"]
G --> H
H --> I["去重与元数据过滤"]
I --> J["Reranker 重排序"]
J --> K["Top-K 文档"]
K --> L["构建上下文"]
L --> M["LLM 生成答案"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#EAF3EC,stroke:#83A995,color:#315D49
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这里最重要的设计是:两个检索器独立执行,融合模块统一处理结果。
它们可以使用不同的索引、不同的召回数量,甚至运行在不同的存储系统中。
3.2 离线索引构建流程
混合检索不仅包含在线查询,还需要提前建立两套检索索引。
flowchart TD
A["原始知识文档"] --> B["文档解析"]
B --> C["文本清洗与 Chunking"]
C --> D["生成 Chunk ID 和元数据"]
D --> E["构建倒排索引"]
D --> F["Embedding 向量化"]
E --> G["关键词索引库"]
F --> H["向量索引库"]
G --> I["混合检索系统"]
H --> I
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
需要注意:
- 倒排索引保存词项与文档位置、词频等信息。
- 向量索引保存 Embedding 向量及其关联标识。
- 两套索引必须通过稳定的 Chunk ID 或文档 ID 关联。
- 文档更新、删除时,需要同步维护两套索引。
- 两套索引的数据版本应保持一致,避免召回已经失效的内容。
四、混合检索的核心:结果融合
关键词检索与向量检索的原始评分通常不在同一个量纲中。
例如:
| 文档 | BM25 分数 | 向量相似度 |
|---|---|---|
| A | 12.5 | 0.81 |
| B | 8.7 | 0.92 |
| C | 15.2 | 0.68 |
| D | 5.3 | 0.89 |
BM25 的分数可能大于 10,而向量余弦相似度通常在 -1 到 1 之间。
直接相加:
会导致 BM25 分数在数值上占据明显优势。
但这并不意味着 BM25 一定更重要,只是两个评分体系的数值范围不同。
因此,混合检索需要合理的融合算法。
常见方法:
- 加权分数融合(Weighted Score Fusion)
- 倒数排名融合(Reciprocal Rank Fusion,RRF)
- 学习排序(Learning to Rank)
五、加权分数融合 Weighted Score Fusion
加权分数融合的基本思想是:
先将不同检索器的分数转换到可组合的尺度,再根据权重进行融合。
5.1 基本公式
其中:
- S_k(d):关键词检索归一化后的分数。
- S_v(d):向量检索归一化后的分数。
- \alpha:关键词检索权重。
- 1-\alpha:向量检索权重。
- Score(d):最终融合分数。
例如:
表示关键词检索权重为 40%,向量检索权重为 60%。
注意:权重表示的是融合策略中的相对贡献,并不代表检索质量的真实比例。
5.2 分数归一化
常见归一化方法包括 Min-Max 和 Z-Score。
Min-Max 归一化:
将当前候选集合中的分数映射到 0 到 1。
Z-Score 标准化:
其中:
- \mu:分数均值。
- \sigma:分数标准差。
Z-Score 可以反映分数相对于当前分布的位置,但结果可能为负数。
5.3 加权融合示例
假设归一化后得到以下结果:
| 文档 | 关键词分数 | 向量分数 |
|---|---|---|
| A | 0.90 | 0.70 |
| B | 0.60 | 0.95 |
| C | 1.00 | 0.40 |
设置:
则:
最终排序:
| 排名 | 文档 | 融合分数 |
|---|---|---|
| 1 | B | 0.81 |
| 2 | A | 0.78 |
| 3 | C | 0.64 |
可以看到,B 虽然关键词分数不高,但向量检索结果较好,因此获得更高的综合排名。
5.4 加权融合的局限
加权分数融合存在几个问题:
- 不同检索器的分数分布可能随查询变化。
- Min-Max 归一化容易受到极端分数影响。
- 候选集合变化可能导致归一化结果变化。
- 权重需要通过实际数据集调优。
- 不同模型、不同距离度量的评分语义可能不同。
因此,加权融合适合评分机制明确、经过校准且可稳定比较的检索系统。
如果不同检索器的原始分数难以校准,可以考虑 RRF。
六、RRF 倒数排名融合
RRF(Reciprocal Rank Fusion)是一种基于排名而非原始分数的融合算法。
它不直接比较 BM25 分数与向量相似度,而是根据文档在不同检索结果中的排名计算融合得分。
这是 Hybrid Search 中非常常见的一种融合策略。
6.1 核心公式
其中:
- d:候选文档。
- n:检索器数量。
- rank_i(d):文档在第 i 个检索器中的排名。
- k:平滑常数。
常见实现会使用 k=60,但这不是固定要求,应根据检索系统的行为进行调优。
6.2 为什么使用倒数排名?
排名越靠前,贡献越大。
例如:
这意味着排名第 1 的文档比排名第 10 的文档获得更高贡献。
同时,排名靠后的结果贡献逐渐减小,避免低排名结果对最终得分产生过大影响。
6.3 RRF 计算示例
假设两个检索器返回:
BM25 检索结果
| 排名 | 文档 |
|---|---|
| 1 | A |
| 2 | B |
| 3 | C |
| 4 | D |
向量检索结果
| 排名 | 文档 |
|---|---|
| 1 | C |
| 2 | A |
| 3 | E |
| 4 | B |
取:
计算结果:
| 文档 | BM25 排名 | 向量排名 | RRF 分数 |
|---|---|---|---|
| A | 1 | 2 | 1/61+1/62 |
| B | 2 | 4 | 1/62+1/64 |
| C | 3 | 1 | 1/63+1/61 |
| D | 4 | 未召回 | 1/64 |
| E | 未召回 | 3 | 1/63 |
最终排序:
- A
- C
- B
- E
- D
A 和 C 都在两个检索器中排名靠前,因此获得较高的融合分数。
6.4 RRF 的优点
- 不需要直接比较不同检索器的原始分数。
- 对分数尺度差异不敏感。
- 实现简单,计算成本较低。
- 能够融合多个独立检索器。
- 对不同检索模型具有较好的适应性。
6.5 RRF 的局限
- 不使用原始分数中的置信度信息。
- 只考虑排名,不考虑排名之间的实际分差。
- 无法自动识别某个检索器在特定查询中的可靠程度。
- 参数 k 会影响排名贡献的衰减速度。
- 需要保留足够的候选结果,否则潜在优质文档可能在融合前就被截断。
例如:
一个文档在 BM25 中排名第 1,另一个排名第 2,但两者原始分数可能非常接近,也可能差距巨大。
RRF 只关注排名,不会区分这两种情况。
七、混合检索中的候选集与 Top-K 策略
混合检索的最终效果不仅取决于融合算法,还受到每个检索器召回数量的影响。
假设:
- BM25 召回 50 条。
- 向量检索召回 50 条。
- 两者合并后去重。
- 最终融合结果保留 20 条。
候选集数量最多为 100 条,实际数量取决于两组结果的重叠程度。
7.1 为什么不能过早截断?
假设一个文档:
- 在 BM25 中排名第 80。
- 在向量检索中排名第 2。
如果 BM25 只召回前 10 条,那么该文档仍然可以通过向量检索进入候选集。
但如果它在两个检索器中都排在召回窗口之外,就无法进入融合阶段。
因此,召回数量需要结合数据规模、查询复杂度、延迟预算和下游重排序能力共同确定。
7.2 候选集数量的设计
常见设计思路:
| 阶段 | 示例数量 | 目标 |
|---|---|---|
| BM25 召回 | 50 | 保证关键词覆盖 |
| 向量召回 | 50 | 保证语义覆盖 |
| 合并去重 | 最多 100 | 形成统一候选集 |
| RRF 融合 | 最多 100 | 统一排序 |
| Reranker | 20~50 | 精细排序 |
| 最终上下文 | 5~10 | 控制上下文长度 |
这些数量只是示例,并非通用最佳配置。
7.3 召回率与精确率
混合检索需要同时关注两个指标:
Recall@K(召回率):
表示前 K 条检索结果中覆盖了多少相关文档。
Precision@K(精确率):
表示前 K 条结果中有多少是真正相关的文档。
通常:
- 增加候选数量有助于提高召回覆盖,但也可能引入更多噪声。
- 提高排序质量有助于改善前几名结果,但不一定提高第一阶段的召回率。
不能只看最终 Top-5 的表现,就判断整个混合检索系统的召回能力。
八、Reranker:混合检索后的精排机制
混合检索主要解决候选文档的召回问题。
但通过 BM25、向量检索和 RRF 得到的结果,仍然可能存在排序误差。
因此,通常会引入 Reranker(重排序模型)。
8.1 Reranker 的工作原理
Embedding 检索一般采用双编码器(Bi-Encoder)结构:
- 查询单独编码。
- 文档单独编码。
- 通过向量相似度进行检索。
这种方式适合大规模检索,但查询与文档之间的交互相对有限。
Reranker 常见实现采用 Cross-Encoder:
- 将 Query 和 Document 一起输入模型。
- 模型通过注意力机制建立两者之间的细粒度关联。
- 输出相关性分数。
示意:
flowchart TD
A["Query"] --> C["Cross-Encoder"]
B["候选 Document"] --> C
C --> D["联合语义编码"]
D --> E["计算相关性分数"]
E --> F["重新排序"]
F --> G["最终 Top-K"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
8.2 为什么 Reranker 通常放在融合之后?
Reranker 通常比向量相似度计算成本更高。
如果直接对整个知识库执行 Cross-Encoder 评分,计算成本会非常高。
因此,通常先利用 BM25 和向量检索进行大规模候选召回,再通过 RRF 等算法融合,最后对较小的候选集合执行精排。
需要明确:
Reranker 只能重新排序已经召回的候选文档,无法找回第一阶段完全没有召回的文档。
所以,召回质量和重排序质量需要分别优化。
九、混合检索的 Python 实现
下面使用简化的 Python 代码演示 RRF 融合机制。
假设已经分别通过 BM25 和向量检索获得两个有序结果列表。
9.1 RRF 融合实现
from collections import defaultdict
def reciprocal_rank_fusion(
result_lists,
k=60,
top_n=10
):
"""
result_lists:
多个检索器的有序结果列表。
每个元素为文档 ID。
k:
RRF 平滑参数。
top_n:
最终返回数量。
"""
scores = defaultdict(float)
for results in result_lists:
for rank, doc_id in enumerate(results, start=1):
scores[doc_id] += 1 / (k + rank)
ranked_results = sorted(
scores.items(),
key=lambda item: item[1],
reverse=True
)
return ranked_results[:top_n]
bm25_results = [
"doc_A",
"doc_B",
"doc_C",
"doc_D"
]
vector_results = [
"doc_C",
"doc_A",
"doc_E",
"doc_B"
]
results = reciprocal_rank_fusion(
[bm25_results, vector_results],
k=60,
top_n=5
)
for doc_id, score in results:
print(doc_id, round(score, 6))
输出结果按照融合分数从高到低排列。
9.2 支持多个检索器
RRF 不局限于 BM25 和向量检索。
例如,可以同时融合:
- BM25。
- Dense Embedding 检索。
- Sparse Embedding 检索。
- 多个不同 Embedding 模型的检索结果。