一、什么是 Rerank?
Rerank(重排序)是一种对初步检索结果进行二次排序的技术。
在搜索系统和 RAG 架构中,通常先通过 BM25、向量检索或混合检索,从海量文档中召回一批候选结果,再使用 Reranker 模型评估每个候选文档与用户查询之间的相关性,重新调整排序。
它主要解决一个问题:
初步检索能够找到相关文档,但不一定能够准确判断哪些文档最值得优先返回。
例如,用户查询:
Transformer 中 KV Cache 为什么可以降低推理延迟?
初步检索可能得到以下结果:
| 初始排名 | 候选文档 | 初步检索特点 |
|---|---|---|
| 1 | Transformer 的注意力机制 | 关键词高度匹配 |
| 2 | KV Cache 的工作原理 | 直接解释查询主题 |
| 3 | 大模型推理的 Prefill 与 Decode | 涉及推理阶段 |
| 4 | Transformer 模型架构 | 整体概念相关 |
| 5 | GPU 显存优化技术 | 相关背景知识 |
初步检索可能将包含大量 Transformer 关键词的文档排在前面。
但从用户问题来看,真正应该优先返回的是直接解释 KV Cache 如何避免重复计算的文档。
Rerank 会进一步分析查询与每篇候选文档之间的语义关系,重新计算相关性分数。
最终可能得到:
| 重排序 | 候选文档 |
|---|---|
| 1 | KV Cache 的工作原理 |
| 2 | 大模型推理的 Prefill 与 Decode |
| 3 | Transformer 的注意力机制 |
| 4 | GPU 显存优化技术 |
| 5 | Transformer 模型架构 |
Rerank 不负责从整个知识库中寻找文档,而是对已有候选结果进行更精细的判断。
二、为什么需要 Rerank?
现代检索系统通常采用两阶段或多阶段检索架构:
- 第一阶段:召回(Retrieval),从海量数据中快速找到候选文档。
- 第二阶段:重排序(Reranking),对候选文档进行更精细的相关性判断。
2.1 初步检索的局限
无论是 BM25 还是向量检索,都存在自身的能力边界。
BM25 的问题:
BM25 主要根据词项匹配、词频、逆文档频率和文档长度计算相关性。
它擅长精确匹配,但不擅长理解复杂的语义关系。
例如:
查询:
如何避免大模型生成答案时重复计算历史 Token?
文档:
KV Cache 将历史 Token 对应的 Key 和 Value 缓存起来,在后续自回归生成过程中复用,从而避免重复执行历史位置的注意力投影计算。
两者语义高度相关,但关键词表达并不完全一致。
向量检索的问题:
向量检索通过 Embedding 将查询和文档映射到向量空间,使用余弦相似度、内积或距离进行排序。
它能够捕获语义关联,但也可能将概念相似、主题相近、实际答案不匹配的文档排在前面。
例如:
- 查询:KV Cache 如何降低 Decode 阶段的计算量?
- 文档 A:KV Cache 的计算机制。
- 文档 B:GPU 显存管理技术。
- 文档 C:Transformer 的整体架构。
B 和 C 可能与查询具有较高的语义关联,但不一定包含用户真正需要的答案。
2.2 Rerank 的价值
Rerank 的核心优势是更充分地建模 Query 与 Document 之间的关系。
| 能力 | 初步检索 | Rerank |
|---|---|---|
| 大规模数据检索 | 擅长 | 不适合直接处理整个知识库 |
| 精确词项匹配 | BM25 擅长 | 可以结合语义判断 |
| 语义相关性 | Embedding 检索 | 可以进行更细粒度判断 |
| 查询与文档交互 | 通常较弱 | 通常较强 |
| 排序精度 | 受召回算法限制 | 可以进一步提升 |
| 计算成本 | 通常较低 | 通常较高 |
Rerank 的目标不是替代初步检索,而是提升候选集内部的排序质量。
三、Rerank 在 RAG 中的位置
一个典型的 RAG 系统可以分为:
- 文档解析与切片。
- Embedding 向量化。
- 索引构建。
- 用户查询。
- 初步检索。
- Rerank 重排序。
- 上下文构建。
- LLM 生成答案。
3.1 完整工作流程
flowchart TD
A["用户 Query"] --> B["查询预处理"]
B --> C["初步检索"]
C --> D["BM25 关键词检索"]
C --> E["向量检索"]
D --> F["候选文档集合"]
E --> F
F --> G["Reranker 模型"]
G --> H["计算 Query-Document 相关性"]
H --> I["重新排序"]
I --> J["筛选 Top-K 文档"]
J --> K["构建上下文"]
K --> L["LLM 生成答案"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F
3.2 为什么 Rerank 放在召回之后?
假设知识库中有:
- 100 万个文档 Chunk。
- 每次查询需要召回 100 个候选 Chunk。
- 最终只需要 5~10 个高相关 Chunk。
如果使用计算成本较高的 Reranker 对 100 万个文档逐一评分,计算开销会非常大。
更合理的架构是:
| 阶段 | 处理对象 | 主要目标 |
|---|---|---|
| 初步检索 | 100 万个 Chunk | 快速召回候选 |
| 候选集合 | 50~200 个 Chunk | 缩小搜索空间 |
| Rerank | 50~200 个 Chunk | 精细计算相关性 |
| 最终筛选 | 5~10 个 Chunk | 构建高质量上下文 |
上述数量仅为架构示例,实际配置取决于知识库规模、模型性能、查询延迟和上下文预算。
核心原则:
先使用高效检索缩小搜索空间,再使用高精度模型优化排序。
四、Reranker 的核心架构:Bi-Encoder 与 Cross-Encoder
理解 Rerank,需要先理解两类文本匹配模型:
- Bi-Encoder:双编码器。
- Cross-Encoder:交叉编码器。
它们最重要的区别是:Query 和 Document 是否在模型内部进行联合交互。
4.1 Bi-Encoder:双编码器
Bi-Encoder 将查询和文档分别编码为向量。
假设:
- Query 为 q。
- Document 为 d。
- 编码模型为 f(\cdot)。
分别得到:
再计算两个向量之间的相似度。
例如余弦相似度:
整体结构:
flowchart TD
A["Query"] --> B["Query Encoder"]
C["Document"] --> D["Document Encoder"]
B --> E["Query Embedding"]
D --> F["Document Embedding"]
E --> G["相似度计算"]
F --> G
G --> H["Similarity Score"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
Bi-Encoder 的特点:
- Query 和 Document 独立编码。
- 文档向量可以提前计算并保存。
- 查询时只需要计算 Query Embedding。
- 可以使用向量索引执行 ANN 检索。
- 适合大规模候选召回。
但它也有一个重要限制:
Query 和 Document 在编码阶段没有直接进行深层交互。
模型主要通过各自的向量表达和最终相似度,判断两者是否相关。
这可能导致细粒度语义关系丢失。
4.2 Cross-Encoder:交叉编码器
Cross-Encoder 将 Query 和 Document 拼接成一个联合输入,再交给同一个模型进行编码。
例如:
[CLS] Query [SEP] Document [SEP]
模型可以在 Transformer 的多层注意力计算中,让 Query Token 与 Document Token 直接交互。
最后通过分类头或回归头输出相关性分数。
形式化表示:
其中:
- q:用户查询。
- d:候选文档。
- g_\theta:联合建模 Query 和 Document 的模型。
- Score(q,d):相关性分数。
整体结构:
flowchart TD
A["Query"] --> C["拼接 Query 与 Document"]
B["Document"] --> C
C --> D["联合 Token 序列"]
D --> E["Transformer Encoder"]
E --> F["Query 与 Document 跨文本交互"]
F --> G["Pooling / 特征提取"]
G --> H["相关性预测头"]
H --> I["Relevance Score"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
Cross-Encoder 可以直接建模:
- 查询中的实体与文档中的实体是否对应。
- 查询中的条件是否被文档满足。
- 文档是否真正回答了问题。
- 文档中的否定关系是否改变了语义。
- 查询与文档之间是否存在细粒度语义关联。
例如:
Query:
Python 多线程是否能够充分利用多核 CPU 执行 CPU 密集型任务?
Document A:
CPython 中的 GIL 会限制多个线程同时执行 Python 字节码,因此 CPU 密集型任务通常可以考虑使用多进程。
Document B:
Python 的 threading 模块提供了创建和管理线程的接口。
两个文档都包含 Python 和多线程相关内容,但 A 更直接回答了查询中的核心条件。
Cross-Encoder 能够通过 Query 和 Document 的联合注意力计算,更充分地识别这种差异。
4.3 Bi-Encoder 与 Cross-Encoder 对比
| 维度 | Bi-Encoder | Cross-Encoder |
|---|---|---|
| 输入方式 | Query、Document 分别输入 | Query 与 Document 联合输入 |
| 编码方式 | 独立编码 | 联合编码 |
| 跨文本交互 | 编码阶段没有直接交互 | Transformer 内部直接交互 |
| 文档向量缓存 | 支持 | 通常不支持独立文档向量复用 |
| 大规模 ANN 检索 | 适合 | 不适合直接执行 |
| 单次匹配成本 | 较低 | 通常较高 |
| 排序精度 | 适合粗粒度召回 | 适合细粒度相关性判断 |
| 典型用途 | Retrieval | Reranking |
这里需要注意:
Bi-Encoder 和 Cross-Encoder 是常见架构,不代表所有 Reranker 都必须使用 Cross-Encoder。
实际系统还存在基于 LLM 的相关性判断模型、列表级排序模型以及其他学习排序架构。
五、Cross-Encoder 为什么能够提高排序精度?
这是理解 Rerank 最重要的部分。
5.1 独立编码的信息交互限制
Bi-Encoder 分别计算:
最终使用:
在这种结构中,Query 和 Document 的表示主要独立形成。
模型无法在每一层 Transformer 中,直接根据当前 Query 的具体内容动态调整 Document 的 Token 表示。
5.2 Cross-Attention 式的联合交互
Cross-Encoder 将两个文本放入同一个 Transformer 序列。
设联合输入的隐藏状态为:
在自注意力层中:
这里的 Q、K、V 都由联合输入计算得到。
由于 Query 和 Document Token 同时处于注意力计算范围内,Query Token 可以关注 Document Token,Document Token 也可以关注 Query Token。
这意味着模型可以动态学习:
- 哪个查询词对应文档中的哪个概念。
- 文档是否包含查询要求的关键条件。
- 文档是否存在语义冲突。
- 某些词语在当前查询上下文中是否真正重要。
严格来说,Cross-Encoder 使用的是联合序列上的 Self-Attention,而不是一定采用独立的 Cross-Attention 层。
5.3 计算复杂度与工程取舍
假设:
- Query 长度为 L_q。
- Document 长度为 L_d。
- Transformer 隐藏维度为 d。
Bi-Encoder 的两部分可以独立计算,文档侧的编码结果可以预先缓存。
对于 N 个文档,查询时只需计算一次 Query Embedding,再与已有文档向量进行相似度计算。
Cross-Encoder 对每个 Query-Document Pair 执行联合计算。
联合序列长度约为:
标准全注意力机制中,注意力计算的主要复杂度与:
相关。
对 N 个候选文档分别评分时,联合编码计算需要执行 N 次。
因此,Cross-Encoder 的成本会随候选数量明显增加。
这就是为什么生产环境通常不会使用 Cross-Encoder 对整个知识库进行全量扫描。
六、Reranker 如何计算相关性分数?
Reranker 的核心输出是 Query 与 Document 之间的相关性分数。
常见方式包括二分类、回归和排序学习。
6.1 二分类模型
将 Query-Document Pair 分成两个类别:
- Relevant:相关。
- Irrelevant:不相关。
模型输出:
可以通过 Softmax 或 Sigmoid 得到相关概率。
例如:
Query: 什么是 KV Cache?
Document A: KV Cache 用于缓存历史 Token 的 Key 和 Value。
Relevant: 0.97
Document B: CNN 是一种常见的卷积神经网络。
Relevant: 0.02
实际模型可能输出类别概率或相关性 Logit,具体取决于训练任务和模型实现。
6.2 回归模型
将相关性建模为连续分数:
例如:
| 文档 | 相关性分数 |
|---|---|
| Document A | 8.92 |
| Document B | 6.35 |
| Document C | 2.18 |
分数越高,通常表示模型认为文档越相关。
但需要注意:
Reranker 的分数通常不是经过校准的真实概率。
不同模型的输出尺度可能不同,即使两个模型都输出 0~1,也不代表它们的分数具有相同含义。
6.3 排序学习
除了判断单篇文档是否相关,还可以直接训练模型学习文档之间的相对顺序。
例如:
对于同一个查询:
其中:
- d^+:相关文档。
- d^-:不相关文档。
模型学习的目标是让正样本文档的得分高于负样本文档。
这类训练方式尤其适合搜索排序任务。
七、Reranker 的训练机制
Reranker 的效果不仅取决于模型结构,还取决于训练数据和目标函数。
7.1 训练数据
典型训练样本包含:
- Query:查询文本。
- Positive Document:相关文档。
- Negative Document:不相关文档。
- Relevance Label:相关性标签或等级。
示例:
| Query | Document | Label |
|---|---|---|
| KV Cache 的作用是什么? | 缓存历史 Key 和 Value,避免重复计算 | 1 |
| KV Cache 的作用是什么? | CNN 卷积层的计算机制 | 0 |
| Python GIL 有什么影响? | GIL 对线程执行的限制 | 1 |
| Python GIL 有什么影响? | HTML 文档结构 | 0 |
训练数据的质量会直接影响模型对相关性的判断能力。
7.2 负样本构造
负样本并不是越随机越好。
如果负样本与查询完全无关,模型很容易区分正负样本。
例如:
Query:
如何使用 Redis 实现分布式锁?
正样本:
使用 SET NX EX 命令实现带过期时间的分布式锁。
随机负样本:
CNN 是一种卷积神经网络。
这个负样本太容易区分。
更有价值的是 Hard Negative(困难负样本):
Redis 的 RDB 与 AOF 持久化机制。
这篇文档与查询共享 Redis 主题,但并没有回答分布式锁问题。
困难负样本能够帮助模型学习更细粒度的相关性判断。
常见负样本来源:
- 随机负样本:从无关文档中抽取。
- BM25 负样本:关键词相似但语义不匹配的文档。
- 向量负样本:向量相似但不真正相关的文档。
- 模型困难负样本:由当前模型错误排在前面的文档。
- 人工标注负样本:由人工确认不相关或部分相关的文档。
7.3 Pairwise Ranking Loss
Pairwise Loss 用于学习正样本的得分应高于负样本。
一种常见形式是:
其中:
- s(q,d^+):正样本相关性得分。
- s(q,d^-):负样本相关性得分。
- \sigma:Sigmoid 函数。
当正样本得分明显高于负样本时,损失会降低。
如果负样本得分高于正样本,损失就会增加,模型需要调整参数。
7.4 Listwise Ranking
Listwise 方法将同一个查询对应的一组候选文档作为整体进行学习。
与 Pairwise 只关注两个文档的相对顺序不同,Listwise 会考虑整个候选列表的排序质量。
例如:
Query
├── Document A:相关性等级 3
├── Document B:相关性等级 2
├── Document C:相关性等级 0
└── Document D:相关性等级 1
训练目标是让模型学习更合理的整体排序。
常见方法包括基于 ListNet、ListMLE 或 NDCG 优化思想的排序学习方法。
不同 Reranker 模型可能采用不同的训练目标,并不意味着所有模型都使用同一种 Loss。
八、Rerank 的完整执行流程
一个典型的 Reranker 推理过程可以拆分为以下阶段。
8.1 输入构造
将查询与候选文档组合成模型输入。
例如:
Query:
什么是 KV Cache?
Document:
KV Cache 是大语言模型推理过程中使用的一种缓存机制,
用于保存历史 Token 对应的 Key 和 Value。
经过 Tokenizer 后,生成模型所需的 Token ID、Attention Mask 等输入。
8.2 模型前向计算
模型通过 Transformer Encoder 对联合序列进行编码。
主要包括:
- Token Embedding。
- Position Embedding 或位置编码机制。
- 多层 Self-Attention。
- FFN 前馈网络。
- Pooling 或特殊 Token 表示提取。
- 相关性预测头。
8.3 相关性打分
模型根据最终隐藏状态输出一个相关性分数。
例如:
Document A: 0.96
Document B: 0.72
Document C: 0.15
Document D: 0.83
8.4 排序与筛选
按照分数降序排序,选取最终 Top-K。
完整流程:
flowchart TD
A["用户 Query"] --> B["获取候选文档"]
B --> C["构造 Query-Document Pair"]
C --> D["Tokenizer 编码"]
D --> E["生成 Token ID 与 Attention Mask"]
E --> F["Reranker 前向计算"]
F --> G["提取联合语义表示"]
G --> H["相关性预测头"]
H --> I["输出 Relevance Score"]
I --> J["按分数降序排序"]
J --> K["Top-K 筛选"]
K --> L["返回重排序结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F
九、Reranker 的工程实现
9.1 Python 实现:使用 Cross-Encoder
可以使用 Sentence Transformers 中的 CrossEncoder 接口调用现成的重排序模型。
from sentence_transformers import CrossEncoder
# 加载支持 Cross-Encoder 任务的模型
model = CrossEncoder(
"cross-encoder/ms-marco-MiniLM-L-6-v2"
)
query = "什么是 KV Cache?"
documents = [
"KV Cache 用于缓存历史 Token 的 Key 和 Value。",
"CNN 是一种常见的卷积神经网络。",
"大语言模型使用自回归方式逐个生成 Token。",
"KV Cache 可以减少 Decode 阶段的重复计算。"
]
# 构造 Query-Document Pair
pairs = [
(query, document)
for document in documents
]
# 执行相关性评分
scores = model.predict(pairs)
# 按分数降序排列
results = sorted(
zip(documents, scores),
key=lambda item: float(item[1]),
reverse=True
)
for document, score in results:
print(f"Score: {float(score):.4f}")
print(f"Document: {document}")
print()
注意:
- 示例模型是面向英文 MS MARCO 排序任务的模型,不适合直接作为中文生产模型。
- 实际应用应选择与语种、领域和数据分布匹配的 Reranker。
- CrossEncoder 的
predict输出可能是 Logit 或模型定义的相关性分数,不应默认解释为概率。
9.2 批量推理
生产环境通常不会逐条调用模型,而是采用 Batch 推理。
from sentence_transformers import CrossEncoder
model = CrossEncoder(
"cross-encoder/ms-marco-MiniLM-L-6-v2"
)
query = "如何理解 Transformer 的 Self-Attention?"
documents = [
"Self-Attention 用于计算序列中不同 Token 之间的关联。",
"Transformer 使用多头注意力机制提取上下文信息。",
"CNN 通过卷积核提取局部特征。",
"LayerNorm 用于稳定神经网络训练过程。"
]
pairs = [(query, doc) for doc in documents]
scores = model.predict(
pairs,
batch_size=16
)
ranked = sorted(
zip(documents, scores),
key=lambda x: float(x[1]),
reverse=True
)
for rank, (doc, score) in enumerate(ranked, start=1):
print(rank, round(float(score), 4), doc)