一、RAG 检索质量的核心问题
RAG(Retrieval-Augmented Generation,检索增强生成)的核心目标,是在生成答案之前,从外部知识库中找到与用户问题相关的证据。
但检索系统并不是只要找到相关文档就算成功。
实际生产环境中,经常出现以下问题:
- 用户问题涉及多个知识点,检索结果只覆盖其中一部分。
- 检索结果包含大量主题相关但无法回答问题的文档。
- 正确文档存在于知识库中,却没有进入候选集合。
- 相关文档被排在后面,最终没有进入 LLM 上下文。
- 检索结果本身正确,但 Chunk 缺少必要的上下文。
- 检索到旧版本文档,导致答案与当前业务状态不一致。
这些问题可以归纳为两个核心维度:
召回率(Recall):有没有找到应该找到的内容?
准确率(Precision):找到的内容中,有多少是真正相关的?
在信息检索领域,Precision 通常翻译为精确率,也有资料称为查准率;Recall 通常翻译为召回率,也称查全率。
两者共同决定 RAG 能否向大模型提供高质量上下文。
二、召回率与准确率的基本定义
2.1 四种检索结果状态
假设有一个查询,系统返回了一批文档。
从相关性角度,可以将结果分为四种:
| 类型 | 含义 |
|---|---|
| TP(True Positive) | 检索到的相关文档 |
| FP(False Positive) | 检索到的不相关文档 |
| FN(False Negative) | 没有检索到的相关文档 |
| TN(True Negative) | 没有检索到的不相关文档 |
其中:
- TP:找到了正确内容。
- FP:找到了错误或无关内容。
- FN:漏掉了应该找到的内容。
- TN:没有找到本来就不相关的内容。
注意,检索系统通常只返回 Top-K 候选结果,因此 TN 很难在实际检索评估中完整枚举。Precision 和 Recall 主要基于 TP、FP、FN 计算。
2.2 Precision 精确率
Precision 衡量检索结果中,相关文档所占的比例。
例如:
系统检索出 10 个文档,其中:
- 8 个相关。
- 2 个不相关。
那么:
即精确率为 80%。
Precision 越高,说明检索结果中的无关内容越少。
2.3 Recall 召回率
Recall 衡量所有相关文档中,被系统成功检索出来的比例。
例如:
知识库中一共有 20 个与查询相关的文档,系统只检索到了其中 8 个。
那么:
即召回率为 40%。
Recall 越高,说明系统遗漏的相关内容越少。
2.4 两者的区别
| 维度 | Precision | Recall |
|---|---|---|
| 中文名称 | 精确率 | 召回率 |
| 关注重点 | 检索结果是否相关 | 相关内容是否找全 |
| 分母 | 检索出来的文档数量 | 全部相关文档数量 |
| 主要问题 | 引入多少无关内容 | 漏掉多少相关内容 |
| 低值表现 | 噪声较多 | 证据缺失 |
| 优化方向 | 提高排序质量、过滤噪声 | 扩大覆盖、优化召回 |
一个简单的记忆方法:
- Precision:找出来的东西有多少是对的?
- Recall:应该找到的东西有多少被找到了?
三、Precision 与 Recall 的权衡关系
召回率与精确率通常存在一定的权衡关系。
假设系统只返回排名最高的 3 个文档:
- 其中 3 个都相关。
- Precision = 100%。
- 但可能遗漏大量相关文档,Recall 较低。
如果系统返回排名最高的 100 个文档:
- 可能找到更多相关文档。
- Recall 可能提高。
- 但也可能引入大量无关文档,Precision 下降。
3.1 Top-K 对检索质量的影响
假设某个查询对应 10 个已标注相关文档:
| Top-K | 检索到的相关文档 | Precision@K | Recall@K |
|---|---|---|---|
| 5 | 4 | 80% | 40% |
| 10 | 7 | 70% | 70% |
| 20 | 9 | 45% | 90% |
| 30 | 10 | 33.3% | 100% |
随着 K 增加,召回覆盖通常会提高,但精确率可能下降。
这里假设新增候选中逐渐引入无关文档,具体趋势取决于排序结果,并不是所有数据集都必然如此。
3.2 Precision-Recall 曲线
可以通过改变检索阈值或 Top-K,观察 Precision 和 Recall 的变化。
| 召回率 | 精确率 |
|---|---|
| 0.1 | 0.98 |
| 0.2 | 0.95 |
| 0.3 | 0.91 |
| 0.4 | 0.86 |
| 0.5 | 0.80 |
| 0.6 | 0.72 |
| 0.7 | 0.63 |
| 0.8 | 0.52 |
| 0.9 | 0.38 |
| 1.0 | 0.25 |
曲线越靠近右上方,通常代表检索系统整体表现越好。
3.3 F1 Score
如果希望综合衡量 Precision 和 Recall,可以使用 F1 Score。
F1 是 Precision 和 Recall 的调和平均数。
例如:
则:
F1 适合在两者同等重要时进行综合评估。
如果业务更加关注召回率,可以使用 F-beta:
其中:
- \beta>1:更加重视 Recall。
- \beta<1:更加重视 Precision。
- \beta=1:等同于 F1。
需要注意:F1 和 F-beta 不能代替完整的排序评估,它们主要衡量给定阈值或候选集合下的分类式检索表现。
四、RAG 检索质量应该在哪些阶段评估?
RAG 不是一个单独的向量检索操作,而是由多个环节组成的完整链路。
检索质量问题可能发生在:
- 文档解析阶段。
- Chunk 切分阶段。
- Embedding 阶段。
- 初步召回阶段。
- 多路结果融合阶段。
- Rerank 阶段。
- 最终上下文构建阶段。
因此,不能只看最终答案是否正确,就判断检索系统是否正常。
4.1 RAG 完整质量链路
flowchart TD
A["原始知识文档"] --> B["文档解析"]
B --> C["Chunk 切分"]
C --> D["Embedding 与索引构建"]
D --> E["用户 Query"]
E --> F["查询处理"]
F --> G["初步召回"]
G --> H["候选文档集合"]
H --> I["结果融合"]
I --> J["Rerank 重排序"]
J --> K["上下文筛选"]
K --> L["LLM 生成答案"]
L --> M["答案质量评估"]
H --> N["召回与精确率评估"]
J --> O["排序质量评估"]
K --> P["上下文质量评估"]
M --> Q["端到端效果评估"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style L fill:#EAF3EC,stroke:#83A995,color:#315D49
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style N fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style O fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style P fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style Q fill:#DCEFE5,stroke:#4F8B70,color:#24563F
4.2 分阶段评估
| 阶段 | 重点指标 | 主要问题 |
|---|---|---|
| 文档解析 | 解析完整率、字段完整率 | 内容是否丢失 |
| Chunking | Chunk 完整性、边界质量 | 语义是否被切断 |
| 初步召回 | Recall@K、Hit Rate@K | 是否找到相关文档 |
| 结果融合 | Recall@K、候选覆盖率 | 多路结果是否互补 |
| Rerank | MRR、NDCG@K | 相关文档是否排在前面 |
| 上下文构建 | Context Relevance、覆盖率 | 是否保留必要证据 |
| 答案生成 | Faithfulness、Answer Relevance | 答案是否有依据 |
这种分阶段评估方式能够帮助定位问题,而不是仅仅观察最终生成结果。
五、RAG 检索评估的核心指标
除了 Precision 和 Recall,实际 RAG 系统还需要关注排序、覆盖和延迟。
5.1 Recall@K
Recall@K 表示前 K 个检索结果覆盖了多少相关文档。
例如:
- 已标注相关文档:10 个。
- 系统前 10 个结果命中:7 个。
则:
Recall@K 是衡量初步召回质量的重要指标。
5.2 Precision@K
Precision@K 表示前 K 个结果中,相关文档所占的比例。
例如:
- 前 10 个结果中有 8 个相关文档。
则:
5.3 Hit Rate@K
Hit Rate@K 衡量前 K 个结果中是否至少包含一个相关文档。
对单个查询:
对多个查询取平均:
Hit Rate 特别适合评估问答系统是否能够找到至少一条有效证据。
但它不关心找到了多少条相关文档,也不充分反映排序质量。
5.4 MRR
MRR(Mean Reciprocal Rank)衡量第一个相关结果出现的位置。
例如:
| 查询 | 第一个相关结果排名 | 倒数排名 |
|---|---|---|
| Q1 | 1 | 1 |
| Q2 | 2 | 0.5 |
| Q3 | 4 | 0.25 |
则:
MRR 适合评估首个有效证据能否尽早出现。
5.5 NDCG@K
NDCG(Normalized Discounted Cumulative Gain)用于评估排序质量,支持不同等级的相关性标签。
其中:
- rel_i:第 i 个位置的相关性等级。
- IDCG@K:理想排序下的 DCG。
例如:
| 等级 | 含义 |
|---|---|
| 3 | 高度相关,可以直接回答 |
| 2 | 相关,包含重要证据 |
| 1 | 部分相关,只有辅助信息 |
| 0 | 不相关 |
NDCG 特别适合评估 Reranker,因为它不仅关心是否相关,还关心高相关文档是否排在前面。
5.6 指标如何选择?
| 优化目标 | 推荐指标 |
|---|---|
| 找到更多相关证据 | Recall@K |
| 减少无关内容 | Precision@K |
| 至少找到一条证据 | Hit Rate@K |
| 首个相关结果尽可能靠前 | MRR |
| 整体排序质量 | NDCG@K |
| 端到端响应速度 | Latency |
| 检索服务承载能力 | Throughput |
生产环境中不应只选择一个指标,而应根据业务建立指标组合。
六、第一阶段:提升初步召回率
提高 Recall 的核心,是让更多真正相关的文档进入候选集合。
但需要区分两个问题:
- 文档是否存在于知识库?
- 文档是否能够被当前检索策略召回?
如果正确内容根本没有进入知识库,那么调整向量检索参数也无法解决问题。
6.1 优化文档解析
文档解析是检索质量的基础。
常见数据来源:
- PDF。
- Word。
- Markdown。
- HTML。
- Excel。
- PPT。
- 数据库记录。
- API 文档。
解析阶段需要关注:
- 标题与正文的层级关系。
- 表格内容是否完整。
- 代码块是否保留。
- 页眉页脚是否污染正文。
- 图片中的文字是否被识别。
- 多栏文档的阅读顺序是否正确。
- 元数据是否保留。
例如,一份技术文档:
# KV Cache
## 工作原理
KV Cache 用于缓存历史 Token 的 Key 和 Value。
## 优势
减少 Decode 阶段的重复计算。
如果解析时丢失标题,可能会影响后续 Chunk 的语义完整性。
如果表格结构被破坏,原本具有明确对应关系的数据可能变成无法理解的文本。
6.2 优化 Chunking 策略
Chunking 决定知识库中检索的最小内容单元。
常见策略:
| 策略 | 特点 | 适用场景 |
|---|---|---|
| 固定长度切分 | 按 Token 数量切分 | 通用文本 |
| 递归字符切分 | 优先根据结构边界切分 | Markdown、普通文档 |
| 语义切分 | 根据语义变化划分 | 长文本 |
| 结构化切分 | 根据标题、段落、表格等结构切分 | 技术文档 |
| 父子 Chunk | 小块检索,大块补充上下文 | 复杂知识库 |
Chunk 过短:
- 语义不完整。
- 缺少前置定义。
- 可能丢失上下文关系。
- 需要更多片段才能回答复杂问题。
Chunk 过长:
- 主题混杂。
- 相关内容被大量无关内容稀释。
- Embedding 表示可能不够聚焦。
- 上下文成本增加。
Chunk 的大小没有统一最佳值,应根据文档类型、查询模式、Embedding 模型和上下文窗口进行评估。
6.3 Overlap 重叠切分
Overlap 是相邻 Chunk 之间保留的重复文本。
例如:
Chunk A:
Transformer 使用 Self-Attention 机制,
计算不同 Token 之间的关联。
Chunk B:
计算不同 Token 之间的关联。
多头注意力可以从多个表示子空间提取信息。
重叠可以减少切分边界导致的信息丢失。
但过大的 Overlap 会导致:
- 重复内容增加。
- 向量索引膨胀。
- 检索结果高度重复。
- Reranker 浪费计算资源。
因此需要控制重叠比例,并在检索后进行去重。
6.4 标题与上下文补充
一个 Chunk 如果只有正文,可能缺少所属章节信息。
例如:
缓存历史 Token 的 Key 和 Value,减少重复计算。
这句话脱离上下文后,不容易判断它讨论的是 KV Cache、数据库缓存还是其他缓存机制。
可以补充标题:
文档:大模型推理优化
章节:KV Cache 的工作原理
内容:
缓存历史 Token 的 Key 和 Value,减少重复计算。
这种方式能够让 Embedding 和后续排序模型获得更完整的语义信息。
七、第二阶段:优化 Embedding 与向量召回
向量检索是现代 RAG 的重要组成部分。
其核心是使用 Embedding 模型将 Query 和 Document 映射到向量空间,再通过向量相似度进行检索。
7.1 Embedding 模型选择
不同 Embedding 模型的能力存在差异。
选择时需要考虑:
- 中文与英文支持。
- 多语言能力。
- 技术领域知识。
- 长文本支持。
- 向量维度。
- 推理延迟。
- 部署成本。
- 查询与文档的输入格式要求。
不要仅凭模型规模或公开榜单选择模型。
更可靠的方法是使用自己的真实查询和文档构建评测集,比较不同模型的 Recall@K、NDCG@K 和延迟。
7.2 Query 与 Document 的表示一致性
查询和文档必须使用兼容的 Embedding 表示。
需要注意:
- 使用兼容的模型版本。
- 遵循模型规定的 Query / Document 前缀。
- 保持预处理规则一致。
- 统一向量维度。
- 明确是否执行 L2 归一化。
- 模型升级时考虑重新生成文档向量。
如果文档使用模型 A 生成向量,而查询使用不兼容的模型 B 生成向量,即使维度相同,也不能认为两者处于相同的语义空间。
7.3 相似度度量
常见向量相似度包括:
余弦相似度:
内积:
欧氏距离:
需要注意:
- 余弦相似度越大,通常表示方向越接近。
- 内积越大,通常表示匹配程度越高,但也受向量模长影响。
- L2 距离越小,通常表示两个向量越接近。
- 对单位归一化向量,余弦相似度与内积的排序等价。
不能混淆不同向量数据库返回的 Score 语义。
7.4 ANN 参数优化
当知识库规模增大时,通常会使用 ANN(Approximate Nearest Neighbor)近似最近邻算法。
常见索引:
- HNSW。
- IVF。
- PQ。
- IVF-PQ。
以 HNSW 为例:
| 参数 | 作用 | 调整方向 |
|---|---|---|
| M | 控制图中节点连接数量 | 增大可能提高搜索质量,也增加内存 |
| efConstruction | 控制构建索引时的搜索宽度 | 增大通常提高构图质量,但构建更慢 |
| efSearch | 控制查询时搜索宽度 | 增大通常提高召回,但增加延迟 |
以 IVF 为例:
- nlist:聚类中心数量。
- nprobe:查询时探测的聚类数量。
提高 nprobe 通常能够扩大搜索范围,但会增加查询成本。
ANN 参数应结合 Recall@K 和查询延迟共同调优,而不是只追求更高的向量相似度分数。
八、第三阶段:引入混合检索
仅依靠向量检索可能无法稳定处理精确术语、编号和技术参数。
仅依靠关键词检索又难以充分捕获语义关系。
因此,可以采用 Hybrid Search。
8.1 BM25 + Dense Search
BM25 负责关键词匹配。
Dense Search 负责语义匹配。
例如查询:
PostgreSQL 16.2 如何开启某项配置?
关键词检索能够重点匹配:
- PostgreSQL。
- 16.2。
- 配置项名称。
- 参数值。
向量检索则可以召回相关配置说明和操作文档。
8.2 混合检索架构
flowchart TD
A["用户 Query"] --> B["查询预处理"]
B --> C["BM25 关键词检索"]
B --> D["Dense Vector 检索"]
C --> E["关键词候选集"]
D --> F["语义候选集"]
E --> G["结果融合"]
F --> G
G --> H["去重与过滤"]
H --> I["候选文档集合"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
8.3 RRF 结果融合
不同检索器的原始分数通常不能直接相加。
RRF(Reciprocal Rank Fusion)根据文档在不同检索结果中的排名计算融合得分。
其中:
- d:候选文档。
- rank_i(d):文档在第 i 个检索器中的排名。
- k:平滑常数。
- n:检索器数量。
RRF 不需要比较 BM25 和向量检索的原始分数,适合融合不同检索器的排名结果。
但它也不考虑原始分数的实际差距,因此不是所有场景下的最优选择。
九、第四阶段:通过 Reranker 提高准确率
初步召回主要解决覆盖问题。
但候选集合中仍然可能包含大量主题相似、实际不相关的内容。
Reranker 的作用是对候选文档进行更加精细的相关性判断。
9.1 为什么 Reranker 能提高准确率?
向量检索通常使用 Bi-Encoder:
- Query 单独编码。
- Document 单独编码。
- 最后通过向量相似度进行匹配。
Reranker 常见实现采用 Cross-Encoder:
- Query 和 Document 联合输入。
- Transformer 内部进行联合 Self-Attention。
- 输出相关性分数。
因此,Reranker 可以更充分地判断查询条件与文档内容是否匹配。
9.2 Rerank 工作流程
flowchart TD
A["初步检索候选集"] --> B["构造 Query-Document Pair"]
B --> C["Cross-Encoder"]
C --> D["联合注意力计算"]
D --> E["相关性预测"]
E --> F["Relevance Score"]
F --> G["按分数降序排列"]
G --> H["选择最终 Top-K"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
9.3 Reranker 的优化重点
- 使用与业务语种匹配的模型。
- 使用领域相关的评测数据。
- 控制候选文档数量。
- 优化 Batch 推理。
- 控制输入 Token 长度。
- 通过困难负样本提升排序能力。
- 对模型输出进行有效性校验。
特别注意:
Reranker 只能重新排序已经召回的候选文档,无法找回第一阶段没有召回的证据。
因此,不能通过不断增加 Reranker 模型规模来弥补初步召回能力不足。
十、第五阶段:优化 Query 理解与查询改写
很多检索失败并不是知识库没有内容,而是用户查询与知识库文档的表达方式不同。
例如:
用户查询:
AI 回答问题的时候为什么会记住之前的内容?
知识库文档:
KV Cache 用于缓存自回归生成过程中历史 Token 的 Key 和 Value。
如果直接检索,查询中的口语化表达可能无法准确命中专业文档。
因此,可以通过 Query Understanding 和 Query Rewriting 改善检索输入。
10.1 Query Rewrite
将用户问题转换为更适合检索的表达。
原始问题:
AI 回答问题的时候为什么会记住之前的内容?
改写后:
大语言模型自回归生成过程中,
KV Cache 如何缓存历史 Token 的 Key 和 Value?
改写可以补充专业术语,明确查询主题。
但需要避免改写时引入用户没有表达的限制条件。
10.2 Query Expansion
Query Expansion 通过补充同义词、相关术语或关联概念扩大检索覆盖。
例如:
原始查询:
Python 多线程性能问题
扩展查询:
Python 多线程性能
GIL 全局解释器锁
CPU 密集型任务
Python 多进程
线程并发执行
扩展查询可以分别执行检索,再对结果进行融合。
但扩展词并非越多越好。无关扩展可能导致候选集噪声增加。
10.3 Multi-Query Retrieval
对于复杂问题,可以生成多个不同角度的查询。
例如:
原始问题:
RAG 为什么有时候找不到正确答案?
拆解为:
- RAG 的向量检索为什么会漏掉相关文档?
- Chunk 切分对 RAG 召回率有什么影响?
- Embedding 模型如何影响语义检索?
- Reranker 如何影响 RAG 的排序质量?
分别执行检索,再进行结果融合。
10.4 查询改写流程
flowchart TD
A["用户原始 Query"] --> B["Query Understanding"]
B --> C["识别主题与关键实体"]
C --> D{"是否需要查询改写"}
D -->|"否"| E["使用原始 Query"]
D -->|"是"| F["Query Rewrite"]
F --> G["Query Expansion"]
G --> H["生成多个检索 Query"]
E --> I["检索执行"]
H --> I
I --> J["多路结果融合"]
J --> K["候选文档集合"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
Query 改写需要结合查询类型决定是否执行。
简单问题不一定需要额外改写;复杂问题、口语化问题和多约束问题通常更值得进行查询分析。
十一、第六阶段:优化上下文构建
检索结果正确,并不代表送入 LLM 的上下文一定正确。
如果上下文构建时发生截断、重复、排序错误或内容丢失,最终答案仍然可能不完整。
11.1 为什么上下文质量很重要?
假设检索到 5 个 Chunk:
| Chunk | 内容 | 相关性 |
|---|---|---|
| A | KV Cache 的定义 | 高 |
| B | KV Cache 的计算机制 | 高 |
| C | KV Cache 的显存开销 | 高 |
| D | Transformer 的发展历史 | 低 |
| E | GPU 的基础介绍 | 低 |