一、什么是 RAG?
RAG,全称 Retrieval-Augmented Generation,中文称为检索增强生成。
它是一种将信息检索(Information Retrieval)与大语言模型生成能力结合起来的技术架构。
传统大语言模型主要依赖训练过程中学习到的参数化知识回答问题,而 RAG 在生成答案之前,先从外部知识源中检索相关内容,再将检索结果作为上下文交给模型。
简单来说:
- 检索(Retrieval):从外部知识库中找到与问题相关的信息。
- 增强(Augmented):将检索到的信息加入模型输入上下文。
- 生成(Generation):由大语言模型基于问题和检索内容生成回答。
1.1 为什么需要 RAG?
大语言模型存在几个天然限制。
第一,模型知识存在时间边界。
模型训练完成后,参数不会自动吸收之后发生的新事件。
例如,企业产品在今天发布了新版本,如果模型没有获得相关信息,就无法仅凭旧训练知识准确回答新版本的功能变化。
第二,模型不了解私有数据。
通用大模型通常没有访问企业内部文档、业务数据库、产品手册和私有知识库的权限。
例如:
- 公司内部技术规范。
- 产品设计文档。
- 客户服务知识库。
- 企业内部制度。
- 私有项目代码和技术资料。
这些内容通常不会出现在模型训练数据中。
第三,模型可能产生幻觉。
当模型缺少可靠信息时,可能生成语言流畅但事实错误的内容。
第四,模型上下文存在限制。
即使将大量文档直接放入 Prompt,也会受到上下文窗口、Token 成本和处理延迟的限制。
RAG 的目标,就是在不必重新训练模型的情况下,让模型能够利用外部知识源中的信息。
1.2 RAG 的基本工作方式
传统模型问答:
flowchart TB
A["用户问题"] --> B["构建 Prompt"]
B --> C["大语言模型"]
C --> D["生成回答"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style D fill:#E5F0E9,stroke:#83A995,color:#315D49
RAG 问答:
flowchart TB
A["用户问题"] --> B["问题处理"]
B --> C["知识库检索"]
C --> D["相关文档片段"]
D --> E["构建增强上下文"]
A --> E
E --> F["大语言模型"]
F --> G["生成回答"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#E5F0E9,stroke:#83A995,color:#315D49
两种方式的核心区别:
| 对比维度 | 传统模型问答 | RAG 问答 |
|---|---|---|
| 知识来源 | 模型参数中的知识 | 模型参数与外部知识 |
| 私有数据 | 通常无法直接访问 | 可以检索授权数据 |
| 知识更新 | 通常需要更新模型或外部输入 | 更新知识库即可 |
| 实时信息 | 依赖外部输入或工具 | 可以从最新数据源检索 |
| 可追溯性 | 通常缺少外部证据 | 可以关联检索来源 |
| 系统复杂度 | 相对简单 | 需要检索、索引和知识管理 |
需要注意:RAG 并不是让模型重新学习了知识,而是在推理时向模型提供额外信息。
二、RAG 的整体架构
一个完整的 RAG 系统通常包含两个相互关联的流程:
- 离线知识处理流程:将原始数据加工成可以检索的知识索引。
- 在线问答流程:根据用户问题检索知识,并将结果交给模型生成答案。
这两个流程具有不同的性能要求和数据生命周期。
2.1 整体架构图
flowchart TB
subgraph OFF["离线知识处理"]
A["原始知识源"]
B["文档解析"]
C["文本清洗"]
D["文档切分 Chunking"]
E["Embedding 向量化"]
F["向量索引与元数据存储"]
A --> B
B --> C
C --> D
D --> E
E --> F
end
subgraph ON["在线问答处理"]
G["用户问题"]
H["问题向量化"]
I["检索与过滤"]
J["相关文档片段"]
K["构建 Prompt"]
L["大语言模型"]
M["答案与引用"]
G --> H
H --> I
I --> J
J --> K
G --> K
K --> L
L --> M
end
F --> I
style A fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style M fill:#E5F0E9,stroke:#83A995,color:#315D49
2.2 离线知识处理流程
离线阶段的核心任务,是将各种格式的原始数据转换为结构化、可检索的知识片段。
主要包括:
- 数据采集:获取 PDF、Word、Markdown、HTML、数据库等数据。
- 文档解析:提取正文、标题、表格和结构信息。
- 文本清洗:去除无效内容,规范文本格式。
- 文档切分:将长文档拆分成较小的 Chunk。
- 向量化:通过 Embedding 模型将文本转换为向量。
- 索引存储:保存向量、文本和元数据。
离线处理可以提前完成,不需要每次用户提问时重新解析整个知识库。
2.3 在线问答流程
在线阶段主要关注响应速度和检索质量。
典型流程:
- 接收用户问题。
- 对问题进行规范化或改写。
- 生成问题向量。
- 在知识库中搜索相关 Chunk。
- 根据相似度、权限和业务规则过滤结果。
- 对候选结果进行排序。
- 将相关内容组合成上下文。
- 调用大语言模型。
- 返回答案和引用来源。
离线阶段决定知识库质量,在线阶段决定能否为当前问题找到真正有用的知识。
三、文档解析与数据预处理
RAG 的检索质量首先取决于知识源质量。
如果原始文档解析错误、结构丢失或内容混乱,后续再优秀的 Embedding 和检索算法也难以弥补。
3.1 支持的数据来源
常见知识来源包括:
| 数据类型 | 典型格式 | 处理重点 |
|---|---|---|
| 文本文档 | TXT、Markdown | 标题层级、段落结构 |
| 办公文档 | PDF、DOCX | 页面布局、表格、图片 |
| 网页 | HTML | 正文提取、导航清理 |
| 表格 | CSV、XLSX | 行列关系、字段语义 |
| 数据库 | MySQL、PostgreSQL | 查询结果、结构化字段 |
| 代码 | Python、Java、Go | 文件结构、类与函数边界 |
| 多模态数据 | 图片、音频、视频 | OCR、ASR、视觉理解 |
不同数据源不能简单采用统一的纯文本提取方式。
例如:
- PDF 可能存在双栏布局和复杂表格。
- Word 可能包含标题、图片、脚注和嵌套表格。
- 网页可能包含大量导航、广告和无关内容。
- 代码文件需要保留类、函数和依赖关系。
- 表格需要保留列名与行之间的语义关联。
3.2 文档解析的重要性
假设一份技术文档包含:
# Redis 缓存设计
## 1. 缓存策略
Redis 支持多种缓存淘汰策略。
## 2. 淘汰机制
常见策略包括 LRU、LFU 和随机淘汰。
如果解析时丢失标题结构,可能只剩下:
Redis 缓存设计
Redis 支持多种缓存淘汰策略。
常见策略包括 LRU、LFU 和随机淘汰。
文本内容虽然还在,但章节之间的关系已经弱化。
在实际检索中,保留标题路径有助于理解 Chunk 的上下文。
可以为每个片段增加元数据:
{
"document_id": "doc_001",
"title": "Redis 缓存设计",
"section": "淘汰机制",
"content": "常见策略包括 LRU、LFU 和随机淘汰。",
"source": "redis-guide.md",
"page": 12
}
3.3 数据清洗
常见清洗操作:
- 去除重复页眉和页脚。
- 删除导航栏和无关页面元素。
- 规范空格和换行。
- 处理乱码和异常字符。
- 删除重复内容。
- 保留必要的标题、表格和代码结构。
- 对文档内容进行版本和来源标记。
需要注意,不能将所有特殊字符、数字、符号和代码都当成噪声删除。
对于技术文档,函数名、参数、版本号和错误码可能恰好是检索的关键内容。
四、Chunking:文档切分机制
Chunking 是 RAG 中非常关键的一环。
大多数 Embedding 模型和向量检索系统并不是直接对整本长文档进行高效、精确的语义检索,而是先将文档切分为多个片段,再对每个片段建立索引。
这些片段通常称为 Chunk。
4.1 为什么需要切分?
假设一份技术文档有 100 页,内容涵盖:
- Redis 数据结构。
- 缓存淘汰策略。
- 持久化机制。
- 主从复制。
- 集群架构。
用户只询问:
Redis 的 LFU 淘汰策略是如何工作的?
如果直接将整份文档作为一个检索单元,系统很难准确定位到相关章节。
切分后可以得到:
Chunk 1:Redis 数据结构
Chunk 2:Redis 缓存淘汰策略
Chunk 3:Redis 持久化机制
Chunk 4:Redis 主从复制
Chunk 5:Redis 集群架构
这样就可以针对用户问题检索更细粒度的内容。
4.2 固定长度切分
最简单的方式是按照固定 Token 数量切分。
例如:
- Chunk Size:500 Tokens。
- Chunk Overlap:100 Tokens。
假设一段文本有 1200 Tokens:
Chunk 1:Token 1 - 500
Chunk 2:Token 401 - 900
Chunk 3:Token 801 - 1200
其中相邻 Chunk 有 100 Tokens 的重叠。
这种方法实现简单,但可能将一个完整句子、段落甚至代码函数从中间截断。
4.3 Overlap 的作用
Overlap 指相邻 Chunk 之间重复保留的一部分内容。
它的主要作用是降低切分边界造成的语义损失。
例如:
Chunk A:
Redis 使用多种策略管理内存。
其中 LRU 是一种常见的缓存淘汰策略。
Chunk B:
其中 LRU 是一种常见的缓存淘汰策略。
它会根据最近访问时间选择淘汰对象。
第二个 Chunk 保留了第一个 Chunk 的部分内容,可以使跨越切分边界的语义更完整。
但 Overlap 也有代价:
- 增加向量数量。
- 增加存储空间。
- 增加重复检索概率。
- 可能导致上下文重复。
因此不能认为 Overlap 越大越好。
4.4 语义切分
比固定长度切分更进一步的方式,是根据文档结构和语义进行切分。
常见策略:
- 按标题层级切分。
- 按段落切分。
- 按句子边界切分。
- 按代码函数或类切分。
- 根据语义相似度识别主题边界。
例如技术文档:
# Transformer
## Self-Attention
介绍注意力计算机制。
## Multi-Head Attention
介绍多头注意力结构。
## Feed Forward Network
介绍前馈神经网络。
可以将每个二级标题作为一个主要切分边界。
这种方法能够更好地保留文档结构。
4.5 Parent-Child Chunk
在复杂知识库中,还可以采用父子 Chunk 结构。
- Parent Chunk:较大的上下文单元。
- Child Chunk:较小的检索单元。
检索时使用 Child Chunk 提高定位精度,生成时再获取对应 Parent Chunk 的完整上下文。
flowchart TB
A["原始文档"] --> B["Parent Chunk"]
B --> C["Child Chunk 1"]
B --> D["Child Chunk 2"]
B --> E["Child Chunk 3"]
C --> F["建立子片段索引"]
D --> F
E --> F
F --> G["检索命中 Child Chunk"]
G --> H["关联 Parent Chunk"]
H --> I["补充完整上下文"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这种方式能够兼顾检索精度和上下文完整性。
4.6 Chunk Size 如何选择?
不存在适用于所有场景的固定 Chunk Size。
| 切分策略 | 优势 | 局限 |
|---|---|---|
| 固定长度 | 简单、稳定 | 可能破坏语义边界 |
| 固定长度 + Overlap | 缓解边界信息损失 | 增加重复内容 |
| 按段落切分 | 保留自然语义 | 段落长度差异大 |
| 按标题切分 | 保留文档结构 | 章节可能过长 |
| 语义切分 | 更贴近主题边界 | 计算和实现复杂 |
| Parent-Child | 精度与上下文兼顾 | 索引和关联管理更复杂 |
工程实践中,可以根据文档类型分别设计切分策略,再通过检索评估数据集确定参数,而不是直接套用某个固定数值。
五、Embedding:将文本转换为向量
Embedding 是 RAG 实现语义检索的基础技术。
它负责将文本映射为高维向量,使语义相近的文本在向量空间中具有一定的接近关系。
5.1 什么是 Embedding?
假设输入文本:
Redis 是一种高性能的内存数据库。
Embedding 模型会将其转换为一个向量:
其中:
- x:输入文本。
- E:Embedding 模型。
- d:向量维度。
- v_i:向量中的第 i 个数值。
例如,一个向量可能包含 768 个或 1536 个维度,具体取决于模型。
这些数值不是可以直接解释的关键词,而是模型学习得到的连续语义表示。
5.2 为什么需要向量化?
考虑两个问题:
Redis 如何进行缓存淘汰?
Redis 在内存不足时如何移除数据?
它们的关键词并不完全相同,但语义高度相关。
如果只使用简单的字符串匹配,可能无法充分识别这种关系。
Embedding 可以将它们映射到向量空间,通过向量相似度寻找语义相关内容。
5.3 向量相似度
常见的相似度计算方法包括:
- Cosine Similarity:余弦相似度。
- Dot Product:点积。
- Euclidean Distance:欧氏距离。
余弦相似度:
其中:
- A、B:两个向量。
- A\cdot B:向量点积。
- \|A\|、\|B\|:向量模长。
余弦相似度主要衡量两个向量方向的接近程度。
在向量归一化的情况下:
因此,归一化向量可以直接使用点积进行相似度计算。
需要注意,具体使用余弦、点积还是距离度量,必须与 Embedding 模型的训练目标和向量数据库的索引配置相匹配。
5.4 Embedding 的维度与存储
假设:
- 向量维度为 1536。
- 每个维度使用 Float32。
- 向量数量为 100 万。
单个向量占用:
100 万个向量的纯向量数据约为:
实际存储还需要考虑:
- 向量索引结构。
- 元数据。
- 文本内容。
- 数据库页和存储开销。
- 副本和冗余。
因此,大规模知识库需要认真评估向量维度、索引类型和存储成本。
5.5 文档向量与查询向量
RAG 至少需要对两类文本进行向量化:
- 离线阶段:将知识库中的每个 Chunk 转换为向量。
- 在线阶段:将用户问题转换为查询向量。
两者必须使用兼容的 Embedding 空间。
如果使用了不同的模型、不同的向量维度或不兼容的模型版本,向量检索可能失效。
对于使用非对称检索训练的 Embedding 模型,文档和查询可能还需要使用不同的任务指令或编码模式,应遵循模型的使用规范。
六、向量数据库与索引
完成 Embedding 后,需要将向量保存起来,并支持高效的相似度检索。
这就是向量数据库和向量索引发挥作用的地方。
6.1 向量数据库是什么?
向量数据库是一类支持向量存储、相似度搜索和向量索引管理的数据系统。
常见方案包括:
- Milvus。
- Qdrant。
- Weaviate。
- Chroma。
- PostgreSQL + pgvector。
- Elasticsearch / OpenSearch 的向量检索能力。
它们在索引算法、过滤能力、分布式架构、运维复杂度和成本方面存在差异。
6.2 向量数据结构
一个知识片段通常不仅保存向量,还需要保存文本和元数据。
例如:
{
"id": "chunk_001",
"vector": [0.12, -0.34, 0.56],
"text": "Redis 支持多种缓存淘汰策略。",
"metadata": {
"document_id": "doc_001",
"title": "Redis 缓存设计",
"section": "淘汰机制",
"source": "redis-guide.md",
"page": 12,
"tenant_id": "tenant_001"
}
}
实际向量可能有数百甚至数千个维度,上面仅展示数据结构。
6.3 为什么需要索引?
假设知识库中有 1000 万个向量。
如果每次检索都计算查询向量与全部 1000 万个向量的相似度,就需要进行大量计算。
向量索引用于减少候选搜索范围,提高查询效率。
常见索引包括:
| 索引 | 核心思想 | 特点 |
|---|---|---|
| Flat | 暴力精确搜索 | 结果精确,计算成本高 |
| HNSW | 分层小世界图 | 查询速度快,内存开销较高 |
| IVF | 聚类倒排索引 | 通过聚类缩小搜索范围 |
| IVF-PQ | 聚类与乘积量化 | 降低存储成本,可能损失精度 |
6.4 ANN 近似最近邻搜索
ANN,全称 Approximate Nearest Neighbor,中文称为近似最近邻搜索。
它的目标是在搜索效率和检索准确率之间取得平衡。
与精确搜索不同,ANN 不保证每次都找到数学意义上的绝对最近邻,而是通过索引结构快速找到高概率相关的候选结果。
对于大规模向量库,ANN 是非常常见的检索方案。
但需要注意:
向量索引返回的近邻,不等于真正能够回答用户问题的知识。
向量相似度只是检索信号,不能直接等同于答案相关性或事实正确性。
七、检索策略:如何找到真正相关的内容?
检索是 RAG 的核心环节之一。
即使知识库已经建立,如果检索结果不准确,模型也很难生成可靠答案。
7.1 Top-K 检索
最基本的检索方式是 Top-K。
系统计算查询向量与知识库向量的相似度,然后选出排名靠前的 K 个结果。
例如:
用户问题:
Redis 的 LFU 淘汰策略如何工作?
检索结果:
1. Redis LFU 淘汰机制
相似度:0.92
2. Redis LRU 淘汰机制
相似度:0.86
3. Redis 内存管理
相似度:0.81
4. Redis 持久化机制
相似度:0.54
系统可以选取 Top-3 或 Top-5 作为候选上下文。
但不能简单认为 K 越大越好。
K 太小,可能遗漏关键证据;K 太大,可能引入无关内容,增加上下文成本并干扰模型判断。
7.2 相似度阈值
除了 Top-K,还可以设置相似度阈值。
例如:
其中:
- q:用户查询。
- d_i:候选文档。
- score:相似度得分。
- \tau:阈值。
只有超过阈值的候选结果才进入后续处理。
不过,相似度分数通常不是经过校准的概率,不同 Embedding 模型、数据集和距离度量下,分数分布可能不同。
因此不能直接认为 0.8 就代表 80% 相关,也不能在所有模型之间共用同一个阈值。
7.3 Metadata Filtering
Metadata Filtering 是利用文档元数据进行过滤。
例如:
{
"tenant_id": "tenant_001",
"department": "engineering",
"document_type": "technical",
"version": "2.0"
}
用户查询时,可以增加过滤条件:
tenant_id = tenant_001
AND department = engineering
AND document_type = technical
这样可以限制检索范围。
典型应用:
- 多租户知识库。
- 部门权限隔离。
- 指定产品版本。
- 指定文档类型。
- 时间范围过滤。
- 数据分类和访问控制。
需要注意,权限过滤不能仅依赖模型或 Prompt。
必须由后端和检索层强制执行,并防止通过过滤条件缺失、错误配置或缓存复用造成跨租户数据泄露。
7.4 混合检索 Hybrid Search
纯向量检索擅长理解语义相似性,但在精确关键词、产品型号、代码符号和错误码方面不一定表现最好。
例如:
ERR_CONNECTION_RESET
或者:
PostgreSQL 16.2
这类查询往往需要精确匹配。
混合检索通常结合:
- Dense Retrieval:稠密向量检索。
- Sparse Retrieval:稀疏检索,例如 BM25。
BM25 是一种经典的信息检索排序算法,主要根据词项匹配、词频、逆文档频率和文档长度等因素计算相关性。
向量检索与 BM25 各有优势:
| 方式 | 优势 | 局限 |
|---|---|---|
| 向量检索 | 语义匹配、同义表达 | 精确关键词可能不够敏感 |
| BM25 | 关键词、术语、编号匹配 | 对语义改写理解有限 |
| 混合检索 | 结合两类检索信号 | 需要融合和调参 |
混合检索的一种实现方式是分别执行两种检索,再融合排名。
例如 Reciprocal Rank Fusion(RRF):
其中:
- d:候选文档。
- R:不同检索系统的排名列表。
- rank_r(d):文档在某个检索列表中的排名。
- k:平滑常数。
RRF 不直接比较不同检索器的原始分数,而是根据排名进行融合。
7.5 Reranking:重排序
初步检索完成后,候选结果未必已经是最适合生成答案的内容。
Reranking 会使用更精细的相关性模型,对候选文档重新排序。
典型架构:
flowchart TB
A["用户查询"] --> B["向量检索"]
A --> C["BM25 检索"]
B --> D["候选结果合并"]
C --> D
D --> E["去重与候选筛选"]
E --> F["Reranker 重排序"]
F --> G["选择最终 Top-K"]
G --> H["构建生成上下文"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
常见 Reranker 包括:
- Cross-Encoder。
- 专用排序模型。
- 基于大语言模型的相关性评估。
Cross-Encoder 通常将查询和候选文档一起输入模型,直接预测相关性。
与双塔 Embedding 不同,它不能像向量模型一样提前为每个文档独立计算最终相关性分数,因此一般用于较小的候选集合。
Reranking 通常能改善排序质量,但也会增加计算开销和请求延迟。
7.6 Query Rewrite:查询改写
用户的问题可能存在:
- 表达模糊。
- 指代不清。
- 缺少上下文。
- 关键词不完整。
- 口语化表达。
例如:
原始问题:
它的淘汰机制是什么?
如果没有前文,系统很难确定“它”指什么。
可以通过查询改写补全:
改写问题:
Redis 的缓存淘汰机制是什么?
常见方法:
- 基于规则的关键词扩展。
- 基于对话历史的指代消解。
- LLM Query Rewrite。
- Multi-Query Retrieval。
Multi-Query Retrieval 可以生成多个不同表达的查询,从多个角度检索,再融合结果。
但查询改写也可能引入新的语义偏差。原始问题应保留,改写结果应作为辅助检索输入,而不是无条件替换用户原意。
八、生成阶段:将检索结果交给大模型
检索完成后,需要将候选知识片段组织成模型可以理解的上下文。
这一步通常称为 Context Construction 或 Prompt Assembly。
8.1 构建增强 Prompt
假设用户询问:
Redis 的 LFU 淘汰策略是如何工作的?
检索到的知识片段:
[资料 1]
Redis 支持 LFU 淘汰策略,通过统计键的访问频率决定淘汰对象。
[资料 2]
LFU 使用近似计数机制,访问频率信息并非简单的无限增长计数器。
可以组织为:
System:
你是一个专业的技术助手。
请优先根据提供的参考资料回答问题。
如果资料不足,请明确说明,不要编造事实。
Context:
[资料 1]
Redis 支持 LFU 淘汰策略,通过统计键的访问频率决定淘汰对象。
[资料 2]
LFU 使用近似计数机制,访问频率信息并非简单的无限增长计数器。
Question:
Redis 的 LFU 淘汰策略是如何工作的?
这里的 Context 就是 RAG 为模型增加的外部知识。
8.2 为什么要限制模型依据检索内容回答?
如果不设置明确的生成约束,模型可能:
- 忽略检索结果。
- 使用训练知识补充未经验证的信息。
- 混合不同版本的资料。
- 将不相关文档拼接成错误结论。
- 对资料没有覆盖的内容进行推测。
因此可以在 Prompt 中明确要求:
- 优先依据提供的参考资料。
- 不得将资料中没有的信息伪装成事实。
- 资料存在冲突时指出冲突。
- 无法找到依据时明确说明。
- 对关键结论提供来源引用。
但 Prompt 约束只能改善行为,不能保证模型始终忠实于证据。高可靠场景还需要独立的引用校验、答案验证和人工审核机制。
8.3 引用来源
为了让回答可追溯,需要在检索阶段保留文档标识、标题、页码和片段 ID。
例如:
{
"answer": "Redis 的 LFU 策略根据键的访问频率进行近似淘汰。",
"citations": [
{
"document_id": "doc_001",
"chunk_id": "chunk_008",
"title": "Redis 缓存设计",
"page": 12
}
]
}