一、为什么 AI 应用需要知识库与长期记忆?
大语言模型本身并不具备可靠、无限且自动持久化的记忆能力。
模型每次接收请求时,主要依据当前输入上下文进行推理。即使模型能够处理较长的上下文窗口,也不意味着它能够自动记住之前所有对话、持续更新业务知识,或者准确管理用户长期偏好。
在实际应用中,通常存在三类信息:
- 模型内置知识:模型训练阶段学习到的通用知识。
- 外部知识:企业文档、数据库、产品资料、业务规则和实时信息。
- 长期记忆:用户偏好、历史交互、持续任务状态和经过确认的个性化信息。
这三类信息的生命周期、更新方式和访问策略完全不同。
1.1 模型上下文不等于长期记忆
上下文窗口(Context Window)是模型单次推理可以接收和处理的信息范围。
例如:
用户:我是一名 Java 后端工程师。
助手:了解。
用户:我主要使用 Spring Boot。
助手:了解。
用户:以后讲解技术方案时,优先使用 Java 示例。
如果这些信息只保存在当前对话上下文中,那么当会话结束、上下文被截断或开启新会话时,模型可能无法继续使用这些信息。
长期记忆需要将具有持续价值的信息提取出来,经过处理后保存到外部存储,并在后续请求中按需检索。
1.2 知识库与长期记忆的区别
知识库与长期记忆都可以使用数据库、向量数据库和检索技术,但它们解决的问题不同。
| 对比维度 | AI 知识库 | 长期记忆系统 |
|---|---|---|
| 核心目标 | 提供可查询的外部知识 | 保存持续有效的历史信息 |
| 数据来源 | 文档、数据库、业务系统 | 对话、用户行为、任务状态 |
| 主要内容 | 事实、规则、流程、资料 | 偏好、经历、目标、关系、状态 |
| 数据粒度 | 文档、段落、实体、记录 | 用户级、会话级、任务级记忆 |
| 更新方式 | 文档同步、数据更新、重新索引 | 提取、合并、修正、遗忘 |
| 检索依据 | 语义、关键词、过滤条件 | 用户身份、语义、时间、重要性 |
| 生命周期 | 由知识有效期和业务规则决定 | 由记忆价值、时效和用户授权决定 |
| 权限模型 | 文档和业务数据权限 | 用户、会话和记忆所有权 |
| 典型场景 | 企业问答、技术文档检索 | 个性化助手、跨会话任务 |
二者可以共用底层基础设施,但不应该混为同一个数据管理模型。
1.3 为什么不能只依赖向量数据库?
向量数据库擅长语义相似度检索,但它不能自动解决:
- 信息是否真实。
- 信息是否过期。
- 两条记忆是否互相冲突。
- 某条记忆是否应该被覆盖。
- 用户是否授权保存。
- 信息应该保存多久。
- 记忆是否属于当前用户。
- 用户要求删除后,如何清理所有副本。
向量检索只解决了信息查找的一部分问题。
一个完整的知识与记忆系统还需要数据治理、权限控制、版本管理、生命周期管理和一致性机制。
二、AI 知识库的整体架构
AI 知识库通常由数据接入、文档解析、知识处理、索引构建、检索服务和生成服务组成。
2.1 知识库核心架构
flowchart TD
A["外部知识源"] --> B["数据接入层"]
B --> C["文档解析与内容提取"]
C --> D["知识清洗与标准化"]
D --> E["文档切分与元数据生成"]
E --> F["Embedding 向量化"]
E --> G["关键词索引"]
F --> H["向量数据库"]
G --> I["全文检索引擎"]
H --> J["知识检索服务"]
I --> J
J --> K["重排序与上下文组装"]
K --> L["LLM 生成答案"]
L --> M["结果返回与引用"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style I fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#EAF3EC,stroke:#83A995,color:#315D49
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
2.2 数据接入层
负责从不同数据源获取知识。
常见数据来源:
| 数据来源 | 数据内容 |
|---|---|
| 文件系统 | PDF、Word、Excel、Markdown |
| 企业文档 | Wiki、知识管理平台 |
| 数据库 | MySQL、PostgreSQL |
| 对象存储 | 图片、文档、附件 |
| 业务 API | 产品信息、订单规则、服务数据 |
| 网页 | 技术文档、公开资料 |
| 消息系统 | 业务事件、知识变更通知 |
数据接入层需要处理:
- 数据源连接管理。
- 身份认证。
- 增量同步。
- 全量同步。
- 数据变更检测。
- 失败重试。
- 数据来源记录。
- 同步任务状态管理。
尤其需要区分全量同步和增量同步。
全量同步适合初始化知识库或重建索引;增量同步适合持续更新,避免每次都重新处理所有文档。
2.3 文档解析层
不同类型的文档需要使用不同的解析方式。
例如:
- PDF:提取文本、页面、表格和布局。
- Word:提取段落、标题、表格和层级。
- Excel:提取工作表、单元格和表格关系。
- HTML:提取正文、标题和链接。
- Markdown:保留标题层级和代码块。
- 图片:使用 OCR 或视觉模型提取内容。
- 音频:通过语音识别提取文本。
文档解析不能简单理解为提取纯文本。
对于技术文档、合同、财务报表等内容,表格结构、章节关系、脚注和上下文都可能影响最终知识质量。
2.4 知识清洗与标准化
原始数据通常存在重复、噪声、格式不一致和信息缺失等问题。
常见处理:
- 去除无效字符。
- 清理重复内容。
- 统一日期与时间格式。
- 统一单位和字段命名。
- 过滤导航栏和页脚。
- 识别文档语言。
- 保留来源和更新时间。
- 识别敏感信息。
- 记录数据权限。
清洗阶段不应随意删除原始文档中的关键上下文。
建议保留原始文件、解析结果和清洗结果,以便出现知识错误时能够追溯。
2.5 元数据管理
元数据用于描述知识内容本身及其来源。
例如:
{
"document_id": "doc_10001",
"title": "模型网关架构设计",
"source": "engineering_wiki",
"department": "engineering",
"category": "architecture",
"version": "2.1",
"created_at": "2026-10-10",
"updated_at": "2026-11-15",
"access_level": "internal",
"tenant_id": "tenant_001"
}
元数据可以参与:
- 检索过滤。
- 权限判断。
- 文档去重。
- 版本管理。
- 时间范围查询。
- 来源追踪。
- 结果排序。
对于企业知识库,元数据不仅是检索优化字段,也是权限控制的重要基础。
三、知识切分与索引构建
知识切分(Chunking)是 RAG 系统中的关键环节。
文档通常较长,无法直接将所有内容放入模型上下文,因此需要将文档拆分成更小的知识片段。
3.1 为什么需要 Chunk?
假设有一份 100 页的技术文档,用户只询问其中一个接口的参数定义。
如果每次都将整份文档传给模型,会产生:
- 大量无关上下文。
- 更高的 Token 成本。
- 更长的推理延迟。
- 关键内容被噪声干扰。
- 超出上下文窗口的风险。
通过 Chunk,可以只检索与问题相关的内容。
3.2 常见切分策略
固定长度切分
按照固定 Token 数量拆分文本。
优点:
- 实现简单。
- Chunk 长度可控。
- 适合快速构建基础索引。
缺点:
- 可能破坏语义完整性。
- 可能将一个完整段落拆开。
- 不理解文档结构。
递归字符切分
按照段落、换行、句子和字符等分隔符逐层切分。
优点:
- 能够尽量保留自然文本结构。
- 通用性较强。
缺点:
- 不一定适合复杂文档结构。
- 对表格和代码的处理需要额外策略。
语义切分
根据文本语义变化判断切分位置。
优点:
- 更容易保持语义完整。
- 适合主题变化明显的长文本。
缺点:
- 计算成本更高。
- 切分边界依赖模型或算法。
- 需要额外验证切分质量。
结构化切分
根据文档标题、章节、表格和代码块等结构切分。
优点:
- 保留文档层级。
- 方便引用和溯源。
- 适合技术文档与企业知识。
缺点:
- 依赖高质量的文档解析。
- 需要针对不同文档格式设计策略。
3.3 Chunk Overlap
相邻 Chunk 之间可以保留一定重叠内容。
例如:
原始文本:
A B C D E F G H I J
Chunk 1:
A B C D E F
Chunk 2:
E F G H I J
重叠部分可以缓解切分边界导致的上下文丢失。
但是重叠并不是越多越好。
过高的重叠比例会导致:
- 重复检索。
- Token 成本增加。
- 相似内容集中。
- 有效知识密度下降。
具体切分长度和重叠比例应该根据文档类型、Embedding 模型、检索效果和上下文预算进行实验确定。
3.4 Chunk 与父文档的关系
实际系统中,不建议只保存孤立的 Chunk。
可以建立父子结构:
- Document:原始文档。
- Section:文档章节。
- Chunk:最小检索单元。
例如:
{
"chunk_id": "chunk_001",
"document_id": "doc_10001",
"section_id": "section_03",
"content": "模型网关负责统一模型访问与治理。",
"chunk_index": 12,
"token_count": 18,
"metadata": {
"title": "模型网关架构设计",
"section": "系统职责"
}
}
检索时先命中 Chunk,再根据需要获取父章节或邻近 Chunk,可以在精确召回和上下文完整性之间取得平衡。
3.5 Embedding 与向量索引
Embedding 模型将文本映射为高维向量。
设文本为 x,Embedding 函数为:
其中:
d 表示向量维度。
对于用户查询 q 和知识片段 c,可以通过向量相似度计算它们的语义接近程度。
常见方法包括:
余弦相似度
点积
欧氏距离
具体使用哪种度量,需要与 Embedding 模型的训练方式和向量索引配置保持一致。
需要注意:向量相似度高不代表内容一定正确,也不代表两个文本在业务意义上完全等价。
3.6 向量索引与全文索引
知识库通常需要同时支持语义检索和关键词检索。
向量索引
适合:
- 同义表达。
- 自然语言提问。
- 语义相近内容。
- 用户表达与文档表述不一致的情况。
全文索引
适合:
- 专业术语。
- 产品型号。
- 错误代码。
- 函数名称。
- 精确关键词。
- 特定编号。
例如,用户查询 ERR_CONNECTION_RESET,纯语义检索可能不如关键词检索准确。
因此,混合检索(Hybrid Search)通常比单一检索方式更适合复杂知识库。
四、知识检索与生成机制
知识库的核心价值不仅是存储知识,还需要在用户提出问题时准确找到相关信息,并将其提供给模型。
4.1 检索执行流程
flowchart TD
A["用户提交问题"] --> B["查询理解与改写"]
B --> C["生成查询向量"]
B --> D["提取关键词"]
C --> E["向量检索"]
D --> F["全文检索"]
E --> G["候选结果合并"]
F --> G
G --> H["元数据与权限过滤"]
H --> I["重排序"]
I --> J["选择 Top-K 知识片段"]
J --> K["上下文组装"]
K --> L["模型生成答案"]
L --> M["返回答案与知识引用"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#EAF3EC,stroke:#83A995,color:#315D49
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
4.2 查询改写(Query Rewriting)
用户输入不一定适合直接进行知识检索。
例如:
用户问题:
它支持流式吗?
如果缺少上下文,系统无法确定“它”指什么。
查询改写可以结合历史对话,将问题转换成更完整的检索查询:
改写后:
模型网关是否支持大模型 API 的 SSE 流式响应?
常见查询改写方式:
- 指代消解。
- 问题补全。
- 关键词扩展。
- 多查询生成。
- 查询拆分。
- 查询意图识别。
但查询改写也可能改变用户原意,因此需要避免将模型推测的信息直接作为事实。
4.3 混合检索(Hybrid Search)
混合检索将向量检索与关键词检索结合。
例如:
- 向量检索 Top 20。
- 全文检索 Top 20。
- 合并候选结果。
- 去重。
- 统一排序。
常见融合方式是 Reciprocal Rank Fusion(RRF)。
其中:
- d:候选文档。
- rank_i(d):文档在第 i 个检索结果中的排名。
- k:平滑参数。
- n:参与融合的检索结果数量。
RRF 不依赖不同检索算法的原始分数具有相同量纲,适合融合多路排序结果。
4.4 重排序(Reranking)
初次检索通常优先考虑召回率,因此会产生一定噪声。
Reranker 使用更精细的相关性模型,对候选文档重新评分。
典型过程:
- 使用向量检索和全文检索召回候选文档。
- 将问题与候选文档组成输入。
- 使用 Reranker 计算相关性分数。
- 根据分数重新排序。
- 选择最相关的知识片段。
向量检索更适合大规模候选召回,重排序更适合精细相关性判断。
二者通常是互补关系。
4.5 上下文组装
最终输入模型的上下文需要控制长度和质量。
需要考虑:
- Top-K 数量。
- 文档相关性。
- Token 预算。
- Chunk 去重。
- 文档来源。
- 时间有效性。
- 权限范围。
- 内容可信度。
- 不同知识之间的冲突。
上下文并不是越多越好。
无关内容太多可能稀释关键证据,甚至影响模型对重要信息的关注。
4.6 无结果与低质量检索处理
知识库必须具备无结果处理能力。
常见策略:
- 调整查询表达重新检索。
- 扩大候选召回范围。
- 尝试其他检索方式。
- 返回知识不足提示。
- 请求用户补充信息。
- 转交人工处理。
不应该在没有足够证据时要求模型强行生成答案。
五、长期记忆系统的基本概念
长期记忆系统的目标,是让 AI 应用能够在不同会话和不同任务之间保留具有持续价值的信息。
5.1 什么是长期记忆?
长期记忆(Long-term Memory)是从用户交互、任务执行和外部事件中提取并持久化的信息。
例如:
用户信息:
用户主要从事 Java 后端开发。
技术偏好:
优先使用 Spring Boot 示例。
回答偏好:
技术文章需要深入原理,避免过度入门化。
持续任务:
正在建设 AI 技术学习专栏。
这些信息可能在多个会话中反复使用,因此具有长期保存价值。
但并不是所有对话都应该成为长期记忆。
例如:
用户:帮我计算一下 123 × 456。
这通常只是一次性任务,没有必要永久保存。
5.2 长期记忆的核心特点
- 持久化:不依赖单次对话上下文。
- 可检索:后续请求能够找到相关记忆。
- 可更新:用户信息发生变化时可以修正。
- 可合并:将多次交互中的相同信息归并。
- 有时效性:区分长期有效和短期有效的信息。
- 可追溯:能够知道记忆来源和形成时间。
- 可治理:支持权限、删除、过期和用户控制。
5.3 短期记忆与长期记忆
| 对比维度 | 短期记忆 | 长期记忆 |
|---|---|---|
| 主要范围 | 当前会话 | 跨会话 |
| 保存内容 | 当前对话、临时任务状态 | 稳定偏好、长期事实、持续目标 |
| 存储位置 | 上下文窗口、会话缓存 | 数据库、向量索引等 |
| 生命周期 | 会话期间或有限时间 | 根据价值和策略管理 |
| 更新方式 | 对话持续追加 | 提取、合并、修正 |
| 主要用途 | 保持当前对话连贯 | 个性化与长期连续性 |
短期记忆并不一定只保存在模型上下文中,也可以持久化在会话数据库中。
长期记忆也不意味着永久保存,而是指它的生命周期跨越多个会话。
六、长期记忆的分类体系
长期记忆可以根据内容、用途和生命周期进行分类。
6.1 事实记忆(Factual Memory)
记录用户或业务中的稳定事实。
例如:
- 用户的职业。
- 用户使用的技术栈。
- 用户所在的团队。
- 系统的技术架构。
- 项目的基础配置。
事实记忆需要关注来源、置信度和有效期。
尤其是用户身份、职位和业务状态等信息,可能随着时间发生变化。
6.2 偏好记忆(Preference Memory)
记录用户在交互中的稳定偏好。
例如:
- 喜欢简洁回答还是详细回答。
- 更偏好哪种编程语言示例。
- 喜欢哪种输出格式。
- 对文章深度和结构的要求。
- 常用的技术工具。
偏好记忆通常能够直接影响后续回答方式。
但不能将一次性的表达要求无限扩大为永久偏好。
6.3 情景记忆(Episodic Memory)
记录某次重要事件或交互经历。
例如:
- 用户曾经完成某个项目。
- 某次任务中发现了一个关键问题。
- 某个系统版本出现过故障。
- 用户曾经做出某项明确决策。
情景记忆应保留事件时间和来源,避免将历史状态误认为当前状态。
6.4 语义记忆(Semantic Memory)
记录经过整理、抽象和归纳的知识。
例如:
原始交互:
用户多次要求技术文章包含原理、流程图和工程实践。
归纳记忆:
用户偏好结构完整、原理深入并包含工程实践的技术文章。
语义记忆关注可复用的抽象信息,而不是逐字保存历史对话。
6.5 程序性记忆(Procedural Memory)
记录任务执行方法、操作流程和稳定规则。
例如:
- 如何部署某个项目。
- 如何执行数据处理流程。
- 某个 Agent 应该按照什么步骤完成任务。
- 某个业务任务的操作约束。
需要注意,程序性记忆不能取代实际执行时的权限验证和业务规则校验。
6.6 工作记忆(Working Memory)
工作记忆保存当前任务执行过程中需要持续使用的信息。
例如:
- 当前任务目标。
- 已完成的步骤。
- 待执行的步骤。
- 当前执行状态。
- 中间计算结果。
- 临时变量和上下文。
工作记忆通常具有明确的任务边界,任务结束后可以归档、清理或转化为长期记忆。
6.7 记忆类型对比
| 类型 | 主要内容 | 典型用途 |
|---|---|---|
| 事实记忆 | 稳定事实 | 用户信息 |
| 偏好记忆 | 交互偏好 | 个性化回答 |
| 情景记忆 | 历史事件 | 历史经历回顾 |
| 语义记忆 | 抽象知识 | 跨任务复用 |
| 程序性记忆 | 方法与规则 | 任务执行 |
| 工作记忆 | 当前任务状态 | 多步骤任务 |
这些分类并非互斥关系。同一条信息可以同时具有事实、情景和语义属性。
实际系统应该根据检索需求设计记忆类型,而不是为了分类而过度拆分。
七、长期记忆系统的整体架构
一个生产级长期记忆系统通常包含记忆提取、记忆处理、记忆存储、记忆检索、记忆注入和生命周期管理等模块。
7.1 系统架构
flowchart TD
A["用户请求与交互记录"] --> B["记忆提取模块"]
B --> C["信息筛选与分类"]
C --> D["实体识别与关系抽取"]
D --> E["去重与冲突检测"]
E --> F["记忆质量评估"]
F --> G["记忆写入策略"]
G --> H["长期记忆存储"]
H --> I["记忆索引与关联"]
J["新用户请求"] --> K["记忆检索模块"]
K --> L["相关性与时效性排序"]
I --> K
L --> M["权限与有效性校验"]
M --> N["记忆上下文组装"]
N --> O["LLM 推理与生成"]
O --> P["结果返回"]
O --> Q["记忆更新与反馈"]
Q --> B
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style M fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style N fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style O fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style P fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style Q fill:#EAE8FA,stroke:#A49BD5,color:#51477D
7.2 记忆提取模块
记忆提取负责从原始交互中识别具有持续价值的信息。
例如:
原始对话:
我是一名 Java 工程师,平时主要使用 Spring Boot,
写技术文章时希望多讲底层原理。
提取结果:
{
"memories": [
{
"type": "fact",
"content": "用户是一名 Java 工程师"
},
{
"type": "preference",
"content": "用户主要使用 Spring Boot"
},
{
"type": "preference",
"content": "用户偏好深入讲解技术底层原理"
}
]
}
提取模块需要区分:
- 用户明确表达的信息。
- 从行为中推断的信息。
- 模型生成的猜测。
- 临时任务信息。
- 不适合保存的信息。
尤其需要避免将模型推断出的内容当作用户明确确认的事实。
7.3 记忆筛选模块
不是所有信息都值得保存。
可以根据以下维度评估:
重要性
该信息是否会影响未来的交互或任务?
稳定性
该信息是否可能长期有效?
复用价值
未来是否可能在多个场景中使用?
可信度
信息是否来自用户明确表达或可靠数据源?
敏感程度
保存该信息是否涉及隐私或敏感数据?
授权状态
用户是否允许系统保存和使用该信息?
可以构建一个记忆写入决策:
信息提取
↓
是否具有持续价值?
↓
是否可信?
↓
是否允许保存?
↓
是否存在敏感风险?
↓
写入、待确认或丢弃
在实际系统中,上述流程应通过明确的策略引擎实现,不能只依赖模型自行判断。
7.4 记忆更新模块
记忆更新比记忆写入更复杂。
例如:
历史记忆:
用户主要使用 Python。
新信息:
最近项目已经全面迁移到 Go。
系统不能简单地将两条信息都作为当前事实保存。
需要判断:
- 新信息是否与旧信息冲突。
- 新信息是否代表状态变化。
- 旧信息是否仍然具有历史价值。
- 是否应该设置生效时间。
- 是否需要标记旧记忆失效。
合理的记录方式:
{
"content": "用户主要使用 Go 开发当前项目",
"valid_from": "2026-11-20",
"status": "active"
}
旧记录可以保留为历史信息,而不是直接覆盖全部历史。
八、记忆数据模型与存储设计
长期记忆系统不能只保存一段文本,还需要能够支持检索、更新、去重、权限和生命周期管理的数据结构。
8.1 记忆记录结构
一个基本的记忆记录可以包含:
{
"memory_id": "mem_10001",
"user_id": "user_001",
"type": "preference",
"content": "用户偏好使用 Java 代码示例",
"source": "conversation",
"source_id": "conversation_100",
"confidence": 0.98,
"importance": 0.85,
"created_at": "2026-11-20T10:00:00Z",
"updated_at": "2026-11-20T10:00:00Z",
"valid_from": "2026-11-20T10:00:00Z",
"valid_until": null,
"status": "active",
"version": 1
}
核心字段说明:
| 字段 | 作用 |
|---|---|
| memory_id | 记忆唯一标识 |
| user_id | 记忆所属用户 |
| type | 记忆类型 |
| content | 记忆内容 |
| source | 信息来源 |
| source_id | 来源记录标识 |
| confidence | 信息可信度 |
| importance | 记忆重要程度 |
| created_at | 创建时间 |
| updated_at | 更新时间 |
| valid_from | 生效时间 |
| valid_until | 失效时间 |
| status | 记忆状态 |
| version | 记忆版本 |
实际系统还可以增加:
- tenant_id。
- embedding_model。
- vector_id。
- sensitivity_level。
- retention_policy。
- consent_scope。
- superseded_by。
- access_scope。
8.2 记忆存储的分层设计
建议将记忆存储拆分为多个逻辑层。
关系型数据库
保存结构化记忆:
- 用户 ID。
- 记忆类型。
- 记忆状态。
- 时间信息。
- 权限信息。
- 来源信息。
- 版本信息。
向量数据库
保存语义检索所需的 Embedding:
- 记忆向量。
- 记忆 ID。
- 用户或租户标识。
- 检索过滤元数据。
对象存储
保存较大的原始数据或归档内容:
- 原始文档。
- 历史事件记录。
- 归档文件。
- 大型任务产物。
缓存
保存高频访问的记忆:
- 用户核心偏好。
- 当前任务上下文。
- 高频记忆检索结果。
8.3 为什么需要关系型数据库和向量数据库结合?
向量数据库擅长语义检索,但不适合独立承担所有业务状态管理。
例如,需要查找:
- 用户所有有效记忆。
- 某类记忆的数量。
- 某个时间段创建的记忆。
- 已失效的记忆。
- 用户要求删除的记忆。
- 某条记忆的历史版本。
这些操作更适合通过关系型数据库完成。
推荐采用:
- 关系型数据库作为记忆元数据与生命周期管理的权威存储。
- 向量数据库作为语义检索索引。
- 缓存作为高频读取加速层。
需要明确:向量索引是派生数据,不应该成为唯一的数据事实来源。
8.4 记忆写入的一致性问题
关系型数据库和向量数据库通常无法通过一个普通事务完成跨系统原子提交。
因此,写入过程可能出现:
- 数据库写入成功,向量索引失败。
- 向量索引成功,数据库事务回滚。
- 记忆更新成功,但旧向量未删除。
- 删除操作只清理了主表,没有清理索引。
建议采用事件驱动和最终一致性设计:
- 先在权威数据库中保存记忆记录。
- 同一事务中写入 Outbox 事件。
- 后台消费者处理向量索引。
- 索引失败时进行重试。
- 定期执行索引一致性检查。
- 对失效记录进行索引清理。
对于需要严格删除的数据,还必须将删除状态传播到缓存、向量索引和归档系统,并验证清理结果。
九、长期记忆检索机制
记忆检索不是简单地搜索相似文本,而是需要综合用户身份、语义相关性、时间、重要性和当前任务进行排序。
9.1 基础语义检索
用户提出请求后,系统将请求转换为向量,与记忆库中的向量进行相似度搜索。