一、为什么需要数据处理与知识更新机制
在 AI 应用中,知识库不是一次性构建完成的静态数据集合,而是持续变化的数据系统。
企业文档、产品手册、技术规范、业务数据库、网页内容和实时事件都可能不断发生变化。如果只关注初次导入,而缺乏持续的数据治理和更新机制,就会出现:
- 知识过期:原始文档已经修改,向量库仍保留旧内容。
- 重复知识:同一文档被多次导入,产生重复 Chunk 和重复检索结果。
- 内容冲突:多个数据源对同一事实给出不同描述。
- 更新不完整:文档更新后只处理了部分 Chunk,导致新旧内容混杂。
- 删除不彻底:原始文件删除了,但向量索引、缓存和派生数据仍然存在。
- 权限失效:文档权限发生变化,检索系统仍可能返回原本有权访问的内容。
- 更新不可追溯:无法确定某条知识来自哪个文件、哪个版本和哪次处理任务。
因此,生产级 AI 知识系统必须建立完整的数据生命周期管理机制。
核心目标包括:
- 数据可接入:支持多种数据源和数据格式。
- 数据可理解:能够提取文本、结构、元数据及多模态信息。
- 数据可追溯:每条知识都能追踪到原始来源。
- 数据可更新:支持全量同步、增量更新和局部重建。
- 数据可恢复:失败任务能够重试,错误数据能够回滚。
- 数据可治理:支持权限、删除、去重、质量和版本管理。
- 数据可验证:更新完成后能够确认知识库状态正确。
二、AI 数据处理的整体架构
AI 数据处理不是简单的文件上传和向量化,而是一条包含采集、解析、转换、索引和发布的完整数据流水线。
2.1 核心架构
一个典型的 AI 数据处理系统可以划分为以下层次:
| 层次 | 核心职责 | 典型组件 |
|---|---|---|
| 数据源层 | 提供原始数据 | 文件系统、数据库、对象存储、API、网页 |
| 数据接入层 | 发现、拉取和接收数据 | Connector、Webhook、定时同步 |
| 原始数据层 | 保存原始文件和来源信息 | Object Storage、元数据数据库 |
| 解析处理层 | 提取内容与结构 | Parser、OCR、ASR、文档解析器 |
| 数据治理层 | 清洗、去重、校验和规范化 | Data Cleaner、Deduplicator |
| 知识转换层 | 分块、元数据补充和关联构建 | Chunker、Metadata Enricher |
| 特征处理层 | 生成向量和其他检索特征 | Embedding Model、Sparse Encoder |
| 索引存储层 | 存储和组织检索数据 | Vector DB、Search Engine、Graph DB |
| 发布管理层 | 控制知识版本和可见状态 | Version Manager、Manifest |
| 监控治理层 | 监控质量、任务和数据生命周期 | Metrics、Audit Log、Lineage |
整体数据处理流程:
flowchart TD
A["数据源"] --> B["数据发现与接入"]
B --> C["原始数据存储"]
C --> D["格式识别与内容解析"]
D --> E["数据清洗与规范化"]
E --> F["去重与质量校验"]
F --> G["知识切分与元数据构建"]
G --> H["Embedding 与特征生成"]
H --> I["索引构建"]
I --> J["索引验证"]
J --> K["知识版本发布"]
K --> L["在线检索服务"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style I fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style L fill:#E5F0E9,stroke:#83A995,color:#315D49
这里有一个重要的架构原则:
数据处理成功,不等于知识已经可以被在线检索。
只有完成索引构建、数据验证和版本发布后,新增知识才应该对在线服务可见。
三、数据接入机制
数据接入负责将外部数据源中的内容持续引入 AI 知识系统。
3.1 常见数据源类型
| 数据源 | 接入方式 | 关键问题 |
|---|---|---|
| 本地文件 | 文件扫描、目录监听 | 文件变更检测 |
| 对象存储 | Bucket 扫描、事件通知 | 对象版本与删除事件 |
| 关系型数据库 | CDC、定时查询 | 数据一致性与主键 |
| NoSQL 数据库 | Change Stream、增量查询 | 变更顺序与重复事件 |
| 企业知识平台 | API、Webhook | 分页、权限和限流 |
| 网页内容 | 定时抓取、爬虫 | 页面变化与内容抽取 |
| SaaS 系统 | 官方 Connector、API | Token、权限和配额 |
| 消息系统 | Kafka、Pulsar 等 | 消费位点和消息重放 |
不同数据源的接入方式不同,但最终需要统一成系统内部的数据变更事件。
3.2 Connector 连接器设计
Connector 是数据源与 AI 数据处理系统之间的适配层。
它不应该直接负责文本解析、Embedding 或向量索引,而应该专注于:
- 连接认证。
- 数据发现。
- 数据读取。
- 分页和游标管理。
- 变更检测。
- 删除事件识别。
- 数据源元信息提取。
- 变更事件标准化。
建议将 Connector 统一抽象为以下接口:
from abc import ABC, abstractmethod
from typing import Iterator
class DataConnector(ABC):
@abstractmethod
def connect(self):
"""建立数据源连接"""
pass
@abstractmethod
def discover(self, cursor=None):
"""发现新增或变更的数据"""
pass
@abstractmethod
def fetch(self, item_id):
"""读取指定数据"""
pass
@abstractmethod
def get_changes(self, cursor=None):
"""获取数据变更事件"""
pass
@abstractmethod
def get_deletions(self, cursor=None):
"""获取删除事件"""
pass
@abstractmethod
def checkpoint(self):
"""保存同步检查点"""
pass
实际工程中,discover、get_changes 和 get_deletions 可以根据数据源能力进行组合,不要求所有 Connector 都实现相同的底层逻辑。
3.3 全量扫描与增量发现
全量扫描适用于:
- 首次建立知识库。
- 数据源不支持变更通知。
- 同步状态丢失。
- 周期性数据一致性校验。
增量发现适用于:
- 数据量较大。
- 数据源支持更新时间查询。
- 数据源支持 CDC。
- 需要降低重复处理成本。
两种机制通常需要结合使用:
flowchart TD
A["启动数据同步"] --> B{"是否首次同步"}
B -->|"是"| C["全量扫描"]
B -->|"否"| D{"是否支持增量变更"}
D -->|"是"| E["读取变更日志或更新时间"]
D -->|"否"| F["周期性全量扫描"]
C --> G["生成数据变更事件"]
E --> G
F --> G
G --> H["进入统一处理流水线"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#E5F0E9,stroke:#83A995,color:#315D49
需要注意:仅使用文件修改时间判断变化并不可靠。
文件可能被覆盖但时间戳没有正确更新,时钟也可能存在偏差。因此,应该结合内容哈希、数据源版本号、ETag 或 CDC 位点进行判断。
四、数据解析与标准化
不同来源的数据格式差异很大。数据解析的目标是将异构内容转换成统一、可处理的内部结构。
4.1 格式识别
常见数据格式包括:
| 类型 | 格式示例 | 处理方式 |
|---|---|---|
| 文本文档 | TXT、Markdown | 文本读取 |
| 办公文档 | DOCX、XLSX、PPTX | 结构化解析 |
| 文本提取、版面解析、OCR | ||
| 图片 | PNG、JPEG | OCR、视觉模型 |
| 音频 | MP3、WAV | ASR、说话人识别 |
| 视频 | MP4、MOV | 抽帧、ASR、视觉理解 |
| 网页 | HTML | DOM 清洗、正文提取 |
| 结构化数据 | JSON、CSV | Schema 解析 |
| 数据库记录 | SQL、NoSQL | 字段映射与记录转换 |
格式识别不能只依赖文件扩展名。
例如,一个文件扩展名为 .pdf 的对象,实际内容可能不是合法 PDF。更可靠的方式是结合 MIME 类型、文件头、内容特征和解析器实际结果进行验证。
4.2 统一数据模型
建议在解析完成后,将不同数据源转换成统一的 Document 模型。
{
"document_id": "doc_10001",
"source_id": "source_001",
"source_type": "file",
"source_uri": "s3://knowledge/manual.pdf",
"source_version": "v12",
"content_hash": "sha256:abc123",
"title": "产品技术手册",
"content": "文档正文内容",
"mime_type": "application/pdf",
"metadata": {
"department": "engineering",
"language": "zh-CN",
"created_at": "2026-01-10T10:00:00Z",
"updated_at": "2026-11-20T10:00:00Z"
},
"permissions": {
"visibility": "internal",
"groups": ["engineering"]
}
}
统一数据模型至少需要区分:
document_id:系统内部稳定文档标识。source_id:数据源标识。source_uri:原始数据位置。source_version:数据源版本或快照标识。content_hash:内容指纹。metadata:业务元数据。permissions:访问控制信息。
这里最容易出现的问题是将文件路径直接作为 document_id。
文件路径可能发生变化,甚至同一个文档可能通过多个路径被引用。因此,内部标识应该尽量稳定,路径应作为来源定位信息单独保存。
4.3 结构化解析
解析器不应该只输出一段拼接后的纯文本。
对于复杂文档,建议保留原始结构:
- 文档标题。
- 章节层级。
- 段落。
- 表格。
- 图片。
- 图片说明。
- 页码。
- 代码块。
- 列表。
- 文档内部链接。
- 内容坐标和来源位置。
例如,PDF 中的表格如果被直接拼接为纯文本,可能丢失行列对应关系。
原始内容:
| 产品 | 版本 | 支持状态 |
|---|---|---|
| 服务 A | 2.0 | 已支持 |
| 服务 B | 1.0 | 不支持 |
如果解析器输出为:
产品 版本 支持状态 服务A 2.0 已支持 服务B 1.0 不支持
后续模型可能无法准确判断字段之间的对应关系。
因此,结构化解析应尽可能保留表格边界、单元格和表头关系。
4.4 数据标准化
不同数据源可能使用不同的字段命名、时间格式、语言编码和分类方式。
例如:
{
"updateTime": "2026/11/20 10:00:00"
}
和:
{
"updated_at": "2026-11-20T02:00:00Z"
}
可能表示同一时间。
标准化需要处理:
- 字段命名统一。
- 时间格式和时区统一。
- 字符编码统一。
- 空值和默认值处理。
- 单位换算。
- 枚举值映射。
- 文本格式规范化。
- 元数据 Schema 统一。
标准化不能随意改变原始语义。建议同时保留原始数据和标准化后的数据,以便问题排查和重新处理。
五、数据清洗与质量治理
数据清洗决定进入知识库的内容是否具有可用性。
5.1 常见数据质量问题
| 问题 | 表现 | 处理方式 |
|---|---|---|
| 空内容 | 文档没有有效正文 | 标记为空数据 |
| 重复内容 | 同一文件多次导入 | 哈希去重 |
| 噪声文本 | 页眉、页脚、导航栏 | 规则清洗 |
| 编码异常 | 乱码、特殊字符 | 编码修复 |
| 格式破损 | 表格、段落结构丢失 | 重新解析 |
| 内容过期 | 旧版本仍然存在 | 版本淘汰 |
| 元数据缺失 | 来源、权限、时间为空 | 补全或隔离 |
| 内容冲突 | 多个来源存在不同结论 | 冲突检测与权威源治理 |
5.2 基于哈希的数据去重
数据去重通常分为三个层次。
第一层:文件级去重
对原始文件计算哈希值:
如果两个文件的哈希相同,可以认为它们的二进制内容完全一致。
第二层:规范化内容去重
文件格式、元数据或压缩方式可能不同,但实际文本相同。
因此可以对清洗后的正文计算内容哈希:
第三层:语义相似去重
两份文档可能表达相同意思,但文字完全不同。
可以通过 Embedding 相似度进行候选检测:
相似度超过阈值后,进入进一步的重复内容判断。
注意:语义相似不代表内容完全相同。例如,两个版本的接口文档可能只有参数类型不同,但这种差异恰恰是重要知识,不能直接合并。
因此,语义去重更适合作为候选发现机制,而不是无条件删除机制。
5.3 数据质量评分
可以为每份文档建立质量评分:
其中:
- C:内容完整度。
- S:结构完整度。
- M:元数据完整度。
- F:格式有效性。
- w_i:对应权重。
评分用于判断数据是否进入正常处理流程。
例如:
| 质量等级 | 处理策略 |
|---|---|
| 高质量 | 正常进入知识构建 |
| 中等质量 | 进入补充处理或人工抽检 |
| 低质量 | 隔离,等待重新解析 |
| 无效数据 | 拒绝入库并记录原因 |
质量评分不能代替业务规则。即使文档结构完整,如果来源不可信、权限不明确或内容已经过期,也不应该直接发布。
六、知识切分与数据版本构建
完成解析和清洗后,需要将文档转换成适合检索的知识单元。
6.1 Document、Chunk 与知识单元
建议将数据模型分成三个层次:
| 层次 | 含义 | 示例 |
|---|---|---|
| Document | 完整原始文档 | 产品技术手册 |
| Section | 文档内部结构 | 第三章:部署架构 |
| Chunk | 实际参与检索的内容片段 | 部署环境要求 |
一个 Document 可以包含多个 Section,一个 Section 又可以包含多个 Chunk。
flowchart TD
A["Document"] --> B["Section 1"]
A --> C["Section 2"]
A --> D["Section 3"]
B --> E["Chunk 1"]
B --> F["Chunk 2"]
C --> G["Chunk 3"]
C --> H["Chunk 4"]
D --> I["Chunk 5"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
每个 Chunk 都应该保留以下信息:
chunk_iddocument_iddocument_versionsection_idchunk_indexcontentcontent_hashsource_locationmetadatapermissionembedding_version
其中,source_location 非常重要。
它可以记录页码、章节路径、段落编号、表格坐标或时间戳,支持检索结果回溯到原始内容。
6.2 Chunk ID 如何设计
一种常见方式是根据文档标识、版本和 Chunk 序号生成:
例如:
doc_10001:v12:chunk_0001
doc_10001:v12:chunk_0002
doc_10001:v12:chunk_0003
这种方式可以保证:
- 同一文档不同版本的 Chunk 不会混淆。
- 同一版本的 Chunk 可以稳定定位。
- 文档版本更新后,可以识别旧 Chunk。
- 可以执行版本级别的批量删除。
但是,不能把 Chunk 序号视为永久身份。
文档中间插入一个章节后,后续 Chunk 的序号可能全部变化。因此,如果需要精确识别内容变化,还应结合内容哈希、章节定位和稳定结构标识。
6.3 知识版本与处理版本
需要区分两种不同的版本。
知识版本(Knowledge Version)
表示原始业务内容的版本。
例如:
产品手册 v1
产品手册 v2
产品手册 v3
处理版本(Processing Version)
表示知识处理逻辑的版本。
例如:
Parser v1
Chunker v2
Embedding Model v3
即使原始文档没有变化,只要切分策略、解析器或 Embedding 模型发生变化,也可能需要重新构建知识索引。
因此,完整的处理记录至少应该包含:
{
"document_id": "doc_10001",
"document_version": "v12",
"parser_version": "parser_3",
"chunker_version": "chunker_2",
"embedding_model": "embedding_model_a",
"embedding_version": "embedding_v4",
"pipeline_version": "pipeline_7"
}
这可以避免将业务内容版本和处理算法版本混为一谈。
七、知识更新机制
知识更新是 AI 数据系统最核心的工程问题之一。
它不仅涉及新增数据,还涉及修改、删除、重建、权限变化和处理逻辑升级。
7.1 四种主要更新类型
| 更新类型 | 触发条件 | 处理策略 |
|---|---|---|
| 新增 | 数据源出现新文档 | 新建 Document 和 Chunk |
| 修改 | 原始文档内容变化 | 重建受影响的知识单元 |
| 删除 | 数据源删除文档 | 删除对应索引和派生数据 |
| 重处理 | 解析或模型策略升级 | 重新解析、切分或生成向量 |
7.2 全量更新
全量更新会重新扫描全部数据,并根据当前数据源状态重建知识库。
适合:
- 初次构建知识库。
- 数据源缺乏增量能力。
- 索引结构发生重大变化。
- 数据一致性出现严重问题。
- 需要定期校准同步结果。
全量更新的主要缺点是成本较高。
如果知识库包含数百万个 Chunk,每次更新都重新解析、切分和向量化,会产生大量不必要的计算和存储开销。
因此,生产系统通常不会将全量重建作为日常更新策略。
7.3 增量更新
增量更新只处理新增或发生变化的数据。
其核心是识别数据变化,并将变化映射到对应的知识处理任务。
flowchart TD
A["接收数据变更事件"] --> B["读取文档元信息"]
B --> C["计算内容指纹"]
C --> D{"内容是否发生变化"}
D -->|"否"| E["更新同步检查点"]
D -->|"是"| F{"变更类型"}
F -->|"新增"| G["创建新文档"]
F -->|"修改"| H["构建新文档版本"]
F -->|"删除"| I["标记旧版本待删除"]
G --> J["解析与切分"]
H --> J
J --> K["生成 Embedding"]
K --> L["构建新索引"]
L --> M["验证并发布"]
I --> N["执行删除治理"]
M --> E
N --> E
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#E5F0E9,stroke:#83A995,color:#315D49
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style I fill:#F7EAE7,stroke:#C98D7C,color:#754438
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style L fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style N fill:#F7EAE7,stroke:#C98D7C,color:#754438
增量更新的关键并不是减少扫描量,而是避免重复执行不必要的计算。
例如:
- 文件内容没有变化:跳过解析和 Embedding。
- 仅权限变化:更新访问控制信息,不一定重新生成向量。
- 仅元数据变化:只更新受影响的索引字段。
- 文档内容变化:重新解析和构建对应知识单元。
- Embedding 模型升级:即使内容未变,也需要重新生成向量。
7.4 局部更新与整文档重建
文档更新后,是否需要重新处理整个文档?
这取决于变化范围和处理方式。
整文档重建
适合:
- 文档结构变化明显。
- 章节顺序发生调整。
- 表格或图片结构发生变化。
- Chunk 切分策略依赖全文上下文。
- 无法可靠识别局部变更。
局部更新
适合:
- 文档结构稳定。
- 章节具有稳定标识。
- 变更可以精确定位。
- 不受影响的 Chunk 能够保持原有身份。
局部更新可以降低解析和向量化成本,但实现难度更高。
尤其要注意 Chunk 边界问题:如果一个段落发生变化,受影响的不一定只有一个 Chunk。相邻 Chunk 的重叠区域、上下文摘要和父子关系也可能需要重新构建。
因此,局部更新应该基于结构化内容和依赖关系,而不能简单地只替换某一个文本片段。
八、索引更新与一致性设计
完成知识处理后,还需要将新知识写入检索系统。
这里涉及向量数据库、关键词索引、元数据索引和关系索引之间的一致性。
8.1 多索引更新问题
一个知识单元可能同时存在于:
- 向量数据库。
- 全文搜索引擎。
- 关系数据库。
- 知识图谱。
- 缓存系统。
这些系统通常没有统一事务能力。
假设一个文档更新时:
- 新向量已经写入。
- 全文索引更新失败。
- 元数据数据库仍然指向旧版本。
此时不同检索通道可能返回不同版本的知识。
因此,不能简单地把多个索引的写入操作当成一个原子事务。
8.2 双阶段发布
一种常见方案是先构建新版本,再切换在线可见版本。
核心步骤:
- 创建新的知识版本。
- 解析和处理新数据。
- 写入新版本索引。
- 检查各索引是否完整。
- 验证数据数量和关键字段。
- 原子切换当前版本指针。
- 异步清理旧版本。
flowchart TD
A["当前版本 V1 在线服务"] --> B["创建新版本 V2"]
B --> C["解析与知识构建"]
C --> D["写入向量索引"]
C --> E["写入全文索引"]
C --> F["写入元数据索引"]
D --> G["索引完整性验证"]
E --> G
F --> G
G --> H{"验证是否通过"}
H -->|"否"| I["保留 V1 并记录失败"]
H -->|"是"| J["切换当前版本指针"]
J --> K["V2 对外提供检索"]
K --> L["异步清理 V1"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#F7EAE7,stroke:#C98D7C,color:#754438
style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style K fill:#E5F0E9,stroke:#83A995,color:#315D49
style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
这种方式的优势是在线用户不会直接看到构建过程中的半成品数据。
但它需要额外的存储空间,并要求所有检索通道能够识别版本。
8.3 版本指针与发布清单
可以通过 Manifest 管理当前可用的知识版本。
{
"knowledge_base_id": "kb_001",
"active_version": "v102",
"previous_version": "v101",
"status": "READY",
"indexes": {
"vector": {
"index_name": "kb_001_v102",
"status": "READY"
},
"fulltext": {
"index_name": "kb_001_v102",
"status": "READY"
},
"metadata": {
"index_name": "kb_001_v102",
"status": "READY"
}
},
"published_at": "2026-11-20T10:00:00Z"
}
在线检索请求先获取当前版本,再使用对应版本的索引。
这样可以将数据构建和在线发布解耦。
8.4 最终一致性与幂等性
分布式数据处理系统通常无法保证所有组件在同一时刻完成更新,因此需要接受一定程度的最终一致性。
但最终一致性不意味着可以随意出现新旧数据混用。
需要重点处理三个问题:
幂等性
同一个事件重复执行,不应该产生重复知识。
可以使用:
idempotency_key =
Hash(source_id, document_id, source_version, pipeline_version)
事件顺序
旧版本事件不能覆盖新版本。
例如,系统先收到文档 v3 的更新,再收到延迟到达的 v2 事件。必须通过版本号、更新时间或数据源序列号判断事件是否过期。
版本隔离
不同版本的 Chunk 和索引需要明确区分,避免新旧版本混合检索。
一个重要原则是:
允许任务重复投递,但不能允许重复投递破坏最终知识状态。
九、数据更新中的事件驱动架构
对于大型知识系统,通常需要通过消息队列将数据接入、解析、向量化和索引构建解耦。
9.1 事件驱动处理
可以将数据处理过程拆成多个独立任务:
flowchart TD
A["数据源变更"] --> B["Connector"]
B --> C["变更事件队列"]
C --> D["解析任务"]
D --> E["清洗任务"]
E --> F["知识切分任务"]
F --> G["Embedding 任务"]
G --> H["索引写入任务"]
H --> I["版本发布任务"]
I --> J["在线知识库"]
D --> K["解析失败队列"]
E --> L["清洗失败队列"]
G --> M["Embedding 失败队列"]
H --> N["索引失败队列"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style J fill:#E5F0E9,stroke:#83A995,color:#315D49
style K fill:#F7EAE7,stroke:#C98D7C,color:#754438
style L fill:#F7EAE7,stroke:#C98D7C,color:#754438
style M fill:#F7EAE7,stroke:#C98D7C,color:#754438
style N fill:#F7EAE7,stroke:#C98D7C,color:#754438
不同任务可以使用不同的 Worker 集群。
例如:
- PDF 解析任务需要较高的 CPU 和内存。
- OCR 任务可能需要 GPU 或专用视觉服务。
- Embedding 任务可能受模型吞吐量和 API 限流约束。
- 索引写入任务受数据库写入能力影响。
任务拆分后,可以独立扩缩容。
9.2 任务状态管理
建议为每个 Document 或数据处理任务维护明确状态。
| 状态 | 含义 |
|---|---|
| DISCOVERED | 已发现数据 |
| FETCHED | 已获取原始内容 |
| PARSING | 正在解析 |
| PARSED | 解析完成 |
| CLEANING | 正在清洗 |
| CLEANED | 清洗完成 |
| CHUNKING | 正在切分 |
| EMBEDDING | 正在生成向量 |
| INDEXING | 正在写入索引 |
| VALIDATING | 正在验证 |
| PUBLISHED | 已发布 |
| FAILED | 处理失败 |
| DELETING | 正在删除 |
| DELETED | 删除完成 |
状态转换必须受约束,不能允许任务随意跳转。
例如,尚未完成解析的文档不能直接进入索引发布状态。
9.3 任务重试与死信队列
并不是所有失败都适合立即重试。
可以将异常分为三类:
| 异常类型 | 示例 | 处理策略 |
|---|---|---|
| 临时错误 | 网络超时、服务限流 | 延迟重试 |
| 数据错误 | 文件损坏、格式不支持 | 隔离并等待修复 |
| 系统错误 | 程序异常、依赖服务不可用 | 告警并重试或人工介入 |
重试应使用指数退避机制:
并加入随机抖动,避免大量任务在同一时刻重新请求服务。