返回专栏
· 26 分钟阅读

AI 数据处理与知识更新机制


一、为什么需要数据处理与知识更新机制

在 AI 应用中,知识库不是一次性构建完成的静态数据集合,而是持续变化的数据系统。

企业文档、产品手册、技术规范、业务数据库、网页内容和实时事件都可能不断发生变化。如果只关注初次导入,而缺乏持续的数据治理和更新机制,就会出现:

  • 知识过期:原始文档已经修改,向量库仍保留旧内容。
  • 重复知识:同一文档被多次导入,产生重复 Chunk 和重复检索结果。
  • 内容冲突:多个数据源对同一事实给出不同描述。
  • 更新不完整:文档更新后只处理了部分 Chunk,导致新旧内容混杂。
  • 删除不彻底:原始文件删除了,但向量索引、缓存和派生数据仍然存在。
  • 权限失效:文档权限发生变化,检索系统仍可能返回原本有权访问的内容。
  • 更新不可追溯:无法确定某条知识来自哪个文件、哪个版本和哪次处理任务。

因此,生产级 AI 知识系统必须建立完整的数据生命周期管理机制。

核心目标包括:

  1. 数据可接入:支持多种数据源和数据格式。
  2. 数据可理解:能够提取文本、结构、元数据及多模态信息。
  3. 数据可追溯:每条知识都能追踪到原始来源。
  4. 数据可更新:支持全量同步、增量更新和局部重建。
  5. 数据可恢复:失败任务能够重试,错误数据能够回滚。
  6. 数据可治理:支持权限、删除、去重、质量和版本管理。
  7. 数据可验证:更新完成后能够确认知识库状态正确。

二、AI 数据处理的整体架构

AI 数据处理不是简单的文件上传和向量化,而是一条包含采集、解析、转换、索引和发布的完整数据流水线。

2.1 核心架构

一个典型的 AI 数据处理系统可以划分为以下层次:

层次 核心职责 典型组件
数据源层 提供原始数据 文件系统、数据库、对象存储、API、网页
数据接入层 发现、拉取和接收数据 Connector、Webhook、定时同步
原始数据层 保存原始文件和来源信息 Object Storage、元数据数据库
解析处理层 提取内容与结构 Parser、OCR、ASR、文档解析器
数据治理层 清洗、去重、校验和规范化 Data Cleaner、Deduplicator
知识转换层 分块、元数据补充和关联构建 Chunker、Metadata Enricher
特征处理层 生成向量和其他检索特征 Embedding Model、Sparse Encoder
索引存储层 存储和组织检索数据 Vector DB、Search Engine、Graph DB
发布管理层 控制知识版本和可见状态 Version Manager、Manifest
监控治理层 监控质量、任务和数据生命周期 Metrics、Audit Log、Lineage

整体数据处理流程:

flowchart TD
    A["数据源"] --> B["数据发现与接入"]
    B --> C["原始数据存储"]
    C --> D["格式识别与内容解析"]
    D --> E["数据清洗与规范化"]
    E --> F["去重与质量校验"]
    F --> G["知识切分与元数据构建"]
    G --> H["Embedding 与特征生成"]
    H --> I["索引构建"]
    I --> J["索引验证"]
    J --> K["知识版本发布"]
    K --> L["在线检索服务"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style I fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style J fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style L fill:#E5F0E9,stroke:#83A995,color:#315D49

这里有一个重要的架构原则:

数据处理成功,不等于知识已经可以被在线检索。

只有完成索引构建、数据验证和版本发布后,新增知识才应该对在线服务可见。

三、数据接入机制

数据接入负责将外部数据源中的内容持续引入 AI 知识系统。

3.1 常见数据源类型

数据源 接入方式 关键问题
本地文件 文件扫描、目录监听 文件变更检测
对象存储 Bucket 扫描、事件通知 对象版本与删除事件
关系型数据库 CDC、定时查询 数据一致性与主键
NoSQL 数据库 Change Stream、增量查询 变更顺序与重复事件
企业知识平台 API、Webhook 分页、权限和限流
网页内容 定时抓取、爬虫 页面变化与内容抽取
SaaS 系统 官方 Connector、API Token、权限和配额
消息系统 Kafka、Pulsar 等 消费位点和消息重放

不同数据源的接入方式不同,但最终需要统一成系统内部的数据变更事件。

3.2 Connector 连接器设计

Connector 是数据源与 AI 数据处理系统之间的适配层。

它不应该直接负责文本解析、Embedding 或向量索引,而应该专注于:

  • 连接认证。
  • 数据发现。
  • 数据读取。
  • 分页和游标管理。
  • 变更检测。
  • 删除事件识别。
  • 数据源元信息提取。
  • 变更事件标准化。

建议将 Connector 统一抽象为以下接口:

from abc import ABC, abstractmethod
from typing import Iterator


class DataConnector(ABC):

    @abstractmethod
    def connect(self):
        """建立数据源连接"""
        pass

    @abstractmethod
    def discover(self, cursor=None):
        """发现新增或变更的数据"""
        pass

    @abstractmethod
    def fetch(self, item_id):
        """读取指定数据"""
        pass

    @abstractmethod
    def get_changes(self, cursor=None):
        """获取数据变更事件"""
        pass

    @abstractmethod
    def get_deletions(self, cursor=None):
        """获取删除事件"""
        pass

    @abstractmethod
    def checkpoint(self):
        """保存同步检查点"""
        pass

实际工程中,discover、get_changes 和 get_deletions 可以根据数据源能力进行组合,不要求所有 Connector 都实现相同的底层逻辑。

3.3 全量扫描与增量发现

全量扫描适用于:

  • 首次建立知识库。
  • 数据源不支持变更通知。
  • 同步状态丢失。
  • 周期性数据一致性校验。

增量发现适用于:

  • 数据量较大。
  • 数据源支持更新时间查询。
  • 数据源支持 CDC。
  • 需要降低重复处理成本。

两种机制通常需要结合使用:

flowchart TD
    A["启动数据同步"] --> B{"是否首次同步"}
    B -->|"是"| C["全量扫描"]
    B -->|"否"| D{"是否支持增量变更"}
    D -->|"是"| E["读取变更日志或更新时间"]
    D -->|"否"| F["周期性全量扫描"]
    C --> G["生成数据变更事件"]
    E --> G
    F --> G
    G --> H["进入统一处理流水线"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#E5F0E9,stroke:#83A995,color:#315D49

需要注意:仅使用文件修改时间判断变化并不可靠。

文件可能被覆盖但时间戳没有正确更新,时钟也可能存在偏差。因此,应该结合内容哈希、数据源版本号、ETag 或 CDC 位点进行判断。

四、数据解析与标准化

不同来源的数据格式差异很大。数据解析的目标是将异构内容转换成统一、可处理的内部结构。

4.1 格式识别

常见数据格式包括:

类型 格式示例 处理方式
文本文档 TXT、Markdown 文本读取
办公文档 DOCX、XLSX、PPTX 结构化解析
PDF PDF 文本提取、版面解析、OCR
图片 PNG、JPEG OCR、视觉模型
音频 MP3、WAV ASR、说话人识别
视频 MP4、MOV 抽帧、ASR、视觉理解
网页 HTML DOM 清洗、正文提取
结构化数据 JSON、CSV Schema 解析
数据库记录 SQL、NoSQL 字段映射与记录转换

格式识别不能只依赖文件扩展名。

例如,一个文件扩展名为 .pdf 的对象,实际内容可能不是合法 PDF。更可靠的方式是结合 MIME 类型、文件头、内容特征和解析器实际结果进行验证。

4.2 统一数据模型

建议在解析完成后,将不同数据源转换成统一的 Document 模型。

{
  "document_id": "doc_10001",
  "source_id": "source_001",
  "source_type": "file",
  "source_uri": "s3://knowledge/manual.pdf",
  "source_version": "v12",
  "content_hash": "sha256:abc123",
  "title": "产品技术手册",
  "content": "文档正文内容",
  "mime_type": "application/pdf",
  "metadata": {
    "department": "engineering",
    "language": "zh-CN",
    "created_at": "2026-01-10T10:00:00Z",
    "updated_at": "2026-11-20T10:00:00Z"
  },
  "permissions": {
    "visibility": "internal",
    "groups": ["engineering"]
  }
}

统一数据模型至少需要区分:

  • document_id:系统内部稳定文档标识。
  • source_id:数据源标识。
  • source_uri:原始数据位置。
  • source_version:数据源版本或快照标识。
  • content_hash:内容指纹。
  • metadata:业务元数据。
  • permissions:访问控制信息。

这里最容易出现的问题是将文件路径直接作为 document_id。

文件路径可能发生变化,甚至同一个文档可能通过多个路径被引用。因此,内部标识应该尽量稳定,路径应作为来源定位信息单独保存。

4.3 结构化解析

解析器不应该只输出一段拼接后的纯文本。

对于复杂文档,建议保留原始结构:

  • 文档标题。
  • 章节层级。
  • 段落。
  • 表格。
  • 图片。
  • 图片说明。
  • 页码。
  • 代码块。
  • 列表。
  • 文档内部链接。
  • 内容坐标和来源位置。

例如,PDF 中的表格如果被直接拼接为纯文本,可能丢失行列对应关系。

原始内容:

产品 版本 支持状态
服务 A 2.0 已支持
服务 B 1.0 不支持

如果解析器输出为:

产品 版本 支持状态 服务A 2.0 已支持 服务B 1.0 不支持

后续模型可能无法准确判断字段之间的对应关系。

因此,结构化解析应尽可能保留表格边界、单元格和表头关系。

4.4 数据标准化

不同数据源可能使用不同的字段命名、时间格式、语言编码和分类方式。

例如:

{
  "updateTime": "2026/11/20 10:00:00"
}

和:

{
  "updated_at": "2026-11-20T02:00:00Z"
}

可能表示同一时间。

标准化需要处理:

  1. 字段命名统一。
  2. 时间格式和时区统一。
  3. 字符编码统一。
  4. 空值和默认值处理。
  5. 单位换算。
  6. 枚举值映射。
  7. 文本格式规范化。
  8. 元数据 Schema 统一。

标准化不能随意改变原始语义。建议同时保留原始数据和标准化后的数据,以便问题排查和重新处理。

五、数据清洗与质量治理

数据清洗决定进入知识库的内容是否具有可用性。

5.1 常见数据质量问题

问题 表现 处理方式
空内容 文档没有有效正文 标记为空数据
重复内容 同一文件多次导入 哈希去重
噪声文本 页眉、页脚、导航栏 规则清洗
编码异常 乱码、特殊字符 编码修复
格式破损 表格、段落结构丢失 重新解析
内容过期 旧版本仍然存在 版本淘汰
元数据缺失 来源、权限、时间为空 补全或隔离
内容冲突 多个来源存在不同结论 冲突检测与权威源治理

5.2 基于哈希的数据去重

数据去重通常分为三个层次。

第一层:文件级去重

对原始文件计算哈希值:

H_{file} = SHA256(FileBytes)

如果两个文件的哈希相同,可以认为它们的二进制内容完全一致。

第二层:规范化内容去重

文件格式、元数据或压缩方式可能不同,但实际文本相同。

因此可以对清洗后的正文计算内容哈希:

H_{content} = SHA256(Normalize(Content))

第三层:语义相似去重

两份文档可能表达相同意思,但文字完全不同。

可以通过 Embedding 相似度进行候选检测:

Similarity(A,B) = \frac{A \cdot B}{\|A\|\|B\|}

相似度超过阈值后,进入进一步的重复内容判断。

注意:语义相似不代表内容完全相同。例如,两个版本的接口文档可能只有参数类型不同,但这种差异恰恰是重要知识,不能直接合并。

因此,语义去重更适合作为候选发现机制,而不是无条件删除机制。

5.3 数据质量评分

可以为每份文档建立质量评分:

Q = w_1 C + w_2 S + w_3 M + w_4 F

其中:

  • C:内容完整度。
  • S:结构完整度。
  • M:元数据完整度。
  • F:格式有效性。
  • w_i:对应权重。

评分用于判断数据是否进入正常处理流程。

例如:

质量等级 处理策略
高质量 正常进入知识构建
中等质量 进入补充处理或人工抽检
低质量 隔离,等待重新解析
无效数据 拒绝入库并记录原因

质量评分不能代替业务规则。即使文档结构完整,如果来源不可信、权限不明确或内容已经过期,也不应该直接发布。

六、知识切分与数据版本构建

完成解析和清洗后,需要将文档转换成适合检索的知识单元。

6.1 Document、Chunk 与知识单元

建议将数据模型分成三个层次:

层次 含义 示例
Document 完整原始文档 产品技术手册
Section 文档内部结构 第三章:部署架构
Chunk 实际参与检索的内容片段 部署环境要求

一个 Document 可以包含多个 Section,一个 Section 又可以包含多个 Chunk。

flowchart TD
    A["Document"] --> B["Section 1"]
    A --> C["Section 2"]
    A --> D["Section 3"]
    B --> E["Chunk 1"]
    B --> F["Chunk 2"]
    C --> G["Chunk 3"]
    C --> H["Chunk 4"]
    D --> I["Chunk 5"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

每个 Chunk 都应该保留以下信息:

  • chunk_id
  • document_id
  • document_version
  • section_id
  • chunk_index
  • content
  • content_hash
  • source_location
  • metadata
  • permission
  • embedding_version

其中,source_location 非常重要。

它可以记录页码、章节路径、段落编号、表格坐标或时间戳,支持检索结果回溯到原始内容。

6.2 Chunk ID 如何设计

一种常见方式是根据文档标识、版本和 Chunk 序号生成:

ChunkID = Hash(DocumentID, Version, ChunkIndex)

例如:

doc_10001:v12:chunk_0001
doc_10001:v12:chunk_0002
doc_10001:v12:chunk_0003

这种方式可以保证:

  • 同一文档不同版本的 Chunk 不会混淆。
  • 同一版本的 Chunk 可以稳定定位。
  • 文档版本更新后,可以识别旧 Chunk。
  • 可以执行版本级别的批量删除。

但是,不能把 Chunk 序号视为永久身份。

文档中间插入一个章节后,后续 Chunk 的序号可能全部变化。因此,如果需要精确识别内容变化,还应结合内容哈希、章节定位和稳定结构标识。

6.3 知识版本与处理版本

需要区分两种不同的版本。

知识版本(Knowledge Version)

表示原始业务内容的版本。

例如:

产品手册 v1
产品手册 v2
产品手册 v3

处理版本(Processing Version)

表示知识处理逻辑的版本。

例如:

Parser v1
Chunker v2
Embedding Model v3

即使原始文档没有变化,只要切分策略、解析器或 Embedding 模型发生变化,也可能需要重新构建知识索引。

因此,完整的处理记录至少应该包含:

{
  "document_id": "doc_10001",
  "document_version": "v12",
  "parser_version": "parser_3",
  "chunker_version": "chunker_2",
  "embedding_model": "embedding_model_a",
  "embedding_version": "embedding_v4",
  "pipeline_version": "pipeline_7"
}

这可以避免将业务内容版本和处理算法版本混为一谈。

七、知识更新机制

知识更新是 AI 数据系统最核心的工程问题之一。

它不仅涉及新增数据,还涉及修改、删除、重建、权限变化和处理逻辑升级。

7.1 四种主要更新类型

更新类型 触发条件 处理策略
新增 数据源出现新文档 新建 Document 和 Chunk
修改 原始文档内容变化 重建受影响的知识单元
删除 数据源删除文档 删除对应索引和派生数据
重处理 解析或模型策略升级 重新解析、切分或生成向量

7.2 全量更新

全量更新会重新扫描全部数据,并根据当前数据源状态重建知识库。

适合:

  • 初次构建知识库。
  • 数据源缺乏增量能力。
  • 索引结构发生重大变化。
  • 数据一致性出现严重问题。
  • 需要定期校准同步结果。

全量更新的主要缺点是成本较高。

如果知识库包含数百万个 Chunk,每次更新都重新解析、切分和向量化,会产生大量不必要的计算和存储开销。

因此,生产系统通常不会将全量重建作为日常更新策略。

7.3 增量更新

增量更新只处理新增或发生变化的数据。

其核心是识别数据变化,并将变化映射到对应的知识处理任务。

flowchart TD
    A["接收数据变更事件"] --> B["读取文档元信息"]
    B --> C["计算内容指纹"]
    C --> D{"内容是否发生变化"}
    D -->|"否"| E["更新同步检查点"]
    D -->|"是"| F{"变更类型"}
    F -->|"新增"| G["创建新文档"]
    F -->|"修改"| H["构建新文档版本"]
    F -->|"删除"| I["标记旧版本待删除"]
    G --> J["解析与切分"]
    H --> J
    J --> K["生成 Embedding"]
    K --> L["构建新索引"]
    L --> M["验证并发布"]
    I --> N["执行删除治理"]
    M --> E
    N --> E

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#E5F0E9,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style I fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style L fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style N fill:#F7EAE7,stroke:#C98D7C,color:#754438

增量更新的关键并不是减少扫描量,而是避免重复执行不必要的计算。

例如:

  • 文件内容没有变化:跳过解析和 Embedding。
  • 仅权限变化:更新访问控制信息,不一定重新生成向量。
  • 仅元数据变化:只更新受影响的索引字段。
  • 文档内容变化:重新解析和构建对应知识单元。
  • Embedding 模型升级:即使内容未变,也需要重新生成向量。

7.4 局部更新与整文档重建

文档更新后,是否需要重新处理整个文档?

这取决于变化范围和处理方式。

整文档重建

适合:

  • 文档结构变化明显。
  • 章节顺序发生调整。
  • 表格或图片结构发生变化。
  • Chunk 切分策略依赖全文上下文。
  • 无法可靠识别局部变更。

局部更新

适合:

  • 文档结构稳定。
  • 章节具有稳定标识。
  • 变更可以精确定位。
  • 不受影响的 Chunk 能够保持原有身份。

局部更新可以降低解析和向量化成本,但实现难度更高。

尤其要注意 Chunk 边界问题:如果一个段落发生变化,受影响的不一定只有一个 Chunk。相邻 Chunk 的重叠区域、上下文摘要和父子关系也可能需要重新构建。

因此,局部更新应该基于结构化内容和依赖关系,而不能简单地只替换某一个文本片段。

八、索引更新与一致性设计

完成知识处理后,还需要将新知识写入检索系统。

这里涉及向量数据库、关键词索引、元数据索引和关系索引之间的一致性。

8.1 多索引更新问题

一个知识单元可能同时存在于:

  • 向量数据库。
  • 全文搜索引擎。
  • 关系数据库。
  • 知识图谱。
  • 缓存系统。

这些系统通常没有统一事务能力。

假设一个文档更新时:

  1. 新向量已经写入。
  2. 全文索引更新失败。
  3. 元数据数据库仍然指向旧版本。

此时不同检索通道可能返回不同版本的知识。

因此,不能简单地把多个索引的写入操作当成一个原子事务。

8.2 双阶段发布

一种常见方案是先构建新版本,再切换在线可见版本。

核心步骤:

  1. 创建新的知识版本。
  2. 解析和处理新数据。
  3. 写入新版本索引。
  4. 检查各索引是否完整。
  5. 验证数据数量和关键字段。
  6. 原子切换当前版本指针。
  7. 异步清理旧版本。
flowchart TD
    A["当前版本 V1 在线服务"] --> B["创建新版本 V2"]
    B --> C["解析与知识构建"]
    C --> D["写入向量索引"]
    C --> E["写入全文索引"]
    C --> F["写入元数据索引"]
    D --> G["索引完整性验证"]
    E --> G
    F --> G
    G --> H{"验证是否通过"}
    H -->|"否"| I["保留 V1 并记录失败"]
    H -->|"是"| J["切换当前版本指针"]
    J --> K["V2 对外提供检索"]
    K --> L["异步清理 V1"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style J fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style K fill:#E5F0E9,stroke:#83A995,color:#315D49
    style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A

这种方式的优势是在线用户不会直接看到构建过程中的半成品数据。

但它需要额外的存储空间,并要求所有检索通道能够识别版本。

8.3 版本指针与发布清单

可以通过 Manifest 管理当前可用的知识版本。

{
  "knowledge_base_id": "kb_001",
  "active_version": "v102",
  "previous_version": "v101",
  "status": "READY",
  "indexes": {
    "vector": {
      "index_name": "kb_001_v102",
      "status": "READY"
    },
    "fulltext": {
      "index_name": "kb_001_v102",
      "status": "READY"
    },
    "metadata": {
      "index_name": "kb_001_v102",
      "status": "READY"
    }
  },
  "published_at": "2026-11-20T10:00:00Z"
}

在线检索请求先获取当前版本,再使用对应版本的索引。

这样可以将数据构建和在线发布解耦。

8.4 最终一致性与幂等性

分布式数据处理系统通常无法保证所有组件在同一时刻完成更新,因此需要接受一定程度的最终一致性。

但最终一致性不意味着可以随意出现新旧数据混用。

需要重点处理三个问题:

幂等性

同一个事件重复执行,不应该产生重复知识。

可以使用:

idempotency_key =
Hash(source_id, document_id, source_version, pipeline_version)

事件顺序

旧版本事件不能覆盖新版本。

例如,系统先收到文档 v3 的更新,再收到延迟到达的 v2 事件。必须通过版本号、更新时间或数据源序列号判断事件是否过期。

版本隔离

不同版本的 Chunk 和索引需要明确区分,避免新旧版本混合检索。

一个重要原则是:

允许任务重复投递,但不能允许重复投递破坏最终知识状态。

九、数据更新中的事件驱动架构

对于大型知识系统,通常需要通过消息队列将数据接入、解析、向量化和索引构建解耦。

9.1 事件驱动处理

可以将数据处理过程拆成多个独立任务:

flowchart TD
    A["数据源变更"] --> B["Connector"]
    B --> C["变更事件队列"]
    C --> D["解析任务"]
    D --> E["清洗任务"]
    E --> F["知识切分任务"]
    F --> G["Embedding 任务"]
    G --> H["索引写入任务"]
    H --> I["版本发布任务"]
    I --> J["在线知识库"]

    D --> K["解析失败队列"]
    E --> L["清洗失败队列"]
    G --> M["Embedding 失败队列"]
    H --> N["索引失败队列"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style J fill:#E5F0E9,stroke:#83A995,color:#315D49
    style K fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style L fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style M fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style N fill:#F7EAE7,stroke:#C98D7C,color:#754438

不同任务可以使用不同的 Worker 集群。

例如:

  • PDF 解析任务需要较高的 CPU 和内存。
  • OCR 任务可能需要 GPU 或专用视觉服务。
  • Embedding 任务可能受模型吞吐量和 API 限流约束。
  • 索引写入任务受数据库写入能力影响。

任务拆分后,可以独立扩缩容。

9.2 任务状态管理

建议为每个 Document 或数据处理任务维护明确状态。

状态 含义
DISCOVERED 已发现数据
FETCHED 已获取原始内容
PARSING 正在解析
PARSED 解析完成
CLEANING 正在清洗
CLEANED 清洗完成
CHUNKING 正在切分
EMBEDDING 正在生成向量
INDEXING 正在写入索引
VALIDATING 正在验证
PUBLISHED 已发布
FAILED 处理失败
DELETING 正在删除
DELETED 删除完成

状态转换必须受约束,不能允许任务随意跳转。

例如,尚未完成解析的文档不能直接进入索引发布状态。

9.3 任务重试与死信队列

并不是所有失败都适合立即重试。

可以将异常分为三类:

异常类型 示例 处理策略
临时错误 网络超时、服务限流 延迟重试
数据错误 文件损坏、格式不支持 隔离并等待修复
系统错误 程序异常、依赖服务不可用 告警并重试或人工介入

重试应使用指数退避机制:

Delay_n = \min(Delay_{max}, Delay_0 \times 2^n)

并加入随机抖动,避免大量任务在同一时刻重新请求服务。