返回专栏
· 24 分钟阅读

文档解析与知识抽取:从非结构化数据到可检索知识的完整技术链路


一、文档解析与知识抽取的核心概念

在 RAG 系统中,文档解析(Document Parsing)与知识抽取(Knowledge Extraction)是两个紧密关联但职责不同的阶段。

文档解析主要解决:

  • 文档中包含什么内容?
  • 内容以什么形式组织?
  • 文本、表格、图片和版面之间有什么关系?
  • 如何恢复文档原有的结构与顺序?

知识抽取主要解决:

  • 文档中有哪些关键事实?
  • 哪些内容具有独立的知识价值?
  • 实体、属性、关系和事件如何表示?
  • 如何将内容转换为后续检索和推理可以使用的数据?

两者的区别:

维度 文档解析 知识抽取
核心目标 恢复文档内容与结构 提取有价值的知识
输入 PDF、Word、HTML、图片等 解析后的文档内容
处理对象 文本、版面、表格、图片 实体、属性、关系、事实
输出 结构化文档 知识记录、实体关系、元数据
主要技术 OCR、Layout Analysis、Parser NER、Relation Extraction、LLM
主要用途 内容还原与组织 检索、问答、知识推理

需要注意:并非所有 RAG 系统都需要复杂的知识抽取。对于普通文档问答,保留结构的文本解析与合理分块可能已经足够;对于企业知识库、复杂业务文档和跨文档关联检索,知识抽取的价值会更加明显。

二、整体处理流程

文档解析与知识抽取通常由多个处理阶段组成。

flowchart TD
    A["原始文档<br/>PDF / Word / HTML / 图片"] --> B["文档识别与分类"]
    B --> C["文档解析"]
    C --> D["结构恢复与内容标准化"]
    D --> E["知识抽取"]
    E --> F["质量校验与数据清洗"]
    F --> G["结构化知识数据"]
    G --> H["Chunk 切分与索引构建"]
    H --> I["向量数据库 / 搜索索引"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#E5F0E9,stroke:#83A995,color:#315D49

整个过程可以分为四个核心阶段:

  1. 文档接入:识别文件类型、来源和基本属性。
  2. 文档解析:提取文本、表格、图片及版面结构。
  3. 知识抽取:识别实体、关系、属性和关键事实。
  4. 数据治理:校验、去重、标准化,并建立检索索引。

三、文档接入与类型识别

文档接入是整个知识处理流水线的入口。

不同文档格式具有不同的内部结构和解析方式,不能使用同一种解析策略处理所有文件。

3.1 常见文档类型

文档类型 特征 主要解析方式
PDF 固定页面布局 PDF Parser、Layout Analysis
DOCX 结构化 Office 文档 XML 解析、Office Parser
XLSX 工作表、单元格与公式 Spreadsheet Parser
PPTX 幻灯片、文本框和图形 Presentation Parser
HTML 标签与 DOM 结构 HTML Parser
Markdown 标题、列表、代码块 Markdown Parser
TXT 纯文本 文本读取
图片 像素数据,无直接文本结构 OCR、视觉模型
扫描 PDF 页面图像构成 PDF 渲染、OCR

需要特别区分两类 PDF:

  • 文本型 PDF:页面中存在可提取的文字对象,可以通过 PDF 文本解析器读取。
  • 扫描型 PDF:页面本质上是图片,需要通过 OCR 识别文字。

还有一种混合型 PDF:部分页面包含文本对象,部分页面由扫描图片组成。实际系统需要具备页面级识别和混合处理能力。

3.2 文件识别不能只依赖扩展名

文件扩展名不一定可信。

例如:

  • .pdf 文件可能实际是图片容器或损坏文件。
  • .docx 本质上是 ZIP 容器,内部包含 XML 文件。
  • 文件扩展名可能被人为修改。
  • 同一文件可能存在 MIME Type 与实际内容不一致的情况。

生产系统通常结合以下信息判断文件类型:

  • 文件扩展名。
  • MIME Type。
  • 文件头特征(Magic Number)。
  • 容器内部结构。
  • 文件内容特征。

文件接入还需要处理大小限制、文件损坏、压缩炸弹、恶意文件和解析资源限制。

3.3 文档元数据

除了正文内容,接入阶段还应记录文档级元数据。

例如:

{
  "document_id": "doc_001",
  "file_name": "technical_specification.pdf",
  "file_type": "application/pdf",
  "file_size": 2048000,
  "source": "internal_knowledge_base",
  "department": "engineering",
  "version": "2.1",
  "created_at": "2026-11-20T10:00:00Z",
  "status": "pending"
}

其中:

  • document_id:文档唯一标识。
  • file_name:原始文件名称。
  • source:文档来源。
  • department:所属业务部门。
  • version:文档版本。
  • status:当前处理状态。

文档元数据与正文内容应分开管理。

正文用于知识检索,元数据用于过滤、权限控制、版本管理和数据追溯。

四、文档解析的核心技术

文档解析不是简单地把文件转换成字符串,而是尽可能恢复原始文档中的内容、层级和空间关系。

4.1 文本提取(Text Extraction)

文本提取是文档解析最基础的能力。

不同格式的文档采用不同的提取方式:

  • PDF:提取页面中的文本对象及其坐标。
  • DOCX:解析 XML 中的段落、文本和表格。
  • XLSX:提取工作表、单元格、公式和数据区域。
  • PPTX:提取幻灯片中的文本框、标题和备注。
  • HTML:解析 DOM,提取正文及结构化标签。
  • Markdown:解析标题、列表、引用和代码块。

对于 PDF,文本提取通常不仅需要获取文字内容,还需要保留文字在页面中的位置。

例如:

{
  "page": 1,
  "text": "Transformer 是一种基于注意力机制的神经网络架构。",
  "bbox": [100, 120, 520, 160],
  "font_size": 14,
  "font_name": "Arial"
}

bbox 表示文本在页面上的边界框,通常采用:

bbox = [x_0,y_0,x_1,y_1]

保留坐标有助于后续判断:

  • 哪些文字属于同一个段落。
  • 哪些文字属于某个表格。
  • 哪些文字是页眉或页脚。
  • 阅读顺序如何排列。
  • 标题与正文之间的层级关系。

如果只提取文本而丢弃坐标,可能无法准确恢复原始文档结构。

4.2 OCR 光学字符识别

OCR(Optical Character Recognition)用于从图片中识别文字。

它主要解决扫描件、图片、截图等无法直接提取文本的问题。

典型 OCR 处理过程:

flowchart TD
    A["输入图像"] --> B["图像预处理"]
    B --> C["文本区域检测"]
    C --> D["文字区域裁剪"]
    D --> E["字符识别"]
    E --> F["文本后处理"]
    F --> G["识别结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

OCR 的主要步骤包括:

第一步:图像预处理

常见操作:

  • 灰度化。
  • 二值化。
  • 去噪。
  • 倾斜校正。
  • 分辨率调整。
  • 对比度增强。

图像质量会直接影响后续识别效果。

第二步:文本检测(Text Detection)

定位图像中的文字区域。

检测模型需要判断哪些区域包含文字,以及每个文字区域的边界。

常见方法包括:

  • EAST。
  • DBNet。
  • CRAFT。

第三步:文本识别(Text Recognition)

对检测出的文字区域进行字符或序列识别。

常见技术路线包括:

  • CNN + RNN + CTC。
  • Attention-based Recognition。
  • Transformer-based Recognition。

第四步:文本后处理

处理识别结果中的格式与错误:

  • 标点符号恢复。
  • 空格与换行处理。
  • 字符纠错。
  • 语言规则校验。
  • 文本区域顺序恢复。

OCR 的输出通常还应保留置信度和坐标,方便后续质量评估。

例如:

{
  "text": "人工智能技术",
  "confidence": 0.98,
  "bbox": [120, 80, 350, 120],
  "page": 1
}

需要注意:OCR 置信度是识别模型对结果的估计,并不等同于经过人工验证的准确率。

对于合同金额、身份证号、设备编号等高风险字段,不能仅凭置信度判断内容正确。

4.3 版面分析(Layout Analysis)

版面分析用于理解文档页面的空间布局和区域类型。

一份文档不仅包含文字,还包含:

  • 标题。
  • 正文段落。
  • 表格。
  • 图片。
  • 图注。
  • 页眉和页脚。
  • 页码。
  • 公式。
  • 多栏布局。

版面分析的核心任务是判断页面中各个区域的类型、位置和相互关系。

例如:

┌────────────────────────────┐
│          文档标题           │
├────────────────────────────┤
│                            │
│         正文段落            │
│         正文段落            │
│                            │
├────────────────────────────┤
│          表格               │
│    ┌─────┬─────┬─────┐     │
│    │ A   │ B   │ C   │     │
│    ├─────┼─────┼─────┤     │
│    │ 10  │ 20  │ 30  │     │
│    └─────┴─────┴─────┘     │
├────────────────────────────┤
│          图片               │
│          图片说明           │
└────────────────────────────┘

常见版面元素类别:

类别 说明
Title 文档标题
Section Header 章节标题
Text 普通正文
Table 表格
Figure 图片或图表
Caption 图片或表格说明
List 列表
Formula 数学公式
Header 页眉
Footer 页脚

常见技术包括:

  • LayoutParser:用于版面分析的工具生态。
  • Detectron2:目标检测与视觉模型框架,可用于版面区域检测。
  • LayoutLM:融合文本、布局和视觉信息的文档理解模型系列。
  • DocLayNet:文档版面分析数据集。
  • PP-Structure:面向文档结构化解析的工具体系。

需要区分:版面分析与 OCR 并不是同一个任务。

OCR 关注文字是什么,版面分析关注页面上有什么区域、区域在哪里,以及它们之间如何组织。

4.4 表格解析(Table Extraction)

表格是文档解析中非常容易出错的部分。

普通文本提取可能得到:

产品 数量 单价
A 10 20
B 15 30

但原始表格可能包含复杂结构:

产品 销售数据
名称 数量 单价
A 10 20
B 15 30

如果只保留纯文本,可能丢失:

  • 表头与数据的对应关系。
  • 合并单元格。
  • 行列层级。
  • 多级表头。
  • 单位信息。
  • 表格标题和注释。

因此,表格解析不仅需要识别文字,还需要恢复表格结构。

典型处理过程:

flowchart TD
    A["表格区域定位"] --> B["行列结构识别"]
    B --> C["单元格边界检测"]
    C --> D["单元格文本识别"]
    D --> E["合并单元格处理"]
    E --> F["表头与数据关联"]
    F --> G["结构化表格"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F

表格解析的关键在于恢复逻辑结构,而不只是识别每个单元格中的字符。

例如:

{
  "table_id": "table_001",
  "headers": ["产品", "数量", "单价"],
  "rows": [
    ["A", 10, 20],
    ["B", 15, 30]
  ]
}

对于复杂表格,还需要保留:

  • row_span:跨行信息。
  • col_span:跨列信息。
  • cell_bbox:单元格坐标。
  • header_path:多级表头路径。
  • unit:数值单位。
  • caption:表格说明。

特别注意:表格中的数值必须与其表头、单位和上下文绑定。

例如,单独抽取出 100 并没有多少意义,必须知道它表示数量、金额、比例还是温度。

4.5 图片与图表解析

文档中的图片可能包含重要知识:

  • 架构图。
  • 流程图。
  • 系统拓扑图。
  • 业务关系图。
  • 柱状图和折线图。
  • 产品示意图。
  • 截图和操作界面。

仅提取图片周围的文字,可能丢失大量信息。

图片解析通常需要:

  1. 定位图片区域。
  2. 提取图片及其原始坐标。
  3. 识别图片类型。
  4. 识别图片中的文字。
  5. 分析图片结构与语义。
  6. 将图片内容与正文、图注建立关联。

对于图表,还需要识别:

  • 坐标轴。
  • 数据系列。
  • 图例。
  • 单位。
  • 时间范围。
  • 数据点。
  • 图表标题。

视觉语言模型(VLM)可以辅助理解复杂图片,但其生成的描述属于模型推断结果,不应直接视为原始文档中的确定事实。

工程上应保留原始图片、页面位置、模型描述及处理版本,以便复核。

五、文档结构恢复与标准化

完成文本、表格、图片提取之后,还需要恢复文档的逻辑结构。

这是从原始内容转换为可检索知识的重要一步。

5.1 为什么需要结构恢复?

考虑以下内容:

第一章 系统架构

1.1 整体设计

系统采用微服务架构。

1.2 服务通信

服务之间通过 HTTP 和消息队列进行通信。

如果直接提取文本,可能得到一整段连续内容。

但实际上,文档具有明确的层级关系:

第一章 系统架构
    1.1 整体设计
        系统采用微服务架构。
    1.2 服务通信
        服务之间通过 HTTP 和消息队列进行通信。

结构恢复需要识别:

  • 标题层级。
  • 段落边界。
  • 列表层级。
  • 表格所属章节。
  • 图片与图注的对应关系。
  • 页码和阅读顺序。

其中,阅读顺序尤其重要。

双栏论文、报纸和复杂版面可能按照空间位置交错排列。简单按照文本对象的坐标排序,容易将不同栏的内容混在一起。

因此,阅读顺序恢复通常需要综合考虑:

  • 页面分栏。
  • 区域类型。
  • 文本块坐标。
  • 标题层级。
  • 段落连续性。
  • 文档阅读习惯。

5.2 统一文档中间表示

生产级系统不应让每一种文件格式直接连接后续知识抽取模块。

更合理的方式是定义统一的文档中间表示(Document Intermediate Representation,Document IR)。

例如:

{
  "document_id": "doc_001",
  "title": "系统技术设计文档",
  "pages": [
    {
      "page_number": 1,
      "blocks": [
        {
          "block_id": "b001",
          "type": "heading",
          "level": 1,
          "text": "第一章 系统架构",
          "bbox": [80, 60, 500, 100]
        },
        {
          "block_id": "b002",
          "type": "paragraph",
          "text": "系统采用微服务架构。",
          "parent_id": "b001",
          "bbox": [80, 120, 500, 160]
        },
        {
          "block_id": "b003",
          "type": "table",
          "caption": "服务配置表",
          "table_data": {
            "headers": ["服务", "端口"],
            "rows": [
              ["API", "8080"],
              ["Auth", "8081"]
            ]
          }
        }
      ]
    }
  ]
}

这里的字段只是示例,实际 Schema 应根据业务需求设计。

Document IR 的价值在于:

  • 屏蔽底层文件格式差异。
  • 统一后续处理接口。
  • 保留原始页面和区域信息。
  • 支持多种知识抽取策略。
  • 支持重新切分、重新索引。
  • 支持问题定位与结果追溯。

建议至少保留以下信息:

字段 用途
document_id 文档唯一标识
block_id 内容块唯一标识
parent_id 父级内容块
block_type 内容块类型
text 提取后的文本
page_number 所属页码
bbox 页面坐标
source 原始来源
parser_version 解析器版本
confidence 识别置信度
metadata 扩展元数据

5.3 内容清洗与标准化

原始解析结果通常存在噪声,需要进行清洗。

常见问题:

  • 多余空格。
  • 重复换行。
  • 页眉和页脚重复。
  • 页码混入正文。
  • OCR 错别字。
  • 乱码。
  • 断行。
  • 连字符拆分。
  • 重复段落。
  • 无意义符号。

例如,PDF 中可能出现:

大语言模
型是一种基于 Transformer
架构的模型。

清洗后:

大语言模型是一种基于 Transformer 架构的模型。

但清洗不能过度。

以下信息不应被随意删除:

  • 代码缩进。
  • 数学公式。
  • 表格中的空值。
  • 列表编号。
  • 章节编号。
  • 负号与小数点。
  • 日期和单位。
  • 具有业务意义的符号。

特别是技术文档,代码、配置、命令和公式的格式本身就是知识的一部分。

清洗操作最好保留原始内容与标准化内容之间的映射,避免无法追溯原文。

六、知识抽取的核心技术

文档解析得到的是结构化内容,知识抽取则进一步从内容中提取可以独立表达、关联和检索的知识。

6.1 实体抽取(Named Entity Recognition)

实体识别(NER)用于识别文本中具有明确含义的对象。

常见实体类型:

  • 人物。
  • 组织。
  • 地点。
  • 产品。
  • 技术。
  • 系统。
  • 时间。
  • 金额。
  • 业务对象。

例如:

OpenAI 于 2023 年发布了 GPT-4。

实体抽取结果:

{
  "entities": [
    {
      "text": "OpenAI",
      "type": "ORGANIZATION"
    },
    {
      "text": "2023 年",
      "type": "DATE"
    },
    {
      "text": "GPT-4",
      "type": "MODEL"
    }
  ]
}

实体识别的重点不仅是找出名称,还要确定实体类型、边界和上下文。

常见技术路线:

  • 规则与词典匹配。
  • CRF。
  • BiLSTM-CRF。
  • BERT Token Classification。
  • LLM 结构化抽取。

传统 NER 模型适合固定实体类型和大规模稳定任务;LLM 更适合复杂、开放式的实体定义,但需要严格的输出校验。

6.2 属性抽取(Attribute Extraction)

实体抽取确定对象,属性抽取则识别对象的特征。

例如:

GPT-4 是 OpenAI 于 2023 年发布的大语言模型,
支持文本和图像输入。

可以抽取:

{
  "entity": "GPT-4",
  "attributes": {
    "developer": "OpenAI",
    "release_year": 2023,
    "model_type": "大语言模型",
    "input_modalities": [
      "text",
      "image"
    ]
  }
}

常见属性包括:

  • 名称。
  • 类型。
  • 时间。
  • 状态。
  • 版本。
  • 规格。
  • 所属组织。
  • 技术参数。
  • 适用范围。

属性抽取必须注意上下文约束。

例如:

系统支持最大 1000 个并发连接。

不能只抽取:

{
  "value": 1000
}

而应保留:

{
  "entity": "系统",
  "attribute": "最大并发连接数",
  "value": 1000,
  "unit": "个"
}

6.3 关系抽取(Relation Extraction)

关系抽取用于识别实体之间的语义关系。

例如:

OpenAI 开发了 GPT-4。

可以表示为:

(OpenAI, 开发, GPT-4)

这是一个三元组:

(h,r,t)

其中:

  • h:Head,头实体。
  • r:Relation,关系。
  • t:Tail,尾实体。

例如:

(OpenAI,\ 开发,\ GPT\text{-}4)

其他常见关系:

头实体 关系 尾实体
OpenAI 开发 GPT-4
GPT-4 属于 大语言模型
Transformer 使用 Self-Attention
Python 支持 面向对象编程
Redis 提供 缓存能力

关系抽取的难点在于:

  • 关系可能跨越多个句子。
  • 实体可能存在指代关系。
  • 关系具有方向性。
  • 同一实体之间可能存在多种关系。
  • 关系可能受到时间和条件限制。

例如:

系统 A 调用系统 B。
系统 B 通过 Redis 缓存用户信息。

仅抽取每个句子的实体和关系还不够,还需要识别上下文中的实体指代和跨句关联。

6.4 事件抽取(Event Extraction)

事件抽取关注发生了什么,以及事件涉及哪些参与者和条件。

例如:

2026 年 3 月,某公司发布了新版本的数据库产品。

可以抽取:

{
  "event_type": "PRODUCT_RELEASE",
  "time": "2026-03",
  "organization": "某公司",
  "product": "数据库产品",
  "action": "发布"
}

事件通常包含:

  • 事件类型。
  • 参与实体。
  • 发生时间。
  • 发生地点。
  • 触发词。
  • 事件参数。

常见事件类型:

  • 产品发布。
  • 企业收购。
  • 系统故障。
  • 订单创建。
  • 用户登录。
  • 交易完成。
  • 合同签署。

事件抽取对于新闻分析、企业知识库、审计系统和业务流程分析具有重要价值。

6.5 事实抽取(Fact Extraction)

事实抽取比单纯实体识别更关注完整语义。

例如:

Redis 默认端口为 6379。

可以抽取:

{
  "subject": "Redis",
  "predicate": "默认端口",
  "object": 6379,
  "unit": null,
  "source": "doc_001",
  "page": 12
}

一个可用的事实记录不仅应包含主语、谓语和宾语,还应尽可能保留:

  • 来源文档。
  • 页码或段落位置。
  • 生效时间。
  • 适用范围。
  • 置信度。
  • 文档版本。

尤其是企业知识库,事实通常不是永久有效的。

例如:

系统当前使用 Redis 7.0。

与:

系统历史版本使用 Redis 6.2。

两条事实都可能正确,但对应不同时间和版本。

如果不保留时间与版本信息,知识库就可能将历史事实误认为当前事实。

七、使用大语言模型进行知识抽取

传统信息抽取模型通常需要提前定义实体类别、关系类型和训练数据。

大语言模型可以根据自然语言指令完成更加灵活的知识抽取任务。

7.1 基于 Prompt 的结构化抽取

例如,输入:

请从以下内容中提取实体、属性和关系。

文本:
Redis 是一种开源的内存数据结构存储系统,
常用于缓存、消息队列和实时数据处理。

要求输出:

{
  "entities": [
    {
      "name": "Redis",
      "type": "SOFTWARE"
    },
    {
      "name": "缓存",
      "type": "APPLICATION"
    },
    {
      "name": "消息队列",
      "type": "APPLICATION"
    },
    {
      "name": "实时数据处理",
      "type": "APPLICATION"
    }
  ],
  "relations": [
    {
      "subject": "Redis",
      "predicate": "常用于",
      "object": "缓存"
    },
    {
      "subject": "Redis",
      "predicate": "常用于",
      "object": "消息队列"
    },
    {
      "subject": "Redis",
      "predicate": "常用于",
      "object": "实时数据处理"
    }
  ]
}

这种方法不需要为每一种新实体类型训练专门模型,具有较好的灵活性。

但需要注意:

  • 模型可能生成原文没有出现的实体。
  • 可能错误推断实体之间的关系。
  • 可能将不确定内容转换为确定事实。
  • 可能遗漏重要信息。
  • 可能输出不符合 Schema 的 JSON。

因此,LLM 抽取结果必须经过校验,不能直接写入权威知识库。

7.2 结构化输出与 Schema 约束

工程实践中,应尽量定义固定的数据结构。

例如:

{
  "type": "object",
  "properties": {
    "entities": {
      "type": "array",
      "items": {
        "type": "object",
        "properties": {
          "name": {
            "type": "string"
          },
          "type": {
            "type": "string"
          }
        },
        "required": [
          "name",
          "type"
        ],
        "additionalProperties": false
      }
    },
    "relations": {
      "type": "array",
      "items": {
        "type": "object",
        "properties": {
          "subject": {
            "type": "string"
          },
          "predicate": {
            "type": "string"
          },
          "object": {
            "type": "string"
          }
        },
        "required": [
          "subject",
          "predicate",
          "object"
        ],
        "additionalProperties": false
      }
    }
  },
  "required": [
    "entities",
    "relations"
  ],
  "additionalProperties": false
}

Schema 主要解决结构合法性问题:

  • 字段是否存在。
  • 字段类型是否正确。
  • 是否允许额外字段。
  • 数组元素是否符合定义。

但 Schema 合法不代表知识正确。

例如:

{
  "subject": "Redis",
  "predicate": "开发",
  "object": "OpenAI"
}

这可能完全符合 JSON Schema,却在语义上是错误的。

因此需要进一步进行语义校验。

7.3 基于证据的抽取

更可靠的抽取方式是要求模型为每条事实提供原文证据。

例如:

{
  "subject": "Redis",
  "predicate": "默认端口",
  "object": "6379",
  "evidence": {
    "text": "Redis 默认端口为 6379。",
    "page": 12,
    "block_id": "b012"
  }
}

证据可以用于:

  • 检查事实是否来自原文。
  • 定位原始段落。
  • 发现模型幻觉。
  • 支持人工审核。
  • 生成问答引用。
  • 追踪知识来源。

需要注意:模型返回的证据文本也可能是错误引用或改写,不能只检查字段是否存在。生产系统应将证据与原始内容进行匹配,并保留原始位置标识。

7.4 分层抽取策略

复杂文档不适合一次性输入模型并要求抽取所有知识。

更合理的策略是分层处理:

flowchart TD
    A["结构化文档"] --> B["文档级分析"]
    B --> C["章节级分析"]
    C --> D["段落级抽取"]
    D --> E["实体与属性识别"]
    E --> F["关系与事件抽取"]
    F --> G["跨段落关联"]
    G --> H["事实校验与合并"]
    H --> I["知识数据"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style F fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

分层抽取可以解决几个问题:

  1. 降低单次输入长度。
  2. 保留章节和段落上下文。
  3. 避免长文档中遗漏信息。
  4. 将局部抽取与全局关联分开。
  5. 方便针对不同阶段配置不同模型。

其中,文档级分析负责识别主题、章节和整体语境;段落级抽取负责提取局部事实;跨段落关联负责解决指代、实体归一化和关系补全。