一、文档解析与知识抽取的核心概念
在 RAG 系统中,文档解析(Document Parsing)与知识抽取(Knowledge Extraction)是两个紧密关联但职责不同的阶段。
文档解析主要解决:
- 文档中包含什么内容?
- 内容以什么形式组织?
- 文本、表格、图片和版面之间有什么关系?
- 如何恢复文档原有的结构与顺序?
知识抽取主要解决:
- 文档中有哪些关键事实?
- 哪些内容具有独立的知识价值?
- 实体、属性、关系和事件如何表示?
- 如何将内容转换为后续检索和推理可以使用的数据?
两者的区别:
| 维度 | 文档解析 | 知识抽取 |
|---|---|---|
| 核心目标 | 恢复文档内容与结构 | 提取有价值的知识 |
| 输入 | PDF、Word、HTML、图片等 | 解析后的文档内容 |
| 处理对象 | 文本、版面、表格、图片 | 实体、属性、关系、事实 |
| 输出 | 结构化文档 | 知识记录、实体关系、元数据 |
| 主要技术 | OCR、Layout Analysis、Parser | NER、Relation Extraction、LLM |
| 主要用途 | 内容还原与组织 | 检索、问答、知识推理 |
需要注意:并非所有 RAG 系统都需要复杂的知识抽取。对于普通文档问答,保留结构的文本解析与合理分块可能已经足够;对于企业知识库、复杂业务文档和跨文档关联检索,知识抽取的价值会更加明显。
二、整体处理流程
文档解析与知识抽取通常由多个处理阶段组成。
flowchart TD
A["原始文档<br/>PDF / Word / HTML / 图片"] --> B["文档识别与分类"]
B --> C["文档解析"]
C --> D["结构恢复与内容标准化"]
D --> E["知识抽取"]
E --> F["质量校验与数据清洗"]
F --> G["结构化知识数据"]
G --> H["Chunk 切分与索引构建"]
H --> I["向量数据库 / 搜索索引"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#E5F0E9,stroke:#83A995,color:#315D49
整个过程可以分为四个核心阶段:
- 文档接入:识别文件类型、来源和基本属性。
- 文档解析:提取文本、表格、图片及版面结构。
- 知识抽取:识别实体、关系、属性和关键事实。
- 数据治理:校验、去重、标准化,并建立检索索引。
三、文档接入与类型识别
文档接入是整个知识处理流水线的入口。
不同文档格式具有不同的内部结构和解析方式,不能使用同一种解析策略处理所有文件。
3.1 常见文档类型
| 文档类型 | 特征 | 主要解析方式 |
|---|---|---|
| 固定页面布局 | PDF Parser、Layout Analysis | |
| DOCX | 结构化 Office 文档 | XML 解析、Office Parser |
| XLSX | 工作表、单元格与公式 | Spreadsheet Parser |
| PPTX | 幻灯片、文本框和图形 | Presentation Parser |
| HTML | 标签与 DOM 结构 | HTML Parser |
| Markdown | 标题、列表、代码块 | Markdown Parser |
| TXT | 纯文本 | 文本读取 |
| 图片 | 像素数据,无直接文本结构 | OCR、视觉模型 |
| 扫描 PDF | 页面图像构成 | PDF 渲染、OCR |
需要特别区分两类 PDF:
- 文本型 PDF:页面中存在可提取的文字对象,可以通过 PDF 文本解析器读取。
- 扫描型 PDF:页面本质上是图片,需要通过 OCR 识别文字。
还有一种混合型 PDF:部分页面包含文本对象,部分页面由扫描图片组成。实际系统需要具备页面级识别和混合处理能力。
3.2 文件识别不能只依赖扩展名
文件扩展名不一定可信。
例如:
.pdf文件可能实际是图片容器或损坏文件。.docx本质上是 ZIP 容器,内部包含 XML 文件。- 文件扩展名可能被人为修改。
- 同一文件可能存在 MIME Type 与实际内容不一致的情况。
生产系统通常结合以下信息判断文件类型:
- 文件扩展名。
- MIME Type。
- 文件头特征(Magic Number)。
- 容器内部结构。
- 文件内容特征。
文件接入还需要处理大小限制、文件损坏、压缩炸弹、恶意文件和解析资源限制。
3.3 文档元数据
除了正文内容,接入阶段还应记录文档级元数据。
例如:
{
"document_id": "doc_001",
"file_name": "technical_specification.pdf",
"file_type": "application/pdf",
"file_size": 2048000,
"source": "internal_knowledge_base",
"department": "engineering",
"version": "2.1",
"created_at": "2026-11-20T10:00:00Z",
"status": "pending"
}
其中:
document_id:文档唯一标识。file_name:原始文件名称。source:文档来源。department:所属业务部门。version:文档版本。status:当前处理状态。
文档元数据与正文内容应分开管理。
正文用于知识检索,元数据用于过滤、权限控制、版本管理和数据追溯。
四、文档解析的核心技术
文档解析不是简单地把文件转换成字符串,而是尽可能恢复原始文档中的内容、层级和空间关系。
4.1 文本提取(Text Extraction)
文本提取是文档解析最基础的能力。
不同格式的文档采用不同的提取方式:
- PDF:提取页面中的文本对象及其坐标。
- DOCX:解析 XML 中的段落、文本和表格。
- XLSX:提取工作表、单元格、公式和数据区域。
- PPTX:提取幻灯片中的文本框、标题和备注。
- HTML:解析 DOM,提取正文及结构化标签。
- Markdown:解析标题、列表、引用和代码块。
对于 PDF,文本提取通常不仅需要获取文字内容,还需要保留文字在页面中的位置。
例如:
{
"page": 1,
"text": "Transformer 是一种基于注意力机制的神经网络架构。",
"bbox": [100, 120, 520, 160],
"font_size": 14,
"font_name": "Arial"
}
bbox 表示文本在页面上的边界框,通常采用:
保留坐标有助于后续判断:
- 哪些文字属于同一个段落。
- 哪些文字属于某个表格。
- 哪些文字是页眉或页脚。
- 阅读顺序如何排列。
- 标题与正文之间的层级关系。
如果只提取文本而丢弃坐标,可能无法准确恢复原始文档结构。
4.2 OCR 光学字符识别
OCR(Optical Character Recognition)用于从图片中识别文字。
它主要解决扫描件、图片、截图等无法直接提取文本的问题。
典型 OCR 处理过程:
flowchart TD
A["输入图像"] --> B["图像预处理"]
B --> C["文本区域检测"]
C --> D["文字区域裁剪"]
D --> E["字符识别"]
E --> F["文本后处理"]
F --> G["识别结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
OCR 的主要步骤包括:
第一步:图像预处理
常见操作:
- 灰度化。
- 二值化。
- 去噪。
- 倾斜校正。
- 分辨率调整。
- 对比度增强。
图像质量会直接影响后续识别效果。
第二步:文本检测(Text Detection)
定位图像中的文字区域。
检测模型需要判断哪些区域包含文字,以及每个文字区域的边界。
常见方法包括:
- EAST。
- DBNet。
- CRAFT。
第三步:文本识别(Text Recognition)
对检测出的文字区域进行字符或序列识别。
常见技术路线包括:
- CNN + RNN + CTC。
- Attention-based Recognition。
- Transformer-based Recognition。
第四步:文本后处理
处理识别结果中的格式与错误:
- 标点符号恢复。
- 空格与换行处理。
- 字符纠错。
- 语言规则校验。
- 文本区域顺序恢复。
OCR 的输出通常还应保留置信度和坐标,方便后续质量评估。
例如:
{
"text": "人工智能技术",
"confidence": 0.98,
"bbox": [120, 80, 350, 120],
"page": 1
}
需要注意:OCR 置信度是识别模型对结果的估计,并不等同于经过人工验证的准确率。
对于合同金额、身份证号、设备编号等高风险字段,不能仅凭置信度判断内容正确。
4.3 版面分析(Layout Analysis)
版面分析用于理解文档页面的空间布局和区域类型。
一份文档不仅包含文字,还包含:
- 标题。
- 正文段落。
- 表格。
- 图片。
- 图注。
- 页眉和页脚。
- 页码。
- 公式。
- 多栏布局。
版面分析的核心任务是判断页面中各个区域的类型、位置和相互关系。
例如:
┌────────────────────────────┐
│ 文档标题 │
├────────────────────────────┤
│ │
│ 正文段落 │
│ 正文段落 │
│ │
├────────────────────────────┤
│ 表格 │
│ ┌─────┬─────┬─────┐ │
│ │ A │ B │ C │ │
│ ├─────┼─────┼─────┤ │
│ │ 10 │ 20 │ 30 │ │
│ └─────┴─────┴─────┘ │
├────────────────────────────┤
│ 图片 │
│ 图片说明 │
└────────────────────────────┘
常见版面元素类别:
| 类别 | 说明 |
|---|---|
| Title | 文档标题 |
| Section Header | 章节标题 |
| Text | 普通正文 |
| Table | 表格 |
| Figure | 图片或图表 |
| Caption | 图片或表格说明 |
| List | 列表 |
| Formula | 数学公式 |
| Header | 页眉 |
| Footer | 页脚 |
常见技术包括:
- LayoutParser:用于版面分析的工具生态。
- Detectron2:目标检测与视觉模型框架,可用于版面区域检测。
- LayoutLM:融合文本、布局和视觉信息的文档理解模型系列。
- DocLayNet:文档版面分析数据集。
- PP-Structure:面向文档结构化解析的工具体系。
需要区分:版面分析与 OCR 并不是同一个任务。
OCR 关注文字是什么,版面分析关注页面上有什么区域、区域在哪里,以及它们之间如何组织。
4.4 表格解析(Table Extraction)
表格是文档解析中非常容易出错的部分。
普通文本提取可能得到:
产品 数量 单价
A 10 20
B 15 30
但原始表格可能包含复杂结构:
| 产品 | 销售数据 | |
|---|---|---|
| 名称 | 数量 | 单价 |
| A | 10 | 20 |
| B | 15 | 30 |
如果只保留纯文本,可能丢失:
- 表头与数据的对应关系。
- 合并单元格。
- 行列层级。
- 多级表头。
- 单位信息。
- 表格标题和注释。
因此,表格解析不仅需要识别文字,还需要恢复表格结构。
典型处理过程:
flowchart TD
A["表格区域定位"] --> B["行列结构识别"]
B --> C["单元格边界检测"]
C --> D["单元格文本识别"]
D --> E["合并单元格处理"]
E --> F["表头与数据关联"]
F --> G["结构化表格"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
表格解析的关键在于恢复逻辑结构,而不只是识别每个单元格中的字符。
例如:
{
"table_id": "table_001",
"headers": ["产品", "数量", "单价"],
"rows": [
["A", 10, 20],
["B", 15, 30]
]
}
对于复杂表格,还需要保留:
row_span:跨行信息。col_span:跨列信息。cell_bbox:单元格坐标。header_path:多级表头路径。unit:数值单位。caption:表格说明。
特别注意:表格中的数值必须与其表头、单位和上下文绑定。
例如,单独抽取出 100 并没有多少意义,必须知道它表示数量、金额、比例还是温度。
4.5 图片与图表解析
文档中的图片可能包含重要知识:
- 架构图。
- 流程图。
- 系统拓扑图。
- 业务关系图。
- 柱状图和折线图。
- 产品示意图。
- 截图和操作界面。
仅提取图片周围的文字,可能丢失大量信息。
图片解析通常需要:
- 定位图片区域。
- 提取图片及其原始坐标。
- 识别图片类型。
- 识别图片中的文字。
- 分析图片结构与语义。
- 将图片内容与正文、图注建立关联。
对于图表,还需要识别:
- 坐标轴。
- 数据系列。
- 图例。
- 单位。
- 时间范围。
- 数据点。
- 图表标题。
视觉语言模型(VLM)可以辅助理解复杂图片,但其生成的描述属于模型推断结果,不应直接视为原始文档中的确定事实。
工程上应保留原始图片、页面位置、模型描述及处理版本,以便复核。
五、文档结构恢复与标准化
完成文本、表格、图片提取之后,还需要恢复文档的逻辑结构。
这是从原始内容转换为可检索知识的重要一步。
5.1 为什么需要结构恢复?
考虑以下内容:
第一章 系统架构
1.1 整体设计
系统采用微服务架构。
1.2 服务通信
服务之间通过 HTTP 和消息队列进行通信。
如果直接提取文本,可能得到一整段连续内容。
但实际上,文档具有明确的层级关系:
第一章 系统架构
1.1 整体设计
系统采用微服务架构。
1.2 服务通信
服务之间通过 HTTP 和消息队列进行通信。
结构恢复需要识别:
- 标题层级。
- 段落边界。
- 列表层级。
- 表格所属章节。
- 图片与图注的对应关系。
- 页码和阅读顺序。
其中,阅读顺序尤其重要。
双栏论文、报纸和复杂版面可能按照空间位置交错排列。简单按照文本对象的坐标排序,容易将不同栏的内容混在一起。
因此,阅读顺序恢复通常需要综合考虑:
- 页面分栏。
- 区域类型。
- 文本块坐标。
- 标题层级。
- 段落连续性。
- 文档阅读习惯。
5.2 统一文档中间表示
生产级系统不应让每一种文件格式直接连接后续知识抽取模块。
更合理的方式是定义统一的文档中间表示(Document Intermediate Representation,Document IR)。
例如:
{
"document_id": "doc_001",
"title": "系统技术设计文档",
"pages": [
{
"page_number": 1,
"blocks": [
{
"block_id": "b001",
"type": "heading",
"level": 1,
"text": "第一章 系统架构",
"bbox": [80, 60, 500, 100]
},
{
"block_id": "b002",
"type": "paragraph",
"text": "系统采用微服务架构。",
"parent_id": "b001",
"bbox": [80, 120, 500, 160]
},
{
"block_id": "b003",
"type": "table",
"caption": "服务配置表",
"table_data": {
"headers": ["服务", "端口"],
"rows": [
["API", "8080"],
["Auth", "8081"]
]
}
}
]
}
]
}
这里的字段只是示例,实际 Schema 应根据业务需求设计。
Document IR 的价值在于:
- 屏蔽底层文件格式差异。
- 统一后续处理接口。
- 保留原始页面和区域信息。
- 支持多种知识抽取策略。
- 支持重新切分、重新索引。
- 支持问题定位与结果追溯。
建议至少保留以下信息:
| 字段 | 用途 |
|---|---|
| document_id | 文档唯一标识 |
| block_id | 内容块唯一标识 |
| parent_id | 父级内容块 |
| block_type | 内容块类型 |
| text | 提取后的文本 |
| page_number | 所属页码 |
| bbox | 页面坐标 |
| source | 原始来源 |
| parser_version | 解析器版本 |
| confidence | 识别置信度 |
| metadata | 扩展元数据 |
5.3 内容清洗与标准化
原始解析结果通常存在噪声,需要进行清洗。
常见问题:
- 多余空格。
- 重复换行。
- 页眉和页脚重复。
- 页码混入正文。
- OCR 错别字。
- 乱码。
- 断行。
- 连字符拆分。
- 重复段落。
- 无意义符号。
例如,PDF 中可能出现:
大语言模
型是一种基于 Transformer
架构的模型。
清洗后:
大语言模型是一种基于 Transformer 架构的模型。
但清洗不能过度。
以下信息不应被随意删除:
- 代码缩进。
- 数学公式。
- 表格中的空值。
- 列表编号。
- 章节编号。
- 负号与小数点。
- 日期和单位。
- 具有业务意义的符号。
特别是技术文档,代码、配置、命令和公式的格式本身就是知识的一部分。
清洗操作最好保留原始内容与标准化内容之间的映射,避免无法追溯原文。
六、知识抽取的核心技术
文档解析得到的是结构化内容,知识抽取则进一步从内容中提取可以独立表达、关联和检索的知识。
6.1 实体抽取(Named Entity Recognition)
实体识别(NER)用于识别文本中具有明确含义的对象。
常见实体类型:
- 人物。
- 组织。
- 地点。
- 产品。
- 技术。
- 系统。
- 时间。
- 金额。
- 业务对象。
例如:
OpenAI 于 2023 年发布了 GPT-4。
实体抽取结果:
{
"entities": [
{
"text": "OpenAI",
"type": "ORGANIZATION"
},
{
"text": "2023 年",
"type": "DATE"
},
{
"text": "GPT-4",
"type": "MODEL"
}
]
}
实体识别的重点不仅是找出名称,还要确定实体类型、边界和上下文。
常见技术路线:
- 规则与词典匹配。
- CRF。
- BiLSTM-CRF。
- BERT Token Classification。
- LLM 结构化抽取。
传统 NER 模型适合固定实体类型和大规模稳定任务;LLM 更适合复杂、开放式的实体定义,但需要严格的输出校验。
6.2 属性抽取(Attribute Extraction)
实体抽取确定对象,属性抽取则识别对象的特征。
例如:
GPT-4 是 OpenAI 于 2023 年发布的大语言模型,
支持文本和图像输入。
可以抽取:
{
"entity": "GPT-4",
"attributes": {
"developer": "OpenAI",
"release_year": 2023,
"model_type": "大语言模型",
"input_modalities": [
"text",
"image"
]
}
}
常见属性包括:
- 名称。
- 类型。
- 时间。
- 状态。
- 版本。
- 规格。
- 所属组织。
- 技术参数。
- 适用范围。
属性抽取必须注意上下文约束。
例如:
系统支持最大 1000 个并发连接。
不能只抽取:
{
"value": 1000
}
而应保留:
{
"entity": "系统",
"attribute": "最大并发连接数",
"value": 1000,
"unit": "个"
}
6.3 关系抽取(Relation Extraction)
关系抽取用于识别实体之间的语义关系。
例如:
OpenAI 开发了 GPT-4。
可以表示为:
(OpenAI, 开发, GPT-4)
这是一个三元组:
其中:
- h:Head,头实体。
- r:Relation,关系。
- t:Tail,尾实体。
例如:
其他常见关系:
| 头实体 | 关系 | 尾实体 |
|---|---|---|
| OpenAI | 开发 | GPT-4 |
| GPT-4 | 属于 | 大语言模型 |
| Transformer | 使用 | Self-Attention |
| Python | 支持 | 面向对象编程 |
| Redis | 提供 | 缓存能力 |
关系抽取的难点在于:
- 关系可能跨越多个句子。
- 实体可能存在指代关系。
- 关系具有方向性。
- 同一实体之间可能存在多种关系。
- 关系可能受到时间和条件限制。
例如:
系统 A 调用系统 B。
系统 B 通过 Redis 缓存用户信息。
仅抽取每个句子的实体和关系还不够,还需要识别上下文中的实体指代和跨句关联。
6.4 事件抽取(Event Extraction)
事件抽取关注发生了什么,以及事件涉及哪些参与者和条件。
例如:
2026 年 3 月,某公司发布了新版本的数据库产品。
可以抽取:
{
"event_type": "PRODUCT_RELEASE",
"time": "2026-03",
"organization": "某公司",
"product": "数据库产品",
"action": "发布"
}
事件通常包含:
- 事件类型。
- 参与实体。
- 发生时间。
- 发生地点。
- 触发词。
- 事件参数。
常见事件类型:
- 产品发布。
- 企业收购。
- 系统故障。
- 订单创建。
- 用户登录。
- 交易完成。
- 合同签署。
事件抽取对于新闻分析、企业知识库、审计系统和业务流程分析具有重要价值。
6.5 事实抽取(Fact Extraction)
事实抽取比单纯实体识别更关注完整语义。
例如:
Redis 默认端口为 6379。
可以抽取:
{
"subject": "Redis",
"predicate": "默认端口",
"object": 6379,
"unit": null,
"source": "doc_001",
"page": 12
}
一个可用的事实记录不仅应包含主语、谓语和宾语,还应尽可能保留:
- 来源文档。
- 页码或段落位置。
- 生效时间。
- 适用范围。
- 置信度。
- 文档版本。
尤其是企业知识库,事实通常不是永久有效的。
例如:
系统当前使用 Redis 7.0。
与:
系统历史版本使用 Redis 6.2。
两条事实都可能正确,但对应不同时间和版本。
如果不保留时间与版本信息,知识库就可能将历史事实误认为当前事实。
七、使用大语言模型进行知识抽取
传统信息抽取模型通常需要提前定义实体类别、关系类型和训练数据。
大语言模型可以根据自然语言指令完成更加灵活的知识抽取任务。
7.1 基于 Prompt 的结构化抽取
例如,输入:
请从以下内容中提取实体、属性和关系。
文本:
Redis 是一种开源的内存数据结构存储系统,
常用于缓存、消息队列和实时数据处理。
要求输出:
{
"entities": [
{
"name": "Redis",
"type": "SOFTWARE"
},
{
"name": "缓存",
"type": "APPLICATION"
},
{
"name": "消息队列",
"type": "APPLICATION"
},
{
"name": "实时数据处理",
"type": "APPLICATION"
}
],
"relations": [
{
"subject": "Redis",
"predicate": "常用于",
"object": "缓存"
},
{
"subject": "Redis",
"predicate": "常用于",
"object": "消息队列"
},
{
"subject": "Redis",
"predicate": "常用于",
"object": "实时数据处理"
}
]
}
这种方法不需要为每一种新实体类型训练专门模型,具有较好的灵活性。
但需要注意:
- 模型可能生成原文没有出现的实体。
- 可能错误推断实体之间的关系。
- 可能将不确定内容转换为确定事实。
- 可能遗漏重要信息。
- 可能输出不符合 Schema 的 JSON。
因此,LLM 抽取结果必须经过校验,不能直接写入权威知识库。
7.2 结构化输出与 Schema 约束
工程实践中,应尽量定义固定的数据结构。
例如:
{
"type": "object",
"properties": {
"entities": {
"type": "array",
"items": {
"type": "object",
"properties": {
"name": {
"type": "string"
},
"type": {
"type": "string"
}
},
"required": [
"name",
"type"
],
"additionalProperties": false
}
},
"relations": {
"type": "array",
"items": {
"type": "object",
"properties": {
"subject": {
"type": "string"
},
"predicate": {
"type": "string"
},
"object": {
"type": "string"
}
},
"required": [
"subject",
"predicate",
"object"
],
"additionalProperties": false
}
}
},
"required": [
"entities",
"relations"
],
"additionalProperties": false
}
Schema 主要解决结构合法性问题:
- 字段是否存在。
- 字段类型是否正确。
- 是否允许额外字段。
- 数组元素是否符合定义。
但 Schema 合法不代表知识正确。
例如:
{
"subject": "Redis",
"predicate": "开发",
"object": "OpenAI"
}
这可能完全符合 JSON Schema,却在语义上是错误的。
因此需要进一步进行语义校验。
7.3 基于证据的抽取
更可靠的抽取方式是要求模型为每条事实提供原文证据。
例如:
{
"subject": "Redis",
"predicate": "默认端口",
"object": "6379",
"evidence": {
"text": "Redis 默认端口为 6379。",
"page": 12,
"block_id": "b012"
}
}
证据可以用于:
- 检查事实是否来自原文。
- 定位原始段落。
- 发现模型幻觉。
- 支持人工审核。
- 生成问答引用。
- 追踪知识来源。
需要注意:模型返回的证据文本也可能是错误引用或改写,不能只检查字段是否存在。生产系统应将证据与原始内容进行匹配,并保留原始位置标识。
7.4 分层抽取策略
复杂文档不适合一次性输入模型并要求抽取所有知识。
更合理的策略是分层处理:
flowchart TD
A["结构化文档"] --> B["文档级分析"]
B --> C["章节级分析"]
C --> D["段落级抽取"]
D --> E["实体与属性识别"]
E --> F["关系与事件抽取"]
F --> G["跨段落关联"]
G --> H["事实校验与合并"]
H --> I["知识数据"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style F fill:#E5EAF8,stroke:#9AA8D2,color:#3F4F7A
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
分层抽取可以解决几个问题:
- 降低单次输入长度。
- 保留章节和段落上下文。
- 避免长文档中遗漏信息。
- 将局部抽取与全局关联分开。
- 方便针对不同阶段配置不同模型。
其中,文档级分析负责识别主题、章节和整体语境;段落级抽取负责提取局部事实;跨段落关联负责解决指代、实体归一化和关系补全。