一、为什么需要 GraphRAG?
传统 RAG(Retrieval-Augmented Generation,检索增强生成)主要依赖文本切片和向量相似度检索。它擅长寻找语义相关的文本片段,但面对复杂关系、多跳推理和全局性问题时,存在明显局限。
例如,企业知识库中包含以下信息:
- A 公司收购了 B 公司。
- B 公司持有 C 公司的部分股份。
- C 公司是 D 项目的核心供应商。
- D 项目由 E 部门负责。
如果用户询问:
A 公司通过哪些企业间接影响了 D 项目的供应链?
传统向量检索可能找到 A 公司收购 B 公司的文档,也可能找到 C 公司与 D 项目的关系,但不一定能将这些信息串联起来。
这是因为向量检索主要衡量文本语义相似度,并不天然理解实体之间的拓扑关系。
GraphRAG 的核心思路是:
将非结构化文档转化为实体、关系和事实构成的知识图谱,再利用图结构增强检索和推理。
它不仅关注某段文本是否与问题相似,还关注:
- 涉及哪些实体?
- 实体之间有什么关系?
- 关系能否形成多跳路径?
- 多个文档是否描述了同一个实体?
- 局部事实之间是否存在更大范围的关联?
- 当前问题需要局部关系查询,还是全局结构分析?
二、什么是知识图谱?
知识图谱(Knowledge Graph,KG)是一种以图结构组织知识的数据模型。
它使用节点表示实体,使用边表示实体之间的关系,并通过属性描述实体和关系的具体信息。
2.1 知识图谱的基本组成
知识图谱通常包含四个核心概念:
| 概念 | 含义 | 示例 |
|---|---|---|
| 实体(Entity) | 现实世界中的对象 | 公司、人物、产品 |
| 关系(Relation) | 实体之间的关联 | 收购、任职、生产 |
| 属性(Attribute) | 实体或关系的描述信息 | 成立时间、金额 |
| 三元组(Triple) | 表示一条结构化事实 | A 公司—收购—B 公司 |
知识图谱最常见的基础表示方式是三元组:
其中:
- h:Head,头实体。
- r:Relation,关系。
- t:Tail,尾实体。
例如:
这条三元组表示 A 公司收购了 B 公司。
一组知识三元组可以构成一个图:
flowchart LR
A["A 公司"]
B["B 公司"]
C["C 公司"]
D["D 项目"]
E["E 部门"]
A -->|"收购"| B
B -->|"持有股份"| C
C -->|"供应产品"| D
E -->|"负责"| D
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#DCEFE5,stroke:#83A995,color:#315D49
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
这张图不仅保存了实体信息,还保存了实体之间的关系。
与普通文本相比,图结构能够直接表达多实体之间的连接路径。
2.2 知识图谱与普通数据库的区别
知识图谱和关系型数据库都可以保存结构化数据,但组织和查询方式有所不同。
| 对比维度 | 关系型数据库 | 知识图谱 |
|---|---|---|
| 核心结构 | 表、行、列 | 节点、边、属性 |
| 数据关联 | 外键、JOIN | 图关系 |
| 关系表达 | 通过表结构定义 | 通过边直接表达 |
| 多跳查询 | 多次 JOIN | 图遍历 |
| 模式扩展 | 通常需要调整表结构 | 可以增加实体类型和关系类型 |
| 典型查询 | 聚合、过滤、关联查询 | 路径查询、关系发现、图遍历 |
需要注意,知识图谱并不是关系型数据库的替代品。
关系型数据库非常适合事务处理、结构化数据管理和精确聚合;知识图谱更适合表达复杂关系、关联路径和跨实体知识。
两者也可以协同工作。
2.3 知识图谱的常见数据模型
知识图谱并不是只有一种存储模型。
常见的数据模型包括:
1. RDF(Resource Description Framework)
RDF 使用主语、谓语、宾语表达事实,强调资源标识、语义互操作和标准化描述。
例如:
:CompanyA :acquired :CompanyB .
:CompanyB :owns :CompanyC .
:CompanyC :supplies :ProjectD .
RDF 常用于语义网、本体建模、跨系统知识共享等场景。
2. Property Graph(属性图)
属性图由节点、边和属性构成。
节点和边都可以拥有多个属性。
例如:
节点:
CompanyA {
name: "A公司",
industry: "Technology"
}
关系:
CompanyA -[:ACQUIRED {
date: "2025-01-01",
amount: 1000000
}]-> CompanyB
属性图在图数据库、企业知识网络和关系分析中非常常见。
3. Ontology(本体)
本体用于定义领域中的概念、类别、关系和约束。
例如:
- 公司属于组织。
- 人员属于自然人。
- 收购是一种企业交易关系。
- 股权持有关系具有持股比例和生效时间。
本体解决的是知识如何定义、分类和约束的问题。
知识图谱则是在这些概念和关系定义之上,承载具体的实体和事实。
三、传统 RAG 与 GraphRAG 的区别
传统 RAG 主要围绕文本片段组织检索,GraphRAG 则引入实体、关系和图结构。
3.1 传统 RAG 的工作方式
传统 RAG 通常包含以下几个环节:
- 文档解析。
- 文本切片。
- Embedding 向量化。
- 向量索引。
- 根据用户问题检索相关文本。
- 将检索结果交给大语言模型生成答案。
flowchart TD
A["原始文档"]
B["文档解析"]
C["文本切片 Chunking"]
D["Embedding 向量化"]
E["向量数据库"]
F["用户问题"]
G["问题向量化"]
H["相似度检索"]
I["召回文本片段"]
J["构建上下文"]
K["大语言模型"]
L["生成答案"]
A --> B --> C --> D --> E
F --> G --> H
E --> H
H --> I --> J --> K --> L
style A fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style L fill:#DCEFE5,stroke:#83A995,color:#315D49
传统 RAG 的核心检索对象是文本片段。
它的优势是实现简单、适应性强,能够处理大量非结构化文档。
但它也有几个典型问题:
- 文本片段之间的关系不一定能够被检索到。
- 实体可能在不同文档中使用不同名称。
- 多跳关系需要模型自行拼接。
- 向量相似度不能直接表示事实之间的逻辑关系。
- 对跨文档、跨实体的全局性问题支持有限。
3.2 GraphRAG 的工作方式
GraphRAG 在传统 RAG 的基础上增加知识图谱构建和图结构检索能力。
典型过程包括:
- 文档解析。
- 实体识别。
- 关系抽取。
- 实体消歧与融合。
- 知识图谱构建。
- 社区发现与摘要生成(部分 GraphRAG 架构采用)。
- 根据问题执行图检索、向量检索或混合检索。
- 整合图关系、原始文本证据和摘要。
- 交给大语言模型生成答案。
flowchart TD
A["原始文档"]
B["文档解析"]
C["实体识别"]
D["关系抽取"]
E["实体消歧与融合"]
F["知识图谱构建"]
G["社区发现"]
H["社区摘要"]
I["图数据库与索引"]
Q["用户问题"]
R["问题理解"]
S["实体识别与查询规划"]
T["图检索 / 向量检索"]
U["关系路径与文本证据"]
V["上下文构建"]
W["大语言模型"]
X["生成答案"]
A --> B --> C --> D --> E --> F
F --> G --> H
F --> I
H --> I
Q --> R --> S --> T
I --> T
T --> U --> V --> W --> X
style A fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#DCEFE5,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style Q fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style R fill:#EAF3EC,stroke:#83A995,color:#315D49
style S fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style T fill:#EAF3EC,stroke:#83A995,color:#315D49
style U fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style V fill:#EAF3EC,stroke:#83A995,color:#315D49
style W fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style X fill:#DCEFE5,stroke:#83A995,color:#315D49
需要强调:并不是所有 GraphRAG 系统都必须使用社区发现、社区摘要或同一种检索方式。
GraphRAG 是一类图增强检索架构,而不是单一固定算法。
3.3 核心区别
| 对比维度 | 传统 RAG | GraphRAG |
|---|---|---|
| 核心数据 | 文本片段、向量 | 实体、关系、文本、向量 |
| 检索对象 | 语义相关文本 | 实体、关系、路径、文本 |
| 关联建模 | 隐式关联 | 显式关系 |
| 多跳查询 | 依赖文本召回和模型推理 | 可通过图遍历寻找路径 |
| 全局分析 | 通常较弱 | 可利用社区和全局摘要 |
| 数据构建成本 | 相对较低 | 通常较高 |
| 查询复杂度 | 相对简单 | 需要查询规划和图检索 |
| 典型场景 | 文档问答、知识库检索 | 复杂关系分析、跨文档推理 |
GraphRAG 并不意味着放弃向量检索。
实际系统通常会组合:
- 向量检索:发现语义相关内容。
- 关键词检索:定位明确术语和实体名称。
- 图检索:查找实体之间的关系路径。
- 文本证据检索:回到原始文档验证事实。
四、GraphRAG 的核心技术:实体识别与关系抽取
知识图谱的质量,很大程度上取决于从原始文档中提取知识的能力。
GraphRAG 的数据构建阶段,通常需要将自然语言转化为结构化的实体和关系。
4.1 实体识别(Entity Recognition)
实体识别是从文本中识别具有明确语义的对象。
例如:
OpenAI 于 2022 年推出 ChatGPT,该产品基于大语言模型技术。
可以识别出:
| 实体 | 类型 |
|---|---|
| OpenAI | 组织 |
| ChatGPT | 产品 |
| 2022 年 | 时间 |
| 大语言模型 | 技术 |
实体类型需要结合业务领域定义。
常见类型包括:
- 人物(Person)
- 组织(Organization)
- 公司(Company)
- 产品(Product)
- 技术(Technology)
- 地点(Location)
- 事件(Event)
- 时间(Time)
- 文档(Document)
在通用 NLP 中,实体识别常被称为 NER(Named Entity Recognition)。
但 GraphRAG 中的实体提取通常不局限于传统命名实体,还可能包含领域概念、事件、技术能力和抽象主题。
4.2 关系抽取(Relation Extraction)
关系抽取用于识别两个实体之间的语义关系。
例如:
OpenAI 于 2022 年推出 ChatGPT。
可以抽取:
{
"head": "OpenAI",
"relation": "推出",
"tail": "ChatGPT"
}
更完整的关系可以附带属性:
{
"head": "OpenAI",
"relation": "推出",
"tail": "ChatGPT",
"properties": {
"year": 2022,
"source": "产品发布记录",
"confidence": 0.96
}
}
关系类型需要统一管理,否则同一种语义可能被抽取为多个不同关系。
例如:
- 创立
- 创建
- 成立
- founded
如果没有关系规范化机制,就可能导致图谱中出现大量重复、相近但不一致的关系类型。
4.3 实体消歧与实体融合
实体消歧(Entity Disambiguation)解决的是不同名称是否指向同一个实体的问题。
例如:
- OpenAI
- OpenAI 公司
- OpenAI, Inc.
这些名称在特定上下文中可能指向同一组织。
实体融合(Entity Resolution)则进一步判断不同记录是否应该合并为同一个实体。
常用依据包括:
- 名称相似度。
- 别名映射。
- 实体类型。
- 描述信息。
- 外部唯一标识。
- 上下游关系。
- 时间和业务上下文。
需要注意,名称相似不代表实体相同。
例如:
- Apple 公司。
- Apple 水果。
- Apple 品牌产品。
仅依赖字符串相似度进行合并,很容易造成错误关联。
生产环境应优先使用稳定的实体 ID,并保留别名、来源和融合依据。
4.4 知识抽取的完整过程
flowchart TD
A["输入文档"]
B["文本预处理"]
C["实体识别"]
D["关系抽取"]
E["属性抽取"]
F["实体消歧"]
G{"是否匹配已有实体"}
H["关联已有实体 ID"]
I["创建新实体"]
J["关系规范化"]
K["事实校验"]
L{"是否通过校验"}
M["写入知识图谱"]
N["进入人工审核或隔离区"]
A --> B --> C --> D --> E --> F --> G
G -->|"是"| H
G -->|"否"| I
H --> J
I --> J
J --> K --> L
L -->|"是"| M
L -->|"否"| N
style A fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style J fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style M fill:#DCEFE5,stroke:#83A995,color:#315D49
style N fill:#F7EAE7,stroke:#C98D7C,color:#754438
实际系统还需要考虑:
- 同一文档重复抽取。
- 实体名称变更。
- 关系冲突。
- 事实失效。
- 文档撤回。
- 抽取结果无法验证。
- 大模型输出格式不合法。
特别是知识图谱中的事实不应只有三元组,还应保留来源信息和时间信息。
否则,当不同文档出现相互矛盾的描述时,系统很难判断哪条事实可信。
五、知识图谱的构建与存储
完成实体和关系抽取后,需要将结构化知识组织成可查询的图。
5.1 从三元组到图结构
假设从多个文档中抽取出以下事实:
(A 公司, 收购, B 公司)
(B 公司, 持有股份, C 公司)
(C 公司, 供应产品, D 项目)
(E 部门, 负责, D 项目)
这些三元组可以构成如下知识图谱:
flowchart LR
A["A 公司"]
B["B 公司"]
C["C 公司"]
D["D 项目"]
E["E 部门"]
A -->|"收购"| B
B -->|"持有股份"| C
C -->|"供应产品"| D
E -->|"负责"| D
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#DCEFE5,stroke:#83A995,color:#315D49
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
此时,图中每个实体可以关联多个属性,每条关系也可以关联多个属性。
例如:
{
"source": "A 公司",
"target": "B 公司",
"type": "收购",
"properties": {
"date": "2025-01-01",
"source_document": "document_001",
"confidence": 0.96
}
}
关系本身也需要被管理,因为现实世界中的关系可能具有时间、金额、比例、状态和来源。
5.2 图数据库
图数据库(Graph Database)是专门用于存储和查询图结构数据的数据库。
常见产品和技术包括:
- Neo4j:属性图数据库,支持 Cypher 查询语言。
- NebulaGraph:分布式图数据库。
- Amazon Neptune:支持属性图和 RDF 等图数据模型。
- JanusGraph:面向大规模图数据的分布式图数据库框架。
- RDF4J:用于 RDF 数据管理和查询的 Java 框架。
图数据库通常需要解决:
- 节点存储。
- 边存储。
- 邻接关系索引。
- 属性索引。
- 图遍历。
- 查询优化。
- 并发访问。
- 数据一致性。
5.3 Cypher 查询示例
以 Neo4j 的属性图模型为例。
创建实体和关系:
CREATE (a:Company {name: "A公司"})
CREATE (b:Company {name: "B公司"})
CREATE (c:Company {name: "C公司"})
CREATE (d:Project {name: "D项目"})
CREATE (a)-[:ACQUIRED]->(b)
CREATE (b)-[:OWNS]->(c)
CREATE (c)-[:SUPPLIES]->(d)
查询 A 公司关联的 D 项目:
MATCH
(a:Company {name: "A公司"})
-[:ACQUIRED]->()
-[:OWNS]->(c:Company)
-[:SUPPLIES]->(p:Project)
RETURN c, p
查询指定实体的两跳邻居:
MATCH
(a:Company {name: "A公司"})-[r*1..2]-(n)
RETURN n, r
实际生产环境中,查询深度应设置合理上限,避免在高连接度图中产生过大的遍历范围。
5.4 图数据库与向量数据库如何配合?
GraphRAG 通常不需要将所有数据都放在同一个数据库中。
可以采用多存储协作架构:
| 存储系统 | 主要职责 |
|---|---|
| 图数据库 | 保存实体、关系和图结构 |
| 向量数据库 | 保存文本和实体的 Embedding |
| 文档存储 | 保存原始文档和文本片段 |
| 关系型数据库 | 保存业务数据、任务状态和元数据 |
| 搜索引擎 | 支持关键词和全文检索 |
这些存储系统通过统一的实体 ID、文档 ID 和 Chunk ID 建立关联。
例如,一个知识图谱中的实体可以关联:
- 实体描述文本。
- 原始文档。
- 对应文本切片。
- 向量索引。
- 外部业务系统 ID。
这样,系统既能通过图结构查找关系,也能通过原始文档验证证据。
六、GraphRAG 的核心检索机制
GraphRAG 的检索重点,不是简单地把向量搜索替换成图搜索,而是根据问题选择合适的检索方式。
常见方式包括:
- 实体检索。
- 邻居检索。
- 多跳路径检索。
- 向量检索。
- 混合检索。
- 社区检索与全局摘要检索。
6.1 实体检索(Entity Retrieval)
首先从用户问题中识别关键实体。
例如:
A 公司收购了哪些企业?
系统需要识别:
- 实体:A 公司。
- 实体类型:Company。
- 目标关系:ACQUIRED。
- 查询方向:从 A 公司出发,查找被收购企业。
之后通过实体 ID 定位图中的节点。
实体检索的核心是将自然语言中的实体名称映射到图谱中的规范实体。
如果实体映射错误,后续图遍历即使执行正确,也会得到错误结果。
6.2 邻居检索(Neighbor Retrieval)
邻居检索用于获取指定实体直接关联的节点。
例如:
MATCH
(a:Company {name: "A公司"})-[r]->(n)
RETURN n, r
如果 A 公司与 B、C、D 三个实体存在直接关系,那么邻居检索就可以返回这些关联实体。
邻居检索适合:
- 查询某个实体的关联对象。
- 获取实体的上下游关系。
- 查询企业合作伙伴。
- 查询产品的供应商。
- 查询人员的任职关系。
邻居检索的局限是只能获取有限跳数范围内的局部信息。
6.3 多跳路径检索(Multi-hop Retrieval)
多跳检索用于查找多个实体之间通过多条关系连接形成的路径。
例如:
A 公司
收购
B 公司
持有股份
C 公司
供应产品
D 项目
用户提出:
A 公司如何影响 D 项目的供应链?
系统需要找到 A 公司与 D 项目之间的关联路径。
flowchart LR
A["A 公司"]
B["B 公司"]
C["C 公司"]
D["D 项目"]
A -->|"收购"| B
B -->|"持有股份"| C
C -->|"供应产品"| D
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#DCEFE5,stroke:#83A995,color:#315D49
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
多跳路径可以表达:
- 间接股权关系。
- 组织层级。
- 产品供应链。
- 技术依赖链。
- 人员合作网络。
- 事件之间的因果关联线索。
需要注意,图路径不一定等于真实的因果关系。
例如,A 公司收购 B 公司、B 公司持有 C 公司股份,并不能在所有情况下直接推导出 A 公司对 C 公司拥有完全控制权。
图遍历只能发现结构上的连接,关系语义、方向、时间和业务规则仍然需要进一步判断。
6.4 路径查询与路径约束
多跳检索不能无条件遍历所有节点。
实际查询需要定义约束:
- 最大跳数。
- 允许的关系类型。
- 关系方向。
- 实体类型。
- 时间范围。
- 关系权重。
- 路径长度。
- 可信度阈值。
例如,查询 A 公司到 D 项目的路径,可以限制只允许经过企业收购、股权持有和产品供应关系。
如果不设置约束,图中可能存在大量无关路径,导致结果噪声和查询成本快速上升。
6.5 图检索与向量检索结合
GraphRAG 可以把向量检索和图检索组合起来。
例如:
用户提出:
哪些企业与 A 公司的核心技术供应链有关?
系统可以:
- 通过向量检索寻找与核心技术、供应链相关的文本。
- 从文本中识别企业实体。
- 在知识图谱中查询企业之间的关联关系。
- 对关系路径进行扩展和筛选。
- 回到原始文档获取证据。
- 将结果交给模型组织答案。
这种方式可以兼顾语义理解与结构化关系查询。
flowchart TD
A["用户问题"]
B["问题理解"]
C["向量检索"]
D["实体识别"]
E["图数据库检索"]
F["多跳路径扩展"]
G["原始文本证据检索"]
H["结果去重与排序"]
I["上下文整合"]
J["大语言模型"]
K["生成答案"]
A --> B
B --> C
B --> D
C --> H
D --> E --> F --> G --> H
H --> I --> J --> K
style A fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#DCEFE5,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style K fill:#DCEFE5,stroke:#83A995,color:#315D49
七、GraphRAG 的社区发现与全局检索
GraphRAG 的一个重要方向,是利用图社区结构回答跨文档的全局性问题。
传统 RAG 通常根据问题召回若干文本片段。
但如果用户提出:
这批企业内部文档主要讨论了哪些业务方向?各方向之间有什么联系?
这个问题并不一定对应某个具体实体或文本片段。
它需要理解整个知识库中的主题分布、实体关联和潜在结构。
GraphRAG 可以通过社区发现与社区摘要来处理这类问题。
7.1 什么是图社区?
图社区(Graph Community)是图中连接相对紧密的一组节点。
例如,一个企业知识图谱可能存在以下关联:
- 一组企业围绕云计算形成合作网络。
- 一组产品围绕人工智能形成技术依赖网络。
- 一组人员围绕某个项目形成协作网络。
- 一组文档围绕某个业务主题形成知识关联网络。
这些连接紧密的实体可能构成不同社区。
flowchart TB
subgraph G1["社区 A:人工智能"]
A1["大模型"]
A2["Embedding"]
A3["RAG"]
A4["向量数据库"]
A1 --- A2
A1 --- A3
A3 --- A4
end
subgraph G2["社区 B:云计算"]
B1["云平台"]
B2["容器"]
B3["微服务"]
B4["分布式存储"]
B1 --- B2
B1 --- B3
B1 --- B4
end
A3 ---|"技术部署依赖"| B1
style A1 fill:#DCEFE5,stroke:#83A995,color:#315D49
style A2 fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style A3 fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style A4 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B1 fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style B2 fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B3 fill:#DCEFE5,stroke:#83A995,color:#315D49
style B4 fill:#EAE8FA,stroke:#A49BD5,color:#51477D
社区不一定对应预先定义好的业务分类。
它是根据图结构和算法计算得到的关联集合。
一个实体也可能与多个主题相关,具体社区划分取决于图结构、边权重和算法参数。
7.2 社区发现算法
常见社区发现算法包括:
1. Louvain 算法
Louvain 是一种基于模块度优化的社区发现算法。
模块度(Modularity)用于衡量社区内部连接相对于随机网络期望连接的强度。
其基本思想是:
- 将节点划分为不同社区。
- 尝试将节点移动到相邻社区。
- 计算移动前后的模块度变化。
- 保留能够提高模块度的调整。
- 将社区压缩成超节点。
- 在压缩后的图上继续优化。
2. Leiden 算法
Leiden 是对 Louvain 的改进。
它增加了社区细化过程,以改善社区连通性,避免产生一些内部连接不充分的社区。
3. 其他方法
还包括基于标签传播、谱聚类和层次聚类的社区发现方法。
不同算法适合不同的图规模、结构和业务目标。
7.3 什么是社区摘要?
社区发现得到社区之后,可以对社区内部的实体、关系和相关文本进行汇总。
例如:
社区名称:人工智能基础设施
主要实体:
- 大语言模型
- Embedding
- 向量数据库
- RAG
主要关系:
- 大语言模型使用 Embedding 表示文本
- RAG 通过向量数据库检索知识
- 向量数据库提供相似度检索能力
社区摘要:
该社区主要围绕大语言模型知识检索与应用基础设施展开,
重点涉及向量表示、向量检索和检索增强生成。
社区摘要可以作为全局检索的重要信息来源。
需要注意,摘要是对图结构和文本证据的压缩表达,并不等于原始事实本身。
摘要可能遗漏细节,因此涉及具体数据、时间和关系时,仍应回到原始文档和图谱事实进行验证。
7.4 Local Search 与 Global Search
在 Microsoft GraphRAG 等架构中,常见的检索思路可以分为局部搜索和全局搜索。
| 维度 | Local Search | Global Search |
|---|---|---|
| 检索目标 | 特定实体及其关联 | 整个知识库的主题和结构 |
| 主要数据 | 实体、关系、相关文本 | 社区、社区摘要 |
| 典型问题 | 某公司与哪些企业有关? | 整个知识库有哪些主要主题? |
| 查询范围 | 局部子图 | 多个社区或全局 |
| 计算成本 | 通常相对较低 | 可能较高 |
| 结果特点 | 细节丰富 | 主题和概览更突出 |
Local Search:
适合回答具体实体、关系和局部关联问题。
Global Search:
适合回答全局主题、跨社区综合分析和知识库概览问题。
实际系统还可以采用 DRIFT Search 等结合全局发现与局部探索的检索策略,具体能力取决于实现版本和配置。
7.5 全局检索的基本过程
flowchart TD
A["知识图谱"]
B["社区发现"]
C["生成社区摘要"]
D["用户提出全局问题"]
E["问题分解"]
F["选择相关社区摘要"]
G["并行生成社区级回答"]
H["汇总社区回答"]
I["全局结果整合"]
J["生成最终答案"]
A --> B --> C
D --> E --> F
C --> F
F --> G --> H --> I --> J
style A fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#DCEFE5,stroke:#83A995,color:#315D49
style J fill:#DCEFE5,stroke:#83A995,color:#315D49
全局检索通常需要控制上下文规模。
如果社区数量较多,不能简单地把所有社区摘要全部放进 Prompt。
可以通过社区筛选、分层摘要、并行处理和结果压缩等方法控制 Token 消耗。
八、GraphRAG 的完整工程架构
在生产系统中,GraphRAG 不只是图数据库加大语言模型。
它还需要文档处理、知识抽取、索引构建、查询规划、证据管理和结果生成等模块。
8.1 离线知识构建链路
离线链路负责将原始文档转化为可查询的知识索引。
flowchart TD
A["原始文档"]
B["文档解析"]
C["文本清洗"]
D["文本切片"]
E["LLM 实体抽取"]
F["LLM 关系抽取"]
G["实体消歧"]
H["关系规范化"]
I["事实校验"]
J["知识图谱存储"]
K["文本 Embedding"]
L["向量索引"]
M["社区发现"]
N["社区摘要"]
O["索引发布"]
A --> B --> C --> D
D --> E --> F --> G --> H --> I --> J
D --> K --> L
J --> M --> N
J --> O
L --> O
N --> O
style A fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style H fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#DCEFE5,stroke:#83A995,color:#315D49
style K fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style L fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style M fill:#EAF3EC,stroke:#83A995,color:#315D49
style N fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style O fill:#DCEFE5,stroke:#83A995,color:#315D49
这里需要关注一个工程细节:
知识图谱、向量索引和社区摘要之间必须保持数据版本一致。
如果知识图谱已经更新,但向量索引和社区摘要仍然使用旧版本,查询时就可能出现:
- 图谱中存在新实体,但向量索引找不到相关文本。
- 图谱关系已经失效,但社区摘要仍然保留旧描述。
- 原始文档已经删除,但图谱中仍然存在相关事实。
因此,需要为文档、实体、关系和索引建立统一的数据版本或构建批次标识。
8.2 在线查询链路
在线链路负责理解问题、选择检索方式并生成答案。