返回专栏
· 23 分钟阅读

Prompt Engineering 提示词工程:从指令设计到上下文优化的完整方法论


一、什么是 Prompt Engineering?

Prompt Engineering(提示词工程)是指通过设计和组织输入给大语言模型的指令、上下文、示例及约束条件,使模型更准确、稳定地完成指定任务的一系列方法与技术。

Prompt(提示词)是模型接收的输入内容,而 Prompt Engineering 关注的是如何构造这些输入。

例如,面对同一个任务:

简单提示词:

介绍一下 Redis。

经过设计的提示词:

你是一名资深后端架构师。

请面向具有 Java 开发经验的工程师,解释 Redis 的核心工作原理。

要求:
1. 介绍 Redis 的数据结构及其底层实现。
2. 重点分析内存管理、持久化和高可用机制。
3. 解释缓存穿透、缓存击穿和缓存雪崩的区别。
4. 给出适合生产环境的使用建议。
5. 使用技术文档风格,避免泛泛而谈。

两者的区别不在于模型发生了变化,而在于输入提供的信息更加明确。

第二种提示词定义了:

  • 角色:资深后端架构师。
  • 目标:解释 Redis 核心原理。
  • 受众:具有 Java 开发经验的工程师。
  • 内容范围:数据结构、内存管理、持久化、高可用。
  • 重点:缓存问题及生产实践。
  • 输出风格:技术文档。

模型由此获得了更明确的任务边界和生成方向。

1.1 Prompt Engineering 的核心目标

提示词工程主要解决以下问题:

问题 提示词工程的作用
任务理解不准确 明确任务目标与执行要求
输出内容不完整 定义内容范围和必要字段
输出格式不稳定 指定结构、Schema 和格式约束
回答风格不一致 定义角色、受众和表达风格
复杂任务容易遗漏 拆分步骤并明确任务依赖
模型容易偏离主题 提供相关上下文和边界
结果难以自动处理 约束为 JSON、XML 或其他结构化格式

Prompt Engineering 并不是让模型获得新的知识,而是更有效地利用模型已有的能力以及当前上下文中提供的信息。

1.2 Prompt Engineering 与模型训练的区别

提示词工程和模型训练都可能影响模型表现,但它们作用于不同层次。

对比维度 Prompt Engineering 模型训练
作用对象 输入内容 模型参数
是否修改参数 否 是
数据来源 当前 Prompt 和上下文 训练数据
生效范围 当前请求或会话 训练后的模型
调整成本 通常较低 通常较高
主要目的 引导模型行为 学习或调整模型能力

提示词工程通常不需要重新训练模型,也不需要更新模型权重。

它通过改变模型接收到的条件信息,影响模型接下来生成什么内容。

二、Prompt 的底层工作原理

理解 Prompt Engineering,首先需要理解大语言模型如何处理输入。

以自回归语言模型为例,模型根据已有上下文预测下一个 Token。

其基本概率形式为:

P(x_1,x_2,\ldots,x_T) = \prod_{t=1}^{T}P(x_t|x_{<t})

其中:

  • x_t:当前位置的 Token。
  • x_{<t}:当前位置之前的 Token。
  • P(x_t|x_{<t}):在已有上下文条件下预测当前 Token 的概率。

模型并不是直接理解一条自然语言指令背后的真实意图,而是通过训练得到的参数和上下文表示,计算后续 Token 的条件概率分布。

Prompt 的作用,就是改变模型生成时所依赖的条件上下文。

2.1 Prompt 如何影响模型输出?

假设用户输入:

解释一下数据库索引。

模型需要根据有限的上下文推断:

  • 应该介绍什么数据库?
  • 面向什么技术水平?
  • 应该解释概念还是实现原理?
  • 是否需要代码示例?
  • 应该输出多长?
  • 是否需要讨论性能问题?

这些信息并没有被明确指定,模型只能依据上下文和训练中形成的模式进行推断。

如果补充:

请以 MySQL InnoDB 为例,面向中高级后端工程师,
重点解释 B+Tree 索引结构、页分裂、聚簇索引、
回表和索引覆盖,并分析常见索引失效场景。

模型获得了更多任务约束,生成结果的范围也会随之收敛。

2.2 Prompt 与 Token 序列

模型接收 Prompt 后,需要经过 Tokenizer 编码。

可以将处理过程抽象为:

flowchart TD
    A["编写 Prompt"]
    B["组织指令与上下文"]
    C["Tokenizer 编码"]
    D["生成 Token ID 序列"]
    E["Embedding 映射"]
    F["Transformer 计算"]
    G["生成下一个 Token"]
    H["继续自回归生成"]
    I["得到最终输出"]

    A --> B
    B --> C
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    H --> G
    H --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

Prompt 的设计最终会影响输入 Token 序列及其上下文关系。

因此,提示词不仅要关注自然语言表达,还需要考虑:

  • Token 数量。
  • 指令之间的优先级。
  • 上下文信息的相关性。
  • 输入内容的组织方式。
  • 模型支持的上下文窗口。

2.3 Prompt 不是程序代码

Prompt 可以包含类似程序的结构,例如:

角色:
任务:
输入:
约束:
输出格式:

但这些标签通常只是帮助模型识别不同信息区域的文本标记,并不意味着模型真的执行了某种编程语言。

Prompt 也可以通过模型支持的特殊 Token、消息角色和结构化内容进行组织。

具体格式取决于模型及其 API 协议。

三、一个高质量 Prompt 的基本结构

一个完整的提示词通常可以拆分为多个逻辑部分。

常见结构包括:

  1. Role:角色定义。
  2. Task:任务目标。
  3. Context:背景上下文。
  4. Input:输入数据。
  5. Constraints:执行约束。
  6. Examples:示例。
  7. Output Format:输出格式。

3.1 Role:角色定义

Role 用于定义模型应该采用什么身份、专业视角或工作方式。

例如:

你是一名具有十年以上经验的 Java 后端架构师,
熟悉 JVM、Spring、MySQL、Redis 和分布式系统。

角色定义可以帮助模型选择适合任务的知识范围和表达风格。

但需要注意:

角色设定不会真正改变模型的专业能力。

告诉模型“你是一名资深架构师”,并不会让模型获得新的架构知识。

角色定义更接近一种行为和表达方向的约束。

3.2 Task:任务目标

Task 用于明确要求模型完成什么事情。

例如:

分析下面这段 Java 代码,找出可能存在的并发安全问题。

一个好的任务定义应该明确:

  • 执行动作。
  • 分析对象。
  • 预期结果。
  • 必要时指定分析范围。

避免使用过于模糊的表达,例如:

帮我看看这个代码。

可以改为:

检查以下 Java 代码中的线程安全问题,
重点分析共享变量、锁竞争、可见性和原子性,
并给出可运行的修复方案。

3.3 Context:背景上下文

Context 提供完成任务所需的背景信息。

例如:

项目背景:

这是一个基于 Spring Boot 的订单系统。

技术栈:
- Java 21
- Spring Boot 3
- MySQL 8
- Redis
- RabbitMQ

业务场景:
订单创建接口需要支持高并发请求,
并保证同一业务请求不会重复创建订单。

上下文可以帮助模型减少对业务背景的猜测。

但上下文并不是越多越好。

无关信息可能增加 Token 消耗,并干扰模型对关键内容的关注。

3.4 Input:输入数据

Input 是模型需要处理的具体对象。

例如:

待分析 SQL:

SELECT *
FROM orders
WHERE user_id = 10001
AND status = 1
ORDER BY created_at DESC;

对于代码分析、数据抽取、文本分类和文档问答等任务,应该明确标记输入内容的边界。

3.5 Constraints:约束条件

Constraints 用于限定模型的执行范围。

例如:

约束条件:

1. 不要修改原有业务逻辑。
2. 不要引入新的第三方依赖。
3. 优先使用 Java 标准库。
4. 需要说明每项修改的原因。
5. 如果信息不足,明确指出缺失信息。

约束可以减少模型自由发挥的空间,使输出更符合实际业务要求。

3.6 Examples:示例

示例用于向模型展示期望的输入输出模式。

例如:

示例输入:
订单状态为 1,表示待支付。

示例输出:
{
  "status": 1,
  "status_name": "待支付"
}

对于需要固定格式、固定分类标准或固定风格的任务,示例通常非常有价值。

3.7 Output Format:输出格式

输出格式用于约束模型最终结果的组织方式。

例如:

请严格按照以下结构输出:

一、问题描述
二、问题原因
三、影响范围
四、解决方案
五、修复后的代码
六、注意事项

如果结果需要被程序自动处理,可以进一步使用 JSON Schema 等结构化约束。

3.8 完整 Prompt 结构

flowchart TD
    A["Prompt"]
    B["Role 角色"]
    C["Task 任务"]
    D["Context 上下文"]
    E["Input 输入"]
    F["Constraints 约束"]
    G["Examples 示例"]
    H["Output Format 输出格式"]
    I["模型执行任务"]

    A --> B
    A --> C
    A --> D
    A --> E
    A --> F
    A --> G
    A --> H
    B --> I
    C --> I
    D --> I
    E --> I
    F --> I
    G --> I
    H --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

并不是所有任务都需要包含以上全部部分。

简单问答可能只需要 Task;复杂的业务任务则可能需要完整的结构。

四、Prompt Engineering 的核心技术

提示词工程发展出了多种设计方法。

这些方法并不是互相排斥的,可以根据任务复杂度组合使用。

4.1 Zero-shot Prompting:零样本提示

Zero-shot Prompting 是指不提供具体示例,直接要求模型完成任务。

例如:

判断下面这条用户评论的情感倾向。

评论:
这款产品运行速度很快,但是售后服务太差。

请输出:
正面、负面或中性。

模型根据预训练知识和当前指令完成分类。

特点:

  • 不需要准备示例。
  • Prompt 结构简单。
  • 适合常见任务。
  • 对复杂规则和特殊格式的稳定性可能不足。

Zero-shot 是很多大模型应用的默认起点。

4.2 One-shot Prompting:单样本提示

One-shot Prompting 是指提供一个示例,让模型参考示例完成任务。

例如:

任务:判断用户评论的情感。

示例:
输入:这款手机拍照效果很好。
输出:正面

现在处理:

输入:这款产品运行速度很快,但是售后服务太差。
输出:

示例向模型展示了任务定义和输出形式。

One-shot 不意味着模型只训练了一次,而是当前 Prompt 中包含一个示例。

4.3 Few-shot Prompting:少样本提示

Few-shot Prompting 是在 Prompt 中提供多个示例,让模型从示例中识别任务模式。

例如:

任务:判断评论情感。

示例一:
评论:产品性能非常好。
结果:正面

示例二:
评论:质量太差,不值得购买。
结果:负面

示例三:
评论:产品已经收到。
结果:中性

待分类评论:
评论:物流很快,但是产品包装破损。
结果:

模型可以参考多个输入输出样本,学习当前任务的分类边界和表达格式。

Few-shot 特别适合:

  • 特定业务分类。
  • 固定格式的数据抽取。
  • 风格迁移。
  • 领域术语转换。
  • 自定义标签体系。

但示例数量不是越多越好。

示例会占用上下文窗口,也可能带来标签偏差或错误模式。

4.4 Zero-shot、One-shot、Few-shot 对比

方法 示例数量 主要特点 适用场景
Zero-shot 0 直接描述任务 通用任务
One-shot 1 提供单个参考样本 简单格式约束
Few-shot 多个 展示多个任务样本 特殊规则与领域任务

4.5 Role Prompting:角色提示

Role Prompting 通过指定角色,调整模型回答问题时采用的专业视角。

例如:

你是一名数据库内核工程师。

请解释 MySQL InnoDB 的 Buffer Pool,
重点分析页面管理、LRU 机制和脏页刷盘。

角色提示适合需要明确专业视角的任务。

但角色设定不应被当作事实来源,也不能替代必要的技术资料。

4.6 Instruction Prompting:指令提示

Instruction Prompting 通过明确、具体的指令告诉模型应该执行什么操作。

例如:

请将以下技术文档压缩为 300 字以内的摘要。

必须保留:
1. 核心技术原理。
2. 关键配置参数。
3. 性能影响。
4. 主要风险。

不要加入原文没有提及的结论。

指令应该尽量具体,避免多个要求相互冲突。

4.7 Contextual Prompting:上下文提示

Contextual Prompting 是指在任务指令之外,提供与当前任务相关的背景材料。

例如:

背景资料:

我们的系统使用 Redis 缓存用户信息。
缓存有效期为 30 分钟。
用户数据更新时,会同步删除缓存。

任务:

分析该缓存策略在高并发情况下可能出现的问题。

上下文可以来自:

  • 用户输入。
  • 数据库查询结果。
  • 外部 API。
  • RAG 检索文档。
  • 历史对话。
  • 文件内容。

Contextual Prompting 是知识库问答和企业级 AI 应用的重要基础。

五、复杂任务的提示词技术

对于简单问答,清晰指令通常已经足够。

但面对复杂推理、代码分析、多步骤任务和结构化决策,仅靠一段简单指令可能难以获得稳定结果。

5.1 Chain-of-Thought Prompting:思维链提示

Chain-of-Thought(CoT)是一种通过提示模型进行分步骤推理的技术方向。

它的核心思想是让模型在处理复杂问题时,不只直接输出最终答案,而是采用分阶段的推理过程。

例如:

请分析以下问题。

某服务每天处理 120 万次请求,
平均每秒请求数是多少?

请列出计算公式,并给出结果。

模型需要识别:

  • 一天的秒数。
  • 总请求数。
  • 平均请求速率。

计算过程:

QPS=\frac{1,200,000}{24\times60\times60}
QPS\approx13.89

CoT 常见于:

  • 数学问题。
  • 复杂逻辑分析。
  • 多条件判断。
  • 代码问题定位。
  • 多阶段任务规划。

需要区分两个概念:

要求模型给出解释,不等于获得了模型内部真实、完整的推理过程。

模型输出的推理说明可能存在遗漏、错误或事后组织的解释,不能直接当作内部计算轨迹。

对于生产系统,可以要求模型输出可验证的中间结果、计算公式、引用依据或结构化步骤,而不是依赖一段看似合理的推理文本。

5.2 Least-to-Most Prompting:由简到繁提示

Least-to-Most Prompting 将复杂问题拆分为多个由简单到复杂的子问题。

例如,分析一个分布式事务系统:

请按以下顺序完成分析:

第一步:解释分布式事务的基本问题。
第二步:分析本地事务与远程调用的区别。
第三步:介绍 2PC 和 TCC。
第四步:比较 Saga 与可靠消息最终一致性。
第五步:给出不同业务场景下的选型建议。

这种方法适合:

  • 复杂技术调研。
  • 多阶段分析。
  • 方案比较。
  • 长文档处理。
  • 需要明确依赖关系的任务。

需要注意,拆分任务后还要检查子任务之间的信息是否完整传递。

5.3 Self-Consistency:自一致性

Self-Consistency 是一种通过生成多个候选推理结果,再进行一致性比较来提高结果可靠性的技术。

其基本思路是:

  • 对同一问题生成多条候选路径。
  • 提取候选答案。
  • 比较不同路径的结果。
  • 通过投票或其他聚合方式选择答案。

示意流程:

flowchart TD
    A["输入复杂问题"]
    B["生成多个候选结果"]
    C["候选结果一"]
    D["候选结果二"]
    E["候选结果三"]
    F["提取各候选答案"]
    G["一致性比较"]
    H["聚合选择"]
    I["输出最终结果"]

    A --> B
    B --> C
    B --> D
    B --> E
    C --> F
    D --> F
    E --> F
    F --> G
    G --> H
    H --> I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

Self-Consistency 可以降低某些采样路径导致的偶然错误,但并不保证答案正确。

如果多条路径共享相同的错误前提,最终结果仍然可能错误。

5.4 ReAct:Reasoning + Acting

ReAct 将推理与行动结合起来。

模型不仅分析问题,还可以根据需要选择调用外部工具。

例如:

用户:查询今天北京的天气,并给出出行建议。

模型:
分析需要获取实时天气数据。

工具调用:
get_weather(city="北京")

工具返回:
温度 12℃,小雨,风力 3 级。

模型:
根据天气数据生成出行建议。

ReAct 的核心不是单纯生成文本,而是形成推理、行动和观察结果相结合的任务循环。

flowchart TD
    A["接收用户任务"]
    B["分析当前状态"]
    C{"是否需要外部工具"}
    D["生成工具调用请求"]
    E["应用校验并执行工具"]
    F["获取工具结果"]
    G["更新任务上下文"]
    H{"任务是否完成"}
    I["生成最终回答"]

    A --> B
    B --> C
    C -->|"是"| D
    D --> E
    E --> F
    F --> G
    G --> H
    H -->|"否"| B
    C -->|"否"| I
    H -->|"是"| I

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

ReAct 是 Agent 系统中常见的设计思路。

但实际工具执行由应用程序负责,模型生成的工具调用请求不能直接视为已经完成的外部操作。

六、结构化输出与格式约束

在实际业务中,模型输出不一定只用于展示给用户。

很多场景需要将结果交给程序继续处理。

例如:

  • 提取订单信息。
  • 识别用户意图。
  • 生成 API 参数。
  • 输出分类标签。
  • 生成数据库查询条件。
  • 生成业务决策建议。

此时,输出格式的稳定性非常重要。

6.1 普通文本约束

最简单的方式是直接指定输出格式。

请分析下面的用户反馈。

只允许输出以下三个标签之一:
正面
负面
中性

不要输出解释。

这种方式实现简单,但自然语言约束并不等于严格的结构化保证。

6.2 JSON 输出约束

例如:

请从用户输入中提取订单信息。

输出 JSON,字段如下:
- order_id:订单编号
- product_name:商品名称
- quantity:购买数量

没有提取到的信息使用 null。

不要输出 Markdown 代码块。

期望结果:

{
  "order_id": "ORD20261120001",
  "product_name": "机械键盘",
  "quantity": 2
}

6.3 JSON Schema 约束

对于需要程序消费的结构化结果,可以使用 JSON Schema。

例如:

{
  "type": "object",
  "properties": {
    "order_id": {
      "type": ["string", "null"]
    },
    "product_name": {
      "type": ["string", "null"]
    },
    "quantity": {
      "type": ["integer", "null"]
    }
  },
  "required": [
    "order_id",
    "product_name",
    "quantity"
  ],
  "additionalProperties": false
}

Schema 可以定义:

  • 字段名称。
  • 数据类型。
  • 必填字段。
  • 可选值。
  • 嵌套结构。
  • 额外字段是否允许。

如果模型 API 支持 Structured Outputs,可以使用服务端支持的 Schema 约束能力。

需要注意,普通 Prompt 中要求“只输出 JSON”,与 API 层真正启用结构化输出约束不是一回事。

6.4 格式正确不等于业务正确

即使输出通过 JSON Schema 校验,也不代表内容符合真实业务。

例如:

{
  "order_id": "ORD001",
  "product_name": "机械键盘",
  "quantity": -10
}

这个 JSON 可能符合基础数据类型要求,但购买数量为负数显然不符合业务规则。

因此,生产系统需要分层校验:

  1. 语法校验:是否为合法 JSON。
  2. Schema 校验:字段和类型是否符合定义。
  3. 业务校验:数值、状态和业务规则是否正确。
  4. 权限校验:操作是否被当前用户授权。

七、Prompt 与上下文管理

Prompt Engineering 不只是编写一段指令,还涉及如何组织模型能够使用的上下文。

对于多轮对话、企业知识库和复杂 Agent,Context Management 尤其重要。

7.1 多轮对话上下文

大多数模型 API 的请求本身不意味着模型自动保存了所有历史对话。

应用通常需要将必要的历史消息重新组织到请求中,或者使用服务商提供的会话状态能力。

例如:

{
  "messages": [
    {
      "role": "user",
      "content": "什么是 Redis?"
    },
    {
      "role": "assistant",
      "content": "Redis 是一种内存数据结构存储系统。"
    },
    {
      "role": "user",
      "content": "它适合做分布式锁吗?"
    }
  ]
}

当前请求包含历史消息,模型才能利用这些上下文理解“它”指代 Redis。

7.2 上下文窗口限制

模型的上下文窗口存在 Token 数量限制。

输入内容过长可能导致:

  • 请求超出上下文窗口。
  • 输入 Token 成本增加。
  • 推理延迟上升。
  • 重要信息被大量无关内容稀释。
  • 长上下文中的信息定位效果下降。

因此,需要对上下文进行管理。

7.3 上下文压缩

常见方法包括:

  • 删除无关历史消息。
  • 保留最近的对话。
  • 对较早对话生成摘要。
  • 提取长期有效的关键信息。
  • 将历史信息保存到外部存储。
  • 根据当前任务检索相关内容。

一个简单的上下文管理流程:

flowchart TD
    A["收集历史对话"]
    B["评估上下文长度"]
    C{"是否超过预算"}
    D["保留必要消息"]
    E["摘要压缩历史内容"]
    F["提取关键状态"]
    G["组织最终上下文"]
    H["提交模型请求"]

    A --> B
    B --> C
    C -->|"否"| G
    C -->|"是"| D
    D --> E
    E --> F
    F --> G
    G --> H

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F

上下文压缩需要注意信息损失。

例如,摘要可能丢失订单编号、时间、金额和业务约束等关键字段。

对于需要精确追踪的业务状态,不应该只依赖自然语言摘要,最好将结构化状态保存在独立的数据存储中。

八、Prompt Engineering 与 RAG 的关系

Prompt Engineering 解决的是如何组织输入,而 RAG(Retrieval-Augmented Generation)解决的是如何在生成前引入外部知识。

两者可以结合使用。

8.1 为什么需要 RAG?

大语言模型的参数知识存在局限:

  • 训练数据可能有时间边界。
  • 私有企业数据通常不在训练数据中。
  • 领域知识可能更新频繁。
  • 模型可能生成不准确的事实。
  • 用户可能需要可追溯的资料依据。

RAG 通过检索外部资料,将相关内容作为上下文提供给模型。

8.2 RAG 中的 Prompt 设计

例如:

角色:
你是一名企业内部知识库问答助手。

任务:
根据提供的资料回答用户问题。

参考资料:
{{retrieved_documents}}

用户问题:
{{question}}

约束:
1. 优先依据参考资料回答。
2. 不要编造资料中不存在的事实。
3. 如果资料不足,明确说明无法确定。
4. 引用相关资料编号。
5. 区分资料中的事实与推测。

其中:

  • retrieved_documents:检索得到的文档。
  • question:用户问题。

RAG 不只是把文档拼接到 Prompt 中,还需要考虑检索质量、文档切分、排序、上下文预算和引用对齐。

8.3 RAG 与 Prompt Engineering 的关系