一、什么是 ReAct?
ReAct 是 Reasoning + Acting 的组合,是一种将语言模型的推理过程与外部工具交互结合起来的 Agent 执行范式。
传统大模型主要根据输入上下文生成答案,通常在一次生成过程中完成推理和回答。
但复杂任务往往需要外部信息、实际操作和多轮反馈。例如:
- 查询实时天气。
- 搜索网页并整理资料。
- 查询数据库并分析数据。
- 编写代码、执行测试并修复错误。
- 操作浏览器完成多步骤业务流程。
这些任务无法仅依赖模型内部知识可靠完成。
ReAct 的核心思想是:模型先根据当前信息进行推理,决定下一步行动;执行行动后观察外部环境返回的结果,再根据新信息继续推理。
其基本循环为:
Thought → Action → Observation → Thought
其中:
| 概念 | 含义 | 职责 |
|---|---|---|
| Thought | 推理 | 分析当前状态,决定下一步 |
| Action | 行动 | 调用工具或执行操作 |
| Observation | 观察 | 获取外部环境返回结果 |
| Final Answer | 最终回答 | 输出满足目标的结果 |
ReAct 并不是简单地让模型连续调用工具,而是建立推理、行动和环境反馈之间的闭环。
二、ReAct 的核心思想
1. 传统 LLM 与 ReAct 的区别
传统 LLM 的执行方式通常是:
- 接收用户输入。
- 根据模型参数和上下文进行推理。
- 生成最终回答。
它主要依赖已有知识和当前上下文,无法自动获得尚未提供的外部信息。
ReAct 则允许模型在推理过程中主动与外部环境交互。
例如,用户提出:
某公司最近一个季度的营收增长了多少?请结合最新财报分析。
传统 LLM 可能直接根据训练知识回答,但数据可能过时。
ReAct 可以先搜索最新财报,再提取营收数据,计算增长率,最后形成分析结论。
两种方式的区别:
| 对比维度 | 传统 LLM | ReAct |
|---|---|---|
| 信息来源 | 模型知识与输入上下文 | 模型知识、上下文和外部环境 |
| 执行方式 | 直接生成 | 推理与行动交替 |
| 工具调用 | 通常没有闭环机制 | 可以持续调用工具 |
| 环境反馈 | 通常不主动获取 | 通过 Observation 获取 |
| 动态调整 | 能力有限 | 根据执行结果调整 |
| 适用场景 | 问答、文本生成 | 搜索、分析、操作和复杂任务 |
2. ReAct 的核心循环
ReAct 的运行过程可以概括为:
flowchart TD
A["接收用户任务"] --> B["Thought:分析当前状态"]
B --> C{"是否需要外部行动"}
C -->|"否"| D["生成 Final Answer"]
C -->|"是"| E["Action:选择工具并生成参数"]
E --> F["执行工具"]
F --> G["Observation:获取执行结果"]
G --> H["更新上下文与任务状态"]
H --> I["重新进行 Thought"]
I --> C
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAE8FA,stroke:#A49BD5,color:#51477D
这个循环可以持续多轮,直到模型认为目标已经完成,或者系统触发超时、预算限制和终止条件。
3. ReAct 与普通 Tool Calling 的区别
ReAct 和 Tool Calling 有密切关系,但它们不是同一个概念。
- Tool Calling 主要解决模型如何生成结构化工具调用请求。
- ReAct 主要解决推理、行动和环境反馈如何交替组织。
Tool Calling 可以作为 ReAct 中 Action 的实现机制。
例如:
Thought:需要查询最新的销售数据。
Action:调用销售数据库查询工具。
Observation:返回最近三个月的销售记录。
Thought:需要计算各月增长率。
Action:调用 Python 计算工具。
Observation:返回增长率统计结果。
Thought:数据已经足够,可以生成结论。
Final Answer:输出销售分析。
ReAct 不要求每次行动都必须调用外部工具。模型也可以根据当前信息继续推理,或者直接输出最终结果。
三、ReAct 的四个核心组成
1. Thought:推理
Thought 是模型根据当前上下文分析任务状态、识别问题并决定下一步行动的过程。
主要包括:
- 理解用户目标。
- 分析当前已知信息。
- 识别缺失信息。
- 判断是否需要调用工具。
- 选择下一步行动。
- 判断是否已经达到终止条件。
例如:
用户目标:
查询某公司的最新季度营收。
Thought:
当前上下文没有提供最新季度营收数据。
模型内部知识可能不是最新的。
需要通过外部搜索获取最新财报,
然后提取营收数据。
Thought 的作用是指导行动,而不是直接执行操作。
需要注意,生产系统不应该依赖模型暴露完整的内部思维链来实现 ReAct。可以使用简洁的决策摘要、结构化行动理由和状态信息来驱动执行,并避免将内部推理内容无条件展示给用户。
2. Action:行动
Action 表示模型决定执行的具体操作。
行动可以是:
- 调用搜索工具。
- 查询数据库。
- 执行 Python 代码。
- 读取文件。
- 操作浏览器。
- 调用业务 API。
- 请求用户补充信息。
一个行动通常包含:
| 字段 | 说明 |
|---|---|
| action_type | 行动类型 |
| tool_name | 工具名称 |
| arguments | 调用参数 |
| action_id | 行动标识 |
| expected_output | 预期输出 |
| risk_level | 风险等级 |
例如:
{
"action_type": "tool_call",
"tool_name": "search_web",
"arguments": {
"query": "某公司最新季度财报营收"
},
"action_id": "action_001"
}
模型生成 Action 后,需要由 Agent Runtime 解析并执行。
不能将模型生成的任意文本直接当作可执行命令。
3. Observation:观察
Observation 是工具执行或外部环境交互后返回的信息。
例如:
{
"action_id": "action_001",
"status": "success",
"result": {
"title": "公司季度财报",
"revenue": 125000000,
"currency": "CNY",
"period": "2026-Q3"
}
}
Observation 不只是工具返回值,还可以包括:
- 执行是否成功。
- 错误信息。
- 执行耗时。
- 环境状态。
- 数据来源。
- 任务是否发生变化。
Observation 是 ReAct 与单次工具调用的重要区别之一。
模型需要利用实际执行结果更新自己的判断,而不是假设行动一定成功。
4. Final Answer:最终回答
当模型判断目标已经完成,或者系统决定终止任务时,需要输出最终结果。
最终回答应该满足:
- 回答用户原始问题。
- 使用经过验证的信息。
- 说明重要的数据来源。
- 不将工具调用记录误认为最终结论。
- 对无法确认的信息明确说明。
- 保持结果完整和可理解。
最终回答不一定只是文本,也可以是结构化数据、文件、报告或其他执行结果。
四、ReAct 的完整执行机制
ReAct 不只是模型生成 Thought、Action 和 Observation 三种文本,而是需要 Agent Runtime 配合完成完整的执行生命周期。
1. 初始化阶段
Agent 接收用户任务后,需要准备运行环境:
- 加载系统指令。
- 获取对话上下文。
- 加载可用工具。
- 初始化任务状态。
- 设置执行预算。
- 配置最大循环次数。
初始化的目的是为后续推理和行动提供明确的上下文及约束。
2. 推理阶段
模型根据用户目标、上下文和工具定义判断下一步。
可能出现三种情况:
- 当前信息足够,直接回答。
- 信息不足,需要调用工具。
- 目标或约束不明确,需要向用户询问。
并不是每轮推理都必须产生工具调用。
3. 行动阶段
如果模型决定执行工具,Runtime 需要完成:
- 解析工具名称。
- 解析调用参数。
- 校验参数 Schema。
- 检查调用权限。
- 判断风险等级。
- 执行工具。
- 捕获异常。
4. 观察阶段
工具执行完成后,Runtime 将结果封装为 Observation。
模型需要根据观察结果重新判断:
- 工具是否成功。
- 返回数据是否有效。
- 是否满足当前子目标。
- 是否还需要其他工具。
- 是否需要修正之前的判断。
- 是否应该终止任务。
5. 循环终止
ReAct 必须有明确的终止条件。
常见条件包括:
- 用户目标已经完成。
- 必要信息已经获取。
- 工具执行无法恢复。
- 达到最大循环次数。
- 超过时间或成本预算。
- 用户取消任务。
- 需要用户授权但未获得批准。
6. 完整运行流程
flowchart TD
A["初始化 Agent Runtime"] --> B["加载上下文与工具"]
B --> C["接收用户任务"]
C --> D["LLM Thought"]
D --> E{"是否需要行动"}
E -->|"否"| F["检查是否可以结束"]
F --> G{"目标是否满足"}
G -->|"是"| H["生成 Final Answer"]
G -->|"否"| I["请求补充信息或重新规划"]
I --> D
E -->|"是"| J["生成 Action"]
J --> K["参数校验与权限检查"]
K --> L{"是否允许执行"}
L -->|"否"| M["拒绝执行或请求审批"]
L -->|"是"| N["调用工具"]
N --> O["获取 Observation"]
O --> P["更新上下文与状态"]
P --> Q{"预算或循环次数是否超限"}
Q -->|"是"| R["终止并说明原因"]
Q -->|"否"| D
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style I fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style J fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style K fill:#EAF3EC,stroke:#83A995,color:#315D49
style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style M fill:#F7EAE7,stroke:#C98D7C,color:#754438
style N fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style O fill:#EAF3EC,stroke:#83A995,color:#315D49
style P fill:#EAF3EC,stroke:#83A995,color:#315D49
style Q fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style R fill:#F7EAE7,stroke:#C98D7C,color:#754438
五、ReAct 的 Prompt 设计
ReAct 的执行质量与提示词设计密切相关。
Prompt 需要明确模型的角色、可用工具、决策要求、输出格式和终止条件。
1. 传统 ReAct Prompt
经典 ReAct 研究使用 Thought、Action、Observation 等格式组织模型的推理和行动。
简化示例:
你是一个能够使用外部工具的智能 Agent。
请按照以下规则完成任务:
1. 分析当前任务和已知信息。
2. 判断是否需要调用工具。
3. 如果需要,选择合适的工具。
4. 生成符合工具参数要求的调用请求。
5. 根据工具返回结果继续判断。
6. 如果信息足够,输出最终答案。
7. 如果任务无法完成,说明具体原因。
工具:
- search_web(query)
- get_weather(city)
- calculate(expression)
输出结构:
Thought: 当前判断
Action: 工具名称
Action Input: 工具参数
在传统 ReAct 文本范式中,模型可以输出类似下面的内容:
Thought: 需要获取最新信息。
Action: search_web
Action Input:
{
"query": "某公司最新季度财报"
}
工具执行器完成调用后,将结果以 Observation 的形式反馈给模型。
2. 现代结构化 ReAct
现代 Agent 系统通常不再完全依赖纯文本解析 Thought、Action 和 Observation。
更常见的做法是:
- 模型通过结构化输出表达行动决策。
- Tool Calling 接口承载工具名称和参数。
- Runtime 管理调用和执行状态。
- 工具结果通过标准消息结构反馈。
- 状态机控制循环和终止。
例如:
{
"decision": "act",
"action": {
"tool": "search_web",
"arguments": {
"query": "某公司最新季度财报"
}
},
"reason_summary": "需要获取最新财报数据"
}
这里的 reason_summary 是面向执行管理的简短理由,不需要暴露完整内部思维链。
结构化方式有几个优势:
- 不依赖脆弱的文本解析。
- 更容易进行 Schema 校验。
- 更方便记录执行状态。
- 可以与工具注册表集成。
- 更容易实现权限和审计控制。
六、ReAct 的实际运行示例
以用户提出的问题为例:
查询北京今天的天气,判断是否适合户外跑步,并给出建议。
Agent 可使用两个工具:
get_weather:查询天气。analyze_running_condition:根据天气指标分析户外运动条件。
1. 第一次推理
模型判断当前上下文没有实时天气数据。
Thought:
需要获取北京今天的天气数据。
当前没有实时天气信息,不能仅凭模型内部知识回答。
2. 第一次行动
模型生成工具调用:
{
"tool": "get_weather",
"arguments": {
"city": "北京"
}
}
3. 第一次观察
工具返回:
{
"city": "北京",
"temperature": 18,
"humidity": 45,
"wind_speed": 2,
"condition": "晴"
}
4. 第二次推理
模型根据天气结果判断:
Thought:
已经获取温度、湿度、风速和天气状况。
还需要结合这些指标判断户外跑步是否合适。
5. 第二次行动
调用分析工具:
{
"tool": "analyze_running_condition",
"arguments": {
"temperature": 18,
"humidity": 45,
"wind_speed": 2,
"condition": "晴"
}
}
6. 第二次观察
{
"suitable": true,
"risk_level": "low",
"suggestions": [
"适当热身",
"根据个人体能控制运动强度",
"注意补水"
]
}
7. 最终回答
模型根据两次工具调用的结果生成最终回答。
整个过程如下:
flowchart TD
A["用户询问天气与跑步建议"] --> B["Thought:缺少实时天气"]
B --> C["Action:查询北京天气"]
C --> D["Observation:天气数据"]
D --> E["Thought:需要判断运动条件"]
E --> F["Action:调用运动条件分析"]
F --> G["Observation:运动适宜性结果"]
G --> H["Thought:信息已经充分"]
H --> I["Final Answer:天气与跑步建议"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这个例子展示了 ReAct 的典型特征:模型不是一次性规划所有操作,而是根据当前观察结果决定下一步行动。
七、ReAct 与 Planning 的关系
ReAct 和 Planning 都是 Agent 的重要执行机制,但关注点不同。
Planning 主要负责制定执行计划,ReAct 主要负责在执行过程中交替进行推理和行动。
1. Planning 的工作方式
Planning 通常先根据目标生成任务计划。
例如:
T1:查询天气
T2:获取空气质量
T3:评估户外运动条件
T4:生成运动建议
任务之间可以具有明确的依赖关系。
计划生成后,由调度器按照依赖关系安排执行。
2. ReAct 的工作方式
ReAct 不一定要求一开始就生成完整任务计划。
它可以先执行当前最合理的行动,再根据 Observation 决定下一步。
例如,查询天气后发现空气质量信息不足,模型才决定进一步查询空气质量。
3. 两者对比
| 对比维度 | Planning | ReAct |
|---|---|---|
| 核心目标 | 制定执行计划 | 推理与行动闭环 |
| 主要关注 | 任务结构和依赖 | 当前状态与下一步行动 |
| 计划方式 | 通常先生成计划 | 可以逐步决定行动 |
| 执行方式 | 按计划调度 | 行动后根据反馈继续推理 |
| 适用场景 | 任务明确、步骤较多 | 环境不确定、需要交互 |
| 典型结构 | DAG、任务树、状态机 | Thought、Action、Observation |
4. Planning 与 ReAct 结合
在生产级 Agent 中,两者通常可以结合使用。
Planning 负责生成初始任务结构,ReAct 负责执行每个任务时根据观察结果调整行为。
例如:
flowchart TD
A["用户复杂任务"] --> B["Planner 生成任务计划"]
B --> C["任务调度器"]
C --> D["选择当前任务"]
D --> E["ReAct 推理"]
E --> F{"是否需要工具"}
F -->|"是"| G["执行 Action"]
G --> H["获取 Observation"]
H --> I["更新任务状态"]
I --> E
F -->|"否"| J["验证当前任务"]
J --> K{"任务是否完成"}
K -->|"否"| L["调整当前任务计划"]
L --> E
K -->|"是"| M["调度下一个任务"]
M --> N{"整体目标是否完成"}
N -->|"否"| D
N -->|"是"| O["输出最终结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style L fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style M fill:#EAF3EC,stroke:#83A995,color:#315D49
style N fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style O fill:#DCEFE5,stroke:#4F8B70,color:#24563F
这种组合方式既能保持整体任务的可控性,又能保留执行过程中的灵活调整能力。
八、ReAct 与其他 Agent 模式的区别
ReAct 是 Agent 的一种执行范式,并不是唯一的 Agent 架构。
实际系统中还存在 Reflection、Plan-and-Execute、Tool-First 和多 Agent 协作等模式。
1. ReAct 与 Reflection
Reflection(反思)强调对已有结果进行检查、评价和改进。
例如:
- 检查生成的代码。
- 评估分析结果。
- 识别错误。
- 修正不合理结论。
ReAct 主要解决下一步应该采取什么行动;Reflection 主要解决已有结果是否正确、是否需要改进。
二者可以结合使用:
Thought:决定执行代码
Action:运行测试
Observation:测试失败
Reflection:分析失败原因
Thought:决定修改代码
Action:重新执行测试
Observation:测试通过
2. ReAct 与 Plan-and-Execute
Plan-and-Execute 通常先生成完整计划,再由执行器逐步执行。
ReAct 则更强调每次行动后的观察和重新推理。
Plan-and-Execute 适合任务结构比较明确的场景;ReAct 更适合需要持续探索和动态判断的场景。
3. ReAct 与多 Agent
多 Agent 系统通常由多个 Agent 分工协作。
例如:
- Research Agent 负责信息搜索。
- Data Agent 负责数据分析。
- Writing Agent 负责报告生成。
- Review Agent 负责结果审核。
每个 Agent 内部都可以使用 ReAct 进行推理与行动。
因此,ReAct 可以作为单个 Agent 的执行机制,也可以成为多 Agent 系统中各个执行单元的基础模式。
4. 模式对比
| 模式 | 核心机制 | 适用场景 |
|---|---|---|
| ReAct | 推理、行动、观察循环 | 动态工具交互 |
| Reflection | 评估与修正 | 结果优化 |
| Plan-and-Execute | 先规划再执行 | 多步骤任务 |
| Workflow | 预定义流程编排 | 固定业务流程 |
| Multi-Agent | 多个 Agent 协作 | 复杂领域分工 |
九、ReAct 的核心优势
1. 能够获取外部信息
模型可以通过工具获取最新数据,而不是完全依赖训练阶段形成的知识。
适合实时搜索、数据库查询和外部 API 访问。
2. 能够根据反馈动态调整
工具返回结果可能与预期不同。
ReAct 可以根据实际 Observation 修正后续行动。
3. 适合处理多步骤任务
一个复杂任务可以拆成多次推理和工具调用,而不需要在开始时确定所有操作细节。
4. 执行过程更容易追踪
Thought、Action 和 Observation 可以形成结构化执行记录。
这有利于定位工具失败、参数错误和任务判断问题。