返回专栏
· 20 分钟阅读

ReAct:推理与行动机制


一、什么是 ReAct?

ReAct 是 Reasoning + Acting 的组合,是一种将语言模型的推理过程与外部工具交互结合起来的 Agent 执行范式。

传统大模型主要根据输入上下文生成答案,通常在一次生成过程中完成推理和回答。

但复杂任务往往需要外部信息、实际操作和多轮反馈。例如:

  • 查询实时天气。
  • 搜索网页并整理资料。
  • 查询数据库并分析数据。
  • 编写代码、执行测试并修复错误。
  • 操作浏览器完成多步骤业务流程。

这些任务无法仅依赖模型内部知识可靠完成。

ReAct 的核心思想是:模型先根据当前信息进行推理,决定下一步行动;执行行动后观察外部环境返回的结果,再根据新信息继续推理。

其基本循环为:

Thought → Action → Observation → Thought

其中:

概念 含义 职责
Thought 推理 分析当前状态,决定下一步
Action 行动 调用工具或执行操作
Observation 观察 获取外部环境返回结果
Final Answer 最终回答 输出满足目标的结果

ReAct 并不是简单地让模型连续调用工具,而是建立推理、行动和环境反馈之间的闭环。

二、ReAct 的核心思想

1. 传统 LLM 与 ReAct 的区别

传统 LLM 的执行方式通常是:

  • 接收用户输入。
  • 根据模型参数和上下文进行推理。
  • 生成最终回答。

它主要依赖已有知识和当前上下文,无法自动获得尚未提供的外部信息。

ReAct 则允许模型在推理过程中主动与外部环境交互。

例如,用户提出:

某公司最近一个季度的营收增长了多少?请结合最新财报分析。

传统 LLM 可能直接根据训练知识回答,但数据可能过时。

ReAct 可以先搜索最新财报,再提取营收数据,计算增长率,最后形成分析结论。

两种方式的区别:

对比维度 传统 LLM ReAct
信息来源 模型知识与输入上下文 模型知识、上下文和外部环境
执行方式 直接生成 推理与行动交替
工具调用 通常没有闭环机制 可以持续调用工具
环境反馈 通常不主动获取 通过 Observation 获取
动态调整 能力有限 根据执行结果调整
适用场景 问答、文本生成 搜索、分析、操作和复杂任务

2. ReAct 的核心循环

ReAct 的运行过程可以概括为:

flowchart TD
    A["接收用户任务"] --> B["Thought:分析当前状态"]
    B --> C{"是否需要外部行动"}
    C -->|"否"| D["生成 Final Answer"]
    C -->|"是"| E["Action:选择工具并生成参数"]
    E --> F["执行工具"]
    F --> G["Observation:获取执行结果"]
    G --> H["更新上下文与任务状态"]
    H --> I["重新进行 Thought"]
    I --> C

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#EAE8FA,stroke:#A49BD5,color:#51477D

这个循环可以持续多轮,直到模型认为目标已经完成,或者系统触发超时、预算限制和终止条件。

3. ReAct 与普通 Tool Calling 的区别

ReAct 和 Tool Calling 有密切关系,但它们不是同一个概念。

  • Tool Calling 主要解决模型如何生成结构化工具调用请求。
  • ReAct 主要解决推理、行动和环境反馈如何交替组织。

Tool Calling 可以作为 ReAct 中 Action 的实现机制。

例如:

Thought:需要查询最新的销售数据。
Action:调用销售数据库查询工具。
Observation:返回最近三个月的销售记录。
Thought:需要计算各月增长率。
Action:调用 Python 计算工具。
Observation:返回增长率统计结果。
Thought:数据已经足够,可以生成结论。
Final Answer:输出销售分析。

ReAct 不要求每次行动都必须调用外部工具。模型也可以根据当前信息继续推理,或者直接输出最终结果。

三、ReAct 的四个核心组成

1. Thought:推理

Thought 是模型根据当前上下文分析任务状态、识别问题并决定下一步行动的过程。

主要包括:

  • 理解用户目标。
  • 分析当前已知信息。
  • 识别缺失信息。
  • 判断是否需要调用工具。
  • 选择下一步行动。
  • 判断是否已经达到终止条件。

例如:

用户目标:
查询某公司的最新季度营收。

Thought:
当前上下文没有提供最新季度营收数据。
模型内部知识可能不是最新的。
需要通过外部搜索获取最新财报,
然后提取营收数据。

Thought 的作用是指导行动,而不是直接执行操作。

需要注意,生产系统不应该依赖模型暴露完整的内部思维链来实现 ReAct。可以使用简洁的决策摘要、结构化行动理由和状态信息来驱动执行,并避免将内部推理内容无条件展示给用户。

2. Action:行动

Action 表示模型决定执行的具体操作。

行动可以是:

  • 调用搜索工具。
  • 查询数据库。
  • 执行 Python 代码。
  • 读取文件。
  • 操作浏览器。
  • 调用业务 API。
  • 请求用户补充信息。

一个行动通常包含:

字段 说明
action_type 行动类型
tool_name 工具名称
arguments 调用参数
action_id 行动标识
expected_output 预期输出
risk_level 风险等级

例如:

{
  "action_type": "tool_call",
  "tool_name": "search_web",
  "arguments": {
    "query": "某公司最新季度财报营收"
  },
  "action_id": "action_001"
}

模型生成 Action 后,需要由 Agent Runtime 解析并执行。

不能将模型生成的任意文本直接当作可执行命令。

3. Observation:观察

Observation 是工具执行或外部环境交互后返回的信息。

例如:

{
  "action_id": "action_001",
  "status": "success",
  "result": {
    "title": "公司季度财报",
    "revenue": 125000000,
    "currency": "CNY",
    "period": "2026-Q3"
  }
}

Observation 不只是工具返回值,还可以包括:

  • 执行是否成功。
  • 错误信息。
  • 执行耗时。
  • 环境状态。
  • 数据来源。
  • 任务是否发生变化。

Observation 是 ReAct 与单次工具调用的重要区别之一。

模型需要利用实际执行结果更新自己的判断,而不是假设行动一定成功。

4. Final Answer:最终回答

当模型判断目标已经完成,或者系统决定终止任务时,需要输出最终结果。

最终回答应该满足:

  • 回答用户原始问题。
  • 使用经过验证的信息。
  • 说明重要的数据来源。
  • 不将工具调用记录误认为最终结论。
  • 对无法确认的信息明确说明。
  • 保持结果完整和可理解。

最终回答不一定只是文本,也可以是结构化数据、文件、报告或其他执行结果。

四、ReAct 的完整执行机制

ReAct 不只是模型生成 Thought、Action 和 Observation 三种文本,而是需要 Agent Runtime 配合完成完整的执行生命周期。

1. 初始化阶段

Agent 接收用户任务后,需要准备运行环境:

  • 加载系统指令。
  • 获取对话上下文。
  • 加载可用工具。
  • 初始化任务状态。
  • 设置执行预算。
  • 配置最大循环次数。

初始化的目的是为后续推理和行动提供明确的上下文及约束。

2. 推理阶段

模型根据用户目标、上下文和工具定义判断下一步。

可能出现三种情况:

  1. 当前信息足够,直接回答。
  2. 信息不足,需要调用工具。
  3. 目标或约束不明确,需要向用户询问。

并不是每轮推理都必须产生工具调用。

3. 行动阶段

如果模型决定执行工具,Runtime 需要完成:

  • 解析工具名称。
  • 解析调用参数。
  • 校验参数 Schema。
  • 检查调用权限。
  • 判断风险等级。
  • 执行工具。
  • 捕获异常。

4. 观察阶段

工具执行完成后,Runtime 将结果封装为 Observation。

模型需要根据观察结果重新判断:

  • 工具是否成功。
  • 返回数据是否有效。
  • 是否满足当前子目标。
  • 是否还需要其他工具。
  • 是否需要修正之前的判断。
  • 是否应该终止任务。

5. 循环终止

ReAct 必须有明确的终止条件。

常见条件包括:

  • 用户目标已经完成。
  • 必要信息已经获取。
  • 工具执行无法恢复。
  • 达到最大循环次数。
  • 超过时间或成本预算。
  • 用户取消任务。
  • 需要用户授权但未获得批准。

6. 完整运行流程

flowchart TD
    A["初始化 Agent Runtime"] --> B["加载上下文与工具"]
    B --> C["接收用户任务"]
    C --> D["LLM Thought"]
    D --> E{"是否需要行动"}
    E -->|"否"| F["检查是否可以结束"]
    F --> G{"目标是否满足"}
    G -->|"是"| H["生成 Final Answer"]
    G -->|"否"| I["请求补充信息或重新规划"]
    I --> D
    E -->|"是"| J["生成 Action"]
    J --> K["参数校验与权限检查"]
    K --> L{"是否允许执行"}
    L -->|"否"| M["拒绝执行或请求审批"]
    L -->|"是"| N["调用工具"]
    N --> O["获取 Observation"]
    O --> P["更新上下文与状态"]
    P --> Q{"预算或循环次数是否超限"}
    Q -->|"是"| R["终止并说明原因"]
    Q -->|"否"| D

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAF3EC,stroke:#83A995,color:#315D49
    style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style I fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style J fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style K fill:#EAF3EC,stroke:#83A995,color:#315D49
    style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style M fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style N fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style O fill:#EAF3EC,stroke:#83A995,color:#315D49
    style P fill:#EAF3EC,stroke:#83A995,color:#315D49
    style Q fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style R fill:#F7EAE7,stroke:#C98D7C,color:#754438

五、ReAct 的 Prompt 设计

ReAct 的执行质量与提示词设计密切相关。

Prompt 需要明确模型的角色、可用工具、决策要求、输出格式和终止条件。

1. 传统 ReAct Prompt

经典 ReAct 研究使用 Thought、Action、Observation 等格式组织模型的推理和行动。

简化示例:

你是一个能够使用外部工具的智能 Agent。

请按照以下规则完成任务:

1. 分析当前任务和已知信息。
2. 判断是否需要调用工具。
3. 如果需要,选择合适的工具。
4. 生成符合工具参数要求的调用请求。
5. 根据工具返回结果继续判断。
6. 如果信息足够,输出最终答案。
7. 如果任务无法完成,说明具体原因。

工具:
- search_web(query)
- get_weather(city)
- calculate(expression)

输出结构:
Thought: 当前判断
Action: 工具名称
Action Input: 工具参数

在传统 ReAct 文本范式中,模型可以输出类似下面的内容:

Thought: 需要获取最新信息。

Action: search_web

Action Input:
{
  "query": "某公司最新季度财报"
}

工具执行器完成调用后,将结果以 Observation 的形式反馈给模型。

2. 现代结构化 ReAct

现代 Agent 系统通常不再完全依赖纯文本解析 Thought、Action 和 Observation。

更常见的做法是:

  • 模型通过结构化输出表达行动决策。
  • Tool Calling 接口承载工具名称和参数。
  • Runtime 管理调用和执行状态。
  • 工具结果通过标准消息结构反馈。
  • 状态机控制循环和终止。

例如:

{
  "decision": "act",
  "action": {
    "tool": "search_web",
    "arguments": {
      "query": "某公司最新季度财报"
    }
  },
  "reason_summary": "需要获取最新财报数据"
}

这里的 reason_summary 是面向执行管理的简短理由,不需要暴露完整内部思维链。

结构化方式有几个优势:

  • 不依赖脆弱的文本解析。
  • 更容易进行 Schema 校验。
  • 更方便记录执行状态。
  • 可以与工具注册表集成。
  • 更容易实现权限和审计控制。

六、ReAct 的实际运行示例

以用户提出的问题为例:

查询北京今天的天气,判断是否适合户外跑步,并给出建议。

Agent 可使用两个工具:

  • get_weather:查询天气。
  • analyze_running_condition:根据天气指标分析户外运动条件。

1. 第一次推理

模型判断当前上下文没有实时天气数据。

Thought:
需要获取北京今天的天气数据。
当前没有实时天气信息,不能仅凭模型内部知识回答。

2. 第一次行动

模型生成工具调用:

{
  "tool": "get_weather",
  "arguments": {
    "city": "北京"
  }
}

3. 第一次观察

工具返回:

{
  "city": "北京",
  "temperature": 18,
  "humidity": 45,
  "wind_speed": 2,
  "condition": "晴"
}

4. 第二次推理

模型根据天气结果判断:

Thought:
已经获取温度、湿度、风速和天气状况。
还需要结合这些指标判断户外跑步是否合适。

5. 第二次行动

调用分析工具:

{
  "tool": "analyze_running_condition",
  "arguments": {
    "temperature": 18,
    "humidity": 45,
    "wind_speed": 2,
    "condition": "晴"
  }
}

6. 第二次观察

{
  "suitable": true,
  "risk_level": "low",
  "suggestions": [
    "适当热身",
    "根据个人体能控制运动强度",
    "注意补水"
  ]
}

7. 最终回答

模型根据两次工具调用的结果生成最终回答。

整个过程如下:

flowchart TD
    A["用户询问天气与跑步建议"] --> B["Thought:缺少实时天气"]
    B --> C["Action:查询北京天气"]
    C --> D["Observation:天气数据"]
    D --> E["Thought:需要判断运动条件"]
    E --> F["Action:调用运动条件分析"]
    F --> G["Observation:运动适宜性结果"]
    G --> H["Thought:信息已经充分"]
    H --> I["Final Answer:天气与跑步建议"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style G fill:#EAF3EC,stroke:#83A995,color:#315D49
    style H fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这个例子展示了 ReAct 的典型特征:模型不是一次性规划所有操作,而是根据当前观察结果决定下一步行动。

七、ReAct 与 Planning 的关系

ReAct 和 Planning 都是 Agent 的重要执行机制,但关注点不同。

Planning 主要负责制定执行计划,ReAct 主要负责在执行过程中交替进行推理和行动。

1. Planning 的工作方式

Planning 通常先根据目标生成任务计划。

例如:

T1:查询天气
T2:获取空气质量
T3:评估户外运动条件
T4:生成运动建议

任务之间可以具有明确的依赖关系。

计划生成后,由调度器按照依赖关系安排执行。

2. ReAct 的工作方式

ReAct 不一定要求一开始就生成完整任务计划。

它可以先执行当前最合理的行动,再根据 Observation 决定下一步。

例如,查询天气后发现空气质量信息不足,模型才决定进一步查询空气质量。

3. 两者对比

对比维度 Planning ReAct
核心目标 制定执行计划 推理与行动闭环
主要关注 任务结构和依赖 当前状态与下一步行动
计划方式 通常先生成计划 可以逐步决定行动
执行方式 按计划调度 行动后根据反馈继续推理
适用场景 任务明确、步骤较多 环境不确定、需要交互
典型结构 DAG、任务树、状态机 Thought、Action、Observation

4. Planning 与 ReAct 结合

在生产级 Agent 中,两者通常可以结合使用。

Planning 负责生成初始任务结构,ReAct 负责执行每个任务时根据观察结果调整行为。

例如:

flowchart TD
    A["用户复杂任务"] --> B["Planner 生成任务计划"]
    B --> C["任务调度器"]
    C --> D["选择当前任务"]
    D --> E["ReAct 推理"]
    E --> F{"是否需要工具"}
    F -->|"是"| G["执行 Action"]
    G --> H["获取 Observation"]
    H --> I["更新任务状态"]
    I --> E
    F -->|"否"| J["验证当前任务"]
    J --> K{"任务是否完成"}
    K -->|"否"| L["调整当前任务计划"]
    L --> E
    K -->|"是"| M["调度下一个任务"]
    M --> N{"整体目标是否完成"}
    N -->|"否"| D
    N -->|"是"| O["输出最终结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#EAF3EC,stroke:#83A995,color:#315D49
    style J fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style L fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style M fill:#EAF3EC,stroke:#83A995,color:#315D49
    style N fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style O fill:#DCEFE5,stroke:#4F8B70,color:#24563F

这种组合方式既能保持整体任务的可控性,又能保留执行过程中的灵活调整能力。

八、ReAct 与其他 Agent 模式的区别

ReAct 是 Agent 的一种执行范式,并不是唯一的 Agent 架构。

实际系统中还存在 Reflection、Plan-and-Execute、Tool-First 和多 Agent 协作等模式。

1. ReAct 与 Reflection

Reflection(反思)强调对已有结果进行检查、评价和改进。

例如:

  • 检查生成的代码。
  • 评估分析结果。
  • 识别错误。
  • 修正不合理结论。

ReAct 主要解决下一步应该采取什么行动;Reflection 主要解决已有结果是否正确、是否需要改进。

二者可以结合使用:

Thought:决定执行代码
Action:运行测试
Observation:测试失败
Reflection:分析失败原因
Thought:决定修改代码
Action:重新执行测试
Observation:测试通过

2. ReAct 与 Plan-and-Execute

Plan-and-Execute 通常先生成完整计划,再由执行器逐步执行。

ReAct 则更强调每次行动后的观察和重新推理。

Plan-and-Execute 适合任务结构比较明确的场景;ReAct 更适合需要持续探索和动态判断的场景。

3. ReAct 与多 Agent

多 Agent 系统通常由多个 Agent 分工协作。

例如:

  • Research Agent 负责信息搜索。
  • Data Agent 负责数据分析。
  • Writing Agent 负责报告生成。
  • Review Agent 负责结果审核。

每个 Agent 内部都可以使用 ReAct 进行推理与行动。

因此,ReAct 可以作为单个 Agent 的执行机制,也可以成为多 Agent 系统中各个执行单元的基础模式。

4. 模式对比

模式 核心机制 适用场景
ReAct 推理、行动、观察循环 动态工具交互
Reflection 评估与修正 结果优化
Plan-and-Execute 先规划再执行 多步骤任务
Workflow 预定义流程编排 固定业务流程
Multi-Agent 多个 Agent 协作 复杂领域分工

九、ReAct 的核心优势

1. 能够获取外部信息

模型可以通过工具获取最新数据,而不是完全依赖训练阶段形成的知识。

适合实时搜索、数据库查询和外部 API 访问。

2. 能够根据反馈动态调整

工具返回结果可能与预期不同。

ReAct 可以根据实际 Observation 修正后续行动。

3. 适合处理多步骤任务

一个复杂任务可以拆成多次推理和工具调用,而不需要在开始时确定所有操作细节。

4. 执行过程更容易追踪

Thought、Action 和 Observation 可以形成结构化执行记录。

这有利于定位工具失败、参数错误和任务判断问题。