返回专栏
· 27 分钟阅读

如何构建生产级 AI Agent?


一、什么是生产级 AI Agent?

一个能够调用搜索工具、执行代码或查询数据库的 Agent,并不意味着它已经具备生产环境所需的能力。

在实验环境中,Agent 只需要完成一次任务,偶尔失败也可以重新运行。但在生产环境中,它需要面对真实用户、复杂业务、并发请求、外部依赖故障、数据权限和长期运行等问题。

例如,一个企业级数据分析 Agent 可能需要:

  1. 理解用户的自然语言需求。
  2. 判断用户是否具有数据访问权限。
  3. 查询多个业务数据库。
  4. 调用数据分析工具。
  5. 检查计算结果是否正确。
  6. 生成分析报告。
  7. 将报告保存到指定位置。
  8. 记录操作日志并返回结果。

这个过程中,任何一个环节出现问题,都可能导致任务失败,甚至造成数据泄露或业务损失。

1. 生产级 Agent 的核心特征

特征 具体要求
可靠性 任务能够稳定完成,异常能够恢复
可扩展性 支持多用户、多任务和并发执行
安全性 具备身份认证、权限控制和风险审查
可观测性 能够追踪模型、工具和任务执行过程
可恢复性 支持状态持久化、断点续跑和任务重放
可控性 具备执行预算、超时、取消和人工审批
可维护性 支持版本管理、自动测试和灰度发布
成本可控 能够管理 Token、工具调用和基础设施成本

2. 原型 Agent 与生产级 Agent 的区别

对比维度 原型 Agent 生产级 Agent
任务执行 单次执行 长短任务统一管理
状态管理 内存变量 持久化状态与 Checkpoint
工具调用 直接调用 统一工具网关
权限管理 固定权限 用户、任务和资源级授权
异常处理 失败后重新运行 分类处理、重试和恢复
并发控制 简单并行 队列、锁和租约
质量保证 人工测试 自动评估与回归测试
监控 输出日志 Metrics、Logs、Traces
部署方式 本地运行 容器化、弹性部署
安全治理 基本输入检查 多层安全防护和审计

生产级 Agent 的本质,是将非确定性的模型能力封装进一个可管理、可验证、可恢复的工程系统。

二、生产级 AI Agent 的总体架构

生产环境不应该让大模型直接连接所有数据库、业务系统和基础设施。

更合理的方式是建立分层架构,让模型负责理解、规划和决策,让确定性服务负责权限、执行、状态和验证。

1. 核心架构分层

第一层:接入层(API Gateway)

负责用户请求接入和统一管理。

主要功能:

  • 用户身份认证。
  • 请求参数校验。
  • 租户识别。
  • 请求限流。
  • 会话管理。
  • 请求路由。
  • 流式响应。

第二层:Agent 编排层(Orchestration)

负责 Agent 的任务执行和流程控制。

主要功能:

  • 意图识别。
  • 任务规划。
  • 步骤调度。
  • 工具选择。
  • 多 Agent 协作。
  • 状态流转。
  • 中断和恢复。

第三层:模型服务层(Model Gateway)

统一管理不同模型。

主要功能:

  • 模型路由。
  • 模型降级。
  • 请求重试。
  • Token 预算。
  • 模型版本管理。
  • Prompt 管理。
  • 模型调用监控。

第四层:工具执行层(Tool Gateway)

负责 Agent 与外部系统交互。

主要功能:

  • 工具注册。
  • 参数验证。
  • 权限检查。
  • 工具调用。
  • 超时控制。
  • 幂等处理。
  • 结果标准化。

第五层:数据与状态层(Data and State)

保存 Agent 执行所需的数据。

主要包括:

  • 会话数据。
  • 任务状态。
  • Checkpoint。
  • 短期记忆。
  • 长期记忆。
  • 向量数据库。
  • 业务数据。
  • 审计记录。

第六层:治理与观测层(Governance and Observability)

负责整个 Agent 系统的安全和运行质量。

主要包括:

  • 权限策略。
  • 内容安全。
  • 人工审批。
  • 执行审计。
  • 分布式追踪。
  • 运行指标。
  • 质量评估。
  • 告警系统。

2. 生产级 Agent 架构图

flowchart TB
    A["用户 / 业务系统"] --> B["API Gateway"]
    B --> C["身份认证与请求校验"]
    C --> D["Agent Orchestrator"]

    D --> E["任务规划与调度"]
    D --> F["State Manager"]
    D --> G["Model Gateway"]
    D --> H["Tool Gateway"]

    G --> I["模型服务"]
    H --> J["工具执行器"]
    J --> K["企业业务系统"]
    J --> L["外部 API"]

    F --> M["State Store"]
    F --> N["Checkpoint Store"]
    F --> O["Memory Store"]

    D --> P["Policy Engine"]
    P --> Q["权限与风险检查"]
    Q --> R["人工审批"]

    D --> S["Verifier"]
    S --> T["结果验证"]

    D --> U["Observability"]
    U --> V["日志 / 指标 / Trace"]
    U --> W["评估与告警"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style L fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style M fill:#EAF3EC,stroke:#83A995,color:#315D49
    style N fill:#EAF3EC,stroke:#83A995,color:#315D49
    style O fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style P fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style Q fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style R fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style S fill:#EAF3EC,stroke:#83A995,color:#315D49
    style T fill:#E5F0E9,stroke:#83A995,color:#315D49
    style U fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style V fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style W fill:#E0F0FE,stroke:#93BCE8,color:#1E4976

3. 为什么需要分层架构?

主要是为了避免模型成为系统中无法控制的中心节点。

例如,模型可以提出:

{
  "tool": "update_order",
  "arguments": {
    "order_id": "ORD-1001",
    "status": "cancelled"
  }
}

但模型生成这个请求,并不意味着它有权执行。

真正执行之前,系统还需要:

  1. 验证当前用户身份。
  2. 检查用户是否有订单操作权限。
  3. 验证订单状态是否允许取消。
  4. 判断是否需要人工审批。
  5. 检查参数是否合法。
  6. 执行工具调用。
  7. 核实订单状态是否真正改变。

这种设计能够将模型的决策能力与系统的执行权限分离。

三、设计 Agent 的任务执行引擎

Agent 的核心不应该只是一个循环调用模型的函数,而应该是一个能够管理任务生命周期的执行引擎。

1. 任务执行生命周期

生产级 Agent 通常需要将任务分解成多个明确步骤,并维护任务状态。

典型任务状态包括:

状态 含义
PENDING 等待执行
RUNNING 正在执行
WAITING 等待外部事件或输入
WAITING_APPROVAL 等待人工审批
RETRYING 正在重试
SUCCEEDED 执行成功
FAILED 执行失败
CANCELLED 用户取消
NEEDS_REVIEW 需要人工处理

任务状态不应该只保存在模型上下文中,而应该由独立的状态管理模块维护。

2. 任务执行流程

flowchart TD
    A["接收用户任务"] --> B["身份与权限检查"]
    B --> C["创建任务记录"]
    C --> D["任务规划"]
    D --> E["保存初始 Checkpoint"]
    E --> F["执行当前步骤"]
    F --> G["调用模型或工具"]
    G --> H["验证执行结果"]
    H --> I{"当前步骤是否成功"}

    I -->|"是"| J["更新任务状态"]
    J --> K{"是否还有未完成步骤"}
    K -->|"是"| L["保存 Checkpoint"]
    L --> F
    K -->|"否"| M["验证最终结果"]
    M --> N["保存最终状态"]
    N --> O["返回任务结果"]

    I -->|"否"| P["分类处理异常"]
    P --> Q{"是否允许恢复"}
    Q -->|"是"| R["重试或重新规划"]
    R --> L
    Q -->|"否"| S["标记失败或人工介入"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style J fill:#EAF3EC,stroke:#83A995,color:#315D49
    style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style L fill:#EAF3EC,stroke:#83A995,color:#315D49
    style M fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style N fill:#E5F0E9,stroke:#83A995,color:#315D49
    style O fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style P fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style Q fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style R fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style S fill:#F7EAE7,stroke:#C98D7C,color:#754438

3. 任务与步骤的数据结构

建议将任务、步骤和执行记录分开保存。

任务级数据:

{
  "task_id": "task_1001",
  "user_id": "user_001",
  "status": "RUNNING",
  "goal": "生成本季度销售分析报告",
  "current_step": "step_003",
  "created_at": "2026-11-21T10:00:00Z",
  "deadline": "2026-11-21T10:30:00Z",
  "attempts": 1,
  "version": 3
}

步骤级数据:

{
  "step_id": "step_003",
  "task_id": "task_1001",
  "name": "calculate_sales_growth",
  "status": "PENDING",
  "dependencies": [
    "step_001",
    "step_002"
  ],
  "idempotency_key": "task_1001_step_003",
  "attempts": 0,
  "result_ref": null
}

将任务和步骤分开管理,可以更容易支持断点续跑、并发调度、步骤重试和失败定位。

四、构建可靠的模型调用层

模型服务是 Agent 的重要依赖,但不能假设模型 API 永远可用,也不能假设模型输出始终符合预期。

1. 模型网关(Model Gateway)

不要让业务 Agent 直接依赖某一个模型供应商。

应该建立统一模型网关,屏蔽不同模型之间的接口差异。

核心功能:

  • 统一请求和响应格式。
  • 模型选择和路由。
  • 模型版本管理。
  • Token 限额。
  • 请求超时。
  • 限流与重试。
  • 备用模型切换。
  • 调用成本统计。
  • Prompt 版本管理。

例如:

class ModelGateway:
    def __init__(self, providers, router):
        self.providers = providers
        self.router = router

    async def generate(self, request):
        model_name = self.router.select(request)

        provider = self.providers[model_name]

        return await provider.generate(
            messages=request["messages"],
            temperature=request.get("temperature", 0.2),
            max_tokens=request.get("max_tokens", 2000),
        )

这里的 providers 和 router 是应用层注入的模型适配器和路由策略,具体模型 SDK 由适配器实现。

2. 模型路由策略

不同任务不一定需要相同的模型。

任务类型 模型选择考虑
意图分类 延迟低、成本低
简单信息提取 结构化输出能力
复杂任务规划 推理能力
长文档分析 上下文窗口
代码生成 编程能力
结果验证 稳定性与事实判断能力

可以按照任务复杂度进行路由:

flowchart TD
    A["接收模型请求"] --> B["分析任务类型"]
    B --> C["估算任务复杂度"]
    C --> D{"复杂度等级"}
    D -->|"低"| E["轻量模型"]
    D -->|"中"| F["通用模型"]
    D -->|"高"| G["高能力模型"]
    E --> H["统一响应格式"]
    F --> H
    G --> H
    H --> I["输出模型结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#EAF3EC,stroke:#83A995,color:#315D49
    style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style H fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F

3. 结构化输出与结果校验

生产级 Agent 不应该完全依赖模型生成自由文本。

对于需要被程序消费的内容,应使用 JSON Schema 或其他结构化输出约束。

例如:

{
  "type": "object",
  "properties": {
    "action": {
      "type": "string",
      "enum": ["search", "analyze", "finish"]
    },
    "reason": {
      "type": "string"
    },
    "tool_name": {
      "type": ["string", "null"]
    },
    "arguments": {
      "type": "object"
    }
  },
  "required": [
    "action",
    "reason",
    "tool_name",
    "arguments"
  ],
  "additionalProperties": false
}

需要注意,结构化输出只保证结果满足指定格式,不代表结果内容正确,也不代表调用行为安全。

因此,还需要进行业务语义校验、权限校验和参数范围检查。

五、构建安全的工具执行体系

工具是 Agent 连接真实世界的入口,也是生产系统最容易产生副作用的部分。

工具执行层不能简单地把模型生成的函数调用直接交给业务系统执行。

1. 工具注册中心

所有工具应该统一注册,并包含明确的元数据。

例如:

tool_definition = {
    "name": "query_sales",
    "description": "查询授权范围内的销售数据",
    "input_schema": {
        "type": "object",
        "properties": {
            "start_date": {"type": "string"},
            "end_date": {"type": "string"}
        },
        "required": ["start_date", "end_date"],
        "additionalProperties": False
    },
    "risk_level": "low",
    "required_permissions": [
        "sales:read"
    ],
    "timeout_seconds": 10,
    "idempotent": True
}

注册中心需要管理:

  • 工具名称。
  • 工具描述。
  • 参数 Schema。
  • 工具版本。
  • 权限要求。
  • 风险等级。
  • 超时设置。
  • 幂等性。
  • 调用配额。
  • 工具负责人。

2. 工具调用的安全执行流程

flowchart TD
    A["模型生成工具调用"] --> B["工具名称检查"]
    B --> C["参数 Schema 校验"]
    C --> D["用户身份验证"]
    D --> E["权限策略检查"]
    E --> F{"是否允许执行"}
    F -->|"否"| G["拒绝调用并记录审计"]
    F -->|"是"| H["风险等级检查"]
    H --> I{"是否需要审批"}
    I -->|"是"| J["等待人工审批"]
    I -->|"否"| K["执行工具"]
    J --> L{"审批是否通过"}
    L -->|"否"| G
    L -->|"是"| K
    K --> M["结果校验"]
    M --> N["记录执行日志"]
    N --> O["返回结构化结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style E fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style G fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style J fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style M fill:#EAF3EC,stroke:#83A995,color:#315D49
    style N fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style O fill:#E5F0E9,stroke:#83A995,color:#315D49

3. 权限控制

生产级 Agent 应遵循最小权限原则。

例如:

Agent 类型 允许的权限 禁止的权限
查询 Agent 读取授权数据 修改和删除数据
报告 Agent 读取数据、创建报告 修改业务记录
运维 Agent 查看监控、执行授权操作 任意访问生产主机
订单 Agent 查询订单、申请取消 未审批直接退款

权限判断应该基于实际用户身份、任务上下文、资源范围和当前策略,而不是仅仅根据 Agent 的角色名称。

4. 防御 Prompt Injection

Agent 可能读取网页、邮件、文档和第三方工具返回的内容。

这些内容中可能包含恶意指令,例如要求 Agent 泄露密钥、忽略原有约束或调用未授权工具。

因此,需要:

  • 将外部内容视为不可信数据。
  • 区分系统指令与工具返回内容。
  • 不允许工具输出修改系统权限。
  • 对工具参数执行 Schema 校验。
  • 使用工具白名单。
  • 对敏感操作进行独立授权。
  • 限制网络出口和文件访问。
  • 对高风险操作设置人工审批。

关键原则是:模型可以理解不可信内容,但不能因为内容中出现指令,就自动获得执行这些指令的权限。

六、实现状态持久化与长期任务管理

生产级 Agent 经常需要执行超过单次模型请求生命周期的任务。

例如:

  • 长时间研究任务。
  • 多阶段数据分析。
  • 自动化代码修复。
  • 跨系统业务处理。
  • 等待人工审批的工作流。

如果任务状态只保存在进程内存中,服务重启后就可能丢失执行进度。

1. State 与 Checkpoint

State 是 Agent 当前任务的状态。

Checkpoint 是某个时间点的持久化快照,用于恢复任务。

一个任务状态可以包含:

{
  "task_id": "task_1001",
  "goal": "完成销售分析报告",
  "status": "RUNNING",
  "current_step": "generate_report",
  "completed_steps": [
    "query_sales",
    "calculate_growth"
  ],
  "pending_actions": [],
  "artifacts": [
    "sales_analysis.json"
  ],
  "retry_count": 1,
  "version": 5
}

Checkpoint 需要保存:

  • 当前任务状态。
  • 已完成步骤。
  • 当前执行位置。
  • 待执行动作。
  • 工具执行结果引用。
  • 重试次数。
  • 状态版本。
  • 创建时间。

2. 中断与恢复

flowchart TD
    A["Agent 执行任务"] --> B["定期保存 Checkpoint"]
    B --> C["执行下一步骤"]
    C --> D{"任务是否中断"}
    D -->|"否"| E["继续执行"]
    E --> B
    D -->|"是"| F["保存中断状态"]
    F --> G["服务恢复或任务重新调度"]
    G --> H["读取最新 Checkpoint"]
    H --> I["校验状态版本"]
    I --> J["核对外部副作用"]
    J --> K["恢复未完成步骤"]
    K --> B

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAF3EC,stroke:#83A995,color:#315D49
    style D fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F7EAE7,stroke:#C98D7C,color:#754438
    style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style K fill:#E5F0E9,stroke:#83A995,color:#315D49

特别需要注意:恢复任务不能简单地重新执行所有工具调用。

如果上一次执行已经成功创建订单,只是 Agent 没有收到响应,那么盲目重试可能产生重复订单。

恢复前必须先核查外部系统的实际状态。

3. 幂等性与重复执行控制

建议为每个具有副作用的工具调用生成幂等键。

例如:

idempotency_key = (
    f"{task_id}:{step_id}:{operation}"
)

工具执行时,需要检查该操作是否已经处理。

async def execute_once(
    idempotency_key,
    operation,
    idempotency_store,
):
    existing = await idempotency_store.get(
        idempotency_key
    )

    if existing is not None:
        return existing

    result = await operation()

    await idempotency_store.save(
        idempotency_key,
        result
    )

    return result

这是概念性示例。生产环境中,查询、执行和记录操作结果需要通过数据库唯一约束、事务、Inbox/Outbox 或外部系统幂等接口保证原子性,不能仅依赖上述先查后写的代码。

七、构建异常处理与自我恢复机制

生产环境中的模型、网络、工具和业务系统都可能失败。

如果每次失败都直接终止任务,Agent 就很难稳定运行。

1. 异常分类

异常类型 示例 推荐处理
瞬时异常 网络超时、临时 5xx 有限重试
限流异常 HTTP 429 按限流策略退避
参数异常 参数格式错误 修正参数或终止
权限异常 HTTP 403 拒绝执行
业务异常 订单状态不允许修改 返回业务错误
状态异常 Checkpoint 冲突 校验并恢复
环境异常 服务不可用 暂停、降级或切换
不确定副作用 工具超时但操作可能已完成 先查询外部状态

2. 重试策略

建议采用指数退避和随机抖动。

Delay_n=\min(MaxDelay,BaseDelay\times 2^n)+Jitter

例如:

import asyncio
import random


async def retry_call(
    operation,
    max_attempts=3,
    base_delay=1.0,
    max_delay=10.0,
):
    for attempt in range(max_attempts):
        try:
            return await operation()

        except (TimeoutError, ConnectionError):
            if attempt == max_attempts - 1:
                raise

            delay = min(
                max_delay,
                base_delay * (2 ** attempt)
            )

            delay += random.uniform(0, 0.5)

            await asyncio.sleep(delay)

这个示例只处理指定的瞬时异常。实际部署还需要增加总 Deadline、取消传播、服务端 Retry-After、重试预算和可重试错误分类。

对于非幂等操作,不能因为超时就直接重新调用。应先查询外部系统,确认上一次操作是否已经生效。

3. 自我修复与重新规划

当工具返回可恢复错误时,Agent 可以根据错误信息调整执行计划。

例如:

{
  "ok": false,
  "error_code": "INVALID_DATE_RANGE",
  "retryable": false,
  "message": "结束日期早于开始日期",
  "details": {
    "start_date": "2026-11-21",
    "end_date": "2026-11-01"
  }
}

Agent 可以识别参数问题并尝试修正,但不能无限次反思或重复执行。

建议设置:

  • 最大重试次数。
  • 最大重新规划次数。
  • 总任务 Deadline。
  • Token 预算。
  • 工具调用预算。
  • 最大执行步骤。
  • 人工介入阈值。

4. 熔断与降级

当外部服务持续失败时,继续发送请求可能加剧故障。

可以引入熔断器:

stateDiagram-v2
    [*] --> Closed
    Closed --> Open: 连续失败达到阈值
    Open --> HalfOpen: 冷却时间结束
    HalfOpen --> Closed: 探测成功
    HalfOpen --> Open: 探测失败

在实际系统中,熔断器还需要考虑并发请求、半开状态探测数量和恢复窗口。

可用的降级方式包括:

  • 切换备用模型。
  • 使用缓存结果。
  • 切换只读模式。
  • 返回部分结果。
  • 暂停非关键功能。
  • 将任务交给人工处理。

八、构建记忆与知识管理体系

Agent 的记忆不是简单地把所有历史对话保存下来,而是需要区分不同类型的数据,并明确生命周期。

1. 短期记忆

短期记忆主要服务于当前会话或任务。

常见内容:

  • 当前用户请求。
  • 最近对话记录。
  • 当前任务计划。
  • 当前步骤结果。
  • 临时上下文。
  • 尚未完成的子任务。

短期记忆通常需要考虑上下文窗口限制和信息压缩。

2. 长期记忆

长期记忆保存跨任务有价值的信息。

例如:

  • 用户明确授权保存的偏好。
  • 稳定的业务规则。
  • 历史任务摘要。
  • 已确认的知识。
  • 长期工作背景。

长期记忆应具备:

  • 来源标记。
  • 时间信息。
  • 可信度。
  • 访问权限。
  • 更新策略。
  • 过期机制。

不能把模型生成的推测当作可靠事实长期保存。

3. RAG 知识检索

对于企业知识型 Agent,应该使用 RAG 检索外部知识,而不是把所有文档直接放进 Prompt。

典型流程:

flowchart TD
    A["用户问题"] --> B["查询理解"]
    B --> C["查询改写"]
    C --> D["向量检索"]
    C --> E["关键词检索"]
    D --> F["结果融合"]
    E --> F
    F --> G["权限过滤"]
    G --> H["重排序"]
    H --> I["构建上下文"]
    I --> J["模型生成答案"]
    J --> K["引用与事实验证"]
    K --> L["返回结果"]

    style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
    style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style D fill:#EAF3EC,stroke:#83A995,color:#315D49
    style E fill:#EAF3EC,stroke:#83A995,color:#315D49
    style F fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
    style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style H fill:#EAF3EC,stroke:#83A995,color:#315D49
    style I fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
    style J fill:#EAE8FA,stroke:#A49BD5,color:#51477D
    style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
    style L fill:#E5F0E9,stroke:#83A995,color:#315D49

4. 记忆与知识的治理

需要避免以下问题:

  • 不同用户之间的记忆串用。
  • 过期信息覆盖新信息。
  • 不可信文档污染长期记忆。
  • 敏感信息被写入不受保护的向量库。
  • 检索结果绕过原始数据权限。
  • 记忆无限增长导致检索质量下降。