一、什么是 Computer Use?
Computer Use(计算机使用能力)是指 AI 智能体通过图形用户界面(GUI)与计算机系统进行交互,像人类一样观察屏幕、识别控件、移动鼠标、点击按钮、输入文本、滚动页面和操作应用程序。
传统 AI 智能体主要通过 API、工具调用和代码执行与外部系统交互,而 Computer Use 将交互范围扩展到了桌面应用、浏览器、办公软件以及其他没有开放 API 的系统。
例如,用户提出:
打开浏览器,搜索某个产品,比较不同网站的价格,将结果整理到 Excel 文件中。
具备 Computer Use 能力的智能体需要完成:
- 打开浏览器。
- 进入搜索网站。
- 输入关键词并执行搜索。
- 观察搜索结果。
- 打开相关商品页面。
- 提取商品名称和价格。
- 打开 Excel。
- 创建表格并填写数据。
- 保存文件并反馈结果。
整个过程不一定依赖目标应用提供专用 API,而是通过模拟人类操作图形界面的方式完成。
1. Computer Use 与传统工具调用的区别
| 对比维度 | 传统工具调用 | Computer Use |
|---|---|---|
| 交互方式 | API、函数调用 | 鼠标、键盘、屏幕 |
| 操作对象 | 明确的接口 | 图形用户界面 |
| 输入形式 | 结构化参数 | 屏幕截图、界面状态 |
| 输出形式 | JSON、文本、结构化数据 | 屏幕变化、操作结果 |
| 环境依赖 | 接口和权限 | 操作系统、窗口和界面 |
| 稳定性 | 通常较高 | 受界面变化影响 |
| 适用范围 | 有 API 的系统 | 有可操作界面的系统 |
| 错误处理 | 接口错误码 | 视觉反馈和状态判断 |
传统工具调用的核心是调用已经定义好的接口,而 Computer Use 的核心是理解当前界面,并决定下一步应该执行什么操作。
2. Computer Use 与 RPA 的区别
Computer Use 与 RPA(Robotic Process Automation,机器人流程自动化)都可以通过图形界面操作计算机,但二者的工作方式不同。
| 对比维度 | 传统 RPA | AI Computer Use |
|---|---|---|
| 执行逻辑 | 预先定义流程 | 根据目标动态规划 |
| 操作路径 | 固定步骤 | 可以根据界面调整 |
| 页面识别 | 坐标、控件选择器 | 视觉理解、控件识别 |
| 异常处理 | 规则和预设分支 | 根据新状态重新决策 |
| 适应能力 | 依赖流程配置 | 可以处理部分未知情况 |
| 适用任务 | 高频、固定、重复任务 | 多步骤、动态、非结构化任务 |
例如,传统 RPA 通常要求提前定义:
- 点击哪个按钮。
- 在哪个输入框输入内容。
- 等待多长时间。
- 进入哪个页面。
- 遇到异常执行哪条分支。
而 AI Computer Use 可以根据屏幕内容判断当前处于什么页面,再决定应该点击哪个位置。
需要注意:AI Computer Use 并不意味着完全取代 RPA。对于稳定、重复、规则明确的流程,传统 RPA 往往更加高效。两者也可以组合使用。
二、Computer Use 的整体架构
Computer Use 通常不是单纯让大模型输出鼠标坐标,而是由感知、决策、动作执行、环境反馈和状态管理等多个部分共同组成。
1. 核心架构
flowchart TD
A["用户任务目标"] --> B["智能体控制器"]
B --> C["任务规划与步骤分解"]
C --> D["Computer Use Agent"]
D --> E["屏幕观察与视觉理解"]
E --> F["界面元素识别"]
F --> G["动作决策"]
G --> H["动作执行器"]
H --> I["操作系统与应用程序"]
I --> J["界面状态变化"]
J --> K["重新截图与观察"]
K --> L{"任务是否完成"}
L -->|"否"| E
L -->|"是"| M["结果验证与任务交付"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAF3EC,stroke:#83A995,color:#315D49
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style J fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style K fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
整个系统可以拆分为六个核心模块。
| 模块 | 主要职责 |
|---|---|
| 智能体控制器 | 管理任务生命周期和执行状态 |
| 任务规划器 | 将复杂任务拆分为可执行步骤 |
| 感知模块 | 获取屏幕信息并理解界面 |
| 决策模块 | 确定下一步鼠标和键盘操作 |
| 动作执行器 | 将动作转换为操作系统输入 |
| 状态验证模块 | 检查动作结果并判断是否继续 |
其中,最关键的是感知、决策和执行三个环节。
2. 感知、决策与执行
Computer Use 的基本工作模式可以概括为:
- 感知:当前屏幕显示了什么?
- 决策:为了完成任务,下一步应该做什么?
- 执行:如何将决策转换为鼠标和键盘操作?
- 验证:操作是否真正产生了预期结果?
这是一种闭环交互系统,而不是一次性生成一串鼠标坐标。
flowchart TD
A["获取当前屏幕"] --> B["视觉理解"]
B --> C["识别目标控件"]
C --> D["结合任务目标进行推理"]
D --> E["生成操作指令"]
E --> F["执行鼠标或键盘动作"]
F --> G["观察操作结果"]
G --> H{"结果是否符合预期"}
H -->|"是"| I["更新任务状态"]
H -->|"否"| J["分析失败原因"]
J --> K["调整操作策略"]
K --> A
I --> L{"任务是否完成"}
L -->|"否"| A
L -->|"是"| M["输出最终结果"]
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style J fill:#F7EAE7,stroke:#C98D7C,color:#754438
style K fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style M fill:#DCEFE5,stroke:#4F8B70,color:#24563F
三、屏幕感知:智能体如何理解电脑界面?
Computer Use 的第一项核心能力是屏幕感知。
人类可以直接看到窗口、按钮、文本框和菜单,并理解它们的用途。大模型则需要将屏幕信息转换成可推理的输入。
1. 屏幕截图
最基础的方式是通过截图获取当前桌面或应用窗口的图像。
例如:
import pyautogui
# 获取当前屏幕截图
screenshot = pyautogui.screenshot()
# 保存截图
screenshot.save("screen.png")
截图可以作为视觉模型的输入,让模型分析当前界面。
但截图不仅包含目标控件,还可能包含:
- 多个应用窗口。
- 浏览器标签页。
- 弹窗和提示信息。
- 桌面图标。
- 无关的背景内容。
- 鼠标指针和滚动条。
因此,智能体需要从大量视觉信息中识别与当前任务相关的部分。
2. 视觉理解
视觉理解是将屏幕图像转换为结构化语义信息的过程。
例如,当前屏幕上有一个登录界面:
登录页面
用户名:[________________]
密码: [________________]
[登录]
忘记密码?
视觉模型需要识别:
| 界面元素 | 识别结果 | 作用 |
|---|---|---|
| 用户名输入框 | Input | 输入账号 |
| 密码输入框 | Input | 输入密码 |
| 登录按钮 | Button | 提交登录 |
| 忘记密码 | Link | 找回密码 |
模型不仅需要识别元素的位置,还需要理解元素的语义和用途。
例如:
- 哪个输入框用于填写用户名?
- 哪个按钮用于提交表单?
- 当前页面是否已经登录?
- 是否出现错误提示?
- 是否存在需要处理的弹窗?
这要求视觉模型具备一定的 OCR、目标检测、布局理解和语义推理能力。
3. OCR 与视觉模型
Computer Use 可以使用不同技术获取界面信息。
| 技术 | 主要作用 | 特点 |
|---|---|---|
| OCR | 提取屏幕文字 | 适合识别文本和标签 |
| 目标检测 | 定位按钮和控件 | 能够识别元素区域 |
| 图像理解模型 | 理解页面整体含义 | 适合复杂界面 |
| UI Automation | 获取原生控件信息 | 可以读取控件属性 |
| DOM 解析 | 获取网页结构 | 适合浏览器环境 |
OCR 可以识别文字,但不一定能理解文字对应的功能。
例如,屏幕上有两个按钮:
- 确认
- 取消
OCR 可以识别两个按钮上的文字,而视觉理解还需要判断哪个按钮应该被点击。
工程实践中,不应该将所有任务都交给视觉模型。对于浏览器页面,可以优先使用 DOM 和可访问性树获取结构化信息;对于无法获取结构化信息的桌面应用,再使用视觉理解。
4. 坐标系统与元素定位
Computer Use 经常需要将识别结果转换为屏幕坐标。
假设模型识别出一个登录按钮,其位置为:
{
"element": "登录按钮",
"type": "button",
"center": {
"x": 640,
"y": 480
}
}
这里的 x 和 y 表示按钮中心点在屏幕中的位置。
如果屏幕分辨率为 1920 × 1080,那么坐标原点通常位于左上角:
- X 轴向右增加。
- Y 轴向下增加。
- 屏幕左上角为
(0, 0)。
坐标定位需要注意几个问题:
- 截图分辨率与实际屏幕分辨率可能不同。
- 系统缩放比例可能影响坐标映射。
- 多显示器环境可能存在不同的坐标原点。
- 窗口移动或缩放可能导致控件位置变化。
- 页面滚动可能改变目标元素的屏幕坐标。
因此,坐标不应该被视为长期有效的控件标识。
更可靠的做法是:每次关键操作前重新观察界面,并基于当前截图确定操作位置。
四、动作执行:智能体如何控制鼠标和键盘?
完成屏幕感知后,智能体需要将决策转换成具体的计算机输入。
常见操作包括:
| 动作 | 作用 |
|---|---|
| click | 点击鼠标 |
| double_click | 双击鼠标 |
| move | 移动鼠标 |
| drag | 拖动鼠标 |
| scroll | 滚动页面 |
| key_press | 按下键盘按键 |
| type_text | 输入文本 |
| hotkey | 执行组合快捷键 |
| screenshot | 获取当前屏幕 |
1. 鼠标操作
以 Python 的 PyAutoGUI 为例:
import pyautogui
# 移动鼠标
pyautogui.moveTo(640, 480, duration=0.3)
# 点击鼠标
pyautogui.click(640, 480)
# 双击
pyautogui.doubleClick(640, 480)
# 右键点击
pyautogui.rightClick(640, 480)
# 拖动
pyautogui.moveTo(300, 300)
pyautogui.dragTo(600, 500, duration=0.5)
这些操作的本质是将坐标和动作转换成操作系统可以识别的输入事件。
2. 键盘操作
键盘输入可以分为普通文本输入、按键操作和组合快捷键。
import pyautogui
# 输入文本
pyautogui.write("Hello Computer Use", interval=0.05)
# 按下回车
pyautogui.press("enter")
# 使用快捷键复制
pyautogui.hotkey("ctrl", "c")
# 使用快捷键粘贴
pyautogui.hotkey("ctrl", "v")
# 全选
pyautogui.hotkey("ctrl", "a")
需要注意,write() 主要适合输入普通字符。中文输入、特殊字符、输入法切换以及不同操作系统的键盘布局可能需要额外处理。
3. 动作抽象层
实际工程中,不应该让大模型直接生成任意 Python 代码并执行。
更合理的设计是提供一组受约束的动作接口。
例如:
from typing import Literal
from pydantic import BaseModel, Field
class ComputerAction(BaseModel):
action: Literal[
"click",
"double_click",
"move",
"scroll",
"type",
"press",
"hotkey",
"screenshot"
]
x: int | None = None
y: int | None = None
text: str | None = None
key: str | None = None
direction: Literal[
"up",
"down",
"left",
"right"
] | None = None
amount: int = Field(default=0, ge=0, le=1000)
模型可以输出结构化动作:
{
"action": "click",
"x": 640,
"y": 480
}
执行器负责校验参数并执行:
import pyautogui
def execute_action(action: ComputerAction):
if action.action == "click":
if action.x is None or action.y is None:
raise ValueError("点击操作缺少坐标")
pyautogui.click(action.x, action.y)
elif action.action == "type":
if action.text is None:
raise ValueError("输入操作缺少文本")
pyautogui.write(action.text)
elif action.action == "press":
if action.key is None:
raise ValueError("按键操作缺少按键")
pyautogui.press(action.key)
elif action.action == "screenshot":
return pyautogui.screenshot()
else:
raise ValueError("暂不支持该动作")
这里需要强调:示例仅展示动作抽象方式,生产系统还需要加入坐标边界校验、权限检查、超时控制、操作日志和异常恢复。
五、Computer Use 的核心执行循环
Computer Use 最重要的机制不是单个点击动作,而是不断观察环境、执行动作和更新状态的循环。
1. Observe-Think-Act 循环
可以将核心机制抽象为三个阶段:
- Observe:观察当前屏幕。
- Think:分析目标与当前状态,决定下一步动作。
- Act:执行动作并获取反馈。
flowchart TD
A["Observe:观察屏幕"] --> B["识别当前界面状态"]
B --> C["Think:分析任务目标"]
C --> D["选择下一步动作"]
D --> E["Act:执行鼠标或键盘操作"]
E --> F["获取新的屏幕状态"]
F --> G{"是否达到目标"}
G -->|"否"| A
G -->|"是"| H["完成任务"]
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
例如,用户要求智能体在浏览器中搜索一篇技术文章。
第一次观察时,浏览器显示搜索首页。
智能体决定点击搜索框并输入关键词。
执行后,浏览器显示搜索结果。
智能体重新观察页面,识别搜索结果列表,再选择目标文章。
每次动作都会改变环境,因此下一步决策应该基于最新界面状态,而不是始终依赖最初的截图。
2. 为什么不能一次生成全部动作?
假设智能体计划执行:
打开浏览器
点击地址栏
输入网址
按下回车
等待页面加载
点击登录
输入账号
输入密码
点击提交
如果直接生成全部动作并连续执行,会出现很多问题:
- 浏览器可能没有成功打开。
- 地址栏可能没有获得焦点。
- 页面可能加载失败。
- 登录按钮可能位置变化。
- 登录页面可能出现验证码。
- 提交后可能出现错误提示。
如果前面的动作失败,后面的动作就可能全部失效。
因此,更可靠的执行方式是将任务拆分为多个阶段,每个阶段都进行必要的状态验证。
3. 动作执行粒度
并不是所有动作都需要单独调用一次大模型。
例如:
点击搜索框
输入关键词
按下回车
这三个动作之间关系明确,可以作为一个短操作批次执行。
但是,搜索完成后打开哪个结果,需要根据页面内容重新判断。
工程实践中可以采用:
- 确定性操作:允许批量执行。
- 状态依赖操作:执行后重新观察。
- 高风险操作:必须单独执行并验证。
- 不可逆操作:需要额外授权或人工确认。
这样可以兼顾效率与可靠性。
六、Computer Use 与多模态大模型
Computer Use 通常需要多模态大模型参与,因为系统既要理解屏幕图像,也要根据自然语言目标生成操作指令。
1. 多模态输入
与普通文本任务不同,Computer Use 的输入通常包含:
- 用户任务描述。
- 当前屏幕截图。
- 历史操作记录。
- 当前任务状态。
- 可用动作列表。
- 执行环境信息。
例如:
{
"task": "打开浏览器并搜索 Python 教程",
"screen": {
"width": 1920,
"height": 1080,
"image": "当前屏幕截图"
},
"history": [
"启动浏览器"
],
"available_actions": [
"click",
"type",
"press",
"scroll",
"screenshot"
]
}
模型需要综合这些信息,判断下一步动作。
2. 多模态输出
模型输出不一定只是自然语言,也可以是结构化动作。
例如:
{
"reasoning_summary": "搜索页面已经打开,需要输入关键词",
"action": {
"type": "click",
"coordinate": {
"x": 720,
"y": 320
}
}
}
然后由执行器将动作发送给操作系统。
这里的 reasoning_summary 仅用于描述可展示的决策依据,不应要求模型暴露内部完整推理过程。
3. 坐标预测与视觉定位
模型可以采用不同方式表示目标位置。
绝对坐标
{
"x": 640,
"y": 480
}
直接表示屏幕上的位置。
优点是简单,缺点是容易受到屏幕分辨率、窗口位置和缩放比例影响。
相对坐标
{
"x_ratio": 0.5,
"y_ratio": 0.45
}
将坐标表示为屏幕宽度和高度的比例。
换算公式:
其中:
- W:屏幕宽度。
- H:屏幕高度。
相对坐标可以降低分辨率变化带来的影响,但无法解决布局变化和元素移动问题。
边界框定位
{
"element": "搜索按钮",
"bbox": [600, 430, 700, 480]
}
其中边界框表示:
执行器可以选择边界框中心点进行点击:
边界框能够提供比单点坐标更多的空间信息。
4. 多模态模型的局限性
视觉模型并不是绝对可靠的。
常见问题包括:
- 小字体识别错误。
- 图标语义理解错误。
- 相似按钮混淆。
- 屏幕遮挡导致目标丢失。
- 页面动画造成截图状态不稳定。
- 对复杂表格和密集布局理解不准确。
- 将视觉上的相邻元素误认为具有相同功能。
因此,生产系统应尽可能结合视觉识别、DOM、可访问性树和操作结果验证,而不是完全依赖模型猜测坐标。
七、浏览器自动化与桌面自动化
Computer Use 可以应用于不同的计算机操作环境,但浏览器和桌面应用的技术实现存在明显差异。
1. 浏览器自动化
浏览器通常具有较丰富的结构化信息。
例如:
- DOM 节点。
- 元素属性。
- CSS 选择器。
- Accessibility Tree。
- 页面 URL。
- 网络请求和加载状态。
因此,可以通过 Playwright 等工具直接获取网页元素。
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=False)
page = browser.new_page()
page.goto("https://example.com")
print(page.title())
page.screenshot(path="page.png")
browser.close()
如果要操作搜索框:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(headless=False)
page = browser.new_page()
page.goto("https://example.com")
search_box = page.locator("input[name='q']")
search_box.fill("Python 教程")
search_box.press("Enter")
page.wait_for_load_state("domcontentloaded")
browser.close()
这里使用 DOM 定位,而不是依赖固定屏幕坐标。
这种方式通常更加稳定,也更容易判断操作是否成功。
2. 桌面自动化
桌面应用的情况更加复杂。
例如:
- Excel。
- Word。
- Photoshop。
- 本地文件管理器。
- 企业内部桌面客户端。
- 没有开放 API 的传统业务系统。
这些软件可能没有可直接访问的网页 DOM,需要借助:
- Windows UI Automation。
- macOS Accessibility API。
- Linux AT-SPI。
- 图像识别和 OCR。
- 鼠标键盘模拟工具。
对于桌面软件,Computer Use 可以通过截图识别控件,并执行鼠标键盘操作。
3. 两种方式如何选择?
| 任务场景 | 推荐方式 |
|---|---|
| 打开网页和导航 | 浏览器自动化 |
| 填写网页表单 | DOM 或可访问性树 |
| 点击网页中的复杂控件 | DOM 优先,视觉辅助 |
| 操作本地 Excel | Office API 或桌面自动化 |
| 操作传统桌面软件 | UI Automation 或视觉操作 |
| 操作没有开放接口的软件 | Computer Use |
| 复杂跨应用流程 | API、浏览器自动化与 Computer Use 组合 |
一个重要的工程原则是:
能够通过稳定 API 完成的任务,不必强行使用 Computer Use;只有在界面交互确实有价值时,才使用视觉操作。
八、Computer Use 的典型应用场景
Computer Use 的优势在于跨应用操作和处理缺少标准 API 的任务。
1. 浏览器信息采集
用户要求:
打开浏览器,搜索最近发布的 AI 技术文章,整理标题和链接。
智能体可以:
- 打开浏览器。
- 进入搜索网站。
- 输入关键词。
- 获取搜索结果。
- 识别文章标题。
- 打开目标页面。
- 整理信息。
- 输出结果。
对于能够通过搜索 API 或网页 DOM 获取的信息,优先使用结构化接口;Computer Use 可以用于需要真实界面交互的补充步骤。
2. 办公软件自动化
例如:
将下载目录中的销售数据整理成 Excel 报表,并生成柱状图。
智能体可以:
- 打开文件管理器。
- 定位数据文件。
- 打开 Excel。
- 创建工作表。
- 填写数据。
- 设置表格格式。
- 创建图表。
- 保存文件。
但对于文件读取、数据处理和图表生成,直接使用 Python、Excel API 或 Office 自动化接口通常更高效。Computer Use 更适合补充那些必须通过图形界面完成的操作。
3. 跨应用任务
例如:
从浏览器中获取客户信息,将其整理到 Excel,再通过邮件发送给指定联系人。
这是一个典型的跨应用任务。
flowchart TD
A["接收用户任务"] --> B["打开浏览器"]
B --> C["获取客户信息"]
C --> D["提取并整理数据"]
D --> E["打开 Excel"]
E --> F["创建数据表格"]
F --> G["保存文件"]
G --> H["打开邮件客户端"]
H --> I["创建邮件"]
I --> J["添加附件"]
J --> K{"是否获得发送授权"}
K -->|"否"| L["等待人工确认"]
L --> M{"是否批准"}
M -->|"否"| N["取消发送"]
M -->|"是"| O["发送邮件"]
K -->|"是"| O
O --> P["验证发送结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style M fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style N fill:#F7EAE7,stroke:#C98D7C,color:#754438
style O fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style P fill:#DCEFE5,stroke:#4F8B70,color:#24563F
需要注意,发送邮件、提交订单、修改业务数据等操作可能产生实际影响。智能体应在执行前验证收件人、附件和内容,并根据风险等级要求人工审批。
九、Computer Use 的异常处理与失败恢复
图形界面操作具有较强的不确定性,不能假设每个动作都能成功执行。
生产级 Computer Use 必须具备异常检测、动作重试、状态恢复和任务终止机制。
1. 常见异常
| 异常类型 | 可能原因 | 处理方式 |
|---|---|---|
| 找不到目标元素 | 页面布局变化 | 重新截图并识别 |
| 点击无效 | 坐标偏移或控件未加载 | 重新定位并验证 |
| 页面加载超时 | 网络或服务异常 | 等待、重试或终止 |
| 输入失败 | 输入框未获得焦点 | 重新点击并检查 |
| 弹窗遮挡 | 出现新窗口或提示 | 识别弹窗并判断 |
| 页面状态错误 | 操作顺序不正确 | 重新规划步骤 |
| 操作权限不足 | 系统拒绝操作 | 请求授权或退出 |
| 操作结果不明确 | 缺少明确反馈 | 重新观察并核验 |
2. 异常处理流程
flowchart TD
A["执行计算机操作"] --> B["获取操作反馈"]
B --> C{"是否成功"}
C -->|"是"| D["更新任务状态"]
C -->|"否"| E["识别异常类型"]
E --> F{"是否可以自动恢复"}
F -->|"是"| G["重新观察当前界面"]
G --> H["调整操作策略"]
H --> I{"是否超过重试次数"}
I -->|"否"| A
I -->|"是"| J["记录失败并停止"]
F -->|"否"| K{"是否需要人工处理"}
K -->|"是"| L["请求人工介入"]
K -->|"否"| J
L --> M{"人工处理完成"}
M -->|"是"| G
M -->|"否"| J
D --> N["继续执行任务"]
style A fill:#EAF3EC,stroke:#83A995,color:#315D49
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#F7EAE7,stroke:#C98D7C,color:#754438
style K fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style L fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style M fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style N fill:#DCEFE5,stroke:#4F8B70,color:#24563F