一、什么是 Browser Agent?
Browser Agent(浏览器智能体)是指能够理解用户目标,并自主控制浏览器完成任务的 AI Agent。
传统浏览器自动化通常依赖预先编写的脚本,开发者需要明确指定访问哪个网址、点击哪个元素、填写什么内容以及如何处理页面跳转。
Browser Agent 则不同。用户只需要描述任务目标,智能体就可以根据当前网页状态,自主决定下一步操作,并根据执行结果调整后续策略。
例如,用户提出:
搜索最近发布的 AI Agent 技术文章,筛选出 5 篇有价值的内容,提取标题、作者、发布日期和链接,整理成表格。
Browser Agent 需要完成:
- 理解用户的搜索目标。
- 选择合适的搜索网站。
- 打开浏览器并访问搜索页面。
- 输入搜索关键词。
- 分析搜索结果。
- 识别相关技术文章。
- 打开目标文章并提取信息。
- 判断信息是否完整、是否重复。
- 整理成结构化表格。
- 返回最终结果。
整个过程涉及网页导航、页面理解、元素定位、信息提取和任务状态管理。
1. Browser Agent 与普通浏览器自动化的区别
| 对比维度 | 传统浏览器自动化 | Browser Agent |
|---|---|---|
| 执行目标 | 预定义操作步骤 | 用户描述的任务目标 |
| 执行路径 | 固定脚本 | 动态规划 |
| 页面识别 | CSS Selector、XPath | DOM、视觉理解、语义定位 |
| 决策方式 | 预设规则 | 模型推理与策略选择 |
| 异常处理 | 固定异常分支 | 根据页面状态调整 |
| 适应能力 | 页面变化容易失效 | 可以适应部分变化 |
| 信息提取 | 固定字段和选择器 | 根据任务动态提取 |
| 适用场景 | 重复性流程 | 非结构化网页任务 |
传统自动化关注的是如何执行指定步骤,而 Browser Agent 更关注如何完成用户目标。
2. Browser Agent 与 Computer Use 的区别
Browser Agent 和 Computer Use 都属于智能体操作计算机的能力,但两者的操作范围和交互方式不同。
| 对比维度 | Browser Agent | Computer Use |
|---|---|---|
| 操作范围 | 浏览器和网页 | 整个桌面环境 |
| 主要对象 | 网页、标签页、浏览器控件 | 浏览器、桌面软件、操作系统 |
| 主要技术 | DOM、Playwright、浏览器工具 | 截图、视觉模型、鼠标键盘 |
| 元素定位 | CSS、XPath、语义定位 | 坐标、视觉识别、控件树 |
| 操作方式 | 页面级操作和浏览器控制 | 图形界面操作 |
| 典型任务 | 搜索、采集、填写网页 | 跨应用操作和桌面自动化 |
两者并不是互斥关系。
Browser Agent 可以使用 Playwright 等工具完成网页操作,也可以在需要时调用 Computer Use,通过鼠标和键盘控制浏览器。
Browser Agent 关注浏览器任务的自主完成,Computer Use 关注计算机图形界面的通用操作。
二、Browser Agent 的整体架构
Browser Agent 通常由任务规划器、浏览器控制器、页面感知模块、动作执行器、信息提取模块和状态管理模块组成。
1. 核心架构
flowchart TD
A["用户任务目标"] --> B["Agent 控制器"]
B --> C["任务理解与规划"]
C --> D["Browser Agent"]
D --> E["浏览器控制层"]
E --> F["页面状态获取"]
F --> G["DOM 与视觉理解"]
G --> H["页面元素定位"]
H --> I["动作决策"]
I --> J["浏览器动作执行"]
J --> K["网页环境"]
K --> L["操作结果反馈"]
L --> M{"任务是否完成"}
M -->|"否"| F
M -->|"是"| N["信息整理与结果交付"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAF3EC,stroke:#83A995,color:#315D49
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style I fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style L fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style M fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style N fill:#DCEFE5,stroke:#4F8B70,color:#24563F
各模块职责如下:
| 模块 | 主要职责 |
|---|---|
| Agent 控制器 | 管理任务执行和整体状态 |
| 任务规划器 | 将自然语言目标拆分成操作步骤 |
| 浏览器控制层 | 管理浏览器、标签页和页面 |
| 页面感知模块 | 获取 DOM、截图和页面状态 |
| 元素定位模块 | 确定需要操作的网页元素 |
| 动作执行模块 | 执行点击、输入、滚动和导航 |
| 信息提取模块 | 从网页中提取结构化数据 |
| 状态管理模块 | 保存历史操作、任务进度和异常信息 |
2. Browser Agent 的三层结构
从工程实现角度,可以将 Browser Agent 划分为三个层次。
智能决策层
负责理解任务、拆分步骤、选择工具、分析页面和制定下一步操作。
浏览器控制层
负责管理浏览器实例、标签页、页面加载、网络状态以及浏览器上下文。
网页交互层
负责定位 DOM 元素、点击按钮、填写表单、提取文本和执行页面操作。
flowchart TB
A["智能决策层"]
A1["任务理解"]
A2["步骤规划"]
A3["工具选择"]
A4["结果判断"]
B["浏览器控制层"]
B1["浏览器实例"]
B2["标签页管理"]
B3["页面生命周期"]
B4["会话与上下文"]
C["网页交互层"]
C1["DOM 解析"]
C2["元素定位"]
C3["页面操作"]
C4["信息提取"]
A --> B
B --> C
A1 --> A
A2 --> A
A3 --> A
A4 --> A
B1 --> B
B2 --> B
B3 --> B
B4 --> B
C1 --> C
C2 --> C
C3 --> C
C4 --> C
style A fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style A1 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style A2 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style A3 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style A4 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B1 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B2 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B3 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style B4 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style C1 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C2 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C3 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style C4 fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
三层之间通过工具接口和状态数据进行协作。智能决策层不需要直接操作浏览器底层,而是通过浏览器控制层提供的能力完成任务。
三、浏览器控制:智能体如何连接浏览器?
Browser Agent 首先需要获得浏览器控制能力。
它必须能够创建浏览器实例、打开网页、管理标签页、获取页面内容,并执行浏览器操作。
1. 浏览器自动化的基本原理
浏览器自动化工具通常通过浏览器提供的调试协议或自动化接口与浏览器通信。
以 Chromium 为例,常见的控制方式包括:
- Chrome DevTools Protocol(CDP)。
- WebDriver 协议。
- Playwright 自身的浏览器控制机制。
- 浏览器扩展提供的交互接口。
这些技术可以让外部程序访问浏览器页面、读取 DOM、执行 JavaScript、模拟输入和获取截图。
2. Playwright
Playwright 是目前常用的浏览器自动化工具之一,支持 Chromium、Firefox 和 WebKit。
它可以完成:
- 启动浏览器。
- 创建浏览器上下文。
- 打开网页。
- 定位页面元素。
- 点击和输入。
- 监听页面加载。
- 获取页面文本。
- 保存截图。
安装:
pip install playwright
playwright install
基本示例:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(
headless=False
)
context = browser.new_context()
page = context.new_page()
page.goto("https://example.com")
print(page.title())
print(page.url)
browser.close()
其中:
| 对象 | 作用 |
|---|---|
| Browser | 浏览器实例 |
| BrowserContext | 独立浏览器上下文 |
| Page | 浏览器标签页 |
| Locator | 页面元素定位器 |
| Frame | 页面中的框架 |
| BrowserType | 浏览器类型 |
3. BrowserContext 的作用
BrowserContext 是浏览器自动化中非常重要的概念。
一个浏览器实例可以创建多个独立的 BrowserContext,每个上下文可以拥有独立的 Cookie、缓存和会话存储。
例如:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(
headless=False
)
context_a = browser.new_context()
context_b = browser.new_context()
page_a = context_a.new_page()
page_b = context_b.new_page()
page_a.goto("https://example.com")
page_b.goto("https://example.org")
browser.close()
这种隔离方式适合:
- 多用户并行任务。
- 不同账号的浏览器操作。
- Agent 会话隔离。
- 独立测试环境。
- 防止不同任务共享登录状态。
需要注意,BrowserContext 主要隔离浏览器会话数据,并不等同于操作系统级安全沙箱。
4. 浏览器连接与生命周期管理
生产环境不应该每执行一个动作就重新启动浏览器。
通常会由浏览器管理器负责:
- 创建浏览器实例。
- 分配浏览器上下文。
- 创建和管理标签页。
- 维护连接状态。
- 处理浏览器崩溃。
- 释放不再使用的资源。
浏览器的生命周期可以表示为:
flowchart TD
A["接收浏览器任务"] --> B["检查浏览器实例"]
B --> C{"浏览器是否可用"}
C -->|"否"| D["启动浏览器"]
C -->|"是"| E["复用浏览器"]
D --> F["创建 BrowserContext"]
E --> F
F --> G["创建或选择 Page"]
G --> H["执行网页任务"]
H --> I{"是否还有后续任务"}
I -->|"是"| H
I -->|"否"| J["释放上下文或保留会话"]
J --> K["任务结束"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#EAF3EC,stroke:#83A995,color:#315D49
style I fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style J fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
四、网页感知:智能体如何理解网页?
浏览器打开网页后,Browser Agent 需要获取页面信息,并将其转换为模型可以理解的上下文。
与 Computer Use 主要依赖屏幕截图不同,Browser Agent 通常可以直接获取网页结构。
1. DOM 是什么?
DOM(Document Object Model,文档对象模型)是浏览器将 HTML 文档解析后形成的树形结构。
例如:
<html>
<body>
<h1>AI 技术文章</h1>
<input
type="text"
placeholder="请输入关键词"
/>
<button>搜索</button>
<a href="/article/1">
查看文章
</a>
</body>
</html>
浏览器会将 HTML 转换成 DOM 节点树。
可以简化为:
Document
└── html
└── body
├── h1
│ └── "AI 技术文章"
├── input
├── button
│ └── "搜索"
└── a
└── "查看文章"
DOM 能够提供比截图更明确的结构信息。
例如,Agent 可以知道:
- 页面有哪些按钮。
- 哪些元素是输入框。
- 按钮对应的文本是什么。
- 链接指向哪个地址。
- 元素是否可见。
- 元素是否可以交互。
2. DOM 与 HTML 的区别
HTML 是描述网页结构的标记语言,而 DOM 是浏览器解析 HTML 后形成的对象模型。
二者不能简单地视为同一个东西。
HTML 描述初始文档结构,DOM 则是浏览器运行时的结构状态。
当 JavaScript 修改页面时,DOM 可能发生变化,而原始 HTML 文本不一定同步变化。
例如:
document.querySelector("h1").textContent =
"新的文章标题";
这段代码修改了当前页面中的 DOM 节点。
因此,Browser Agent 应当关注当前页面的运行时状态,而不能始终依赖最初获取的 HTML。
3. 获取 DOM 内容
使用 Playwright 可以读取页面内容:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch()
page = browser.new_page()
page.goto("https://example.com")
html = page.content()
print(html)
browser.close()
如果只需要页面文本:
text = page.locator("body").inner_text()
print(text)
如果需要获取链接:
links = page.locator("a").evaluate_all("""
elements => elements.map(element => ({
text: element.innerText,
href: element.href
}))
""")
print(links)
这些接口可以帮助 Agent 获取页面中的结构化数据。
4. Accessibility Tree
除了 DOM,浏览器还可以提供 Accessibility Tree(无障碍树)。
它是浏览器根据网页结构、语义和无障碍属性形成的可访问性信息结构。
例如:
<button aria-label="搜索文章">
<svg></svg>
</button>
这个按钮虽然没有可见文字,但通过 aria-label 提供了明确的语义信息。
无障碍树可以帮助智能体理解:
- 元素角色。
- 元素名称。
- 元素状态。
- 元素之间的层级关系。
- 可交互元素的语义。
常见角色包括:
| Role | 含义 |
|---|---|
| button | 按钮 |
| textbox | 文本输入框 |
| link | 链接 |
| checkbox | 复选框 |
| radio | 单选框 |
| heading | 标题 |
| combobox | 组合选择框 |
| list | 列表 |
对于结构良好的网页,Accessibility Tree 往往比单纯依赖截图更适合智能体进行语义定位。
5. 页面截图与视觉理解
虽然 DOM 和无障碍树非常有用,但它们并不能解决所有问题。
例如:
- 页面没有正确设置语义属性。
- 重要内容通过 Canvas 绘制。
- 页面使用复杂的自定义控件。
- 网页存在图片验证码。
- 页面布局关系影响操作判断。
这时就需要结合截图和视觉模型。
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch()
page = browser.new_page(
viewport={
"width": 1280,
"height": 800
}
)
page.goto("https://example.com")
page.screenshot(
path="page.png",
full_page=True
)
browser.close()
工程实践中,可以采用混合感知策略:
- DOM 用于结构获取。
- Accessibility Tree 用于语义定位。
- OCR 用于识别图片中的文字。
- 视觉模型用于理解布局和复杂界面。
- 截图用于辅助判断页面实际显示状态。
五、网页元素定位:智能体如何找到目标?
网页感知之后,Agent 需要找到真正需要操作的元素。
例如,用户要求:
点击搜索按钮。
模型必须找到页面中对应的搜索按钮,并确认它是当前任务需要的目标,而不是其他位置的同名按钮。
1. CSS Selector
CSS Selector 是通过 CSS 选择器语法定位 DOM 元素的方式。
例如:
page.locator("#search")
表示定位 id="search" 的元素。
page.locator(".search-button")
表示定位具有 search-button 类名的元素。
page.locator("input[name='keyword']")
表示定位指定名称的输入框。
优点:
- 定位精确。
- 执行效率高。
- 适合结构稳定的网页。
缺点:
- 依赖页面 DOM 结构。
- 页面改版后可能失效。
- 对模型而言,可读性不一定最好。
2. XPath
XPath 是用于在 XML 或 HTML 树结构中定位节点的查询语言。
例如:
page.locator("//button[text()='搜索']")
也可以使用:
page.locator(
"//input[@placeholder='请输入关键词']"
)
XPath 可以根据文本、属性和节点关系进行定位。
但复杂 XPath 容易依赖页面层级,导致页面结构变化后出现定位问题。
3. 语义定位
相比 CSS 和 XPath,语义定位更接近人类表达。
例如:
page.get_by_role(
"button",
name="搜索"
).click()
也可以:
page.get_by_placeholder(
"请输入关键词"
).fill("AI Agent")
或者:
page.get_by_text(
"查看文章"
).click()
语义定位的优势在于:
- 表达方式更自然。
- 更容易与用户任务对应。
- 不需要记住复杂的 DOM 层级。
- 适合大模型根据页面语义选择操作对象。
但语义定位也需要处理同名元素、模糊匹配和元素数量不唯一等问题。
4. 定位策略的优先级
在生产环境中,可以采用以下策略:
| 优先级 | 定位方式 | 适用情况 |
|---|---|---|
| 1 | 唯一 ID 或稳定属性 | 页面提供稳定标识 |
| 2 | Role 和 Accessible Name | 控件语义清晰 |
| 3 | Label 和 Placeholder | 表单元素 |
| 4 | 文本定位 | 页面文字明确 |
| 5 | CSS Selector | 需要精确结构定位 |
| 6 | XPath | 复杂节点关系 |
| 7 | 视觉坐标 | 无法获取可靠结构信息 |
这里不是绝对的技术排名。实际选择应以元素唯一性、稳定性和页面语义质量为准。
5. 定位后的验证
定位到元素并不代表可以直接执行。
需要检查:
- 元素是否存在。
- 元素是否唯一。
- 元素是否可见。
- 元素是否可交互。
- 元素是否被其他内容遮挡。
- 当前元素是否属于正确的页面或区域。
例如:
search_button = page.get_by_role(
"button",
name="搜索"
)
count = search_button.count()
if count != 1:
raise RuntimeError(
f"搜索按钮数量异常:{count}"
)
if not search_button.is_visible():
raise RuntimeError(
"搜索按钮不可见"
)
if not search_button.is_enabled():
raise RuntimeError(
"搜索按钮不可用"
)
search_button.click()
这可以减少因定位错误导致的误操作。
六、网页动作执行:智能体如何操作页面?
Browser Agent 的动作执行层负责将模型的决策转换为浏览器操作。
1. 页面导航
页面导航是浏览器操作的基础。
page.goto(
"https://example.com",
wait_until="domcontentloaded"
)
常见等待条件包括:
| 等待条件 | 含义 |
|---|---|
| commit | 浏览器收到响应并开始加载文档 |
| domcontentloaded | DOM 内容加载完成 |
| load | 页面及相关资源触发 load 事件 |
| networkidle | 网络活动达到空闲状态 |
需要注意,networkidle 并不适合所有网站。存在长连接、轮询或持续网络请求的页面可能一直无法进入空闲状态。
实际工程中应结合具体任务选择等待条件,并使用元素可见、URL 变化或业务状态等条件判断页面是否就绪。
2. 点击操作
page.get_by_role(
"button",
name="搜索"
).click()
Playwright 的 Locator 通常会自动进行可操作性检查,并在合理范围内等待元素满足条件。
但点击成功并不代表目标业务已经完成。
例如,点击提交按钮后,还需要验证页面是否出现提交成功提示。
3. 输入文本
search_box = page.get_by_placeholder(
"请输入关键词"
)
search_box.fill("Browser Agent")
fill() 会将输入框内容设置为指定文本。
如果需要模拟逐字符输入,可以使用:
search_box.press_sequentially(
"Browser Agent",
delay=80
)
两者适用场景不同:
fill():快速设置输入框内容。press_sequentially():模拟逐字符输入,适合需要触发键盘输入事件的场景。
4. 表单填写
page.get_by_label(
"用户名"
).fill("demo_user")
page.get_by_label(
"邮箱"
).fill("demo@example.com")
page.get_by_role(
"button",
name="提交"
).click()
实际任务中,表单可能包含:
- 文本框。
- 密码框。
- 下拉列表。
- 单选框。
- 复选框。
- 日期选择器。
- 文件上传控件。
智能体需要根据字段类型选择正确的操作方式。
5. 页面滚动
page.evaluate("""
window.scrollBy({
top: 600,
behavior: "smooth"
})
""")
也可以将页面滚动到某个元素:
target = page.get_by_text(
"相关文章"
)
target.scroll_into_view_if_needed()
第二种方式更加适合目标元素驱动的自动化操作。
6. 标签页管理
Browser Agent 可能需要同时打开多个网页。
例如:
- 搜索结果页面。
- 文章详情页面。
- 参考资料页面。
- 数据整理页面。
Playwright 可以监听新页面:
with page.expect_popup() as popup_info:
page.get_by_text(
"打开详情"
).click()
new_page = popup_info.value
print(new_page.url)
也可以使用浏览器上下文监听新标签页:
new_pages = []
context.on(
"page",
lambda page: new_pages.append(page)
)
Agent 需要明确区分当前任务对应的标签页,避免在错误页面执行操作。
七、Browser Agent 的核心执行循环
Browser Agent 最重要的机制是不断获取页面状态、分析任务、执行动作和验证结果。
1. Observe-Think-Act
其基本模式可以概括为:
- Observe:获取当前网页状态。
- Think:理解页面并判断下一步。
- Act:执行浏览器操作。
- Verify:验证操作是否产生预期结果。
flowchart TD
A["Observe:获取页面状态"] --> B["解析 DOM 与页面内容"]
B --> C["Think:分析任务进度"]
C --> D["确定目标元素和操作"]
D --> E["Act:执行浏览器动作"]
E --> F["Verify:检查操作结果"]
F --> G{"是否达到目标"}
G -->|"否"| A
G -->|"是"| H["整理任务结果"]
style A fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style E fill:#EAF3EC,stroke:#83A995,color:#315D49
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style H fill:#DCEFE5,stroke:#4F8B70,color:#24563F
2. 为什么不能一次性生成所有浏览器操作?
假设用户要求:
登录网站,搜索指定商品,加入购物车,然后提交订单。
如果智能体一次性生成全部动作:
- 打开网站。
- 点击登录。
- 输入账号密码。
- 提交登录。
- 搜索商品。
- 点击商品。
- 加入购物车。
- 提交订单。
任何一个步骤发生变化,都可能导致后续操作失效。
例如:
- 登录失败。
- 网站弹出验证码。
- 搜索结果为空。
- 商品已经下架。
- 购物车按钮被禁用。
- 订单提交前出现确认页面。
因此,Browser Agent 必须根据每个关键操作的结果重新判断后续步骤。
3. 操作批次与状态验证
并不是每个浏览器动作都需要单独调用一次模型。
例如:
定位搜索框
填写关键词
按下回车
这几个操作具有明确的顺序关系,可以作为一个批次执行。
但搜索完成后,选择哪条结果取决于实际页面内容,需要重新观察。
推荐的操作粒度:
| 操作类型 | 建议执行方式 |
|---|---|
| 连续确定性操作 | 可以批量执行 |
| 页面导航 | 执行后检查 URL 和加载状态 |
| 动态搜索结果 | 重新读取页面 |
| 表单提交 | 单独执行并验证 |
| 删除和付款 | 强制风险检查 |
| 结果不明确 | 暂停并重新观察 |
核心原则是:确定性操作可以批量执行,依赖环境变化的操作必须及时验证。
八、Browser Agent 的信息提取机制
Browser Agent 不只是能够操作网页,还需要从网页中提取有价值的信息。
例如,用户要求收集 10 篇技术文章的标题、作者、发布日期和链接。
这就需要将网页内容转换为结构化数据。
1. 页面文本提取
最简单的方式是获取网页中的可见文本。
content = page.locator(
"body"
).inner_text()
print(content)
这种方式适合快速获取页面主要文本,但可能包含:
- 导航栏。
- 页脚。
- 广告。
- 相关推荐。
- 重复内容。
- 无关提示信息。
因此,不能将整个页面文本不加处理地直接交给模型。
2. DOM 结构化提取
如果页面结构比较稳定,可以通过选择器提取指定字段。
例如:
articles = page.locator(
".article-card"
).evaluate_all("""
elements => elements.map(element => ({
title: element.querySelector(".title")?.innerText,
author: element.querySelector(".author")?.innerText,
date: element.querySelector(".date")?.innerText,
link: element.querySelector("a")?.href
}))
""")
print(articles)
输出结构:
[
{
"title": "AI Agent 技术实践",
"author": "作者 A",
"date": "2026-11-20",
"link": "https://example.com/article/1"
},
{
"title": "Browser Agent 架构设计",
"author": "作者 B",
"date": "2026-11-19",
"link": "https://example.com/article/2"
}
]
以上字段和示例数据仅用于说明结构化提取方式。
3. 模型辅助提取
如果不同网站的页面结构不一致,可以先获取相关内容,再交给模型进行语义提取。
例如,要求模型输出:
{
"title": "文章标题",
"author": "作者名称",
"published_at": "发布日期",
"url": "文章链接",
"summary": "文章摘要"
}
模型负责理解非结构化内容,程序负责验证输出格式。
不应该直接将模型输出视为可信数据,还需要检查:
- 标题是否为空。
- URL 是否有效。
- 日期格式是否正确。
- 字段是否来自目标页面。
- 是否存在重复文章。
- 是否有字段被模型推测补全。
4. 信息提取的完整流程
flowchart TD
A["打开目标网页"] --> B["获取页面内容"]
B --> C["提取相关 DOM 区域"]
C --> D["清理无关信息"]
D --> E["模型语义提取"]
E --> F["生成结构化数据"]
F --> G["字段格式校验"]
G --> H{"数据是否完整"}
H -->|"否"| I["重新提取或访问详情页"]
I --> B
H -->|"是"| J["去重与数据合并"]
J --> K["输出最终结果"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style C fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style D fill:#EAF3EC,stroke:#83A995,color:#315D49
style E fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style F fill:#EAF3EC,stroke:#83A995,color:#315D49
style G fill:#EAF3EC,stroke:#83A995,color:#315D49
style H fill:#F7F4E8,stroke:#C7B77A,color:#675A2D
style I fill:#F7EAE7,stroke:#C98D7C,color:#754438
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#DCEFE5,stroke:#4F8B70,color:#24563F
5. 数据来源与可信度
Browser Agent 提取的数据应尽量保留来源信息。
建议使用以下数据结构:
article = {
"title": "Browser Agent 架构设计",
"author": "作者名称",
"published_at": "2026-11-20",
"url": "https://example.com/article/1",
"source": "example.com",
"extracted_at": "2026-11-21T08:00:00",
"confidence": 0.95
}
其中:
source:数据来源。extracted_at:提取时间。confidence:系统内部的可信度评估。
需要注意,模型输出的置信度并不天然等于真实准确率。生产系统应通过抽样核验和评估数据校准可信度。
九、Browser Agent 与 RAG 的结合
Browser Agent 可以与 RAG(Retrieval-Augmented Generation,检索增强生成)结合,实现网页搜索、信息采集和知识库更新。
二者解决的问题不同:
- Browser Agent 负责访问网页和获取外部信息。
- RAG 负责知识检索、上下文组织和增强生成。
1. Browser Agent + RAG 架构
flowchart TD
A["用户提出问题"] --> B["Agent 分析问题"]
B --> C["生成网页搜索策略"]
C --> D["Browser Agent"]
D --> E["搜索引擎"]
E --> F["获取网页结果"]
F --> G["访问目标页面"]
G --> H["提取网页内容"]
H --> I["清洗与文档解析"]
I --> J["文本切分"]
J --> K["生成 Embedding"]
K --> L["写入向量数据库"]
L --> M["RAG 检索"]
M --> N["上下文构建"]
N --> O["大模型生成回答"]
O --> P["返回答案与来源"]
style A fill:#DCEFE5,stroke:#4F8B70,color:#24563F
style B fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style C fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style D fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style E fill:#F5F8F4,stroke:#B5CBBB,color:#40594A
style F fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style G fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style H fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style I fill:#EAF3EC,stroke:#83A995,color:#315D49
style J fill:#EAF3EC,stroke:#83A995,color:#315D49
style K fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style L fill:#EAF3EC,stroke:#83A995,color:#315D49
style M fill:#E0F0FE,stroke:#93BCE8,color:#1E4976
style N fill:#EAF3EC,stroke:#83A995,color:#315D49
style O fill:#EAE8FA,stroke:#A49BD5,color:#51477D
style P fill:#DCEFE5,stroke:#4F8B70,color:#24563F