Agenty
官方使用AI进行网页抓取、爬取和变更检测
你可以用 Agenty MCP 做什么?
- 将页面转换为 Markdown — 使用
markdown工具,将 URL 或原始 HTML 转换为干净、可读的 Markdown,以生成适合 LLM 使用的内容。 - 捕获截图 — 使用
screenshot捕获整页或裁剪的 PNG/JPEG 图像,支持自定义视口和设备模拟。 - 抓取渲染后的 HTML — 使用
scrape获取动态内容加载后 JavaScript 密集型页面的完整渲染 HTML。 - 提取结构化数据 — 使用
extract通过 CSS 选择器或 XPath 提取特定字段,如价格、标题或评论。 - 生成 PDF — 使用
pdf将页面导出为 PDF,支持格式、边距、横向以及页眉/页脚选项。 - 发现站点结构 — 使用
sitemap读取站点的 sitemap.xml,并返回所有发现的 URL,支持排除模式。
文档
Agenty AI 提供了一个模型上下文协议(MCP)服务器,让 Claude、Cursor 等 AI 助手以及任何兼容 MCP 的客户端都能直接访问浏览器自动化工具。您可以使用 LLM 模型捕获屏幕截图、生成 PDF、抓取网页、提取结构化数据、将页面转换为 Markdown 等。
在本文中,我将介绍如何连接到 Agenty 的 MCP 服务器以及如何使用每个可用工具。
前提条件
在连接之前,您需要:
- 一个 Agenty AI 账户和 API 密钥
- 一个兼容 MCP 的客户端,如 Claude Desktop、Cursor、Windsurf 或任何支持模型上下文协议的工具
- 如果您使用 CLI 或本地配置文件,则需要 Node.js 18 或更高版本
如何连接
将以下配置添加到您的 MCP 客户端。对于 Claude Desktop,将其放在 claude_desktop_config.json 中。对于 Cursor,将其放在您的 .cursor/mcp.json 文件中。
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
将 YOUR_API_KEY 替换为您 Agenty AI > 设置 > API 密钥中的密钥。添加后,重新启动客户端,Agenty 工具将出现在工具列表中。对于支持 OAuth 或基于令牌登录的客户端,您可以直接通过 Agenty AI 登录流程进行身份验证,无需手动粘贴密钥。
可用工具
Agenty MCP 服务器提供十一个工具,涵盖最常见的浏览器自动化需求。每个工具都接受 URL 或原始 HTML 作为输入,并附带用于控制浏览器行为的可选参数。
Markdown MCP
markdown 工具 加载页面,去除导航、页脚、脚本、广告和其他样板内容,并将剩余的可读内容转换为干净的 Markdown。它可以解析相对链接为绝对 URL,并移除 data 图片。
这对于将网页内容输入 LLM、构建 RAG 流水线或保存文章的可读版本特别有用。
示例提示:
“将 Web scraping - Wikipedia 转换为 Markdown”
“获取这篇博客文章的 Markdown 内容:https://example.com/article”
Screenshot MCP
screenshot 工具 启动真实浏览器,加载页面,并将其捕获为 PNG 或 JPEG 图像。它支持整页截图、裁剪区域、自定义视口、设备模拟以及调整大小和旋转等图像操作。
当您想要页面的视觉快照、需要记录 UI 或想验证网站在特定屏幕尺寸下的外观时,这非常有用。
示例提示:
“截取 https://example.com 的整页截图并以 PNG 格式返回”
“使用 iPhone 14 视口截取 https://agenty.ai 的移动端截图”
Web Scraping MCP
web scrape 工具 在真实浏览器中加载 URL,完整执行 JavaScript 并返回渲染后的 HTML。与简单的 HTTP 请求不同,它会等待动态内容加载完成,因此对于单页应用和 JavaScript 密集型页面非常可靠。
当您需要页面在所有脚本运行后用户所看到的原始 HTML 时,请使用此工具。
示例提示:
“抓取 https://news.ycombinator.com 的 HTML 并返回完整的渲染内容”
“抓取此页面并等待 3 秒让动态内容加载:https://example.com/dashboard”
Web Crawling MCP
links crawling 工具 渲染页面并提取 DOM 中找到的每个超链接。它返回所有锚点 href 的扁平列表,您可以用它来构建爬取队列、审计内部链接或发现内容。
示例提示:
“查找 https://agenty.ai 上的所有链接”
“从 https://example.com/blog 提取所有链接并给我一个文章 URL 列表”
PDF MCP
PDF 工具 在真实浏览器中渲染页面并将其导出为 PDF。您可以设置页面格式(A4、Letter 等)、启用横向模式、设置边距、显示或隐藏背景,以及提供自定义页眉和页脚。
示例提示:
“生成 https://agenty.ai 的 A4 格式 PDF,并启用打印背景”
“创建 https://example.com/report 的横向 PDF”
Data Extraction MCP
extract 工具 渲染页面并使用 CSS 选择器或 XPath 提取结构化数据。它适合从渲染后的页面中提取特定字段,如产品价格、评论数量、职位名称或任何重复元素。
示例提示:
“从 https://example.com/products 提取产品名称和价格”
“获取 https://news.ycombinator.com 的所有标题”
Sitemap MCP
sitemap crawler 工具 读取网站的 sitemap.xml,跟踪 sitemap 索引文件,并返回所有发现的 URL 的完整列表。它支持排除模式以过滤掉某些路径。
使用此工具可以快速了解网站的完整结构,或为大型网站构建爬取列表。
示例提示:
“查找 https://agenty.ai 的 sitemap 中的所有 URL”
“获取 https://example.com 的 sitemap,并排除任何包含 /blog/ 的 URL”
Redirect Tracing MCP
redirects capture 工具 跟踪给定 URL 的所有 HTTP 重定向,并返回完整链,包括每个中间 URL、状态码和最终目标。
这对于调试损坏的链接、验证规范 URL 以及审计联盟或短链接很有帮助。
示例提示:
“跟踪 https://bit.ly/some-link 的所有重定向”
“显示 https://example.com/old-page 的重定向链”
Email Scraper MCP
emails scraper 工具 加载一个或多个 URL(一次最多十个),并提取渲染页面上找到的所有电子邮件地址。它可以处理混淆的地址和动态加载的联系方式部分。
示例提示:
“查找 https://example.com/contact 上的所有电子邮件地址”
“从这三个页面抓取电子邮件:https://site1.com、https://site2.com、https://site3.com”
Content MCP
content 工具 返回页面在 JavaScript 执行后的完整渲染 HTML。它与 scrape 类似,但针对需要最终 DOM 状态而非抓取管道的用例进行了优化。
示例提示:
“获取 https://example.com/app 的渲染 HTML 内容”
Snapshot MCP
snapshot 工具捕获页面的无障碍树——所有交互和可读元素的结构化列表,包括按钮、链接、输入框和标题。这是为需要在不处理原始 HTML 的情况下导航或理解页面的 AI 代理设计的。
示例提示:
“对 https://example.com 进行无障碍快照,以便我了解页面结构”
示例提示
以下是一些组合使用工具的多步骤示例:
审计网站内容:
“获取 https://example.com 的 sitemap,然后将前 5 个页面转换为 Markdown 并逐一总结”
生成视觉报告:
“在移动端和桌面端视口下截取 https://agenty.ai 的截图并展示给我”
构建联系人列表:
“查找 https://example.com/team 上的所有链接,然后从每个团队成员页面抓取电子邮件地址”
验证链接健康状态:
“从 https://example.com/blog 提取所有链接,并跟踪任何未返回 200 的链接的重定向链”
归档页面:
“将 https://example.com/article 转换为 Markdown 并生成 PDF 版本,两者都使用绝对链接”
支持的参数
所有基于导航的工具(screenshot、pdf、scrape、content、markdown、links、extract、redirects)共享一组通用的浏览器配置选项:
| 参数 | 类型 | 描述 |
|---|---|---|
url | string | 要加载的页面 URL。如果未提供 html,则为必填。 |
html | string | 要渲染的原始 HTML 字符串,而不是加载 URL。 |
waitFor | string or number | 在捕获前等待 CSS 选择器、若干毫秒或网络事件。 |
viewport | object | 设置 width、height、deviceScaleFactor、isMobile、hasTouch 和 isLandscape。 |
device | string | 模拟命名设备,如 iPhone 14 或 iPad Pro。 |
userAgent | string | 覆盖浏览器用户代理字符串。 |
cookies | array | 在页面加载前注入 Cookie。 |
blockAds | boolean | 阻止广告网络请求。抓取工具默认启用。 |
blockTrackers | boolean | 阻止跟踪和分析脚本。 |
goToOptions | object | 控制导航 timeout(毫秒)和 waitUntil 策略(load、domcontentloaded、networkidle0、networkidle2)。 |
setExtraHTTPHeaders | object | 以键值对形式添加自定义请求头。 |
rejectRequestPattern | array | 阻止匹配这些 URL 模式的请求。 |
requestInterceptors | array | 拦截匹配模式的请求并返回自定义响应。 |
authenticate | object | 为基本认证后面的页面设置 HTTP username 和 password。 |
anonymous | object | 通过代理路由并跳过匿名浏览的资源类型。 |
截图特定参数:
| 参数 | 类型 | 描述 |
|---|---|---|
options.fullPage | boolean | 捕获整个可滚动页面。默认为 true。 |
options.type | string | 图像格式:png 或 jpeg。默认为 png。 |
options.quality | number | JPEG 质量,从 0 到 100。 |
options.clip | object | 使用 x、y、width 和 height 捕获特定区域。 |
options.omitBackground | boolean | 使背景透明(仅限 PNG)。 |
manipulate | object | 使用 resize、rotate、flip 和 flop 对图像进行后处理。 |
responseType | string | 将图像作为 buffer(默认)或托管的 url 返回。 |
通过 MCP 使用截图工具时,结果默认以托管 URL 的形式返回。直接调用 API 时,responseType 默认为 buffer。设置 responseType: 'url' 以改为接收托管链接。
PDF 特定参数:
| 参数 | 类型 | 描述 |
|---|---|---|
options.format | string | 页面大小:A4、Letter、Legal、Tabloid、Ledger、A0 – A6。 |
options.landscape | boolean | 以横向方向渲染。 |
options.margin | object | 设置 top、bottom、left 和 right 边距。 |
options.printBackground | boolean | 在输出中包含 CSS 背景。 |
options.displayHeaderFooter | boolean | 在每页上显示页眉和页脚。 |
options.headerTemplate | string | 页面页眉的 HTML 模板。 |
options.footerTemplate | string | 页面页脚的 HTML 模板。 |
options.pageRanges | string | 打印特定页面,例如 1-5。 |
options.scale | number | 缩放页面内容。 |
emulateMedia | string | 以 screen 或 print 媒体类型渲染。 |
responseType | string | 将 PDF 作为 buffer(默认)或托管的 url 返回。 |
通过 MCP 使用 PDF 工具时,结果默认以托管 URL 的形式返回。直接调用 API 时,responseType 默认为 buffer。设置 responseType: 'url' 以改为接收托管链接。
速率限制与合理使用
每个 API 密钥都有基于您套餐的月度请求限制。包含大量 JavaScript 或大型 PDF 的长时间运行页面会消耗更多资源。使用 blockAds 和 blockTrackers 可加快请求速度并减少抓取工作负载的带宽消耗。
Agenty AI 的请求和响应模式特意保持与最广泛使用的浏览器自动化 API 兼容,包括 Browserless、Firecrawl、Cloudflare Browser Rendering 以及类似服务。如果您已经在使用这些提供商之一,只需更新基础 URL 和 API 密钥即可切换到 Agenty AI,无需重写现有请求。
| 提供商 | 迁移方式 |
|---|---|
| Browserless | 更改基础 URL 和 API 密钥。所有参数均兼容。 |
| Firecrawl | 更改基础 URL 和 API 密钥。Scrape、markdown 和 crawl 端点可直接映射。 |
| Cloudflare Browser Rendering | 更改基础 URL 和认证头。截图和内容参数均兼容。 |
| Puppeteer HTTP API | 大多数 goToOptions 和页面选项可 1:1 映射。 |

