Agenty

官方

使用AI进行网页抓取、爬取和变更检测

你可以用 Agenty MCP 做什么?

  • 将页面转换为 Markdown — 使用 markdown 工具,将 URL 或原始 HTML 转换为干净、可读的 Markdown,以生成适合 LLM 使用的内容。
  • 捕获截图 — 使用 screenshot 捕获整页或裁剪的 PNG/JPEG 图像,支持自定义视口和设备模拟。
  • 抓取渲染后的 HTML — 使用 scrape 获取动态内容加载后 JavaScript 密集型页面的完整渲染 HTML。
  • 提取结构化数据 — 使用 extract 通过 CSS 选择器或 XPath 提取特定字段,如价格、标题或评论。
  • 生成 PDF — 使用 pdf 将页面导出为 PDF,支持格式、边距、横向以及页眉/页脚选项。
  • 发现站点结构 — 使用 sitemap 读取站点的 sitemap.xml,并返回所有发现的 URL,支持排除模式。

文档

Agenty AI 提供了一个模型上下文协议(MCP)服务器,让 Claude、Cursor 等 AI 助手以及任何兼容 MCP 的客户端都能直接访问浏览器自动化工具。您可以使用 LLM 模型捕获屏幕截图、生成 PDF、抓取网页、提取结构化数据、将页面转换为 Markdown 等。

在本文中,我将介绍如何连接到 Agenty 的 MCP 服务器以及如何使用每个可用工具。

前提条件

在连接之前,您需要:

  • 一个 Agenty AI 账户和 API 密钥
  • 一个兼容 MCP 的客户端,如 Claude Desktop、Cursor、Windsurf 或任何支持模型上下文协议的工具
  • 如果您使用 CLI 或本地配置文件,则需要 Node.js 18 或更高版本

如何连接

将以下配置添加到您的 MCP 客户端。对于 Claude Desktop,将其放在 claude_desktop_config.json 中。对于 Cursor,将其放在您的 .cursor/mcp.json 文件中。

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

YOUR_API_KEY 替换为您 Agenty AI > 设置 > API 密钥中的密钥。添加后,重新启动客户端,Agenty 工具将出现在工具列表中。对于支持 OAuth 或基于令牌登录的客户端,您可以直接通过 Agenty AI 登录流程进行身份验证,无需手动粘贴密钥。

可用工具

Agenty MCP 服务器提供十一个工具,涵盖最常见的浏览器自动化需求。每个工具都接受 URL 或原始 HTML 作为输入,并附带用于控制浏览器行为的可选参数。

Available Tools in Agenty MCP

Markdown MCP

markdown 工具 加载页面,去除导航、页脚、脚本、广告和其他样板内容,并将剩余的可读内容转换为干净的 Markdown。它可以解析相对链接为绝对 URL,并移除 data 图片。

这对于将网页内容输入 LLM、构建 RAG 流水线或保存文章的可读版本特别有用。

示例提示:

“将 Web scraping - Wikipedia 转换为 Markdown”

“获取这篇博客文章的 Markdown 内容:https://example.com/article

Website scraping preview using Claude desktop

Screenshot MCP

screenshot 工具 启动真实浏览器,加载页面,并将其捕获为 PNG 或 JPEG 图像。它支持整页截图、裁剪区域、自定义视口、设备模拟以及调整大小和旋转等图像操作。

当您想要页面的视觉快照、需要记录 UI 或想验证网站在特定屏幕尺寸下的外观时,这非常有用。

示例提示:

“截取 https://example.com 的整页截图并以 PNG 格式返回”

“使用 iPhone 14 视口截取 https://agenty.ai 的移动端截图”

Web Scraping MCP

web scrape 工具 在真实浏览器中加载 URL,完整执行 JavaScript 并返回渲染后的 HTML。与简单的 HTTP 请求不同,它会等待动态内容加载完成,因此对于单页应用和 JavaScript 密集型页面非常可靠。

当您需要页面在所有脚本运行后用户所看到的原始 HTML 时,请使用此工具。

示例提示:

“抓取 https://news.ycombinator.com 的 HTML 并返回完整的渲染内容”

“抓取此页面并等待 3 秒让动态内容加载:https://example.com/dashboard

Web Crawling MCP

links crawling 工具 渲染页面并提取 DOM 中找到的每个超链接。它返回所有锚点 href 的扁平列表,您可以用它来构建爬取队列、审计内部链接或发现内容。

示例提示:

“查找 https://agenty.ai 上的所有链接”

“从 https://example.com/blog 提取所有链接并给我一个文章 URL 列表”

PDF MCP

PDF 工具 在真实浏览器中渲染页面并将其导出为 PDF。您可以设置页面格式(A4、Letter 等)、启用横向模式、设置边距、显示或隐藏背景,以及提供自定义页眉和页脚。

示例提示:

“生成 https://agenty.ai 的 A4 格式 PDF,并启用打印背景”

“创建 https://example.com/report 的横向 PDF”

Data Extraction MCP

extract 工具 渲染页面并使用 CSS 选择器或 XPath 提取结构化数据。它适合从渲染后的页面中提取特定字段,如产品价格、评论数量、职位名称或任何重复元素。

示例提示:

“从 https://example.com/products 提取产品名称和价格”

“获取 https://news.ycombinator.com 的所有标题”

Sitemap MCP

sitemap crawler 工具 读取网站的 sitemap.xml,跟踪 sitemap 索引文件,并返回所有发现的 URL 的完整列表。它支持排除模式以过滤掉某些路径。

使用此工具可以快速了解网站的完整结构,或为大型网站构建爬取列表。

示例提示:

“查找 https://agenty.ai 的 sitemap 中的所有 URL”

“获取 https://example.com 的 sitemap,并排除任何包含 /blog/ 的 URL”

Redirect Tracing MCP

redirects capture 工具 跟踪给定 URL 的所有 HTTP 重定向,并返回完整链,包括每个中间 URL、状态码和最终目标。

这对于调试损坏的链接、验证规范 URL 以及审计联盟或短链接很有帮助。

示例提示:

“跟踪 https://bit.ly/some-link 的所有重定向”

“显示 https://example.com/old-page 的重定向链”

Email Scraper MCP

emails scraper 工具 加载一个或多个 URL(一次最多十个),并提取渲染页面上找到的所有电子邮件地址。它可以处理混淆的地址和动态加载的联系方式部分。

示例提示:

“查找 https://example.com/contact 上的所有电子邮件地址”

“从这三个页面抓取电子邮件:https://site1.comhttps://site2.comhttps://site3.com

Content MCP

content 工具 返回页面在 JavaScript 执行后的完整渲染 HTML。它与 scrape 类似,但针对需要最终 DOM 状态而非抓取管道的用例进行了优化。

示例提示:

“获取 https://example.com/app 的渲染 HTML 内容”

Snapshot MCP

snapshot 工具捕获页面的无障碍树——所有交互和可读元素的结构化列表,包括按钮、链接、输入框和标题。这是为需要在不处理原始 HTML 的情况下导航或理解页面的 AI 代理设计的。

示例提示:

“对 https://example.com 进行无障碍快照,以便我了解页面结构”

示例提示

以下是一些组合使用工具的多步骤示例:

审计网站内容:
“获取 https://example.com 的 sitemap,然后将前 5 个页面转换为 Markdown 并逐一总结”

生成视觉报告:
“在移动端和桌面端视口下截取 https://agenty.ai 的截图并展示给我”

构建联系人列表:
“查找 https://example.com/team 上的所有链接,然后从每个团队成员页面抓取电子邮件地址”

验证链接健康状态:
“从 https://example.com/blog 提取所有链接,并跟踪任何未返回 200 的链接的重定向链”

归档页面:
“将 https://example.com/article 转换为 Markdown 并生成 PDF 版本,两者都使用绝对链接”

支持的参数

所有基于导航的工具(screenshot、pdf、scrape、content、markdown、links、extract、redirects)共享一组通用的浏览器配置选项:

参数类型描述
urlstring要加载的页面 URL。如果未提供 html,则为必填。
htmlstring要渲染的原始 HTML 字符串,而不是加载 URL。
waitForstring or number在捕获前等待 CSS 选择器、若干毫秒或网络事件。
viewportobject设置 widthheightdeviceScaleFactorisMobilehasTouchisLandscape
devicestring模拟命名设备,如 iPhone 14 或 iPad Pro。
userAgentstring覆盖浏览器用户代理字符串。
cookiesarray在页面加载前注入 Cookie。
blockAdsboolean阻止广告网络请求。抓取工具默认启用。
blockTrackersboolean阻止跟踪和分析脚本。
goToOptionsobject控制导航 timeout(毫秒)和 waitUntil 策略(loaddomcontentloadednetworkidle0networkidle2)。
setExtraHTTPHeadersobject以键值对形式添加自定义请求头。
rejectRequestPatternarray阻止匹配这些 URL 模式的请求。
requestInterceptorsarray拦截匹配模式的请求并返回自定义响应。
authenticateobject为基本认证后面的页面设置 HTTP usernamepassword
anonymousobject通过代理路由并跳过匿名浏览的资源类型。

截图特定参数:

参数类型描述
options.fullPageboolean捕获整个可滚动页面。默认为 true
options.typestring图像格式:pngjpeg。默认为 png
options.qualitynumberJPEG 质量,从 0 到 100。
options.clipobject使用 xywidthheight 捕获特定区域。
options.omitBackgroundboolean使背景透明(仅限 PNG)。
manipulateobject使用 resizerotateflipflop 对图像进行后处理。
responseTypestring将图像作为 buffer(默认)或托管的 url 返回。

通过 MCP 使用截图工具时,结果默认以托管 URL 的形式返回。直接调用 API 时,responseType 默认为 buffer。设置 responseType: 'url' 以改为接收托管链接。

PDF 特定参数:

参数类型描述
options.formatstring页面大小:A4LetterLegalTabloidLedgerA0A6
options.landscapeboolean以横向方向渲染。
options.marginobject设置 topbottomleftright 边距。
options.printBackgroundboolean在输出中包含 CSS 背景。
options.displayHeaderFooterboolean在每页上显示页眉和页脚。
options.headerTemplatestring页面页眉的 HTML 模板。
options.footerTemplatestring页面页脚的 HTML 模板。
options.pageRangesstring打印特定页面,例如 1-5
options.scalenumber缩放页面内容。
emulateMediastringscreenprint 媒体类型渲染。
responseTypestring将 PDF 作为 buffer(默认)或托管的 url 返回。

通过 MCP 使用 PDF 工具时,结果默认以托管 URL 的形式返回。直接调用 API 时,responseType 默认为 buffer。设置 responseType: 'url' 以改为接收托管链接。

速率限制与合理使用

每个 API 密钥都有基于您套餐的月度请求限制。包含大量 JavaScript 或大型 PDF 的长时间运行页面会消耗更多资源。使用 blockAdsblockTrackers 可加快请求速度并减少抓取工作负载的带宽消耗。

Agenty AI 的请求和响应模式特意保持与最广泛使用的浏览器自动化 API 兼容,包括 BrowserlessFirecrawl、Cloudflare Browser Rendering 以及类似服务。如果您已经在使用这些提供商之一,只需更新基础 URL 和 API 密钥即可切换到 Agenty AI,无需重写现有请求。

提供商迁移方式
Browserless更改基础 URL 和 API 密钥。所有参数均兼容。
Firecrawl更改基础 URL 和 API 密钥。Scrape、markdown 和 crawl 端点可直接映射。
Cloudflare Browser Rendering更改基础 URL 和认证头。截图和内容参数均兼容。
Puppeteer HTTP API大多数 goToOptions 和页面选项可 1:1 映射。