Agenty

官方

使用AI進行網頁抓取、爬蟲及變更偵測

你可以用 Agenty MCP 做什麼?

  • 將任何網頁轉換為乾淨的 Markdown — 透過 markdown 移除網址中的導航、廣告與雜亂內容,取得適合 LLM 使用的內容。
  • 透過裝置模擬擷取螢幕截圖 — 使用 screenshot 拍攝全頁或裁切的 PNG/JPEG 螢幕截圖,並可模擬 iPhone 14 等裝置。
  • 擷取 JavaScript 渲染後的 HTML — 使用 scrape 取得所有腳本執行完畢後的最終 DOM,特別適合單頁應用程式(SPA)。
  • 使用選擇器提取結構化資料 — 透過 CSS 或 XPath 搭配 extract,從頁面中提取特定欄位(如價格或標題)。
  • 產生自訂格式的 PDF — 透過 pdf 將頁面匯出為 A4 或 Letter 尺寸的 PDF,並可控制邊距、頁首及列印背景。
  • 追蹤 HTTP 重新導向鏈 — 使用 redirects 追蹤網址的每次重新導向,以偵錯連結或驗證最終目標位置。

文件

Agenty AI 提供一個模型上下文協定 (Model Context Protocol, MCP) 伺服器,讓 Claude、Cursor 等 AI 助理及任何相容 MCP 的用戶端,都能直接存取瀏覽器自動化工具。你可以使用 LLM 模型來擷取螢幕截圖、產生 PDF、擷取網頁、提取結構化資料、將頁面轉換為 Markdown 等等。

本文將說明如何連線至 Agenty 的 MCP 伺服器,以及如何使用每個可用的工具。

先決條件

連線前,你需要準備:

  • Agenty AI 帳號和 API 金鑰
  • 相容 MCP 的用戶端,例如 Claude Desktop、Cursor、Windsurf,或任何支援模型上下文協定的工具
  • 如果你使用 CLI 或本機設定檔,需要 Node.js 18 或更新版本

如何連線

將以下設定新增至你的 MCP 用戶端。若使用 Claude Desktop,請放入 claude_desktop_config.json。若使用 Cursor,請放入你的 .cursor/mcp.json 檔案。

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

YOUR_API_KEY 替換為你 Agenty AI > 設定 > API 金鑰中的金鑰。新增完成後,重新啟動用戶端,Agenty 工具就會出現在工具列表中。

Agenty API 金鑰 1069×482 32.4 KB

對於支援 OAuth 或基於權杖登入的用戶端,你可以直接透過 Agenty AI 登入流程進行驗證,無需手動貼上金鑰。

可用工具

Agenty MCP 伺服器提供十一種工具,涵蓋最常見的瀏覽器自動化需求。每個工具都接受網址或原始 HTML 作為輸入,以及用於控制瀏覽器行為的選用參數。

Agenty MCP 中的可用工具 1265×795 60.9 KB

Markdown MCP

Markdown 工具會載入頁面,移除導覽列、頁尾、腳本、廣告和其他樣板內容,並將剩餘的可讀內容轉換為乾淨的 Markdown。它可以將相對連結解析為絕對網址,並移除資料圖片。

這對於將網頁內容提供給 LLM、建立 RAG 管道,或儲存文章的可讀版本特別有用。

提示範例:

「將 Web scraping - Wikipedia 轉換為 Markdown」

「取得這篇部落格文章的 Markdown 內容:https://example.com/article”

使用 Claude desktop 的網站擷取預覽 1272×844 67.2 KB

螢幕截圖 MCP

螢幕截圖工具會啟動真實瀏覽器,載入頁面,並將其擷取為 PNG 或 JPEG 圖片。它支援全頁截圖、裁剪區域、自訂視窗大小、裝置模擬,以及調整大小和旋轉等圖片處理。

當你需要頁面的視覺快照、記錄使用者介面,或想驗證網站在特定螢幕尺寸下的外觀時,這項工具非常實用。

提示範例:

「擷取 https://example.com 的全頁螢幕截圖,並以 PNG 格式回傳」

「使用 iPhone 14 視窗大小,擷取 https://agenty.ai 的行動版螢幕截圖」

網頁擷取 MCP

網頁擷取工具會在真實瀏覽器中載入網址,並執行完整的 JavaScript,然後回傳渲染後的 HTML。與簡單的 HTTP 請求不同,它會等待動態內容載入,因此對於單頁應用程式和大量使用 JavaScript 的頁面來說相當可靠。

當你需要頁面在所有腳本執行後、如同使用者實際看到的原始 HTML 時,可以使用此工具。

提示範例:

「擷取 https://news.ycombinator.com 的 HTML,並回傳完整的渲染內容」

「擷取此頁面,並等待 3 秒讓動態內容載入:https://example.com/dashboard”

網頁爬取 MCP

連結爬取工具會渲染頁面,並提取在 DOM 中找到的每個超連結。它會回傳所有錨點 href 的扁平列表,你可以用它來建立爬取佇列、審核內部連結或探索內容。

提示範例:

「找出 https://agenty.ai” 上的所有連結

「從 https://example.com/blog 提取每個連結,並給我文章網址列表」

PDF MCP

PDF 工具會在真實瀏覽器中渲染頁面,並將其匯出為 PDF。你可以設定頁面格式(A4、Letter 等)、啟用橫向模式、設定邊界、顯示或隱藏背景,以及提供自訂的頁首和頁尾。

提示範例:

「以 A4 格式產生 https://agenty.ai 的 PDF,並啟用列印背景」

「建立 https://example.com/report” 的橫向 PDF

資料提取 MCP

提取工具會渲染頁面,並使用 CSS 選擇器或 XPath 提取結構化資料。它適合從渲染後的頁面中提取特定欄位,例如產品價格、評論數量、職位名稱或任何重複出現的元素。

提示範例:

「從 https://example.com/products” 提取產品名稱和價格

「從 https://news.ycombinator.com” 取得所有標題

網站地圖 MCP

網站地圖爬取工具會讀取網站的 sitemap.xml,追蹤網站地圖索引檔案,並回傳所有發現的網址完整列表。它支援排除模式,以過濾掉特定路徑。

使用此工具可以快速了解網站的完整結構,或為大型網站建立爬取列表。

提示範例:

「找出 https://agenty.ai” 的網站地圖中的所有網址

「取得 https://example.com 的網站地圖,並排除任何包含 /blog/ 的網址」

重新導向追蹤 MCP

重新導向擷取工具會追蹤指定網址的所有 HTTP 重新導向,並回傳完整的鏈結,包括每個中間網址、狀態碼和最終目的地。

這對於偵錯失效連結、驗證標準網址,以及審核聯盟或縮短連結很有幫助。

提示範例:

「追蹤 https://bit.ly/some-link” 的所有重新導向

「顯示 https://example.com/old-page” 的重新導向鏈結

電子郵件擷取 MCP

電子郵件擷取工具會載入一個或多個網址(一次最多十個),並提取在渲染頁面上找到的所有電子郵件地址。它能處理混淆的地址和動態載入的聯絡區塊。

提示範例:

「找出 https://example.com/contact” 上的所有電子郵件地址

「從這三個頁面擷取電子郵件:https://site1.com, https://site2.com, https://site3.com”

內容 MCP

內容工具會在 JavaScript 執行後,回傳頁面的完整渲染 HTML。它與擷取工具類似,但針對需要最終 DOM 狀態而非擷取管線的使用案例進行了最佳化。

提示範例:

「取得 https://example.com/app” 的渲染 HTML 內容

快照 MCP

快照工具會擷取頁面的無障礙樹——一個包含所有可互動和可讀元素的結構化列表,包括按鈕、連結、輸入框和標題。這是為需要在無需處理原始 HTML 的情況下導覽或理解頁面的 AI 代理所設計。

提示範例:

「擷取 https://example.com 的無障礙快照,以便我了解頁面結構」

提示範例

以下是一些結合多種工具的多步驟範例:

審核網站內容: 「取得 https://example.com, 的網站地圖,然後將前 5 個頁面轉換為 Markdown 並摘要每個頁面」

產生視覺化報告: 「在行動版和桌面版視窗大小下擷取 https://agenty.ai 的螢幕截圖,並顯示兩者」

建立聯絡人列表: 「找出 https://example.com/team, 上的所有連結,然後從每個團隊成員頁面擷取電子郵件地址」

驗證連結健康狀況: 「從 https://example.com/blog 提取所有連結,並追蹤任何未回傳 200 狀態碼的連結的重新導向鏈結」

封存頁面: 「將 https://example.com/article 轉換為 Markdown 並產生 PDF 版本,兩者都使用絕對連結」

支援的參數

所有基於導覽的工具(螢幕截圖、pdf、擷取、內容、markdown、連結、提取、重新導向)共用一組常見的瀏覽器設定選項:

參數類型說明
url字串要載入的頁面網址。若未提供 html,則為必要參數。
html字串要渲染的原始 HTML 字串,而非載入網址。
waitFor字串或數字在擷取前等待 CSS 選擇器、毫秒數或網路事件。
viewport物件設定寬度、高度、deviceScaleFactor、isMobile、hasTouch 和 isLandscape。
device字串模擬具名裝置,例如 iPhone 14 或 iPad Pro。
userAgent字串覆寫瀏覽器使用者代理字串。
cookies陣列在頁面載入前注入 Cookie。
blockAds布林值封鎖廣告網路請求。擷取工具預設為啟用。
blockTrackers布林值封鎖追蹤和分析腳本。
goToOptions物件控制導覽逾時(毫秒)和 waitUntil 策略(load、domcontentloaded、networkidle0、networkidle2)。
setExtraHTTPHeaders物件以鍵值對形式新增自訂請求標頭。
rejectRequestPattern陣列封鎖符合這些網址模式的請求。
requestInterceptors陣列攔截符合模式的請求,並回傳自訂回應。
authenticate物件為使用基本驗證的頁面設定 HTTP 使用者名稱和密碼。
anonymous物件透過代理路由並略過資源類型,以進行匿名瀏覽。

螢幕截圖專用參數:

參數類型說明
options.fullPage布林值擷取整個可捲動頁面。預設為 true。
options.type字串圖片格式:png 或 jpeg。預設為 png。
options.quality數字JPEG 品質,範圍從 0 到 100。
options.clip物件使用 x、y、width 和 height 擷取特定區域。
options.omitBackground布林值使背景透明(僅限 PNG)。
manipulate物件使用 resize、rotate、flip 和 flop 對圖片進行後製。
responseType字串以緩衝區(預設)或託管網址的形式回傳圖片。

透過 MCP 使用螢幕截圖工具時,結果預設以託管網址回傳。直接呼叫 API 時,responseType 預設為 buffer。設定 responseType: 'url' 即可改為接收託管連結。

PDF 專用參數:

參數類型說明
options.formatstring頁面尺寸:A4、Letter、Legal、Tabloid、Ledger、A0–A6。
options.landscapeboolean以橫向方向呈現。
options.marginobject設定上、下、左、右邊界。
options.printBackgroundboolean在輸出中包含 CSS 背景。
options.displayHeaderFooterboolean在每一頁顯示頁首與頁尾。
options.headerTemplatestring頁首的 HTML 範本。
options.footerTemplatestring頁尾的 HTML 範本。
options.pageRangesstring列印特定頁面,例如 1-5。
options.scalenumber縮放頁面內容。
emulateMediastring以螢幕或列印媒體類型呈現。
responseTypestring以緩衝區(預設)或託管網址回傳 PDF。

透過 MCP 使用 PDF 工具時,結果預設以託管網址回傳。直接呼叫 API 時,responseType 預設為 buffer。設定 responseType: 'url' 即可改為接收託管連結。

速率限制與合理使用

每個 API 金鑰根據您的方案設有每月請求次數限制。執行大量 JavaScript 或大型 PDF 的長時間頁面會消耗較多資源。使用 blockAdsblockTrackers 可加快請求速度,並減少爬取工作負載的頻寬用量。

Agenty AI 的請求與回應結構刻意與最廣泛使用的瀏覽器自動化 API 保持相容,包括 Browserless、Firecrawl、Cloudflare Browser Rendering 及類似服務。如果您已在使用這些供應商之一,只需更新基礎網址和 API 金鑰,無需改寫現有請求,即可切換至 Agenty AI。

供應商遷移方式
Browserless變更基礎網址和 API 金鑰。所有參數皆相容。
Firecrawl變更基礎網址和 API 金鑰。Scrape、markdown 和 crawl 端點可直接對應。
Cloudflare Browser Rendering變更基礎網址和驗證標頭。螢幕截圖和內容參數皆相容。
Puppeteer HTTP APIs大多數 goToOptions 和頁面選項可一對一對應。