Agenty
官方使用AI進行網頁抓取、爬蟲及變更偵測
你可以用 Agenty MCP 做什麼?
- 將任何網頁轉換為乾淨的 Markdown — 透過
markdown移除網址中的導航、廣告與雜亂內容,取得適合 LLM 使用的內容。 - 透過裝置模擬擷取螢幕截圖 — 使用
screenshot拍攝全頁或裁切的 PNG/JPEG 螢幕截圖,並可模擬 iPhone 14 等裝置。 - 擷取 JavaScript 渲染後的 HTML — 使用
scrape取得所有腳本執行完畢後的最終 DOM,特別適合單頁應用程式(SPA)。 - 使用選擇器提取結構化資料 — 透過 CSS 或 XPath 搭配
extract,從頁面中提取特定欄位(如價格或標題)。 - 產生自訂格式的 PDF — 透過
pdf將頁面匯出為 A4 或 Letter 尺寸的 PDF,並可控制邊距、頁首及列印背景。 - 追蹤 HTTP 重新導向鏈 — 使用
redirects追蹤網址的每次重新導向,以偵錯連結或驗證最終目標位置。
文件
Agenty AI 提供一個模型上下文協定 (Model Context Protocol, MCP) 伺服器,讓 Claude、Cursor 等 AI 助理及任何相容 MCP 的用戶端,都能直接存取瀏覽器自動化工具。你可以使用 LLM 模型來擷取螢幕截圖、產生 PDF、擷取網頁、提取結構化資料、將頁面轉換為 Markdown 等等。
本文將說明如何連線至 Agenty 的 MCP 伺服器,以及如何使用每個可用的工具。
先決條件
連線前,你需要準備:
- Agenty AI 帳號和 API 金鑰
- 相容 MCP 的用戶端,例如 Claude Desktop、Cursor、Windsurf,或任何支援模型上下文協定的工具
- 如果你使用 CLI 或本機設定檔,需要 Node.js 18 或更新版本
如何連線
將以下設定新增至你的 MCP 用戶端。若使用 Claude Desktop,請放入 claude_desktop_config.json。若使用 Cursor,請放入你的 .cursor/mcp.json 檔案。
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
將 YOUR_API_KEY 替換為你 Agenty AI > 設定 > API 金鑰中的金鑰。新增完成後,重新啟動用戶端,Agenty 工具就會出現在工具列表中。
Agenty API 金鑰 1069×482 32.4 KB
對於支援 OAuth 或基於權杖登入的用戶端,你可以直接透過 Agenty AI 登入流程進行驗證,無需手動貼上金鑰。
可用工具
Agenty MCP 伺服器提供十一種工具,涵蓋最常見的瀏覽器自動化需求。每個工具都接受網址或原始 HTML 作為輸入,以及用於控制瀏覽器行為的選用參數。
Agenty MCP 中的可用工具 1265×795 60.9 KB
Markdown MCP
Markdown 工具會載入頁面,移除導覽列、頁尾、腳本、廣告和其他樣板內容,並將剩餘的可讀內容轉換為乾淨的 Markdown。它可以將相對連結解析為絕對網址,並移除資料圖片。
這對於將網頁內容提供給 LLM、建立 RAG 管道,或儲存文章的可讀版本特別有用。
提示範例:
「將 Web scraping - Wikipedia 轉換為 Markdown」
「取得這篇部落格文章的 Markdown 內容:https://example.com/article”
使用 Claude desktop 的網站擷取預覽 1272×844 67.2 KB
螢幕截圖 MCP
螢幕截圖工具會啟動真實瀏覽器,載入頁面,並將其擷取為 PNG 或 JPEG 圖片。它支援全頁截圖、裁剪區域、自訂視窗大小、裝置模擬,以及調整大小和旋轉等圖片處理。
當你需要頁面的視覺快照、記錄使用者介面,或想驗證網站在特定螢幕尺寸下的外觀時,這項工具非常實用。
提示範例:
「擷取 https://example.com 的全頁螢幕截圖,並以 PNG 格式回傳」
「使用 iPhone 14 視窗大小,擷取 https://agenty.ai 的行動版螢幕截圖」
網頁擷取 MCP
網頁擷取工具會在真實瀏覽器中載入網址,並執行完整的 JavaScript,然後回傳渲染後的 HTML。與簡單的 HTTP 請求不同,它會等待動態內容載入,因此對於單頁應用程式和大量使用 JavaScript 的頁面來說相當可靠。
當你需要頁面在所有腳本執行後、如同使用者實際看到的原始 HTML 時,可以使用此工具。
提示範例:
「擷取 https://news.ycombinator.com 的 HTML,並回傳完整的渲染內容」
「擷取此頁面,並等待 3 秒讓動態內容載入:https://example.com/dashboard”
網頁爬取 MCP
連結爬取工具會渲染頁面,並提取在 DOM 中找到的每個超連結。它會回傳所有錨點 href 的扁平列表,你可以用它來建立爬取佇列、審核內部連結或探索內容。
提示範例:
「找出 https://agenty.ai” 上的所有連結
「從 https://example.com/blog 提取每個連結,並給我文章網址列表」
PDF MCP
PDF 工具會在真實瀏覽器中渲染頁面,並將其匯出為 PDF。你可以設定頁面格式(A4、Letter 等)、啟用橫向模式、設定邊界、顯示或隱藏背景,以及提供自訂的頁首和頁尾。
提示範例:
「以 A4 格式產生 https://agenty.ai 的 PDF,並啟用列印背景」
「建立 https://example.com/report” 的橫向 PDF
資料提取 MCP
提取工具會渲染頁面,並使用 CSS 選擇器或 XPath 提取結構化資料。它適合從渲染後的頁面中提取特定欄位,例如產品價格、評論數量、職位名稱或任何重複出現的元素。
提示範例:
「從 https://example.com/products” 提取產品名稱和價格
「從 https://news.ycombinator.com” 取得所有標題
網站地圖 MCP
網站地圖爬取工具會讀取網站的 sitemap.xml,追蹤網站地圖索引檔案,並回傳所有發現的網址完整列表。它支援排除模式,以過濾掉特定路徑。
使用此工具可以快速了解網站的完整結構,或為大型網站建立爬取列表。
提示範例:
「找出 https://agenty.ai” 的網站地圖中的所有網址
「取得 https://example.com 的網站地圖,並排除任何包含 /blog/ 的網址」
重新導向追蹤 MCP
重新導向擷取工具會追蹤指定網址的所有 HTTP 重新導向,並回傳完整的鏈結,包括每個中間網址、狀態碼和最終目的地。
這對於偵錯失效連結、驗證標準網址,以及審核聯盟或縮短連結很有幫助。
提示範例:
「追蹤 https://bit.ly/some-link” 的所有重新導向
「顯示 https://example.com/old-page” 的重新導向鏈結
電子郵件擷取 MCP
電子郵件擷取工具會載入一個或多個網址(一次最多十個),並提取在渲染頁面上找到的所有電子郵件地址。它能處理混淆的地址和動態載入的聯絡區塊。
提示範例:
「找出 https://example.com/contact” 上的所有電子郵件地址
「從這三個頁面擷取電子郵件:https://site1.com, https://site2.com, https://site3.com”
內容 MCP
內容工具會在 JavaScript 執行後,回傳頁面的完整渲染 HTML。它與擷取工具類似,但針對需要最終 DOM 狀態而非擷取管線的使用案例進行了最佳化。
提示範例:
「取得 https://example.com/app” 的渲染 HTML 內容
快照 MCP
快照工具會擷取頁面的無障礙樹——一個包含所有可互動和可讀元素的結構化列表,包括按鈕、連結、輸入框和標題。這是為需要在無需處理原始 HTML 的情況下導覽或理解頁面的 AI 代理所設計。
提示範例:
「擷取 https://example.com 的無障礙快照,以便我了解頁面結構」
提示範例
以下是一些結合多種工具的多步驟範例:
審核網站內容: 「取得 https://example.com, 的網站地圖,然後將前 5 個頁面轉換為 Markdown 並摘要每個頁面」
產生視覺化報告: 「在行動版和桌面版視窗大小下擷取 https://agenty.ai 的螢幕截圖,並顯示兩者」
建立聯絡人列表: 「找出 https://example.com/team, 上的所有連結,然後從每個團隊成員頁面擷取電子郵件地址」
驗證連結健康狀況: 「從 https://example.com/blog 提取所有連結,並追蹤任何未回傳 200 狀態碼的連結的重新導向鏈結」
封存頁面: 「將 https://example.com/article 轉換為 Markdown 並產生 PDF 版本,兩者都使用絕對連結」
支援的參數
所有基於導覽的工具(螢幕截圖、pdf、擷取、內容、markdown、連結、提取、重新導向)共用一組常見的瀏覽器設定選項:
| 參數 | 類型 | 說明 |
|---|---|---|
| url | 字串 | 要載入的頁面網址。若未提供 html,則為必要參數。 |
| html | 字串 | 要渲染的原始 HTML 字串,而非載入網址。 |
| waitFor | 字串或數字 | 在擷取前等待 CSS 選擇器、毫秒數或網路事件。 |
| viewport | 物件 | 設定寬度、高度、deviceScaleFactor、isMobile、hasTouch 和 isLandscape。 |
| device | 字串 | 模擬具名裝置,例如 iPhone 14 或 iPad Pro。 |
| userAgent | 字串 | 覆寫瀏覽器使用者代理字串。 |
| cookies | 陣列 | 在頁面載入前注入 Cookie。 |
| blockAds | 布林值 | 封鎖廣告網路請求。擷取工具預設為啟用。 |
| blockTrackers | 布林值 | 封鎖追蹤和分析腳本。 |
| goToOptions | 物件 | 控制導覽逾時(毫秒)和 waitUntil 策略(load、domcontentloaded、networkidle0、networkidle2)。 |
| setExtraHTTPHeaders | 物件 | 以鍵值對形式新增自訂請求標頭。 |
| rejectRequestPattern | 陣列 | 封鎖符合這些網址模式的請求。 |
| requestInterceptors | 陣列 | 攔截符合模式的請求,並回傳自訂回應。 |
| authenticate | 物件 | 為使用基本驗證的頁面設定 HTTP 使用者名稱和密碼。 |
| anonymous | 物件 | 透過代理路由並略過資源類型,以進行匿名瀏覽。 |
螢幕截圖專用參數:
| 參數 | 類型 | 說明 |
|---|---|---|
| options.fullPage | 布林值 | 擷取整個可捲動頁面。預設為 true。 |
| options.type | 字串 | 圖片格式:png 或 jpeg。預設為 png。 |
| options.quality | 數字 | JPEG 品質,範圍從 0 到 100。 |
| options.clip | 物件 | 使用 x、y、width 和 height 擷取特定區域。 |
| options.omitBackground | 布林值 | 使背景透明(僅限 PNG)。 |
| manipulate | 物件 | 使用 resize、rotate、flip 和 flop 對圖片進行後製。 |
| responseType | 字串 | 以緩衝區(預設)或託管網址的形式回傳圖片。 |
透過 MCP 使用螢幕截圖工具時,結果預設以託管網址回傳。直接呼叫 API 時,responseType 預設為 buffer。設定 responseType: 'url' 即可改為接收託管連結。
PDF 專用參數:
| 參數 | 類型 | 說明 |
|---|---|---|
| options.format | string | 頁面尺寸:A4、Letter、Legal、Tabloid、Ledger、A0–A6。 |
| options.landscape | boolean | 以橫向方向呈現。 |
| options.margin | object | 設定上、下、左、右邊界。 |
| options.printBackground | boolean | 在輸出中包含 CSS 背景。 |
| options.displayHeaderFooter | boolean | 在每一頁顯示頁首與頁尾。 |
| options.headerTemplate | string | 頁首的 HTML 範本。 |
| options.footerTemplate | string | 頁尾的 HTML 範本。 |
| options.pageRanges | string | 列印特定頁面,例如 1-5。 |
| options.scale | number | 縮放頁面內容。 |
| emulateMedia | string | 以螢幕或列印媒體類型呈現。 |
| responseType | string | 以緩衝區(預設)或託管網址回傳 PDF。 |
透過 MCP 使用 PDF 工具時,結果預設以託管網址回傳。直接呼叫 API 時,responseType 預設為 buffer。設定 responseType: 'url' 即可改為接收託管連結。
速率限制與合理使用
每個 API 金鑰根據您的方案設有每月請求次數限制。執行大量 JavaScript 或大型 PDF 的長時間頁面會消耗較多資源。使用 blockAds 和 blockTrackers 可加快請求速度,並減少爬取工作負載的頻寬用量。
Agenty AI 的請求與回應結構刻意與最廣泛使用的瀏覽器自動化 API 保持相容,包括 Browserless、Firecrawl、Cloudflare Browser Rendering 及類似服務。如果您已在使用這些供應商之一,只需更新基礎網址和 API 金鑰,無需改寫現有請求,即可切換至 Agenty AI。
| 供應商 | 遷移方式 |
|---|---|
| Browserless | 變更基礎網址和 API 金鑰。所有參數皆相容。 |
| Firecrawl | 變更基礎網址和 API 金鑰。Scrape、markdown 和 crawl 端點可直接對應。 |
| Cloudflare Browser Rendering | 變更基礎網址和驗證標頭。螢幕截圖和內容參數皆相容。 |
| Puppeteer HTTP APIs | 大多數 goToOptions 和頁面選項可一對一對應。 |