Decodo
官方簡化網頁資料存取,輕鬆從網站與線上來源擷取資訊。
你可以用 Decodo MCP 做什麼?
- 將網頁擷取為 Markdown — 請助理擷取任何 URL,包括大量使用 JavaScript 的網頁,並回傳適合 LLM 使用的 Markdown。
- 擷取螢幕截圖 — 要求任何網頁的 PNG 螢幕截圖,也可指定特定國家的 IP。
- 爬取網站 — 開始爬取、查看進度、每次擷取少量已爬取的網頁,或取消爬取。
- 搜尋引擎 — 執行網頁、Google、Bing、Google Ads、Google Lens 或 Google Travel Hotels 搜尋,並取得解析後的結果。
- 電子商務資料 — 擷取 Amazon、Walmart、Target 和 TikTok Shop 的產品、價格、賣家及暢銷商品資料。
- 社群與 AI 回答 — 收集 TikTok 貼文和 YouTube 中繼資料、字幕、頻道或搜尋結果,或查詢 ChatGPT 和 Perplexity。
文件
Decodo MCP Server
使用 MCP(Model Context Protocol)將 LLM 和 AI 代理連接至即時網頁資料。Decodo MCP Server 可讓您直接透過 Claude、Cursor 和 Windsurf 等 AI 工具,擷取網站、搜尋引擎、電子商務平台和社群媒體的資料,無須從頭建置擷取基礎架構。
- 以 JSON、Markdown 和螢幕截圖提供結構化輸出
- 伺服器端 JavaScript 渲染和反機器人處理
- 遍布 195+ 個地點的 1.25 億多個 IP
什麼是 Decodo MCP server?
Decodo MCP Server 是專為 AI 代理打造的網頁擷取層。它會將相容 MCP 的用戶端連接至 Decodo 的 Web Scraping API,提供以下功能:
- 為 LLM 擷取網頁資料
- 為 RAG 即時擷取資料
- AI 代理瀏覽和研究
- 從動態網站擷取結構化資料
您無須維護代理伺服器、剖析器和重試邏輯,只需透過單一整合點,即可可靠地存取網頁資料。
為什麼使用 MCP 擷取網頁資料?
Model Context Protocol (MCP) 是連接 AI 代理與外部工具及資料來源的新興標準。使用 MCP:
- 代理可以動態呼叫工具
- 整合方式維持標準化
- 工作流程可跨環境擴展
Decodo MCP Server 透過此標準,為您的代理提供可靠、可用於正式環境的網頁存取能力。
主要功能
為 AI 代理擷取網頁資料,無須基礎架構。 擷取任何網站,包括大量使用 JavaScript 的頁面,無須處理代理輪替、CAPTCHA 解題或反機器人系統。
為 LLM 工作流程提供結構化輸出。 提供 Markdown(適用於 LLM)、JSON(適用於結構化管線)和螢幕截圖(提供視覺脈絡),專為 RAG 管線、AI 研究代理和自動化流程打造。
內建熱門目標支援。 提供 Google 和 Bing(SERP)、Amazon、 Walmart 和 Target(電子商務)、TikTok 和 YouTube(社群媒體),以及 ChatGPT 和 Perplexity(AI 搜尋)的現成工具。
全球代理伺服器基礎架構。 擁有 1.15 億多個住宅 IP、195 多個地理位置,即使面對防護最嚴密的目標,也能達到 99.99% 的成功率。
模組化 MCP 工具集。 僅啟用所需項目:web、search、ecommerce、social_media、
ai,讓工具選擇更精簡,提升代理效能。
快速創造價值。 幾分鐘內即可從 API 金鑰開始首次擷取,無須繁瑣設定。
使用案例
當您需要為 AI 代理擷取網頁資料、大規模擷取結構化資料、可靠存取動態網站、取得 RAG 即時資料,或尋找從頭建置擷取基礎架構的替代方案時,請使用 Decodo MCP Server。常見情境包括:
- AI 驅動的網頁擷取 – 讓 LLM 能夠收集最新資料,而非依賴靜態訓練資料。
- 使用即時資料的 RAG – 將 Google、Bing 和 AI 搜尋的即時結果匯入檢索管線。
- 電子商務情報 – 跨市集追蹤商品價格、刊登資訊和賣家,避免遭到封鎖。
- 社群媒體資料收集 – 收集 TikTok 和 YouTube 的貼文、頻道和互動資料。
- 旅遊和價格彙整 – 建置可跨網站收集即時價格和供應情況的工具。
快速入門
- 建立免費帳戶:dashboard.decodo.com – 可免費使用最多 10K 次請求,無須信用卡。
- 取得 API 金鑰。 從 dashboard 中的 Web Data API 訂閱複製 Web Data API 金鑰。舊版方案提供基本驗證權杖,也可使用(請參閱驗證)。
- 下載 Node.js 18+,網址為 https://nodejs.org.
- 取得 MCP 用戶端,例如 Claude Desktop、Cursor、Windsurf 或其他相容 MCP 的工具。
- 在 AI 用戶端中設定 MCP server(請參閱下方的設定範例)。
連線至 Decodo 的 MCP server
開啟您偏好的 MCP 用戶端,並新增以下設定(請參閱 Claude Code、 Cursor、Windsurf 的範例):
{
"mcpServers": {
"Decodo": {
"url": "https://mcp.decodo.com/mcp",
"headers": {
"Authorization": "Bearer <api_key>"
}
}
}
}
驗證
| 憑證 | 取得方式 | 託管伺服器標頭 | 本機伺服器環境變數 |
|---|---|---|---|
| API 金鑰(建議) | Web Data API 訂閱,請前往 dashboard | Authorization: Bearer <api_key> | SCRAPER_API_TOKEN=<api_key> |
| 基本驗證權杖(舊版方案) | dashboard 上的 Web Scraping API 頁面 | Authorization: Basic <basic_auth_token> | SCRAPER_API_TOKEN=<basic_auth_token> |
本機伺服器會從 SCRAPER_API_TOKEN 讀取任一憑證,並判斷取得的是哪一種。
Claude Desktop
- 開啟 Claude Desktop → Settings → Developer → Edit Config。
- 新增至 claude_desktop_config.json:
{
"mcpServers": {
"Decodo": {
"command": "npx",
"args": ["-y", "@decodo/mcp-server"],
"env": {
"SCRAPER_API_TOKEN": "<api_key>",
"TOOLSETS": "web,ai"
}
}
}
}
- 儲存並重新啟動 Claude Desktop。
Cursor
- 開啟 Settings → MCP。
- 按一下 Add a new global MCP server(會開啟 mcp.json)。
- 新增與上述相同的設定。
- 儲存 — 確認 Decodo 旁顯示綠色狀態指示器。
Windsurf
- 開啟 Settings → Windsurf Settings。
- 捲動至 Cascade → Add custom server +(會開啟 mcp_config.json)。
- 新增與上述相同的設定。
- 儲存並重新啟動 Windsurf。
測試設定
連線後,請在用戶端中試用以下提示:
▎「擷取 Hacker News 排名前 5 篇文章的標題」
幾秒內應會收到結構化清單。如果看到驗證錯誤,請再次確認 dashboard 上的 API 金鑰。
本機開發
只有在您想修改伺服器程式碼時才需要。
從此儲存庫建置並執行伺服器
先決條件
- Node.js 18.0+
- MCP 用戶端 - 常見選擇包括 Claude Desktop 和 Cursor
逐步指南
- 複製此儲存庫:
git clone https://github.com/Decodo/mcp-server
- 在終端機中執行以下命令:
cd mcp-server
npm install
npm run build
- 記下您的建置位置:
cd build/
pwd
在此目錄結尾加上 index.js,您的建置檔案位置應類似以下內容:
/Users/your.user/projects/mcp-server/build/index.js
- 使用伺服器資訊更新 MCP 用戶端:
{
"mcpServers": {
"decodo-mcp": {
"command": "node",
"args": ["/Users/your.user/projects/mcp-server/build/index.js"],
"env": {
"SCRAPER_API_TOKEN": "<api_key>"
}
}
}
}
工具集
工具會依工具集分類。您可使用哪些工具集,取決於連線方式。
Claude(官方連接器)
Claude 連接器目錄中的 Decodo 連接器僅包含 Web Data API 工具:
| 工具集 | 工具 |
|---|---|
web | scrape_as_markdown、screenshot、map、crawl_start、crawl_status、crawl_results、crawl_cancel |
search | search |
任何 MCP 用戶端
您可以透過 toolsets 查詢參數,以逗號分隔的清單選擇啟用特定工具集:
"Decodo MCP Server": {
"url": "https://mcp.decodo.com/mcp?toolsets=web,ai",
"headers": {
"Authorization": "Bearer <api_key>"
}
}
未指定工具集時,系統會註冊所有工具。
| 工具集 | 工具 |
|---|---|
web | scrape_as_markdown、screenshot、map、crawl_start、crawl_status、crawl_results、crawl_cancel |
search | search、google_search、google_ads、google_lens、google_travel_hotels、bing_search |
ecommerce | amazon_search、amazon_product、amazon_pricing、amazon_sellers、amazon_bestsellers、walmart_search、walmart_product、target_search、target_product、tiktok_shop_search、tiktok_shop_product、tiktok_shop_url |
social_media | tiktok_post、youtube_metadata、youtube_channel、youtube_subtitles、youtube_search |
ai | chatgpt、perplexity、google_ai_mode |
工具
伺服器提供以下工具:
| 工具 | 說明 | 提示範例 |
|---|---|---|
scrape_as_markdown | 擷取任何目標 URL,預期透過提示提供 URL。以 Markdown 格式傳回結果。 | 從美國 IP 位址擷取 peacock.com,並告訴我價格。 |
screenshot | 擷取任何網頁的螢幕截圖,並以 PNG 圖片格式傳回。 | 從美國 IP 位址對 github.com 擷取螢幕截圖。 |
map | 列出網站上的 URL,但不擷取其內容。僅限 API 金鑰。 | 探查 docs.decodo.com,並列出 /scraping-api 下的頁面。 |
crawl_start | 開始爬取網站,並立即傳回爬取 ID,不會等待。僅限 API 金鑰。 | 爬取 decodo.com/blog 的前 10 個頁面。 |
crawl_status | 回報爬取進度:已發現、已完成及失敗的頁面數。僅限 API 金鑰。 | 我的爬取完成了嗎? |
crawl_results | 透過游標一次傳回少量已爬取頁面的 Markdown 內容。僅限 API 金鑰。 | 顯示我的爬取找到的頁面。 |
crawl_cancel | 停止正在執行的爬取;已爬取的頁面仍可讀取。僅限 API 金鑰。 | 取消我的爬取。 |
search | 搜尋網路並傳回依排名排序的結果。僅限 API 金鑰。 | 搜尋網路上的 MCP 伺服器託管選項。 |
google_search | 擷取 Google 搜尋的指定查詢結果,並傳回解析後的結果。 | 擷取 Google 搜尋中的鞋子結果,並告訴我排名第一的項目。 |
google_ads | 擷取 Google Ads 搜尋結果。 | 擷取 Google Ads 中的筆記型電腦結果,並顯示排名最前面的廣告。 |
google_lens | 擷取 Google Lens 圖片搜尋結果。 | 在 Google Lens 搜尋這張圖片:https://example.com/image.jpg |
google_ai_mode | 擷取 Google AI Mode(AI 搜尋)結果。 | 詢問 Google AI Mode:最受歡迎的三種犬種是什麼? |
google_travel_hotels | 擷取 Google Travel Hotels 搜尋結果。 | 在 Google Travel Hotels 搜尋巴黎的飯店。 |
amazon_search | 擷取 Amazon 搜尋的指定查詢結果,並傳回解析後的結果。 | 擷取 Amazon 搜尋中的無線鍵盤結果。 |
amazon_product | 擷取 Amazon 商品頁面。 | 擷取 Amazon 商品 B09H74FXNW,並顯示詳細資訊。 |
amazon_pricing | 擷取 Amazon 商品價格資訊。 | 查詢 Amazon 商品 B09H74FXNW 的價格。 |
amazon_sellers | 擷取 Amazon 賣家資訊。 | 查詢 Amazon 賣家 A1R0Z7FJGTKESH 的資訊。 |
amazon_bestsellers | 擷取 Amazon 暢銷商品清單。 | 顯示 Amazon 電子產品暢銷商品。 |
walmart_search | 擷取 Walmart 搜尋的指定查詢結果,並傳回解析後的結果。 | 擷取 Walmart 搜尋中的露營帳篷結果。 |
walmart_product | 擷取 Walmart 商品頁面。 | 擷取 Walmart 商品 15296401808。 |
target_search | 擷取 Target 搜尋的指定查詢結果,並傳回解析後的結果。 | 擷取 Target 搜尋中的廚房家電結果。 |
target_product | 擷取 Target 商品頁面。 | 擷取 Target 商品 92186007。 |
tiktok_post | 擷取 TikTok 貼文 URL 的結構化資料(例如互動數據、說明文字、主題標籤)。 | 擷取這則 TikTok 貼文:https://www.tiktok.com/@nba/video/7393013274725403950 |
tiktok_shop_search | 擷取 TikTok Shop 搜尋的指定查詢結果,並傳回解析後的結果。 | 擷取 TikTok Shop 搜尋中的手機殼結果。 |
tiktok_shop_product | 擷取 TikTok Shop 商品頁面。 | 擷取 TikTok Shop 商品 1731541214379741272。 |
tiktok_shop_url | 依 URL 擷取 TikTok Shop 頁面。 | 擷取這個 TikTok Shop URL:https://www.tiktok.com/shop/s?q=HEADPHONES |
youtube_metadata | 擷取 YouTube 影片中繼資料。 | 取得 YouTube 影片 dFu9aKJoqGg 的中繼資料。 |
youtube_channel | 擷取 YouTube 頻道影片。 | 擷取 YouTube 頻道 @decodo_official。 |
youtube_subtitles | 擷取 YouTube 影片字幕。 | 取得 YouTube 影片 L8zSWbQN-v8 的字幕。 |
youtube_search | 搜尋 YouTube 影片。 | 在 YouTube 搜尋「如何照顧龍貓」。 |
bing_search | 擷取 Bing 搜尋結果。 | 在 Bing 搜尋筆記型電腦評測。 |
chatgpt | 傳送單一提示給 ChatGPT 並傳回其回答(沒有對話記錄)。 | 請 ChatGPT 用簡單的方式解釋量子運算。 |
perplexity | 傳送單一提示給 Perplexity 並傳回其回答(沒有對話記錄)。 | 詢問 Perplexity 網頁開發的最新趨勢。 |
參數
以下參數會從使用者提示中推斷:
| 參數 | 說明 |
|---|---|
jsRender | 在無頭瀏覽器中呈現目標 URL。 |
geo | 設定請求的來源國家/地區。 |
locale | 設定請求的地區設定。 |
tokenLimit | 傳回字元數上限(預設為 45000)。在上下文視窗較小時很有用。 |
prompt | 要傳送給 AI 工具的提示(chatgpt、perplexity)。 |
search | 啟用 ChatGPT 的網頁搜尋功能(僅限 chatgpt)。 |
xhr | 設為 true 時,在支援的情況下,將 XHR 或 fetch 回應納入擷取結果(例如 tiktok_post)。 |
deviceType | 要模擬的裝置類型(desktop、mobile、tablet)。解析目標的限制較嚴格:Amazon 工具僅支援桌面裝置,因此不會包含此參數;而 bing_search/google_ai_mode 僅接受 desktop 和 mobile。 |
domain | 要用於請求的網域(例如 amazon.com、amazon.co.uk、bing.com)。 |
pageFrom | 分頁的起始頁碼。 |
deliveryZip | 配送地點的 ZIP 郵遞區號(Target、Walmart)。 |
storeId | 當地庫存的商店 ID(Walmart)。 |
country | TikTok Shop 請求的國家/地區。 |
limit | 要傳回的結果數量上限(例如 YouTube 頻道影片)。 |
language_code | 字幕的語言代碼(例如 en、es)。 |
範例
擷取受地理位置限制的內容
使用以下提示向 AI 代理程式發出查詢:
Scrape peacock.com from a German IP address and tell me the pricing.
此提示會指出 peacock.com 受到地理位置限制。若要繞過地理位置限制:
Scrape peacock.com from a US IP address and tell me the pricing.
限制回應 Token 數量
如果代理程式的上下文視窗較小,擷取的內容會自動截斷,以避免上下文溢位。你可以在提示中增加傳回的 Token 數量:
Scrape hacker news, return 50k tokens.
如果你的代理程式有很大的上下文視窗,請告訴它回傳 full content:
Scrape hacker news, return full content.
搭配 Decodo 代理程式技能使用
此伺服器為你的代理程式提供網頁擷取 tools。
Decodo/agent-skills 會教它何時使用這些工具、使用哪個介面,以及如何呼叫工具,讓代理程式自行選擇合適的工具和參數,而不是靠猜測。
這些技能可透過 decodo CLI、此託管 MCP 伺服器和原始 HTTP API 執行;若無法使用 shell,則會自動改用 MCP 伺服器。將兩者搭配使用,就能在同一個設定中,讓代理程式同時具備執行層(此伺服器)和決策層(這些技能)。
快速入門(Claude Code):
/plugin marketplace add Decodo/agent-skills
/plugin install decodo@decodo-skills
如需手動安裝方式及其他代理程式(Cursor、Codex、Gemini CLI、Windsurf)的資訊,請參閱 代理程式技能 README。
相關儲存庫
Web Scraping API、 Decodo 代理程式技能、 Decodo OpenClaw 技能
試用
只需點擊幾下,即可將 Decodo MCP Server 整合至你的 AI 工作流程,讓 AI 代理程式取得任何網站的即時資料。
授權條款
所有程式碼皆以 MIT License 釋出。
