Oxylabs

官方

使用 Oxylabs Web API 抓取網站,支援動態渲染與解析,以提取結構化資料。

你可以用 Oxylabs MCP 做什麼?

  • 擷取任何 URL — 擷取網頁,並可選擇 JavaScript 渲染、地理位置定位,以及輸出 Markdown、HTML 或連結。
  • 搜尋 Google 和 Amazon — 擷取 Google 搜尋、Amazon 搜尋和 Amazon 商品頁面的結果,並可選擇解析為結構化 JSON。
  • AI 擷取 — 使用 AI 擷取功能擷取 URL,並以 JSON、CSV、Markdown 或 TOON 格式傳回資料。
  • 爬取網站 — 根據提示從起始 URL 開始爬取,並收集多個頁面的資料。
  • 操作瀏覽器 — 讓真實瀏覽器根據提示瀏覽、點擊並填寫表單,然後傳回結果。
  • 建立網站地圖並搜尋 — 依關鍵字或提示篩選網站 URL,建立網站地圖;或搜尋網路並取得每個結果的 Markdown。

文件

Oxylabs + MCP

Oxylabs MCP Server

連結 AI 模型與真實世界網路的橋樑:透過單一 API,從任何網站取得乾淨、結構化的資料。


免責聲明

此儲存庫仍受到完整支援,但如果您使用 Oxylabs Web API,請參閱 Web API MCP 儲存庫: Web API MCP

📖 概覽

Oxylabs MCP 伺服器為 AI 模型與網路搭起橋樑。它可擷取任何 URL、呈現 JavaScript 密集型頁面、擷取並格式化供 AI 使用的內容、處理 CAPTCHA,並存取來自 195 個以上國家的地理限制網頁資料。

此伺服器以 Model Context Protocol (MCP) 為基礎,這是一項用於將 AI 助理連接至外部工具與資料的開放標準。

mcp-name: io.oxylabs/oxylabs-mcp

🛠️ MCP 工具

Oxylabs MCP 提供兩組可搭配使用或獨立使用的工具:

Oxylabs Web Scraper API 工具

  1. universal_scraper:擷取任何 URL,並可選擇 JavaScript 呈現、地理位置定位,以及 Markdown/HTML/連結輸出;
  2. google_search_scraper:擷取 Google 搜尋結果,並可選擇解析為結構化 JSON;
  3. amazon_search_scraper:擷取 Amazon 搜尋結果頁面,並可選擇解析為結構化 JSON;
  4. amazon_product_scraper:擷取個別 Amazon 商品頁面的資料。

Oxylabs AI Studio 工具

  1. ai_scraper:使用 AI 驅動的擷取功能,從任何 URL 擷取內容,並輸出為 JSON、CSV、Markdown 或 TOON 格式;
  2. ai_crawler:根據提示從起始 URL 爬取網站,並收集多個頁面的資料;
  3. ai_browser_agent:根據提示控制真實瀏覽器——瀏覽、點擊、填寫表單——並傳回結果;
  4. ai_search:搜尋網路,並可選擇傳回每個搜尋結果的 Markdown 內容;
  5. ai_map:建立網站 URL 地圖,並依關鍵字或提示篩選;
  6. generate_schema:為上述 AI 工具的結構化擷取功能產生 OpenAPI 格式的 JSON 結構描述。

✅ 先決條件

開始之前,請確認您至少具備以下其中一項:

  • Oxylabs Web Scraper API 帳戶:從 Oxylabs 儀表板 取得 API 權杖(或您的使用者名稱和密碼)(提供 1 週免費試用);
  • Oxylabs AI Studio API 金鑰:從 Oxylabs AI Studio 取得 API 金鑰(提供 1000 點免費額度)。

若要在本機執行伺服器(下方的選項 2),您也需要 uv 套件管理工具:

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 設定

使用伺服器有兩種方式:連線至託管執行個體(無需安裝), 或在環境變數中設定憑證後於本機執行。

選項 1:託管伺服器(無需安裝)

Oxylabs 提供託管的 MCP 伺服器,網址如下:

https://mcp.oxylabs.io/mcp

憑證透過請求標頭傳遞:

憑證標頭
Web Scraper API 權杖(建議)Authorization: Bearer <token>
Web Scraper API 權杖(替代方式)X-Oxylabs-Api-Token
Web Scraper API 使用者名稱和密碼Authorization: Basic <base64(username:password)>
Web Scraper API 使用者名稱和密碼(替代方式)X-Oxylabs-Username 和 X-Oxylabs-Password
AI StudioX-Oxylabs-AI-Studio-Api-Key

如果同時傳入 API 權杖和使用者名稱與密碼,系統會使用權杖。

使用 Claude Code 設定:

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Bearer YOUR_API_TOKEN" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

使用 Cursor 或任何支援透過自訂標頭連線至遠端 MCP 伺服器的用戶端進行設定:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_TOKEN",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

此伺服器也已列於 Smithery。

**注意:**目前僅支援 OAuth 連線至遠端伺服器的用戶端(例如在 claude.ai 網頁介面中新增自訂 連接器)尚無法傳遞標頭——OAuth 登入功能已列入我們的開發計畫。 在此期間,請在這些用戶端使用下方的本機設定。

選項 2:在本機執行

環境變數

Oxylabs MCP 伺服器支援以下環境變數:

名稱說明預設值
OXYLABS_API_TOKEN您的 Oxylabs Web Scraper API 權杖
OXYLABS_USERNAME您的 Oxylabs Web Scraper API 使用者名稱
OXYLABS_PASSWORD您的 Oxylabs Web Scraper API 密碼
OXYLABS_AI_STUDIO_API_KEY您的 Oxylabs AI Studio API 金鑰
LOG_LEVEL傳回給用戶端的記錄層級INFO

若要使用 Web Scraper API 工具,請設定 OXYLABS_API_TOKEN,或同時設定 OXYLABS_USERNAME 和 OXYLABS_PASSWORD。若兩者皆已設定,系統會使用權杖。若要使用 AI Studio 工具,請設定 OXYLABS_AI_STUDIO_API_KEY。

所有工具一律會列出;若呼叫工具時未提供所需憑證,系統會傳回錯誤訊息,說明應設定哪些項目。

❗ 重要:只設定您持有有效憑證的環境變數。 佔位值會導致工具呼叫失敗。

使用 uvx 設定

安裝 PyPI 套件 並自動執行:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

使用本機複本設定

適合開發用途——從此儲存庫的本機複本執行伺服器:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

以遠端 HTTP 伺服器執行(自行託管)

此伺服器也支援 MCP streamable-HTTP 傳輸。使用以下指令啟動:

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

使用 HTTP 傳輸時,憑證會隨每個請求傳遞,而非透過環境變數設定:

憑證傳遞方式
Web Scraper API 權杖(建議)Authorization: Bearer <token>
Web Scraper API 權杖(替代方式)X-Oxylabs-Api-Token 標頭
Web Scraper API 使用者名稱和密碼Authorization: Basic <base64(username:password)>(HTTP Basic 驗證)
Web Scraper API 使用者名稱和密碼(替代方式)X-Oxylabs-Username 和 X-Oxylabs-Password 標頭
AI StudioX-Oxylabs-AI-Studio-Api-Key 標頭

用戶端設定範例:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_TOKEN",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

無論提供哪些憑證,所有工具一律會列出;若呼叫工具時未提供所需憑證,系統會傳回錯誤訊息,明確說明應設定哪些項目。

使用 Claude Desktop 設定

前往 Claude → Settings → Developer → Edit Config,並將上述其中一種設定新增至 claude_desktop_config.json 檔案。

使用 Cursor AI 設定

前往 Cursor → Settings → Cursor Settings → MCP。點選 Add new global MCP server,並新增上述其中一種設定。

📝 記錄

伺服器會在 notification/message 事件中提供工具呼叫的其他資訊:

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ 主要功能

擷取任何網站的內容
  • 從任何 URL 擷取資料,包括複雜的單頁應用程式
  • 使用無頭瀏覽器支援,完整呈現動態網站
  • 可選擇完整 JavaScript 呈現、僅 HTML 或不呈現
  • 模擬行動裝置和桌面裝置的檢視區,以呈現真實效果
自動取得適用於 AI 的資料
  • 自動清理 HTML 並轉換為 Markdown,提升可讀性
  • 使用自動化解析器處理 Google、Amazon 等熱門目標
處理 CAPTCHA 與地理限制
  • 以高成功率應對複雜的自動化請求管理系統
  • 可靠地擷取最複雜的網站
  • 自動取得來自涵蓋 195 個以上國家的代理 IP 輪替
彈性設定與跨平台支援
  • 視需要設定呈現和解析選項
  • 將資料直接提供給 AI 模型或分析工具
  • 支援 macOS、Windows 和 Linux
內建錯誤處理與請求管理
  • 完整的錯誤處理與回報
  • 智慧型速率限制與請求管理

為什麼選擇 Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

想像一下,您對 LLM 說 「摘要最新的 Hacker News GPT‑5 討論」,它就能直接回答。 Oxylabs MCP 伺服器會替您處理繁瑣的工作,讓這一切成真:

Oxylabs MCP 的功能對您的好處
透過 Oxylabs 全球代理網路管理自動化請求防護協助存取網站並維持匿名
在無頭 Chrome 中呈現 JavaScript輕鬆處理單頁應用程式
將 HTML 清理並轉換為 Markdown可直接放入向量資料庫或提示詞
可選的結構化解析器(Google、Amazon 等)一行即可存取熱門目標

🛡️ 授權條款

本專案依 MIT License 發行——詳情請參閱 LICENSE。


關於 Oxylabs

Oxylabs 成立於 2015 年,是市場領先的網路情報資料蒐集 平台,秉持最高的商業、道德與合規標準, 協助全球企業發掘資料驅動的洞察。

image

由 Oxylabs 以 ☕ 製作。如果我們的 MCP 幫您省下整個週末,歡迎給我們一顆 ⭐ 並追蹤我們。

基於此 MCP 打造的解決方案:

Michelin Detour