Oxylabs

官方

使用 Oxylabs Web API 抓取網站,支援動態渲染與解析,以提取結構化資料。

你可以用 Oxylabs MCP 做什麼?

  • 抓取任意 URL — 讓你的助理使用 universal_scraper 從任何網頁擷取內容,並可選擇啟用 JavaScript 渲染與地理定位功能。
  • 搜尋 Google 與 Amazon — 使用 google_search_scraper、amazon_search_scraper 或 amazon_product_scraper 從這些平台取得結構化結果。
  • AI 驅動的內容擷取 — 利用 ai_scraper 抓取任意 URL,並以 JSON、CSV、Markdown 或 TOON 格式回傳資料。
  • 爬取並繪製網站地圖 — 使用 ai_crawler 從起始 URL 收集多個頁面的資料,或使用 ai_map 依關鍵字篩選並列出網站 URL。
  • 自動化瀏覽器任務 — 將導覽、點擊與表單填寫交由 ai_browser_agent 處理,它會根據提示詞控制真實瀏覽器。
  • 產生擷取結構 — 透過 generate_schema 要求產生 OpenAPI 格式的 JSON 結構,以便使用 AI 工具進行結構化資料擷取。

文件

Oxylabs + MCP

Oxylabs MCP Server

AI 模型與真實世界網路之間缺失的連結:一個 API 即可從任何網站取得乾淨、結構化的資料。


📖 總覽

Oxylabs MCP 伺服器在 AI 模型與網路之間提供了一座橋樑。它讓 AI 模型能夠抓取任何 URL、渲染 JavaScript 密集型頁面、提取並格式化內容以供 AI 使用、管理 CAPTCHA,以及從 195+ 個國家存取受地理限制的網路資料。

它建構於 Model Context Protocol (MCP) 之上,這是用於將 AI 助手連接到外部工具和資料的開放標準。

🛠️ MCP 工具

Oxylabs MCP 提供兩組工具,可以一起使用或獨立使用:

Oxylabs Web Scraper API 工具

  1. universal_scraper:抓取任何 URL,可選擇 JavaScript 渲染、地理定位,以及 Markdown/HTML/連結輸出;
  2. google_search_scraper:從 Google 搜尋提取結果,可選擇解析為結構化 JSON;
  3. amazon_search_scraper:抓取 Amazon 搜尋結果頁面,可選擇解析為結構化 JSON;
  4. amazon_product_scraper:從個別 Amazon 產品頁面提取資料。

Oxylabs AI Studio 工具

  1. ai_scraper:使用 AI 驅動的提取功能,從任何 URL 抓取內容,格式為 JSON、CSV、Markdown 或 TOON;
  2. ai_crawler:根據提示從起始 URL 爬取網站,並跨多個頁面收集資料;
  3. ai_browser_agent:根據提示控制真實瀏覽器 — 導覽、點擊、填寫表單 — 並回傳結果;
  4. ai_search:搜尋網路,並可選擇回傳每個結果的 Markdown 內容;
  5. ai_map:繪製網站的 URL 地圖,可依關鍵字或提示進行篩選;
  6. generate_schema:為上述 AI 工具的結構化提取生成 OpenAPI 格式的 JSON schema。

✅ 先決條件

在開始之前,請確保您具備以下至少一項:

  • Oxylabs Web Scraper API 帳戶:從 Oxylabs 取得您的使用者名稱和密碼(提供 1 週免費試用);
  • Oxylabs AI Studio API 金鑰:從 Oxylabs AI Studio 取得您的 API 金鑰(提供 1000 點免費額度)。

若要在本機執行伺服器(下方的選項 2),您還需要 uv 套件管理器:

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 設定

有兩種使用伺服器的方式:連接到託管實例(無需安裝) 或在環境變數中使用憑證在本機執行。

選項 1:託管伺服器(無需安裝)

Oxylabs 在以下位置執行託管的 MCP 伺服器:

https://mcp.oxylabs.io/mcp

憑證透過請求標頭傳遞:

憑證標頭
Web Scraper APIAuthorization: Basic <base64(username:password)>
Web Scraper API(替代方案)X-Oxylabs-Username 和 X-Oxylabs-Password
AI StudioX-Oxylabs-AI-Studio-Api-Key

使用 Claude Code 進行設定:

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

使用 Cursor 或任何支援自訂標頭遠端 MCP 伺服器的用戶端進行設定:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

此伺服器也列在 Smithery 上。

注意: 僅支援遠端伺服器 OAuth 的用戶端(例如,在 claude.ai 網頁介面中新增自訂 連接器)目前無法傳遞標頭 — OAuth 登入已在我們的路線圖上。 在此期間,請搭配這些用戶端使用下方的本機設定。

選項 2:在本機執行

環境變數

Oxylabs MCP 伺服器支援以下環境變數:

名稱說明預設值
OXYLABS_USERNAME您的 Oxylabs Web Scraper API 使用者名稱
OXYLABS_PASSWORD您的 Oxylabs Web Scraper API 密碼
OXYLABS_AI_STUDIO_API_KEY您的 Oxylabs AI Studio API 金鑰
LOG_LEVEL回傳給用戶端的日誌層級INFO

根據提供的憑證,伺服器會自動公開對應的工具:

  • 如果僅提供 OXYLABS_USERNAME 和 OXYLABS_PASSWORD,伺服器會公開 Web Scraper API 工具;
  • 如果僅提供 OXYLABS_AI_STUDIO_API_KEY,伺服器會公開 AI Studio 工具;
  • 如果提供全部三項,伺服器會公開所有工具。

❗ 重要:僅設定您擁有真實憑證的環境變數。 保留佔位值將導致公開的工具無法運作。

使用 uvx 設定

從 PyPI 安裝套件 並自動執行:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

使用本機檢出設定

適用於開發 — 從此儲存庫的本機複本執行伺服器:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

作為遠端 HTTP 伺服器執行(自架)

伺服器也支援 MCP streamable-HTTP 傳輸。使用以下方式啟動:

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

使用 HTTP 傳輸時,憑證是透過每個請求傳遞,而非環境變數:

憑證傳遞方式
Web Scraper APIAuthorization: Basic <base64(username:password)>(標準 HTTP Basic 驗證)
Web Scraper API(替代方案)X-Oxylabs-Username 和 X-Oxylabs-Password 標頭
AI StudioX-Oxylabs-AI-Studio-Api-Key 標頭

範例用戶端設定:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

無論提供的憑證為何,所有工具都會列出;呼叫缺少所需憑證的工具時, 會回傳錯誤訊息,確切說明需要設定什麼。

使用 Claude Desktop 設定

導覽至 Claude → Settings → Developer → Edit Config,並將上述其中一個設定新增到 claude_desktop_config.json 檔案中。

使用 Cursor AI 設定

導覽至 Cursor → Settings → Cursor Settings → MCP。按一下 Add new global MCP server,並將上述其中一個設定新增進去。

📝 日誌記錄

伺服器在 notification/message 事件中提供有關工具呼叫的額外資訊:

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ 主要功能

從任何網站抓取內容
  • 從任何 URL 提取資料,包括複雜的單頁應用程式
  • 使用無頭瀏覽器支援完整渲染動態網站
  • 選擇完整 JavaScript 渲染、僅 HTML 或完全不渲染
  • 模擬行動裝置和桌面裝置的視窗大小,以進行真實渲染
自動取得 AI 就緒資料
  • 自動清理並將 HTML 轉換為 Markdown,以提高可讀性
  • 使用自動化解析器處理熱門目標,例如 Google、Amazon 等
管理 CAPTCHA 與地理限制
  • 以高成功率導覽複雜的自動化請求管理系統
  • 可靠地抓取即使是最複雜的網站
  • 從涵蓋 195+ 個國家的代理池取得自動輪換的 IP
彈性設定與跨平台支援
  • 如有需要,可設定渲染和解析選項
  • 將資料直接饋入 AI 模型或分析工具
  • 適用於 macOS、Windows 和 Linux
內建錯誤處理與請求管理
  • 全面的錯誤處理和回報
  • 智慧型速率限制和請求管理

為什麼選擇 Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

想像一下告訴您的 LLM 「總結 Hacker News 上關於 GPT‑5 的最新討論」 – 而它直接回答。 Oxylabs MCP 伺服器透過為您處理繁瑣的部分來實現這一點:

Oxylabs MCP 做了什麼對您的意義
使用 Oxylabs 全球代理網路管理自動化請求牆實現網站存取和匿名性
在無頭 Chrome 中渲染 JavaScript單頁應用程式,搞定
清理 HTML → Markdown直接放入向量資料庫或提示中
可選的結構化解析器(Google、Amazon 等)一行存取熱門目標

🛡️ 授權

根據 MIT 授權條款散佈 – 詳情請參閱 LICENSE。


關於 Oxylabs

Oxylabs 成立於 2015 年,是市場領先的網路情報收集 平台,以最高的商業、道德和合規標準為驅動, 讓全球公司能夠解鎖資料驅動的洞察。

image

由 Oxylabs 用 ☕ 製作。如果 MCP 為您省下了一個週末,歡迎給我們一顆 ⭐。

mcp-name: io.oxylabs/oxylabs-mcp

基於此 MCP 的解決方案:

Michelin Detour