Oxylabs

官方

使用 Oxylabs Web API 抓取網站,支援動態渲染與解析,以提取結構化資料。

你可以用 Oxylabs MCP 做什麼?

要求您的AI助手使用Oxylabs的抓取和AI工具来抓取、搜索并提取结构化网页数据。

  • 抓取任意URL — 使用universal_scraper获取页面,支持可选的JavaScript渲染和地理定位,返回Markdown、HTML或链接。
  • 提取Google结果 — 让google_search_scraper拉取搜索结果并将其解析为结构化JSON。
  • AI驱动的提取 — 使用ai_scraper将任意URL中的内容提取为JSON、CSV、Markdown或TOON格式。
  • 爬取网站 — 让ai_crawler根据提示从起始URL开始爬取,并跨多个页面收集数据。
  • 控制浏览器 — 使用ai_browser_agent根据提示在真实浏览器中导航、点击和填写表单。

文件

Oxylabs + MCP

Oxylabs MCP 伺服器

AI 模型與真實網路世界之間失落的那一環:一個 API 即可從任何網站取得乾淨、結構化的資料。


📖 總覽

Oxylabs MCP 伺服器提供 AI 模型與網路之間的橋樑。它讓模型能夠爬取任何 URL、渲染重度使用 JavaScript 的頁面、擷取並格式化內容以供 AI 使用、處理 CAPTCHA,以及存取來自 195+ 個國家的地理限制網路資料。

它建構於 Model Context Protocol (MCP) 之上,這是用於將 AI 助理連接至外部工具與資料的開放標準。

🛠️ MCP 工具

Oxylabs MCP 提供兩組工具,可以一起使用或獨立使用:

Oxylabs Web Scraper API 工具

  1. universal_scraper:爬取任何 URL,可選擇 JavaScript 渲染、地理定位,以及 Markdown/HTML/連結輸出;
  2. google_search_scraper:從 Google 搜尋中擷取結果,可選擇解析為結構化 JSON;
  3. amazon_search_scraper:爬取 Amazon 搜尋結果頁面,可選擇解析為結構化 JSON;
  4. amazon_product_scraper:從個別 Amazon 產品頁面擷取資料。

Oxylabs AI Studio 工具

  1. ai_scraper:以 AI 驅動的擷取方式從任何 URL 爬取內容,支援 JSON、CSV、Markdown 或 TOON 格式;
  2. ai_crawler:根據提示從起始 URL 爬取網站,並跨多個頁面收集資料;
  3. ai_browser_agent:根據提示控制真實瀏覽器 — 導覽、點擊、填寫表單 — 並回傳結果;
  4. ai_search:搜尋網路,並可選擇回傳每個結果的 Markdown 內容;
  5. ai_map:繪製網站 URL 的地圖,可依關鍵字或提示篩選;
  6. generate_schema:為上述 AI 工具的結構化擷取產生 OpenAPI 格式的 JSON schema。

✅ 前置需求

開始之前,請確保你具備以下至少一項

  • Oxylabs Web Scraper API 帳戶:從 Oxylabs 取得你的使用者名稱與密碼(提供 1 週免費試用);
  • Oxylabs AI Studio API 金鑰:從 Oxylabs AI Studio 取得你的 API 金鑰(提供 1000 點免費額度)。

你也需要 uv 套件管理器來執行伺服器:

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 設定

環境變數

Oxylabs MCP 伺服器支援下列環境變數:

名稱說明預設值
OXYLABS_USERNAME你的 Oxylabs Web Scraper API 使用者名稱
OXYLABS_PASSWORD你的 Oxylabs Web Scraper API 密碼
OXYLABS_AI_STUDIO_API_KEY你的 Oxylabs AI Studio API 金鑰
LOG_LEVEL回傳給用戶端的紀錄層級INFO

根據提供的憑證,伺服器會自動暴露對應的工具:

  • 如果只提供 OXYLABS_USERNAMEOXYLABS_PASSWORD,伺服器會暴露 Web Scraper API 工具;
  • 如果只提供 OXYLABS_AI_STUDIO_API_KEY,伺服器會暴露 AI Studio 工具;
  • 如果三個都提供,伺服器會暴露所有工具。

重要:只設定你擁有真實憑證的環境變數。 保留佔位值會導致暴露無法運作的工具。

使用 uvx 設定

自動安裝 PyPI 上的套件 並執行:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

使用本機檢出設定

適合開發用途 — 從此儲存庫的本機複本執行伺服器:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

以遠端 HTTP 伺服器執行(自架)

伺服器也支援 MCP streamable-HTTP 傳輸。使用以下方式啟動:

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

使用 HTTP 傳輸時,憑證是透過每個請求傳遞,而非環境變數:

憑證傳遞方式
Web Scraper APIAuthorization: Basic <base64(username:password)>(標準 HTTP Basic 認證)
Web Scraper API(替代方案)X-Oxylabs-UsernameX-Oxylabs-Password 標頭
AI StudioX-Oxylabs-AI-Studio-Api-Key 標頭

用戶端設定範例:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

所有工具都會列出來,無論是否提供憑證;呼叫缺少所需憑證的工具時,會回傳錯誤訊息,清楚說明需要設定什麼。

使用 Claude Desktop 設定

前往 Claude → Settings → Developer → Edit Config,並將上述其中一個設定新增至 claude_desktop_config.json 檔案。

使用 Cursor AI 設定

前往 Cursor → Settings → Cursor Settings → MCP。點擊 Add new global MCP server,並新增上述其中一個設定。

📝 紀錄

伺服器會在 notification/message 事件中提供關於工具呼叫的額外資訊:

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ 主要功能

從任何網站爬取內容
  • 從任何 URL 擷取資料,包括複雜的單頁應用程式
  • 使用無頭瀏覽器支援完整渲染動態網站
  • 選擇完整 JavaScript 渲染、僅 HTML,或不渲染
  • 模擬行動裝置與桌面視窗尺寸,以獲得真實的渲染效果
自動取得 AI 就緒資料
  • 自動清理並將 HTML 轉換為 Markdown,以提升可讀性
  • 使用自動化剖析器處理熱門目標,如 Google、Amazon 等
管理 CAPTCHA 與地理限制
  • 以高成功率穿越複雜的自動化請求管理系統
  • 可靠地爬取即使是最複雜的網站
  • 從涵蓋 195+ 個國家的代理位址池自動輪換 IP
彈性設定與跨平台支援
  • 需要時可設定渲染與解析選項
  • 將資料直接饋入 AI 模型或分析工具
  • 支援 macOS、Windows 與 Linux
內建錯誤處理與請求管理
  • 全面的錯誤處理與回報
  • 智慧型速率限制與請求管理

為什麼選擇 Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

想像你告訴你的 LLM 「摘要最新的 Hacker News 中關於 GPT‑5 的討論」 – 而它就直接回答。 Oxylabs MCP 伺服器替你完成那些繁瑣的部分,讓這件事成真:

Oxylabs MCP 做的事對你的重要性
管理自動化請求牆,使用 Oxylabs 全球代理網路確保網站可存取與匿名性
渲染 JavaScript,在無頭 Chrome 中單頁應用程式,搞定
清理 HTML → Markdown直接放入向量資料庫或提示中
可選的結構化剖析器(Google、Amazon 等)一行存取熱門目標

🛡️ 授權

以 MIT License 發佈 – 詳情請見 LICENSE


關於 Oxylabs

Oxylabs 成立於 2015 年,是市場領先的網路情報收集 平台,以最高的商業、倫理與合規標準為驅動, 讓全球企業得以解鎖資料驅動的洞察。

image

Oxylabs 以 ☕ 製作。如果 MCP 為你省下了一個週末,歡迎給我們一顆 ⭐。

mcp-name: io.oxylabs/oxylabs-mcp