Oxylabs
官方使用 Oxylabs Web API 抓取網站,支援動態渲染與解析,以提取結構化資料。
你可以用 Oxylabs MCP 做什麼?
- 抓取任意 URL — 讓你的助理使用
universal_scraper從任何網頁擷取內容,並可選擇啟用 JavaScript 渲染與地理定位功能。 - 搜尋 Google 與 Amazon — 使用
google_search_scraper、amazon_search_scraper或amazon_product_scraper從這些平台取得結構化結果。 - AI 驅動的內容擷取 — 利用
ai_scraper抓取任意 URL,並以 JSON、CSV、Markdown 或 TOON 格式回傳資料。 - 爬取並繪製網站地圖 — 使用
ai_crawler從起始 URL 收集多個頁面的資料,或使用ai_map依關鍵字篩選並列出網站 URL。 - 自動化瀏覽器任務 — 將導覽、點擊與表單填寫交由
ai_browser_agent處理,它會根據提示詞控制真實瀏覽器。 - 產生擷取結構 — 透過
generate_schema要求產生 OpenAPI 格式的 JSON 結構,以便使用 AI 工具進行結構化資料擷取。
文件
Oxylabs MCP Server
AI 模型與真實世界網路之間缺失的連結:一個 API 即可從任何網站取得乾淨、結構化的資料。
📖 總覽
Oxylabs MCP 伺服器在 AI 模型與網路之間提供了一座橋樑。它讓 AI 模型能夠抓取任何 URL、渲染 JavaScript 密集型頁面、提取並格式化內容以供 AI 使用、管理 CAPTCHA,以及從 195+ 個國家存取受地理限制的網路資料。
它建構於 Model Context Protocol (MCP) 之上,這是用於將 AI 助手連接到外部工具和資料的開放標準。
🛠️ MCP 工具
Oxylabs MCP 提供兩組工具,可以一起使用或獨立使用:
Oxylabs Web Scraper API 工具
- universal_scraper:抓取任何 URL,可選擇 JavaScript 渲染、地理定位,以及 Markdown/HTML/連結輸出;
- google_search_scraper:從 Google 搜尋提取結果,可選擇解析為結構化 JSON;
- amazon_search_scraper:抓取 Amazon 搜尋結果頁面,可選擇解析為結構化 JSON;
- amazon_product_scraper:從個別 Amazon 產品頁面提取資料。
Oxylabs AI Studio 工具
- ai_scraper:使用 AI 驅動的提取功能,從任何 URL 抓取內容,格式為 JSON、CSV、Markdown 或 TOON;
- ai_crawler:根據提示從起始 URL 爬取網站,並跨多個頁面收集資料;
- ai_browser_agent:根據提示控制真實瀏覽器 — 導覽、點擊、填寫表單 — 並回傳結果;
- ai_search:搜尋網路,並可選擇回傳每個結果的 Markdown 內容;
- ai_map:繪製網站的 URL 地圖,可依關鍵字或提示進行篩選;
- generate_schema:為上述 AI 工具的結構化提取生成 OpenAPI 格式的 JSON schema。
✅ 先決條件
在開始之前,請確保您具備以下至少一項:
- Oxylabs Web Scraper API 帳戶:從 Oxylabs 取得您的使用者名稱和密碼(提供 1 週免費試用);
- Oxylabs AI Studio API 金鑰:從 Oxylabs AI Studio 取得您的 API 金鑰(提供 1000 點免費額度)。
若要在本機執行伺服器(下方的選項 2),您還需要 uv 套件管理器:
# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
📦 設定
有兩種使用伺服器的方式:連接到託管實例(無需安裝) 或在環境變數中使用憑證在本機執行。
選項 1:託管伺服器(無需安裝)
Oxylabs 在以下位置執行託管的 MCP 伺服器:
https://mcp.oxylabs.io/mcp
憑證透過請求標頭傳遞:
| 憑證 | 標頭 |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)> |
| Web Scraper API(替代方案) | X-Oxylabs-Username 和 X-Oxylabs-Password |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key |
使用 Claude Code 進行設定:
claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
--header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
--header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"
使用 Cursor 或任何支援自訂標頭遠端 MCP 伺服器的用戶端進行設定:
{
"mcpServers": {
"oxylabs": {
"url": "https://mcp.oxylabs.io/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
此伺服器也列在 Smithery 上。
注意: 僅支援遠端伺服器 OAuth 的用戶端(例如,在 claude.ai 網頁介面中新增自訂 連接器)目前無法傳遞標頭 — OAuth 登入已在我們的路線圖上。 在此期間,請搭配這些用戶端使用下方的本機設定。
選項 2:在本機執行
環境變數
Oxylabs MCP 伺服器支援以下環境變數:
| 名稱 | 說明 | 預設值 |
|---|---|---|
OXYLABS_USERNAME | 您的 Oxylabs Web Scraper API 使用者名稱 | |
OXYLABS_PASSWORD | 您的 Oxylabs Web Scraper API 密碼 | |
OXYLABS_AI_STUDIO_API_KEY | 您的 Oxylabs AI Studio API 金鑰 | |
LOG_LEVEL | 回傳給用戶端的日誌層級 | INFO |
根據提供的憑證,伺服器會自動公開對應的工具:
- 如果僅提供
OXYLABS_USERNAME和OXYLABS_PASSWORD,伺服器會公開 Web Scraper API 工具; - 如果僅提供
OXYLABS_AI_STUDIO_API_KEY,伺服器會公開 AI Studio 工具; - 如果提供全部三項,伺服器會公開所有工具。
❗ 重要:僅設定您擁有真實憑證的環境變數。 保留佔位值將導致公開的工具無法運作。
使用 uvx 設定
從 PyPI 安裝套件 並自動執行:
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
使用本機檢出設定
適用於開發 — 從此儲存庫的本機複本執行伺服器:
{
"mcpServers": {
"oxylabs": {
"command": "uv",
"args": [
"--directory",
"/<absolute-path-to-folder>/oxylabs-mcp",
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
作為遠端 HTTP 伺服器執行(自架)
伺服器也支援 MCP streamable-HTTP 傳輸。使用以下方式啟動:
MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp
使用 HTTP 傳輸時,憑證是透過每個請求傳遞,而非環境變數:
| 憑證 | 傳遞方式 |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)>(標準 HTTP Basic 驗證) |
| Web Scraper API(替代方案) | X-Oxylabs-Username 和 X-Oxylabs-Password 標頭 |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key 標頭 |
範例用戶端設定:
{
"mcpServers": {
"oxylabs": {
"url": "https://your-host:8000/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
無論提供的憑證為何,所有工具都會列出;呼叫缺少所需憑證的工具時, 會回傳錯誤訊息,確切說明需要設定什麼。
使用 Claude Desktop 設定
導覽至 Claude → Settings → Developer → Edit Config,並將上述其中一個設定新增到 claude_desktop_config.json 檔案中。
使用 Cursor AI 設定
導覽至 Cursor → Settings → Cursor Settings → MCP。按一下 Add new global MCP server,並將上述其中一個設定新增進去。
📝 日誌記錄
伺服器在 notification/message 事件中提供有關工具呼叫的額外資訊:
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
✨ 主要功能
從任何網站抓取內容
- 從任何 URL 提取資料,包括複雜的單頁應用程式
- 使用無頭瀏覽器支援完整渲染動態網站
- 選擇完整 JavaScript 渲染、僅 HTML 或完全不渲染
- 模擬行動裝置和桌面裝置的視窗大小,以進行真實渲染
自動取得 AI 就緒資料
- 自動清理並將 HTML 轉換為 Markdown,以提高可讀性
- 使用自動化解析器處理熱門目標,例如 Google、Amazon 等
管理 CAPTCHA 與地理限制
- 以高成功率導覽複雜的自動化請求管理系統
- 可靠地抓取即使是最複雜的網站
- 從涵蓋 195+ 個國家的代理池取得自動輪換的 IP
彈性設定與跨平台支援
- 如有需要,可設定渲染和解析選項
- 將資料直接饋入 AI 模型或分析工具
- 適用於 macOS、Windows 和 Linux
內建錯誤處理與請求管理
- 全面的錯誤處理和回報
- 智慧型速率限制和請求管理
為什麼選擇 Oxylabs MCP? 🕸️ ➜ 📦 ➜ 🤖
想像一下告訴您的 LLM 「總結 Hacker News 上關於 GPT‑5 的最新討論」 – 而它直接回答。 Oxylabs MCP 伺服器透過為您處理繁瑣的部分來實現這一點:
| Oxylabs MCP 做了什麼 | 對您的意義 |
|---|---|
| 使用 Oxylabs 全球代理網路管理自動化請求牆 | 實現網站存取和匿名性 |
| 在無頭 Chrome 中渲染 JavaScript | 單頁應用程式,搞定 |
| 清理 HTML → Markdown | 直接放入向量資料庫或提示中 |
| 可選的結構化解析器(Google、Amazon 等) | 一行存取熱門目標 |
🛡️ 授權
根據 MIT 授權條款散佈 – 詳情請參閱 LICENSE。
關於 Oxylabs
Oxylabs 成立於 2015 年,是市場領先的網路情報收集 平台,以最高的商業、道德和合規標準為驅動, 讓全球公司能夠解鎖資料驅動的洞察。
mcp-name: io.oxylabs/oxylabs-mcp
