Oxylabs
官方使用 Oxylabs Web API 抓取網站,支援動態渲染與解析,以提取結構化資料。
你可以用 Oxylabs MCP 做什麼?
要求您的AI助手使用Oxylabs的抓取和AI工具来抓取、搜索并提取结构化网页数据。
- 抓取任意URL — 使用
universal_scraper获取页面,支持可选的JavaScript渲染和地理定位,返回Markdown、HTML或链接。 - 提取Google结果 — 让
google_search_scraper拉取搜索结果并将其解析为结构化JSON。 - AI驱动的提取 — 使用
ai_scraper将任意URL中的内容提取为JSON、CSV、Markdown或TOON格式。 - 爬取网站 — 让
ai_crawler根据提示从起始URL开始爬取,并跨多个页面收集数据。 - 控制浏览器 — 使用
ai_browser_agent根据提示在真实浏览器中导航、点击和填写表单。
文件
Oxylabs MCP 伺服器
AI 模型與真實網路世界之間失落的那一環:一個 API 即可從任何網站取得乾淨、結構化的資料。
📖 總覽
Oxylabs MCP 伺服器提供 AI 模型與網路之間的橋樑。它讓模型能夠爬取任何 URL、渲染重度使用 JavaScript 的頁面、擷取並格式化內容以供 AI 使用、處理 CAPTCHA,以及存取來自 195+ 個國家的地理限制網路資料。
它建構於 Model Context Protocol (MCP) 之上,這是用於將 AI 助理連接至外部工具與資料的開放標準。
🛠️ MCP 工具
Oxylabs MCP 提供兩組工具,可以一起使用或獨立使用:
Oxylabs Web Scraper API 工具
- universal_scraper:爬取任何 URL,可選擇 JavaScript 渲染、地理定位,以及 Markdown/HTML/連結輸出;
- google_search_scraper:從 Google 搜尋中擷取結果,可選擇解析為結構化 JSON;
- amazon_search_scraper:爬取 Amazon 搜尋結果頁面,可選擇解析為結構化 JSON;
- amazon_product_scraper:從個別 Amazon 產品頁面擷取資料。
Oxylabs AI Studio 工具
- ai_scraper:以 AI 驅動的擷取方式從任何 URL 爬取內容,支援 JSON、CSV、Markdown 或 TOON 格式;
- ai_crawler:根據提示從起始 URL 爬取網站,並跨多個頁面收集資料;
- ai_browser_agent:根據提示控制真實瀏覽器 — 導覽、點擊、填寫表單 — 並回傳結果;
- ai_search:搜尋網路,並可選擇回傳每個結果的 Markdown 內容;
- ai_map:繪製網站 URL 的地圖,可依關鍵字或提示篩選;
- generate_schema:為上述 AI 工具的結構化擷取產生 OpenAPI 格式的 JSON schema。
✅ 前置需求
開始之前,請確保你具備以下至少一項:
- Oxylabs Web Scraper API 帳戶:從 Oxylabs 取得你的使用者名稱與密碼(提供 1 週免費試用);
- Oxylabs AI Studio API 金鑰:從 Oxylabs AI Studio 取得你的 API 金鑰(提供 1000 點免費額度)。
你也需要 uv 套件管理器來執行伺服器:
# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
📦 設定
環境變數
Oxylabs MCP 伺服器支援下列環境變數:
| 名稱 | 說明 | 預設值 |
|---|---|---|
OXYLABS_USERNAME | 你的 Oxylabs Web Scraper API 使用者名稱 | |
OXYLABS_PASSWORD | 你的 Oxylabs Web Scraper API 密碼 | |
OXYLABS_AI_STUDIO_API_KEY | 你的 Oxylabs AI Studio API 金鑰 | |
LOG_LEVEL | 回傳給用戶端的紀錄層級 | INFO |
根據提供的憑證,伺服器會自動暴露對應的工具:
- 如果只提供
OXYLABS_USERNAME和OXYLABS_PASSWORD,伺服器會暴露 Web Scraper API 工具; - 如果只提供
OXYLABS_AI_STUDIO_API_KEY,伺服器會暴露 AI Studio 工具; - 如果三個都提供,伺服器會暴露所有工具。
❗ 重要:只設定你擁有真實憑證的環境變數。 保留佔位值會導致暴露無法運作的工具。
使用 uvx 設定
自動安裝 PyPI 上的套件 並執行:
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
使用本機檢出設定
適合開發用途 — 從此儲存庫的本機複本執行伺服器:
{
"mcpServers": {
"oxylabs": {
"command": "uv",
"args": [
"--directory",
"/<absolute-path-to-folder>/oxylabs-mcp",
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
以遠端 HTTP 伺服器執行(自架)
伺服器也支援 MCP streamable-HTTP 傳輸。使用以下方式啟動:
MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp
使用 HTTP 傳輸時,憑證是透過每個請求傳遞,而非環境變數:
| 憑證 | 傳遞方式 |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)>(標準 HTTP Basic 認證) |
| Web Scraper API(替代方案) | X-Oxylabs-Username 和 X-Oxylabs-Password 標頭 |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key 標頭 |
用戶端設定範例:
{
"mcpServers": {
"oxylabs": {
"url": "https://your-host:8000/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
所有工具都會列出來,無論是否提供憑證;呼叫缺少所需憑證的工具時,會回傳錯誤訊息,清楚說明需要設定什麼。
使用 Claude Desktop 設定
前往 Claude → Settings → Developer → Edit Config,並將上述其中一個設定新增至 claude_desktop_config.json 檔案。
使用 Cursor AI 設定
前往 Cursor → Settings → Cursor Settings → MCP。點擊 Add new global MCP server,並新增上述其中一個設定。
📝 紀錄
伺服器會在 notification/message 事件中提供關於工具呼叫的額外資訊:
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
✨ 主要功能
從任何網站爬取內容
- 從任何 URL 擷取資料,包括複雜的單頁應用程式
- 使用無頭瀏覽器支援完整渲染動態網站
- 選擇完整 JavaScript 渲染、僅 HTML,或不渲染
- 模擬行動裝置與桌面視窗尺寸,以獲得真實的渲染效果
自動取得 AI 就緒資料
- 自動清理並將 HTML 轉換為 Markdown,以提升可讀性
- 使用自動化剖析器處理熱門目標,如 Google、Amazon 等
管理 CAPTCHA 與地理限制
- 以高成功率穿越複雜的自動化請求管理系統
- 可靠地爬取即使是最複雜的網站
- 從涵蓋 195+ 個國家的代理位址池自動輪換 IP
彈性設定與跨平台支援
- 需要時可設定渲染與解析選項
- 將資料直接饋入 AI 模型或分析工具
- 支援 macOS、Windows 與 Linux
內建錯誤處理與請求管理
- 全面的錯誤處理與回報
- 智慧型速率限制與請求管理
為什麼選擇 Oxylabs MCP? 🕸️ ➜ 📦 ➜ 🤖
想像你告訴你的 LLM 「摘要最新的 Hacker News 中關於 GPT‑5 的討論」 – 而它就直接回答。 Oxylabs MCP 伺服器替你完成那些繁瑣的部分,讓這件事成真:
| Oxylabs MCP 做的事 | 對你的重要性 |
|---|---|
| 管理自動化請求牆,使用 Oxylabs 全球代理網路 | 確保網站可存取與匿名性 |
| 渲染 JavaScript,在無頭 Chrome 中 | 單頁應用程式,搞定 |
| 清理 HTML → Markdown | 直接放入向量資料庫或提示中 |
| 可選的結構化剖析器(Google、Amazon 等) | 一行存取熱門目標 |
🛡️ 授權
以 MIT License 發佈 – 詳情請見 LICENSE。
關於 Oxylabs
Oxylabs 成立於 2015 年,是市場領先的網路情報收集 平台,以最高的商業、倫理與合規標準為驅動, 讓全球企業得以解鎖資料驅動的洞察。
mcp-name: io.oxylabs/oxylabs-mcp
