Oxylabs
官方使用 Oxylabs Web API 抓取網站,支援動態渲染與解析,以提取結構化資料。
你可以用 Oxylabs MCP 做什麼?
- 擷取任何 URL — 擷取網頁,並可選擇 JavaScript 渲染、地理位置定位,以及輸出 Markdown、HTML 或連結。
- 搜尋 Google 和 Amazon — 擷取 Google 搜尋、Amazon 搜尋和 Amazon 商品頁面的結果,並可選擇解析為結構化 JSON。
- AI 擷取 — 使用 AI 擷取功能擷取 URL,並以 JSON、CSV、Markdown 或 TOON 格式傳回資料。
- 爬取網站 — 根據提示從起始 URL 開始爬取,並收集多個頁面的資料。
- 操作瀏覽器 — 讓真實瀏覽器根據提示瀏覽、點擊並填寫表單,然後傳回結果。
- 建立網站地圖並搜尋 — 依關鍵字或提示篩選網站 URL,建立網站地圖;或搜尋網路並取得每個結果的 Markdown。
文件
Oxylabs MCP Server
連結 AI 模型與真實世界網路的橋樑:透過單一 API,從任何網站取得乾淨、結構化的資料。
免責聲明
此儲存庫仍受到完整支援,但如果您使用 Oxylabs Web API,請參閱 Web API MCP 儲存庫: Web API MCP
📖 概覽
Oxylabs MCP 伺服器為 AI 模型與網路搭起橋樑。它可擷取任何 URL、呈現 JavaScript 密集型頁面、擷取並格式化供 AI 使用的內容、處理 CAPTCHA,並存取來自 195 個以上國家的地理限制網頁資料。
此伺服器以 Model Context Protocol (MCP) 為基礎,這是一項用於將 AI 助理連接至外部工具與資料的開放標準。
mcp-name: io.oxylabs/oxylabs-mcp
🛠️ MCP 工具
Oxylabs MCP 提供兩組可搭配使用或獨立使用的工具:
Oxylabs Web Scraper API 工具
- universal_scraper:擷取任何 URL,並可選擇 JavaScript 呈現、地理位置定位,以及 Markdown/HTML/連結輸出;
- google_search_scraper:擷取 Google 搜尋結果,並可選擇解析為結構化 JSON;
- amazon_search_scraper:擷取 Amazon 搜尋結果頁面,並可選擇解析為結構化 JSON;
- amazon_product_scraper:擷取個別 Amazon 商品頁面的資料。
Oxylabs AI Studio 工具
- ai_scraper:使用 AI 驅動的擷取功能,從任何 URL 擷取內容,並輸出為 JSON、CSV、Markdown 或 TOON 格式;
- ai_crawler:根據提示從起始 URL 爬取網站,並收集多個頁面的資料;
- ai_browser_agent:根據提示控制真實瀏覽器——瀏覽、點擊、填寫表單——並傳回結果;
- ai_search:搜尋網路,並可選擇傳回每個搜尋結果的 Markdown 內容;
- ai_map:建立網站 URL 地圖,並依關鍵字或提示篩選;
- generate_schema:為上述 AI 工具的結構化擷取功能產生 OpenAPI 格式的 JSON 結構描述。
✅ 先決條件
開始之前,請確認您至少具備以下其中一項:
- Oxylabs Web Scraper API 帳戶:從 Oxylabs 儀表板 取得 API 權杖(或您的使用者名稱和密碼)(提供 1 週免費試用);
- Oxylabs AI Studio API 金鑰:從 Oxylabs AI Studio 取得 API 金鑰(提供 1000 點免費額度)。
若要在本機執行伺服器(下方的選項 2),您也需要 uv 套件管理工具:
# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
📦 設定
使用伺服器有兩種方式:連線至託管執行個體(無需安裝), 或在環境變數中設定憑證後於本機執行。
選項 1:託管伺服器(無需安裝)
Oxylabs 提供託管的 MCP 伺服器,網址如下:
https://mcp.oxylabs.io/mcp
憑證透過請求標頭傳遞:
| 憑證 | 標頭 |
|---|---|
| Web Scraper API 權杖(建議) | Authorization: Bearer <token> |
| Web Scraper API 權杖(替代方式) | X-Oxylabs-Api-Token |
| Web Scraper API 使用者名稱和密碼 | Authorization: Basic <base64(username:password)> |
| Web Scraper API 使用者名稱和密碼(替代方式) | X-Oxylabs-Username 和 X-Oxylabs-Password |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key |
如果同時傳入 API 權杖和使用者名稱與密碼,系統會使用權杖。
使用 Claude Code 設定:
claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
--header "Authorization: Bearer YOUR_API_TOKEN" \
--header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"
使用 Cursor 或任何支援透過自訂標頭連線至遠端 MCP 伺服器的用戶端進行設定:
{
"mcpServers": {
"oxylabs": {
"url": "https://mcp.oxylabs.io/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_TOKEN",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
此伺服器也已列於 Smithery。
**注意:**目前僅支援 OAuth 連線至遠端伺服器的用戶端(例如在 claude.ai 網頁介面中新增自訂 連接器)尚無法傳遞標頭——OAuth 登入功能已列入我們的開發計畫。 在此期間,請在這些用戶端使用下方的本機設定。
選項 2:在本機執行
環境變數
Oxylabs MCP 伺服器支援以下環境變數:
| 名稱 | 說明 | 預設值 |
|---|---|---|
OXYLABS_API_TOKEN | 您的 Oxylabs Web Scraper API 權杖 | |
OXYLABS_USERNAME | 您的 Oxylabs Web Scraper API 使用者名稱 | |
OXYLABS_PASSWORD | 您的 Oxylabs Web Scraper API 密碼 | |
OXYLABS_AI_STUDIO_API_KEY | 您的 Oxylabs AI Studio API 金鑰 | |
LOG_LEVEL | 傳回給用戶端的記錄層級 | INFO |
若要使用 Web Scraper API 工具,請設定 OXYLABS_API_TOKEN,或同時設定 OXYLABS_USERNAME 和
OXYLABS_PASSWORD。若兩者皆已設定,系統會使用權杖。若要使用 AI Studio 工具,請設定
OXYLABS_AI_STUDIO_API_KEY。
所有工具一律會列出;若呼叫工具時未提供所需憑證,系統會傳回錯誤訊息,說明應設定哪些項目。
❗ 重要:只設定您持有有效憑證的環境變數。 佔位值會導致工具呼叫失敗。
使用 uvx 設定
安裝 PyPI 套件 並自動執行:
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
使用本機複本設定
適合開發用途——從此儲存庫的本機複本執行伺服器:
{
"mcpServers": {
"oxylabs": {
"command": "uv",
"args": [
"--directory",
"/<absolute-path-to-folder>/oxylabs-mcp",
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
以遠端 HTTP 伺服器執行(自行託管)
此伺服器也支援 MCP streamable-HTTP 傳輸。使用以下指令啟動:
MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp
使用 HTTP 傳輸時,憑證會隨每個請求傳遞,而非透過環境變數設定:
| 憑證 | 傳遞方式 |
|---|---|
| Web Scraper API 權杖(建議) | Authorization: Bearer <token> |
| Web Scraper API 權杖(替代方式) | X-Oxylabs-Api-Token 標頭 |
| Web Scraper API 使用者名稱和密碼 | Authorization: Basic <base64(username:password)>(HTTP Basic 驗證) |
| Web Scraper API 使用者名稱和密碼(替代方式) | X-Oxylabs-Username 和 X-Oxylabs-Password 標頭 |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key 標頭 |
用戶端設定範例:
{
"mcpServers": {
"oxylabs": {
"url": "https://your-host:8000/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_TOKEN",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
無論提供哪些憑證,所有工具一律會列出;若呼叫工具時未提供所需憑證,系統會傳回錯誤訊息,明確說明應設定哪些項目。
使用 Claude Desktop 設定
前往 Claude → Settings → Developer → Edit Config,並將上述其中一種設定新增至 claude_desktop_config.json 檔案。
使用 Cursor AI 設定
前往 Cursor → Settings → Cursor Settings → MCP。點選 Add new global MCP server,並新增上述其中一種設定。
📝 記錄
伺服器會在 notification/message 事件中提供工具呼叫的其他資訊:
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
✨ 主要功能
擷取任何網站的內容
- 從任何 URL 擷取資料,包括複雜的單頁應用程式
- 使用無頭瀏覽器支援,完整呈現動態網站
- 可選擇完整 JavaScript 呈現、僅 HTML 或不呈現
- 模擬行動裝置和桌面裝置的檢視區,以呈現真實效果
自動取得適用於 AI 的資料
- 自動清理 HTML 並轉換為 Markdown,提升可讀性
- 使用自動化解析器處理 Google、Amazon 等熱門目標
處理 CAPTCHA 與地理限制
- 以高成功率應對複雜的自動化請求管理系統
- 可靠地擷取最複雜的網站
- 自動取得來自涵蓋 195 個以上國家的代理 IP 輪替
彈性設定與跨平台支援
- 視需要設定呈現和解析選項
- 將資料直接提供給 AI 模型或分析工具
- 支援 macOS、Windows 和 Linux
內建錯誤處理與請求管理
- 完整的錯誤處理與回報
- 智慧型速率限制與請求管理
為什麼選擇 Oxylabs MCP? 🕸️ ➜ 📦 ➜ 🤖
想像一下,您對 LLM 說 「摘要最新的 Hacker News GPT‑5 討論」,它就能直接回答。 Oxylabs MCP 伺服器會替您處理繁瑣的工作,讓這一切成真:
| Oxylabs MCP 的功能 | 對您的好處 |
|---|---|
| 透過 Oxylabs 全球代理網路管理自動化請求防護 | 協助存取網站並維持匿名 |
| 在無頭 Chrome 中呈現 JavaScript | 輕鬆處理單頁應用程式 |
| 將 HTML 清理並轉換為 Markdown | 可直接放入向量資料庫或提示詞 |
| 可選的結構化解析器(Google、Amazon 等) | 一行即可存取熱門目標 |
🛡️ 授權條款
本專案依 MIT License 發行——詳情請參閱 LICENSE。
關於 Oxylabs
Oxylabs 成立於 2015 年,是市場領先的網路情報資料蒐集 平台,秉持最高的商業、道德與合規標準, 協助全球企業發掘資料驅動的洞察。
