Oxylabs

官方

使用Oxylabs Web API抓取网站，支持动态渲染和解析以提取结构化数据。

GitHub

105

你可以用 Oxylabs MCP 做什么？

抓取任意 URL — 获取网页内容，可选择启用 JavaScript 渲染、地理定位，并以 Markdown、HTML 或链接形式输出。
搜索 Google 和 Amazon — 获取 Google 搜索、Amazon 搜索和 Amazon 商品页面的结果，也可选择将结果解析为结构化 JSON。
AI 提取 — 使用 AI 驱动的提取功能抓取 URL，并以 JSON、CSV、Markdown 或 TOON 格式返回数据。
爬取网站 — 根据提示从起始 URL 开始爬取，并收集多个页面的数据。
操控浏览器 — 根据提示让真实浏览器进行导航、点击和填写表单，然后返回结果。
映射和搜索 — 按关键词或提示筛选并映射网站 URL，或搜索网络并获取每条结果的 Markdown 内容。

文档

Oxylabs + MCP

Oxylabs MCP Server

连接 AI 模型与真实网络的关键桥梁：通过一个 API，从任意网站获取干净、结构化的数据。

免责声明

此仓库仍受到全面支持，但如果您正在使用 Oxylabs Web API，请参阅 Web API MCP 仓库： Web API MCP

📖 概述

Oxylabs MCP 服务器为 AI 模型与网络搭建了桥梁。它支持抓取任意 URL、渲染 JavaScript 密集型页面、提取并格式化供 AI 使用的内容、处理 CAPTCHA，以及访问来自 195 多个国家/地区的地理限制网页数据。

它基于 Model Context Protocol (MCP) 构建，这是连接 AI 助手与外部工具和数据的开放标准。

mcp-name: io.oxylabs/oxylabs-mcp

🛠️ MCP 工具

Oxylabs MCP 提供两组工具，可组合使用，也可单独使用：

Oxylabs Web Scraper API 工具

universal_scraper：抓取任意 URL，可选择启用 JavaScript 渲染、地理定位，以及输出 Markdown/HTML/链接；
google_search_scraper：提取 Google 搜索结果，可选择将其解析为结构化 JSON；
amazon_search_scraper：抓取 Amazon 搜索结果页面，可选择将其解析为结构化 JSON；
amazon_product_scraper：提取 Amazon 单个商品页面的数据。

Oxylabs AI Studio 工具

ai_scraper：使用 AI 驱动的提取功能抓取任意 URL 的内容，并以 JSON、CSV、Markdown 或 TOON 格式输出；
ai_crawler：根据提示从起始 URL 开始爬取网站，并收集多个页面的数据；
ai_browser_agent：根据提示控制真实浏览器——导航、点击、填写表单——并返回结果；
ai_search：搜索网络，并可选择返回每条结果的 Markdown 内容；
ai_map：根据关键词或提示筛选并映射网站 URL；
generate_schema：为上述 AI 工具生成用于结构化提取的 OpenAPI 格式 JSON 架构。

✅ 前提条件

开始之前，请确保您至少具备以下一项：

Oxylabs Web Scraper API 账户：从 Oxylabs 控制面板获取 API 令牌（或用户名和密码）（可免费试用 1 周）；
Oxylabs AI Studio API 密钥：从 Oxylabs AI Studio 获取 API 密钥（免费获得 1000 个积分）。

要在本地运行服务器（下方的选项 2），您还需要 uv 包管理器：

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 配置

使用服务器有两种方式：连接到托管实例（无需安装），或在环境变量中配置凭据后在本地运行。

选项 1：托管服务器（无需安装）

Oxylabs 在以下地址运行托管 MCP 服务器：

https://mcp.oxylabs.io/mcp

凭据通过请求标头传递：

凭据	标头
Web Scraper API 令牌（推荐）	`Authorization: Bearer <token>`
Web Scraper API 令牌（备用）	`X-Oxylabs-Api-Token`
Web Scraper API 用户名和密码	`Authorization: Basic <base64(username:password)>`
Web Scraper API 用户名和密码（备用）	`X-Oxylabs-Username` 和 `X-Oxylabs-Password`
AI Studio	`X-Oxylabs-AI-Studio-Api-Key`

如果同时传入 API 令牌和用户名、密码，则使用令牌。

使用 Claude Code 进行配置：

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Bearer YOUR_API_TOKEN" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

使用 Cursor 或任何支持带自定义标头的远程 MCP 服务器的客户端进行配置：

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_TOKEN",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

该服务器也已列在 Smithery 上。

**注意：**目前仅支持通过 OAuth 连接远程服务器的客户端（例如，在 claude.ai 网页界面中添加自定义连接器）尚无法传递标头——OAuth 登录功能已列入我们的开发计划。在此期间，请在这些客户端中使用下方的本地配置。

选项 2：本地运行

环境变量

Oxylabs MCP 服务器支持以下环境变量：

名称	说明	默认值
`OXYLABS_API_TOKEN`	您的 Oxylabs Web Scraper API 令牌
`OXYLABS_USERNAME`	您的 Oxylabs Web Scraper API 用户名
`OXYLABS_PASSWORD`	您的 Oxylabs Web Scraper API 密码
`OXYLABS_AI_STUDIO_API_KEY`	您的 Oxylabs AI Studio API 密钥
`LOG_LEVEL`	返回给客户端的日志级别	`INFO`

对于 Web Scraper API 工具，请设置 OXYLABS_API_TOKEN，或同时设置 OXYLABS_USERNAME 和 OXYLABS_PASSWORD。如果两者都已设置，则使用令牌。对于 AI Studio 工具，请设置 OXYLABS_AI_STUDIO_API_KEY。

所有工具始终都会列出；如果调用工具时缺少所需凭据，系统会返回错误消息，说明需要配置哪些内容。

❗ 重要：仅设置您拥有真实凭据的环境变量。占位值会导致工具调用失败。

使用 uvx 配置

从 PyPI 安装软件包并自动运行：

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

使用本地检出版本配置

适用于开发——从此仓库的本地克隆运行服务器：

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

作为远程 HTTP 服务器运行（自行托管）

服务器还支持 MCP streamable-HTTP 传输。使用以下命令启动：

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

使用 HTTP 传输时，凭据按请求传递，而不是通过环境变量传递：

凭据	传递方式
Web Scraper API 令牌（推荐）	`Authorization: Bearer <token>`
Web Scraper API 令牌（备用）	`X-Oxylabs-Api-Token` 标头
Web Scraper API 用户名和密码	`Authorization: Basic <base64(username:password)>`（HTTP Basic 身份验证）
Web Scraper API 用户名和密码（备用）	`X-Oxylabs-Username` 和 `X-Oxylabs-Password` 标头
AI Studio	`X-Oxylabs-AI-Studio-Api-Key` 标头

客户端配置示例：

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_TOKEN",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

无论是否提供凭据，所有工具始终都会列出；如果调用工具时缺少所需凭据，系统会返回错误消息，明确说明需要配置哪些内容。

使用 Claude Desktop 配置

前往 Claude → Settings → Developer → Edit Config，并将上述任一配置添加到 claude_desktop_config.json 文件中。

使用 Cursor AI 配置

前往 Cursor → Settings → Cursor Settings → MCP。点击 Add new global MCP server，并添加上述任一配置。

📝 日志记录

服务器会在 notification/message 事件中提供有关工具调用的更多信息：

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}

{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ 主要功能

抓取任意网站的内容

从任意 URL 提取数据，包括复杂的单页应用
使用无头浏览器支持，完整渲染动态网站
可选择完整 JavaScript 渲染、仅 HTML 或不渲染
模拟移动端和桌面端视口，实现逼真的渲染效果

自动获取适用于 AI 的数据

自动清理 HTML 并转换为 Markdown，提高可读性
使用自动解析器处理 Google、Amazon 等热门目标

处理 CAPTCHA 和地理限制

以高成功率应对复杂的自动化请求管理系统
可靠抓取最复杂的网站
自动从覆盖 195 多个国家/地区的代理池轮换获取 IP

灵活配置并支持跨平台

按需设置渲染和解析选项
将数据直接输入 AI 模型或分析工具
支持 macOS、Windows 和 Linux

内置错误处理和请求管理

全面的错误处理和报告
智能速率限制和请求管理

为什么选择 Oxylabs MCP？ 🕸️ ➜ 📦 ➜ 🤖

想象一下，您对 LLM 说 “总结 Hacker News 上关于 GPT‑5 的最新讨论”——它就能直接给出答案。 Oxylabs MCP 服务器会替您处理繁琐的部分：

Oxylabs MCP 的功能	对您的意义
使用 Oxylabs 全球代理网络管理自动化请求拦截	帮助访问网站并保持匿名
在无头 Chrome 中渲染 JavaScript	轻松处理单页应用
将 HTML 清理并转换为 Markdown	可直接导入向量数据库或提示词
可选的结构化解析器（Google、Amazon 等）	一行代码即可访问热门目标

🛡️ 许可证

本项目根据 MIT 许可证发布——详情请参阅 LICENSE。

关于 Oxylabs

Oxylabs 成立于 2015 年，是一家市场领先的网络情报采集平台，秉持最高的商业、道德和合规标准，帮助全球企业发掘数据驱动的洞察。

_{由 Oxylabs 用 ☕ 制作。如果我们的 MCP 帮您省下了一个周末，欢迎给我们一个 ⭐ 并关注我们。}

基于此 MCP 构建的解决方案：

Michelin Detour