Oxylabs

官方

使用Oxylabs Web API抓取网站，支持动态渲染和解析以提取结构化数据。

GitHub

105

试用此 MCP赞助

你可以用 Oxylabs MCP 做什么？

抓取任意URL — 让您的助手使用universal_scraper从任何网页获取并提取内容，支持可选的JavaScript渲染和地理定位。
搜索Google和Amazon — 使用google_search_scraper、amazon_search_scraper或amazon_product_scraper从这些平台提取结构化结果。
AI驱动的提取 — 利用ai_scraper抓取任意URL，并以JSON、CSV、Markdown或TOON格式返回数据。
爬取并绘制网站地图 — 使用ai_crawler从起始URL跨多个页面收集数据，或使用ai_map按关键词筛选列出网站URL。
自动化浏览器任务 — 将导航、点击和表单填写委托给ai_browser_agent，它根据提示控制真实浏览器。
生成提取模式 — 通过generate_schema请求OpenAPI格式的JSON模式，以使用AI工具结构化数据提取。

文档

Oxylabs + MCP

Oxylabs MCP 服务器

连接 AI 模型与现实网络世界的关键桥梁：一个 API 即可从任何网站获取干净、结构化的数据。

📖 概述

Oxylabs MCP 服务器在 AI 模型与网络之间架起了一座桥梁。它能够抓取任意 URL、渲染 JavaScript 密集型页面、提取并格式化内容以供 AI 使用、处理 CAPTCHA，以及访问来自 195 多个国家/地区的受地理限制的网络数据。

它基于模型上下文协议 (MCP) 构建，这是用于将 AI 助手连接到外部工具和数据的开放标准。

🛠️ MCP 工具

Oxylabs MCP 提供两套工具，可以一起使用，也可以独立使用：

Oxylabs Web Scraper API 工具

universal_scraper：抓取任意 URL，支持可选的 JavaScript 渲染、地理定位以及 Markdown/HTML/链接输出；
google_search_scraper：从 Google 搜索中提取结果，支持可选的结构化 JSON 解析；
amazon_search_scraper：抓取 Amazon 搜索结果页面，支持可选的结构化 JSON 解析；
amazon_product_scraper：从单个 Amazon 产品页面提取数据。

Oxylabs AI Studio 工具

ai_scraper：使用 AI 驱动的提取功能，以 JSON、CSV、Markdown 或 TOON 格式从任意 URL 抓取内容；
ai_crawler：根据提示从起始 URL 开始爬取网站，并跨多个页面收集数据；
ai_browser_agent：根据提示控制真实浏览器——导航、点击、填写表单——并返回结果；
ai_search：搜索网络，并可选择返回每个结果的 Markdown 内容；
ai_map：映射网站的 URL，按关键词或提示进行过滤；
generate_schema：为上述 AI 工具生成 OpenAPI 格式的 JSON 模式，用于结构化提取。

✅ 前提条件

在开始之前，请确保您拥有以下至少一项：

Oxylabs Web Scraper API 账户：从 Oxylabs 获取您的用户名和密码（提供 1 周免费试用）；
Oxylabs AI Studio API 密钥：从 Oxylabs AI Studio 获取您的 API 密钥（提供 1000 积分免费）。

要在本地运行服务器（下面的选项 2），您还需要 uv 包管理器：

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 配置

有两种使用服务器的方式：连接到托管实例（无需安装）或在本地使用环境变量中的凭据运行它。

选项 1：托管服务器（无需安装）

Oxylabs 在以下地址运行托管 MCP 服务器：

https://mcp.oxylabs.io/mcp

凭据通过请求头传递：

凭据	请求头
Web Scraper API	`Authorization: Basic <base64(username:password)>`
Web Scraper API（备选）	`X-Oxylabs-Username` 和 `X-Oxylabs-Password`
AI Studio	`X-Oxylabs-AI-Studio-Api-Key`

使用 Claude Code 进行设置：

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

使用 Cursor 或任何支持带自定义请求头的远程 MCP 服务器的客户端进行设置：

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

该服务器也列在 Smithery 上。

注意： 仅支持远程服务器 OAuth 的客户端（例如，在 claude.ai Web UI 中添加自定义连接器）目前无法传递请求头——OAuth 登录在我们的路线图上。在此期间，请在这些客户端上使用下面的本地设置。

选项 2：本地运行

环境变量

Oxylabs MCP 服务器支持以下环境变量：

名称	描述	默认值
`OXYLABS_USERNAME`	您的 Oxylabs Web Scraper API 用户名
`OXYLABS_PASSWORD`	您的 Oxylabs Web Scraper API 密码
`OXYLABS_AI_STUDIO_API_KEY`	您的 Oxylabs AI Studio API 密钥
`LOG_LEVEL`	返回给客户端的日志级别	`INFO`

根据提供的凭据，服务器会自动暴露相应的工具：

如果仅提供 OXYLABS_USERNAME 和 OXYLABS_PASSWORD，服务器会暴露 Web Scraper API 工具；
如果仅提供 OXYLABS_AI_STUDIO_API_KEY，服务器会暴露 AI Studio 工具；
如果提供了全部三个，服务器会暴露所有工具。

❗ 重要：只设置您拥有真实凭据的环境变量。留下占位值会导致暴露无法工作的工具。

使用 uvx 配置

从 PyPI 安装包并自动运行：

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

使用本地检出配置

适用于开发——从本仓库的本地克隆运行服务器：

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

作为远程 HTTP 服务器运行（自托管）

服务器还支持 MCP 可流式 HTTP 传输。使用以下命令启动：

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

使用 HTTP 传输时，凭据通过每个请求传递，而不是通过环境变量：

凭据	传递方式
Web Scraper API	`Authorization: Basic <base64(username:password)>`（标准 HTTP Basic 认证）
Web Scraper API（备选）	`X-Oxylabs-Username` 和 `X-Oxylabs-Password` 请求头
AI Studio	`X-Oxylabs-AI-Studio-Api-Key` 请求头

示例客户端配置：

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

无论提供何种凭据，所有工具都会列出；调用缺少所需凭据的工具会返回一条错误消息，准确说明需要配置什么。

使用 Claude Desktop 设置

导航到 Claude → 设置 → 开发者 → 编辑配置，并将上述配置之一添加到 claude_desktop_config.json 文件中。

使用 Cursor AI 设置

导航到 Cursor → 设置 → Cursor 设置 → MCP。点击 添加新的全局 MCP 服务器，并添加上述配置之一。

📝 日志记录

服务器在 notification/message 事件中提供有关工具调用的附加信息：

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}

{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ 主要功能

从任何网站抓取内容

从任意 URL 提取数据，包括复杂的单页应用程序
使用无头浏览器支持完全渲染动态网站
选择完整 JavaScript 渲染、仅 HTML 或不渲染
模拟移动端和桌面端视口以实现真实渲染

自动获取 AI 就绪数据

自动清理 HTML 并将其转换为 Markdown 以提高可读性
使用针对 Google、Amazon 等热门目标的自动化解析器

管理 CAPTCHA 和地理限制

以高成功率应对复杂的自动化请求管理系统
可靠地抓取即使是最复杂的网站
从覆盖 195 多个国家/地区的代理池中自动轮换 IP

灵活的设置和跨平台支持

根据需要设置渲染和解析选项
将数据直接输入 AI 模型或分析工具
适用于 macOS、Windows 和 Linux

内置错误处理和请求管理

全面的错误处理和报告
智能速率限制和请求管理

为什么选择 Oxylabs MCP？ 🕸️ ➜ 📦 ➜ 🤖

想象一下告诉您的 LLM "总结 Hacker News 上关于 GPT‑5 的最新讨论"——而它直接给出了答案。 Oxylabs MCP 服务器通过为您完成繁琐的部分来实现这一点：

Oxylabs MCP 的作用	对您的意义
通过 Oxylabs 全球代理网络管理自动化请求墙	实现网站访问和匿名性
在无头 Chrome 中渲染 JavaScript	单页应用，轻松搞定
清理 HTML → Markdown	直接放入向量数据库或提示中
可选的结构化解析器（Google、Amazon 等）	一键访问热门目标

🛡️ 许可证

根据 MIT 许可证分发——详情请参阅 LICENSE。

关于 Oxylabs

Oxylabs 成立于 2015 年，是市场领先的网络情报收集平台，以最高的商业、道德和合规标准为驱动，帮助全球企业释放数据驱动的洞察力。

_{由 Oxylabs 用 ☕ 制作。如果 MCP 为您节省了一个周末，请给我们一个 ⭐。}

mcp-name: io.oxylabs/oxylabs-mcp

基于此 MCP 的解决方案：

Michelin Detour