Oxylabs

官方

使用Oxylabs Web API抓取网站，支持动态渲染和解析以提取结构化数据。

GitHub

101

你可以用 Oxylabs MCP 做什么？

让您的AI助手使用Oxylabs的抓取和AI工具来抓取、搜索并提取结构化网页数据。

抓取任意URL — 使用 universal_scraper 获取页面，支持可选的JavaScript渲染和地理定位，返回Markdown、HTML或链接。
提取Google结果 — 让 google_search_scraper 拉取搜索结果并将其解析为结构化JSON。
AI驱动的提取 — 使用 ai_scraper 将任意URL中的内容提取为JSON、CSV、Markdown或TOON格式。
爬取整个网站 — 让 ai_crawler 根据提示从起始URL开始爬取，并跨多个页面收集数据。
控制浏览器 — 使用 ai_browser_agent 在真实浏览器中根据提示进行导航、点击和填写表单。

文档

Oxylabs + MCP

Oxylabs MCP 服务器

连接 AI 模型与真实网络世界的关键一环：一个 API 即可从任何网站获取干净、结构化的数据。

📖 概述

Oxylabs MCP 服务器在 AI 模型与网络之间架起了一座桥梁。它能够抓取任意 URL、渲染 JavaScript 密集型页面、提取并格式化内容供 AI 使用、处理 CAPTCHA，以及访问来自 195+ 个国家的受地理限制的网络数据。

它基于 Model Context Protocol (MCP) 构建，这是将 AI 助手连接到外部工具和数据的开放标准。

🛠️ MCP 工具

Oxylabs MCP 提供两套工具，可以一起使用，也可以独立使用：

Oxylabs Web Scraper API 工具

universal_scraper：抓取任意 URL，支持可选的 JavaScript 渲染、地理定位，以及 Markdown/HTML/链接输出；
google_search_scraper：提取 Google 搜索结果，支持可选的结构化 JSON 解析；
amazon_search_scraper：抓取 Amazon 搜索结果页面，支持可选的结构化 JSON 解析；
amazon_product_scraper：从单个 Amazon 产品页面提取数据。

Oxylabs AI Studio 工具

ai_scraper：通过 AI 驱动的提取功能从任意 URL 抓取内容，支持 JSON、CSV、Markdown 或 TOON 格式；
ai_crawler：根据提示词从起始 URL 爬取网站，并跨多个页面收集数据；
ai_browser_agent：根据提示词控制真实浏览器——导航、点击、填写表单——并返回结果；
ai_search：搜索网络，并可选择返回每个结果的 Markdown 内容；
ai_map：绘制网站的 URL 地图，可按关键词或提示词过滤；
generate_schema：为上述 AI 工具生成 OpenAPI 格式的 JSON schema，用于结构化提取。

✅ 前提条件

开始之前，请确保你拥有以下至少一项：

Oxylabs Web Scraper API 账户：从 Oxylabs 获取你的用户名和密码（提供 1 周免费试用）；
Oxylabs AI Studio API 密钥：从 Oxylabs AI Studio 获取你的 API 密钥（免费提供 1000 积分）。

你还需要 uv 包管理器来运行服务器：

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 配置

环境变量

Oxylabs MCP 服务器支持以下环境变量：

名称	描述	默认值
`OXYLABS_USERNAME`	你的 Oxylabs Web Scraper API 用户名
`OXYLABS_PASSWORD`	你的 Oxylabs Web Scraper API 密码
`OXYLABS_AI_STUDIO_API_KEY`	你的 Oxylabs AI Studio API 密钥
`LOG_LEVEL`	返回给客户端的日志级别	`INFO`

根据提供的凭据，服务器会自动暴露相应的工具：

如果只提供 OXYLABS_USERNAME 和 OXYLABS_PASSWORD，服务器会暴露 Web Scraper API 工具；
如果只提供 OXYLABS_AI_STUDIO_API_KEY，服务器会暴露 AI Studio 工具；
如果三者都提供，服务器会暴露所有工具。

❗ 重要提示：只设置你拥有真实凭据的环境变量。保留占位符值会导致暴露的工具无法正常工作。

使用 uvx 配置

安装 PyPI 上的包并自动运行：

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

使用本地代码库配置

适合开发——从本仓库的本地克隆运行服务器：

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

作为远程 HTTP 服务器运行（自托管）

服务器还支持 MCP 可流式 HTTP 传输。使用以下命令启动：

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

使用 HTTP 传输时，凭据按请求传递，而不是通过环境变量：

凭据	传递方式
Web Scraper API	`Authorization: Basic <base64(username:password)>`（标准 HTTP Basic 认证）
Web Scraper API（备选）	`X-Oxylabs-Username` 和 `X-Oxylabs-Password` 请求头
AI Studio	`X-Oxylabs-AI-Studio-Api-Key` 请求头

示例客户端配置：

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

无论提供何种凭据，所有工具都会始终列出；调用缺少所需凭据的工具会返回错误消息，准确说明需要配置什么。

使用 Claude Desktop 设置

导航到 Claude → Settings → Developer → Edit Config，将上述配置之一添加到 claude_desktop_config.json 文件中。

使用 Cursor AI 设置

导航到 Cursor → Settings → Cursor Settings → MCP。点击 Add new global MCP server，然后添加上述配置之一。

📝 日志记录

服务器在 notification/message 事件中提供有关工具调用的附加信息：

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}

{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ 主要特性

从任何网站抓取内容

从任意 URL 提取数据，包括复杂的单页应用
利用无头浏览器支持完整渲染动态网站
选择完整 JavaScript 渲染、仅 HTML 或不渲染
模拟移动端和桌面端视口，实现逼真渲染

自动获取 AI 就绪的数据

自动清理并将 HTML 转换为 Markdown，提高可读性
使用自动化解析器处理 Google、Amazon 等热门目标

管理 CAPTCHA 与地理限制

以高成功率应对复杂的自动化请求管理系统
即使是最复杂的网站也能可靠抓取
从覆盖 195+ 个国家的代理池中获取自动轮换的 IP

灵活配置与跨平台支持

根据需要设置渲染和解析选项
将数据直接输入 AI 模型或分析工具
支持 macOS、Windows 和 Linux

内置错误处理与请求管理

全面的错误处理和报告
智能速率限制和请求管理

为什么选择 Oxylabs MCP？ 🕸️ ➜ 📦 ➜ 🤖

想象一下，你告诉你的 LLM "总结 Hacker News 上关于 GPT‑5 的最新讨论"——而它直接给出了答案。Oxylabs MCP 服务器通过替你完成那些枯燥的部分来实现这一点：

Oxylabs MCP 的作用	对你的意义
借助 Oxylabs 全球代理网络管理自动化请求壁垒	实现网站访问和匿名性
在无头 Chrome 中渲染 JavaScript	单页应用，轻松搞定
将 HTML 清理为 Markdown	直接放入向量数据库或提示词中
可选的结构化解析器（Google、Amazon 等）	一行代码访问热门目标

🛡️ 许可证

基于 MIT 许可证分发——详情请参阅 LICENSE。

关于 Oxylabs

Oxylabs 成立于 2015 年，是市场领先的网络情报采集平台，以最高的商业、道德和合规标准为驱动，帮助全球企业释放数据驱动的洞察力。

_{由 Oxylabs 用 ☕ 制作。如果 MCP 帮你省下了一个周末，欢迎给我们点个 ⭐。}

mcp-name: io.oxylabs/oxylabs-mcp