Oxylabs MCP Server

官方

使用Oxylabs Web API抓取网站,支持动态渲染和解析以提取结构化数据。

文档

Oxylabs + MCP

Oxylabs MCP 服务器

AI 模型与真实网络之间的缺失环节:一个 API 即可从任何网站提供干净、结构化的数据。


📖 概述

Oxylabs MCP 服务器在 AI 模型与网络之间架起了一座桥梁。它使模型能够抓取任何 URL、渲染重度 JavaScript 页面、提取并格式化内容以供 AI 使用、管理 CAPTCHA,并访问来自 195 个以上国家/地区的地理受限网络数据。

🛠️ MCP 工具

Oxylabs MCP 提供两组工具,可一起使用或独立使用:

Oxylabs Web Scraper API 工具

  1. universal_scraper:使用 Oxylabs Web Scraper API 进行通用网站抓取;
  2. google_search_scraper:使用 Oxylabs Web Scraper API 提取 Google 搜索结果;
  3. amazon_search_scraper:使用 Oxylabs Web Scraper API 抓取 Amazon 搜索结果页面;
  4. amazon_product_scraper:使用 Oxylabs Web Scraper API 从单个 Amazon 产品页面提取数据。

Oxylabs AI Studio 工具

  1. ai_scraper:通过 AI 驱动的数据提取,以 JSON 或 Markdown 格式从任何 URL 抓取内容;
  2. ai_crawler:基于提示词,爬取网站并跨多个页面以 Markdown 或 JSON 格式收集数据;
  3. ai_browser_agent:基于提示词,控制浏览器并以 Markdown、JSON、HTML 或截图格式返回数据;
  4. ai_search:通过 AI 驱动的内容提取,搜索网络中的 URL 及其内容。

✅ 前提条件

开始之前,请确保您至少拥有以下一项

  • Oxylabs Web Scraper API 账户:从 Oxylabs 获取您的用户名和密码(提供 1 周免费试用);
  • Oxylabs AI Studio API 密钥:从 Oxylabs AI Studio 获取您的 API 密钥。(1000 免费积分)。

📦 配置

环境变量

Oxylabs MCP 服务器支持以下环境变量:

名称描述默认值
OXYLABS_USERNAME您的 Oxylabs Web Scraper API 用户名
OXYLABS_PASSWORD您的 Oxylabs Web Scraper API 密码
OXYLABS_AI_STUDIO_API_KEY您的 Oxylabs AI Studio API 密钥
LOG_LEVEL返回给客户端的日志级别INFO

根据提供的凭据,服务器将自动公开相应的工具:

  • 如果仅提供 OXYLABS_USERNAMEOXYLABS_PASSWORD,服务器将公开 Web Scraper API 工具;
  • 如果仅提供 OXYLABS_AI_STUDIO_API_KEY,服务器将公开 AI Studio 工具;
  • 如果同时提供 OXYLABS_USERNAMEOXYLABS_PASSWORD 以及 OXYLABS_AI_STUDIO_API_KEY,服务器将公开所有工具。

❗❗❗ 重要提示:如果您没有 Web Scraper API 或 Oxylabs AI Studio 凭据,请删除相应的环境变量占位符。 保留占位符值将导致公开的工具无法正常工作。

使用 uvx 配置

  • 安装 uvx 包管理器:
    # macOS and Linux
    curl -LsSf https://astral.sh/uv/install.sh | sh
    
    或者:
    # Windows
    powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
    
  • 使用以下配置:
    {
      "mcpServers": {
        "oxylabs": {
          "command": "uvx",
          "args": ["oxylabs-mcp"],
          "env": {
            "OXYLABS_USERNAME": "OXYLABS_USERNAME",
            "OXYLABS_PASSWORD": "OXYLABS_PASSWORD",
            "OXYLABS_AI_STUDIO_API_KEY": "OXYLABS_AI_STUDIO_API_KEY"
          }
        }
      }
    }
    

使用 uv 配置

  • 安装 uv 包管理器:

    # macOS and Linux
    curl -LsSf https://astral.sh/uv/install.sh | sh
    

    或者:

    # Windows
    powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
    
  • 使用以下配置:

    {
      "mcpServers": {
        "oxylabs": {
          "command": "uv",
          "args": [
            "--directory",
            "/<Absolute-path-to-folder>/oxylabs-mcp",
            "run",
            "oxylabs-mcp"
          ],
          "env": {
            "OXYLABS_USERNAME": "OXYLABS_USERNAME",
            "OXYLABS_PASSWORD": "OXYLABS_PASSWORD",
            "OXYLABS_AI_STUDIO_API_KEY": "OXYLABS_AI_STUDIO_API_KEY"
          }
        }
      }
    }
    

使用 Smithery Oauth2 配置

  {
    "mcpServers": {
      "oxylabs": {
        "url": "https://server.smithery.ai/@oxylabs/oxylabs-mcp/mcp"
      }
    }
  }
  • 按照说明通过 Oauth2 流程验证 Oxylabs MCP

使用 Smithery 查询参数配置

如果您的客户端不支持 Oauth2 身份验证,您可以直接在 URL 中传递 Oxylabs 身份验证参数

  {
    "mcpServers": {
      "oxylabs": {
        "url": "https://server.smithery.ai/@oxylabs/oxylabs-mcp/mcp?oxylabsUsername=OXYLABS_USERNAME&oxylabsPassword=OXYLABS_PASSWORD&oxylabsAiStudioApiKey=OXYLABS_AI_STUDIO_API_KEY"
      }
    }
  }

在 Claude Desktop 中手动设置

导航到 Claude → Settings → Developer → Edit Config,并将上述配置之一添加到 claude_desktop_config.json 文件中。

在 Cursor AI 中手动设置

导航到 Cursor → Settings → Cursor Settings → MCP。点击 Add new global MCP server 并添加上述配置之一。

📝 日志记录

服务器在 notification/message 事件中提供有关工具调用的附加信息

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

🛡️ 许可证

根据 MIT 许可证分发 – 详情请参阅 LICENSE


关于 Oxylabs

Oxylabs 成立于 2015 年,是市场领先的网络情报收集平台,以最高的商业、道德和合规标准为驱动,助力全球公司解锁数据驱动的洞察。

image

Oxylabs 用 ☕ 制作。如果 MCP 为您节省了一个周末,请随时给我们一个 ⭐。

✨ 主要功能

从任何网站抓取内容
  • 从任何 URL 提取数据,包括复杂的单页应用程序
  • 使用无头浏览器支持完全渲染动态网站
  • 选择完整的 JavaScript 渲染、仅 HTML 或不渲染
  • 模拟移动和桌面视口以实现逼真的渲染
自动获取 AI 就绪数据
  • 自动清理 HTML 并将其转换为 Markdown 以提高可读性
  • 对热门目标(如 Google、Amazon 等)使用自动解析器
管理 CAPTCHA 和地理限制
  • 以高成功率应对复杂的自动化请求管理系统
  • 可靠地抓取即使是最复杂的网站
  • 从覆盖 195 个以上国家/地区的代理池中获取自动轮换的 IP
灵活设置和跨平台支持
  • 根据需要设置渲染和解析选项
  • 将数据直接输入 AI 模型或分析工具
  • 适用于 macOS、Windows 和 Linux
内置错误处理和请求管理
  • 全面的错误处理和报告
  • 智能速率限制和请求管理

为什么选择 Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

想象一下,告诉您的大语言模型 “总结关于 GPT‑5 的最新 Hacker News 讨论” – 它就能直接回答。
MCP(多客户端代理)通过为您处理繁琐的部分来实现这一点:

Oxylabs MCP 做什么对您的重要性
使用 Oxylabs 全球代理网络管理自动化请求墙实现网站访问和匿名性
在无头 Chrome 中渲染 JavaScript单页应用程序,轻松搞定
清理 HTML → JSON直接投入向量数据库或提示词
可选的结构化解析器(Google、Amazon 等)一行代码访问热门目标

mcp-name: io.oxylabs/oxylabs-mcp