Oxylabs MCP Server
官方使用Oxylabs Web API抓取网站,支持动态渲染和解析以提取结构化数据。
文档
Oxylabs MCP 服务器
AI 模型与真实网络之间的缺失环节:一个 API 即可从任何网站提供干净、结构化的数据。
📖 概述
Oxylabs MCP 服务器在 AI 模型与网络之间架起了一座桥梁。它使模型能够抓取任何 URL、渲染重度 JavaScript 页面、提取并格式化内容以供 AI 使用、管理 CAPTCHA,并访问来自 195 个以上国家/地区的地理受限网络数据。
🛠️ MCP 工具
Oxylabs MCP 提供两组工具,可一起使用或独立使用:
Oxylabs Web Scraper API 工具
- universal_scraper:使用 Oxylabs Web Scraper API 进行通用网站抓取;
- google_search_scraper:使用 Oxylabs Web Scraper API 提取 Google 搜索结果;
- amazon_search_scraper:使用 Oxylabs Web Scraper API 抓取 Amazon 搜索结果页面;
- amazon_product_scraper:使用 Oxylabs Web Scraper API 从单个 Amazon 产品页面提取数据。
Oxylabs AI Studio 工具
- ai_scraper:通过 AI 驱动的数据提取,以 JSON 或 Markdown 格式从任何 URL 抓取内容;
- ai_crawler:基于提示词,爬取网站并跨多个页面以 Markdown 或 JSON 格式收集数据;
- ai_browser_agent:基于提示词,控制浏览器并以 Markdown、JSON、HTML 或截图格式返回数据;
- ai_search:通过 AI 驱动的内容提取,搜索网络中的 URL 及其内容。
✅ 前提条件
开始之前,请确保您至少拥有以下一项:
- Oxylabs Web Scraper API 账户:从 Oxylabs 获取您的用户名和密码(提供 1 周免费试用);
- Oxylabs AI Studio API 密钥:从 Oxylabs AI Studio 获取您的 API 密钥。(1000 免费积分)。
📦 配置
环境变量
Oxylabs MCP 服务器支持以下环境变量:
| 名称 | 描述 | 默认值 |
|---|---|---|
OXYLABS_USERNAME | 您的 Oxylabs Web Scraper API 用户名 | |
OXYLABS_PASSWORD | 您的 Oxylabs Web Scraper API 密码 | |
OXYLABS_AI_STUDIO_API_KEY | 您的 Oxylabs AI Studio API 密钥 | |
LOG_LEVEL | 返回给客户端的日志级别 | INFO |
根据提供的凭据,服务器将自动公开相应的工具:
- 如果仅提供
OXYLABS_USERNAME和OXYLABS_PASSWORD,服务器将公开 Web Scraper API 工具; - 如果仅提供
OXYLABS_AI_STUDIO_API_KEY,服务器将公开 AI Studio 工具; - 如果同时提供
OXYLABS_USERNAME和OXYLABS_PASSWORD以及OXYLABS_AI_STUDIO_API_KEY,服务器将公开所有工具。
❗❗❗ 重要提示:如果您没有 Web Scraper API 或 Oxylabs AI Studio 凭据,请删除相应的环境变量占位符。 保留占位符值将导致公开的工具无法正常工作。
使用 uvx 配置
- 安装 uvx 包管理器:
或者:# macOS and Linux curl -LsSf https://astral.sh/uv/install.sh | sh# Windows powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex" - 使用以下配置:
{ "mcpServers": { "oxylabs": { "command": "uvx", "args": ["oxylabs-mcp"], "env": { "OXYLABS_USERNAME": "OXYLABS_USERNAME", "OXYLABS_PASSWORD": "OXYLABS_PASSWORD", "OXYLABS_AI_STUDIO_API_KEY": "OXYLABS_AI_STUDIO_API_KEY" } } } }
使用 uv 配置
-
安装 uv 包管理器:
# macOS and Linux curl -LsSf https://astral.sh/uv/install.sh | sh或者:
# Windows powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex" -
使用以下配置:
{ "mcpServers": { "oxylabs": { "command": "uv", "args": [ "--directory", "/<Absolute-path-to-folder>/oxylabs-mcp", "run", "oxylabs-mcp" ], "env": { "OXYLABS_USERNAME": "OXYLABS_USERNAME", "OXYLABS_PASSWORD": "OXYLABS_PASSWORD", "OXYLABS_AI_STUDIO_API_KEY": "OXYLABS_AI_STUDIO_API_KEY" } } } }
使用 Smithery Oauth2 配置
- 前往 https://smithery.ai/server/@oxylabs/oxylabs-mcp;
- 点击 Auto 为相应的客户端安装 Oxylabs MCP 配置;
- 或者使用以下配置:
{
"mcpServers": {
"oxylabs": {
"url": "https://server.smithery.ai/@oxylabs/oxylabs-mcp/mcp"
}
}
}
- 按照说明通过 Oauth2 流程验证 Oxylabs MCP
使用 Smithery 查询参数配置
如果您的客户端不支持 Oauth2 身份验证,您可以直接在 URL 中传递 Oxylabs 身份验证参数
{
"mcpServers": {
"oxylabs": {
"url": "https://server.smithery.ai/@oxylabs/oxylabs-mcp/mcp?oxylabsUsername=OXYLABS_USERNAME&oxylabsPassword=OXYLABS_PASSWORD&oxylabsAiStudioApiKey=OXYLABS_AI_STUDIO_API_KEY"
}
}
}
在 Claude Desktop 中手动设置
导航到 Claude → Settings → Developer → Edit Config,并将上述配置之一添加到 claude_desktop_config.json 文件中。
在 Cursor AI 中手动设置
导航到 Cursor → Settings → Cursor Settings → MCP。点击 Add new global MCP server 并添加上述配置之一。
📝 日志记录
服务器在 notification/message 事件中提供有关工具调用的附加信息
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
🛡️ 许可证
根据 MIT 许可证分发 – 详情请参阅 LICENSE。
关于 Oxylabs
Oxylabs 成立于 2015 年,是市场领先的网络情报收集平台,以最高的商业、道德和合规标准为驱动,助力全球公司解锁数据驱动的洞察。
✨ 主要功能
从任何网站抓取内容
- 从任何 URL 提取数据,包括复杂的单页应用程序
- 使用无头浏览器支持完全渲染动态网站
- 选择完整的 JavaScript 渲染、仅 HTML 或不渲染
- 模拟移动和桌面视口以实现逼真的渲染
自动获取 AI 就绪数据
- 自动清理 HTML 并将其转换为 Markdown 以提高可读性
- 对热门目标(如 Google、Amazon 等)使用自动解析器
管理 CAPTCHA 和地理限制
- 以高成功率应对复杂的自动化请求管理系统
- 可靠地抓取即使是最复杂的网站
- 从覆盖 195 个以上国家/地区的代理池中获取自动轮换的 IP
灵活设置和跨平台支持
- 根据需要设置渲染和解析选项
- 将数据直接输入 AI 模型或分析工具
- 适用于 macOS、Windows 和 Linux
内置错误处理和请求管理
- 全面的错误处理和报告
- 智能速率限制和请求管理
为什么选择 Oxylabs MCP? 🕸️ ➜ 📦 ➜ 🤖
想象一下,告诉您的大语言模型 “总结关于 GPT‑5 的最新 Hacker News 讨论” – 它就能直接回答。
MCP(多客户端代理)通过为您处理繁琐的部分来实现这一点:
| Oxylabs MCP 做什么 | 对您的重要性 |
|---|---|
| 使用 Oxylabs 全球代理网络管理自动化请求墙 | 实现网站访问和匿名性 |
| 在无头 Chrome 中渲染 JavaScript | 单页应用程序,轻松搞定 |
| 清理 HTML → JSON | 直接投入向量数据库或提示词 |
| 可选的结构化解析器(Google、Amazon 等) | 一行代码访问热门目标 |
mcp-name: io.oxylabs/oxylabs-mcp
