Oxylabs MCP Server

официальный

Скрейпинг веб-сайтов с помощью Oxylabs Web API, поддерживающий динамический рендеринг и парсинг для извлечения структурированных данных.

GitHub
100

Документация

Oxylabs + MCP

Oxylabs MCP-сервер

Недостающее звено между ИИ-моделями и реальным вебом: один API, предоставляющий чистые, структурированные данные с любого сайта.

📖 Обзор

Oxylabs MCP-сервер служит мостом между ИИ-моделями и вебом. Он позволяет им парсить любые URL, отображать страницы с большим количеством JavaScript, извлекать и форматировать контент для использования в ИИ, управлять CAPTCHA и получать доступ к гео-ограниченным веб-данным из более чем 195 стран.

🛠️ Инструменты MCP

Oxylabs MCP предоставляет два набора инструментов, которые можно использовать вместе или независимо:

Инструменты Oxylabs Web Scraper API

  1. universal_scraper: Использует Oxylabs Web Scraper API для общего парсинга веб-сайтов;
  2. google_search_scraper: Использует Oxylabs Web Scraper API для извлечения результатов из Google Поиска;
  3. amazon_search_scraper: Использует Oxylabs Web Scraper API для парсинга страниц результатов поиска Amazon;
  4. amazon_product_scraper: Использует Oxylabs Web Scraper API для извлечения данных с отдельных страниц товаров Amazon.

Инструменты Oxylabs AI Studio

  1. ai_scraper: Парсинг контента с любого URL в формате JSON или Markdown с извлечением данных на основе ИИ;
  2. ai_crawler: На основе запроса обходит веб-сайт и собирает данные в формате Markdown или JSON с нескольких страниц;
  3. ai_browser_agent: На основе запроса управляет браузером и возвращает данные в форматах Markdown, JSON, HTML или скриншотов;
  4. ai_search: Поиск в интернете URL-адресов и их содержимого с извлечением контента на основе ИИ.

✅ Необходимые условия

Перед началом работы убедитесь, что у вас есть хотя бы одно из следующего:

  • Учетная запись Oxylabs Web Scraper API: Получите имя пользователя и пароль на Oxylabs (доступна 1-недельная бесплатная пробная версия);
  • Ключ API Oxylabs AI Studio: Получите ключ API в Oxylabs AI Studio. (1000 кредитов бесплатно).

📦 Конфигурация

Переменные окружения

Oxylabs MCP-сервер поддерживает следующие переменные окружения:

НазваниеОписаниеПо умолчанию
OXYLABS_USERNAMEВаше имя пользователя Oxylabs Web Scraper API
OXYLABS_PASSWORDВаш пароль Oxylabs Web Scraper API
OXYLABS_AI_STUDIO_API_KEYВаш ключ API Oxylabs AI Studio
LOG_LEVELУровень логирования для логов, возвращаемых клиентуINFO

В зависимости от предоставленных учетных данных сервер автоматически предоставит соответствующие инструменты:

  • Если указаны только OXYLABS_USERNAME и OXYLABS_PASSWORD, сервер предоставит инструменты Web Scraper API;
  • Если указан только OXYLABS_AI_STUDIO_API_KEY, сервер предоставит инструменты AI Studio;
  • Если указаны и OXYLABS_USERNAME и OXYLABS_PASSWORD, и OXYLABS_AI_STUDIO_API_KEY, сервер предоставит все инструменты.

❗❗❗ Важное примечание: если у вас нет учетных данных Web Scraper API или Oxylabs AI Studio, удалите соответствующие заполнители переменных окружения. Оставление значений-заполнителей приведет к тому, что предоставленные инструменты не будут работать.

Настройка с помощью uvx

  • Установите менеджер пакетов uvx: 
    # macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
    ИЛИ: 
    # Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
  • Используйте следующую конфигурацию: 
    {
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "OXYLABS_USERNAME",
        "OXYLABS_PASSWORD": "OXYLABS_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "OXYLABS_AI_STUDIO_API_KEY"
      }
    }
  }
}

Настройка с помощью uv

  • Установите менеджер пакетов uv:

    # macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

    ИЛИ:

    # Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

  • Используйте следующую конфигурацию:

    {
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<Absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "OXYLABS_USERNAME",
        "OXYLABS_PASSWORD": "OXYLABS_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "OXYLABS_AI_STUDIO_API_KEY"
      }
    }
  }
}

Настройка с помощью Smithery Oauth2

  • Перейдите на https://smithery.ai/server/@oxylabs/oxylabs-mcp;
  • Нажмите Auto, чтобы установить конфигурацию Oxylabs MCP для соответствующего клиента;
  • ИЛИ используйте следующую конфигурацию:
  {
    "mcpServers": {
      "oxylabs": {
        "url": "https://server.smithery.ai/@oxylabs/oxylabs-mcp/mcp"
      }
    }
  }
  • Следуйте инструкциям для аутентификации Oxylabs MCP с помощью потока Oauth2

Настройка с помощью параметров запроса Smithery

Если ваш клиент не поддерживает аутентификацию Oauth2, вы можете передать параметры аутентификации Oxylabs непосредственно в URL

  {
    "mcpServers": {
      "oxylabs": {
        "url": "https://server.smithery.ai/@oxylabs/oxylabs-mcp/mcp?oxylabsUsername=OXYLABS_USERNAME&oxylabsPassword=OXYLABS_PASSWORD&oxylabsAiStudioApiKey=OXYLABS_AI_STUDIO_API_KEY"
      }
    }
  }

Ручная настройка с Claude Desktop

Перейдите в Claude → Settings → Developer → Edit Config и добавьте одну из вышеуказанных конфигураций в файл claude_desktop_config.json.

Ручная настройка с Cursor AI

Перейдите в Cursor → Settings → Cursor Settings → MCP. Нажмите Add new global MCP server и добавьте одну из вышеуказанных конфигураций.

📝 Логирование

Сервер предоставляет дополнительную информацию о вызовах инструментов в событиях notification/message

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}

{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

🛡️ Лицензия

Распространяется под лицензией MIT – подробности см. в LICENSE.

О компании Oxylabs

Основанная в 2015 году, Oxylabs является ведущей платформой для сбора веб-данных, руководствующейся высочайшими стандартами бизнеса, этики и комплаенса, что позволяет компаниям по всему миру получать инсайты на основе данных.

image

Сделано с ☕ командой Oxylabs. Не стесняйтесь поставить нам ⭐, если MCP сэкономил вам выходные.

✨ Ключевые возможности

Парсинг контента с любого сайта
  • Извлечение данных с любого URL, включая сложные одностраничные приложения
  • Полный рендеринг динамических веб-сайтов с помощью headless-браузера
  • Выбор полного рендеринга JavaScript, только HTML или без рендеринга
  • Эмуляция мобильных и десктопных областей просмотра для реалистичного отображения
Автоматическое получение данных, готовых для ИИ
  • Автоматическая очистка и преобразование HTML в Markdown для улучшения читаемости
  • Использование автоматических парсеров для популярных целей, таких как Google, Amazon и других
Управление CAPTCHA и гео-ограничениями
  • Навигация по сложным системам управления автоматическими запросами с высокой частотой успеха
  • Надежный парсинг даже самых сложных веб-сайтов
  • Автоматически сменяемые IP-адреса из пула прокси, охватывающего более 195 стран
Гибкая настройка и кроссплатформенная поддержка
  • Настройка параметров рендеринга и парсинга при необходимости
  • Подача данных непосредственно в ИИ-модели или инструменты аналитики
  • Работает на macOS, Windows и Linux
Встроенная обработка ошибок и управление запросами
  • Комплексная обработка ошибок и отчетность
  • Интеллектуальное ограничение частоты запросов и управление ими

Почему Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

Представьте, что вы говорите своей LLM «Суммируй последнее обсуждение Hacker News о GPT‑5» – и она просто отвечает.
MCP (Multi‑Client Proxy) делает это возможным, выполняя скучную работу за вас:

Что делает Oxylabs MCPПочему это важно для вас
Управляет стенами автоматических запросов с помощью глобальной прокси-сети OxylabsОбеспечивает доступ к веб-сайтам и анонимность
Рендерит JavaScript в headless ChromeОдностраничные приложения — решено
Очищает HTML → JSONПрямая загрузка в векторные БД или промпты
Опциональные структурированные парсеры (Google, Amazon и др.)Доступ к популярным целям в одну строку

mcp-name: io.oxylabs/oxylabs-mcp