Decodo

официальный

Простой доступ к веб-данным. Упрощённое получение информации с веб-сайтов и онлайн-источников.

Что можно делать с Decodo MCP?

  • Скрейпить любую веб-страницу в Markdown — Попросите вашего ассистента получить URL через scrape_as_markdown и вернуть чистый, готовый для LLM контент с сайтов с интенсивным использованием JavaScript.
  • Делать скриншоты страниц — Запросите визуальный снимок любой веб-страницы с помощью screenshot, с опциями геолокации и эмуляции устройства.
  • Выполнять поисковые запросы — Получайте распарсенные результаты из Google, Bing или Google AI Mode с помощью таких инструментов, как google_search, bing_search или google_ai_mode.
  • Отслеживать товары и цены в eCommerce — Мониторьте объявления, цены и продавцов на Amazon, Walmart, Target и TikTok Shop с помощью таких инструментов, как amazon_pricing и walmart_search.
  • Собирать данные из соцсетей — Получайте посты, информацию о каналах, субтитры и вовлечённость из Reddit, TikTok и YouTube через такие инструменты, как reddit_subreddit и youtube_subtitles.
  • Запрашивать AI-поисковики — Получайте AI-сгенерированные ответы и диалоги из chatgpt или perplexity прямо в вашем рабочем процессе.

Документация

Сервер Decodo MCP

Install MCP Server

Подключайте LLM и AI-агентов к живым веб-данным с помощью MCP (Model Context Protocol). Сервер Decodo MCP позволяет вам парсить веб-сайты, поисковые системы, eCommerce-платформы и социальные сети напрямую из AI-инструментов, таких как Claude, Cursor и Windsurf, без необходимости создавать инфраструктуру для парсинга с нуля.

  • Структурированные выходные данные в JSON, Markdown и скриншотах
  • Серверный рендеринг JavaScript и обработка анти-бот систем
  • 125M+ IP-адресов в 195+ локациях

Что такое сервер Decodo MCP?

Сервер Decodo MCP — это слой веб-парсинга для AI-агентов. Он подключает MCP-совместимых клиентов к Web Scraping API от Decodo, обеспечивая:

  • Веб-парсинг для LLM
  • Получение данных в реальном времени для RAG
  • Просмотр и исследование с помощью AI-агентов
  • Извлечение структурированных данных с динамических веб-сайтов

Вместо поддержки прокси, парсеров и логики повторных попыток вы получаете единую точку интеграции для надежного доступа к веб-данным.

Зачем использовать MCP для веб-парсинга?

Model Context Protocol (MCP) — это emerging-стандарт для подключения AI-агентов к внешним инструментам и источникам данных. С MCP:

  • Агенты могут динамически вызывать инструменты
  • Интеграции остаются стандартизированными
  • Рабочие процессы масштабируются в разных средах

Сервер Decodo MCP предоставляет вашим агентам надежный, готовый к продакшену веб-доступ через этот стандарт.

Ключевые возможности

Веб-парсинг для AI-агентов без необходимости в инфраструктуре. Парсите любой веб-сайт, включая страницы с интенсивным использованием JavaScript, без управления ротацией прокси, решением CAPTCHA или анти-бот системами.

Структурированные выходные данные для LLM-рабочих процессов. Markdown (готов для LLM), JSON (для структурированных пайплайнов) и скриншоты (для визуального контекста), созданные для RAG-пайплайнов, AI-исследовательских агентов и автоматизированных процессов.

Встроенная поддержка популярных целей. Готовые инструменты для Google и Bing (SERP), Amazon, Walmart и Target (eCommerce), Reddit, TikTok и YouTube (социальные сети), а также ChatGPT и Perplexity (AI-поиск).

Глобальная прокси-инфраструктура. 125M+ резидентных IP-адресов, 195+ геолокаций и 99.99% уровень успеха даже на самых защищенных целях.

Модульные наборы инструментов MCP. Включайте только то, что нужно: web, search, ecommerce, social_media, ai для более чистого выбора инструментов и лучшей производительности агентов.

Быстрое получение ценности. От API-ключа до первого парсинга за минуты, без накладных расходов на настройку.

Варианты использования

Используйте сервер Decodo MCP, когда вам нужен веб-парсинг для AI-агентов, извлечение структурированных данных в масштабе, надежный доступ к динамическим веб-сайтам, данные в реальном времени для RAG или альтернатива созданию инфраструктуры парсинга с нуля. Типичные сценарии:

  • AI-управляемый веб-парсинг – дайте LLM возможность собирать свежие данные вместо использования статических обучающих данных.
  • RAG с живыми данными – получайте результаты поиска Google, Bing и AI в реальном времени в пайплайны поиска.
  • eCommerce-аналитика – отслеживайте цены на товары, списки и продавцов на маркетплейсах без блокировок.
  • Сбор данных из социальных сетей – собирайте посты, каналы и данные о вовлеченности из Reddit, TikTok и YouTube.
  • Агрегация путешествий и цен – создавайте инструменты, которые собирают живые цены и доступность на разных веб-сайтах.

Быстрый старт

  1. Создайте бесплатный аккаунт на dashboard.decodo.com – до 2K бесплатных запросов, без кредитной карты.
  2. Получите ваш API-ключ. Получите токен базовой аутентификации Web Scraping API из панели управления.
  3. Скачайте Node.js 18+ с https://nodejs.org.
  4. Получите MCP-клиент, такой как Claude Desktop, Cursor, Windsurf или другие MCP-совместимые инструменты.
  5. Настройте MCP-сервер в вашем AI-клиенте (см. примеры конфигурации ниже).

Подключение к MCP-серверу Decodo

Откройте ваш предпочитаемый MCP-клиент и добавьте следующую конфигурацию (см. примеры для Claude Code, Cursor, Windsurf ниже):

{
  "mcpServers": {
    "Decodo": {
      "url": "https://mcp.decodo.com/mcp",
      "headers": {
        "Authorization": "Basic <basic_auth_token>"
      }
    }
  }
}

Claude Desktop

  1. Откройте Claude Desktop → Настройки → Разработчик → Изменить конфигурацию.
  2. Добавьте в claude_desktop_config.json:
{
  "mcpServers": {
    "Decodo": {
      "command": "npx",
      "args": ["-y", "@decodo/mcp-server"],
      "env": {
        "SCRAPER_API_TOKEN": "<basic_auth_token>",
        "TOOLSETS": "web,ai"
      }
    }
  }
}
  1. Сохраните и перезапустите Claude Desktop.

Cursor

  1. Откройте Настройки → MCP.
  2. Нажмите Добавить новый глобальный MCP-сервер (откроется mcp.json).
  3. Добавьте ту же конфигурацию, что и выше.
  4. Сохраните — ищите зеленый индикатор статуса рядом с Decodo.

Windsurf

  1. Откройте Настройки → Настройки Windsurf.
  2. Прокрутите до Cascade → Добавить пользовательский сервер + (откроется mcp_config.json).
  3. Добавьте ту же конфигурацию, что и выше.
  4. Сохраните и перезапустите Windsurf.

Проверьте вашу настройку

После подключения попробуйте этот запрос в вашем клиенте:

▎ "Собери заголовки 5 лучших статей с Hacker News"

Вы должны получить структурированный список в течение нескольких секунд. Если вы видите ошибку аутентификации, перепроверьте ваш токен из панели управления.

Необязательно: включите конкретные наборы инструментов

Запуск MCP-сервера локально

Предварительные требования

  • Node.js 18.0+
  • MCP-клиент — популярные варианты: Claude Desktop и Cursor

Пошаговое руководство

  1. Клонируйте этот репозиторий:
git clone https://github.com/Decodo/mcp-server
  1. Выполните следующие команды в терминале:
cd decodo-mcp-server
npm install
npm run build
  1. Запомните расположение вашей сборки:
cd build/
pwd

Добавив index.js в конец этой директории, расположение вашего файла сборки должно выглядеть примерно так:

/Users/your.user/projects/decodo-mcp/build/index.js
  1. Обновите ваш MCP-клиент с информацией о сервере:
{
  "mcpServers": {
    "decodo-mcp": {
      "command": "node",
      "args": ["/Users/your.user/projects/decodo-mcp/build/index.js"],
      "env": {
        "SCRAPER_API_TOKEN": "<web_scraping_api_base64_token>"
      }
    }
  }
}

Наборы инструментов

Инструменты организованы в наборы. Вы можете выборочно включать конкретные наборы, передавая список, разделенный запятыми, через параметр запроса toolsets:

    "Decodo MCP Server": {
      "url": "https://mcp.decodo.com/mcp?toolsets=web,ai",
      "headers": {
        "Authorization": "Basic <your_auth_token>"
      }
    }

Когда наборы не указаны, регистрируются все инструменты.

Набор инструментовИнструменты
webscrape_as_markdown, screenshot
searchgoogle_search, google_ads, google_lens, google_travel_hotels, bing_search
ecommerceamazon_search, amazon_product, amazon_pricing, amazon_sellers, amazon_bestsellers, walmart_search, walmart_product, target_search, target_product, tiktok_shop_search, tiktok_shop_product, tiktok_shop_url
social_mediareddit_post, reddit_subreddit, reddit_user, tiktok_post, youtube_metadata, youtube_channel, youtube_subtitles, youtube_search
aichatgpt, perplexity, google_ai_mode

Инструменты

Сервер предоставляет следующие инструменты:

ИнструментОписаниеПример запроса
scrape_as_markdownИзвлекает данные с любого целевого URL; ожидает, что URL будет указан в запросе. Возвращает результат в Markdown.Извлеки данные с peacock.com с IP-адреса в США и расскажи мне о ценах.
screenshotДелает скриншот любой веб-страницы и возвращает его как PNG-изображение.Сделай скриншот github.com с IP-адреса в США.
google_searchВыполняет поиск в Google Search по заданному запросу и возвращает разобранные результаты.Выполни поиск в Google Search по запросу "обувь" и скажи мне, какая позиция на первом месте.
google_adsИзвлекает результаты поиска Google Ads.Выполни поиск в Google Ads по запросу "ноутбук" и покажи мне лучшие объявления.
google_lensИзвлекает результаты поиска изображений Google Lens.Выполни поиск в Google Lens по этому изображению: https://example.com/image.jpg
google_ai_modeИзвлекает результаты Google AI Mode (Поиск с ИИ).Спроси Google AI Mode: Какие три лучшие породы собак?
google_travel_hotelsИзвлекает результаты поиска отелей Google Travel.Выполни поиск отелей в Google Travel для Парижа.
amazon_searchВыполняет поиск на Amazon по заданному запросу и возвращает разобранные результаты.Выполни поиск на Amazon по запросу "беспроводная клавиатура".
amazon_productИзвлекает данные со страницы товара Amazon.Извлеки данные о товаре Amazon B09H74FXNW и покажи мне подробности.
amazon_pricingИзвлекает информацию о ценах на товары Amazon.Получи информацию о ценах на товар Amazon B09H74FXNW.
amazon_sellersИзвлекает информацию о продавцах Amazon.Получи информацию о продавце Amazon A1R0Z7FJGTKESH.
amazon_bestsellersИзвлекает список бестселлеров Amazon.Покажи мне бестселлеры Amazon в категории электроники.
walmart_searchВыполняет поиск на Walmart по заданному запросу и возвращает разобранные результаты.Выполни поиск на Walmart по запросу "палатка для кемпинга".
walmart_productИзвлекает данные со страницы товара Walmart.Извлеки данные о товаре Walmart 15296401808.
target_searchВыполняет поиск на Target по заданному запросу и возвращает разобранные результаты.Выполни поиск на Target по запросу "кухонная техника".
target_productИзвлекает данные со страницы товара Target.Извлеки данные о товаре Target 92186007.
tiktok_postИзвлекает структурированные данные из поста TikTok (например, вовлечённость, подпись, хэштеги).Извлеки данные из этого поста TikTok: https://www.tiktok.com/@nba/video/7393013274725403950
tiktok_shop_searchВыполняет поиск в TikTok Shop по заданному запросу и возвращает разобранные результаты.Выполни поиск в TikTok Shop по запросу "чехлы для телефона".
tiktok_shop_productИзвлекает данные со страницы товара TikTok Shop.Извлеки данные о товаре TikTok Shop 1731541214379741272.
tiktok_shop_urlИзвлекает данные со страницы TikTok Shop по URL.Извлеки данные с этого URL TikTok Shop: https://www.tiktok.com/shop/s?q=HEADPHONES
youtube_metadataИзвлекает метаданные видео YouTube.Получи метаданные для видео YouTube dFu9aKJoqGg.
youtube_channelИзвлекает видео с канала YouTube.Извлеки видео с канала YouTube @decodo_official.
youtube_subtitlesИзвлекает субтитры к видео YouTube.Получи субтитры для видео YouTube L8zSWbQN-v8.
youtube_searchВыполняет поиск видео на YouTube.Выполни поиск на YouTube по запросу "Как ухаживать за шиншиллами".
reddit_postИзвлекает данные конкретного поста Reddit.Извлеки данные следующего поста Reddit: https://www.reddit.com/r/horseracing/comments/1nsrn3/
reddit_subredditИзвлекает результаты из сабреддита Reddit.Извлеки 5 лучших постов из r/Python за эту неделю.
reddit_userИзвлекает профиль пользователя Reddit и его посты/комментарии.Извлеки данные этого пользователя Reddit: https://www.reddit.com/user/IWasRightOnce/
bing_searchИзвлекает результаты поиска Bing.Выполни поиск в Bing по запросу "обзоры ноутбуков".
chatgptПоиск и взаимодействие с ChatGPT для ответов и диалогов на основе ИИ.Попроси ChatGPT объяснить квантовые вычисления простыми словами.
perplexityПоиск и взаимодействие с Perplexity для ответов и диалогов на основе ИИ.Спроси Perplexity о последних трендах в веб-разработке.

Параметры

Следующие параметры выводятся из запросов пользователя:

ПараметрОписание
jsRenderОтображает целевой URL в headless-браузере.
geoЗадаёт страну, из которой будет исходить запрос.
localeЗадаёт локаль запроса.
tokenLimitОбрезает содержимое ответа до этого предела. Полезно, если контекстное окно небольшое.
promptЗапрос для отправки в ИИ-инструменты (chatgpt, perplexity).
searchАктивирует функцию веб-поиска ChatGPT (только для chatgpt).
xhrЕсли true, включает ответы XHR или fetch в результат извлечения там, где это поддерживается (например, tiktok_post).
deviceTypeТип устройства для эмуляции при запросе (desktop, mobile, tablet).
domainДомен для использования в запросе (например, amazon.com, amazon.co.uk, bing.com).
pageFromНачальный номер страницы для пагинации.
deliveryZipПочтовый индекс для адреса доставки (Target, Walmart).
storeIdИдентификатор магазина для локального наличия (Target, Walmart).
countryСтрана для запросов TikTok Shop.
limitМаксимальное количество возвращаемых результатов (например, видео с канала YouTube).
language_codeКод языка для субтитров (например, en, es).

Примеры

Извлечение гео-ограниченного контента

Задайте вашему ИИ-агенту следующий запрос:

Scrape peacock.com from a German IP address and tell me the pricing.

Этот запрос сообщит, что peacock.com является гео-ограниченным. Чтобы обойти гео-ограничение:

Scrape peacock.com from a US IP address and tell me the pricing.

Ограничение количества токенов в ответе

Если у вашего агента небольшое контекстное окно, содержимое, возвращаемое при извлечении, будет автоматически обрезано, чтобы избежать переполнения контекста. Вы можете увеличить количество возвращаемых токенов в вашем запросе:

Scrape hacker news, return 50k tokens.

Если у вашего агента большое контекстное окно, скажите ему вернуть full content:

Scrape hacker news, return full content.

Использование с навыками агента Decodo

Этот сервер предоставляет вашему агенту инструменты для извлечения данных. Decodo/agent-skills обучает его когда их использовать, какую поверхность применять и как вызывать — чтобы агент сам выбирал правильный инструмент и параметры, а не угадывал.

Навыки работают через decodo CLI, этот размещённый MCP-сервер и сырой HTTP API, и автоматически переключаются на MCP-сервер, когда оболочка недоступна. Объединение обоих даёт вашему агенту и уровень выполнения (этот сервер), и уровень принятия решений (навыки) в одной настройке.

Быстрый старт (Claude Code):

/plugin marketplace add Decodo/agent-skills
/plugin install decodo@decodo-skills

См. README навыков агента для ручной установки и других агентов (Cursor, Codex, Gemini CLI, Windsurf).

Связанные репозитории

Web Scraping API, Навыки агента Decodo, Навык Decodo OpenClaw

Попробуйте

Подключите Decodo MCP Server к вашему ИИ-рабочему процессу всего за несколько кликов и оснастите ваших ИИ-агентов данными в реальном времени с любого сайта.

Начать бесплатно | Документация | Discord

Лицензия

Весь код выпущен под лицензией MIT.