Decodo

официальный

Простой доступ к веб-данным. Упрощённое получение информации с веб-сайтов и онлайн-источников.

Что можно делать с Decodo MCP?

  • Извлекать любую веб-страницу как Markdown — извлекать чистый, готовый для LLM контент из URL с помощью scrape_as_markdown.
  • Делать скриншоты веб-страниц — делать визуальный снимок любого сайта с помощью screenshot.
  • Искать в Google и Bing — получать разобранные результаты SERP через google_search и bing_search.
  • Извлекать данные о товарах из электронной коммерции — искать цены, продавцов и бестселлеры на Amazon, Walmart или Target.
  • Собирать контент из социальных сетей — парсить посты Reddit, видео TikTok или метаданные и субтитры YouTube.
  • Запрашивать инструменты поиска с ИИ — взаимодействовать с ChatGPT, Perplexity или Google AI Mode для получения ответов на основе ИИ.

Документация

Decodo MCP-сервер

Install MCP Server

Подключайте LLM и ИИ-агентов к актуальным веб-данным с помощью MCP (Model Context Protocol). Decodo MCP-сервер позволяет парсить веб-сайты, поисковые системы, платформы электронной коммерции и социальные сети напрямую из ИИ-инструментов, таких как Claude, Cursor и Windsurf, без необходимости создавать инфраструктуру для парсинга с нуля.

  • Структурированные результаты в JSON, Markdown и скриншоты
  • Серверный рендеринг JavaScript и обработка антибот-систем
  • Более 125 млн IP-адресов в более чем 195 локациях

Что такое Decodo MCP-сервер?

Decodo MCP-сервер — это слой веб-парсинга для ИИ-агентов. Он подключает MCP-совместимые клиенты к Decodo Web Scraping API, обеспечивая:

  • Веб-парсинг для LLM
  • Получение данных в реальном времени для RAG
  • Браузинг и исследования ИИ-агентов
  • Извлечение структурированных данных с динамических веб-сайтов

Вместо поддержки прокси, парсеров и логики повторных попыток вы получаете единую точку интеграции для надежного доступа к веб-данным.

Зачем использовать MCP для веб-парсинга?

Model Context Protocol (MCP) — это формирующийся стандарт для подключения ИИ-агентов к внешним инструментам и источникам данных. С MCP:

  • Агенты могут динамически вызывать инструменты
  • Интеграции остаются стандартизированными
  • Рабочие процессы масштабируются в различных средах

Decodo MCP-сервер предоставляет вашим агентам надежный, готовый к промышленной эксплуатации веб-доступ через этот стандарт.

Ключевые возможности

Веб-парсинг для ИИ-агентов без необходимости в инфраструктуре. Парсите любые веб-сайты, включая страницы с интенсивным использованием JavaScript, без необходимости управления ротацией прокси, решения CAPTCHA или обхода антибот-систем.

Структурированные результаты для рабочих процессов LLM. Markdown (готовый для LLM), JSON (для структурированных пайплайнов) и скриншоты (для визуального контекста), созданные для RAG-пайплайнов, ИИ-исследовательских агентов и потоков автоматизации.

Встроенная поддержка популярных целей. Готовые инструменты для Google и Bing (SERP), Amazon, Walmart и Target (электронная коммерция), Reddit, TikTok и YouTube (социальные сети), а также ChatGPT и Perplexity (ИИ-поиск).

Глобальная прокси-инфраструктура. Более 125 млн резидентных IP-адресов, более 195 геолокаций и 99,99% успешных запросов даже к самым защищенным целям.

Модульные наборы инструментов MCP. Включайте только то, что вам нужно: web, search, ecommerce, social_media, ai для более чистого выбора инструментов и лучшей производительности агента.

Быстрый старт. От API-ключа до первого парсинга за считанные минуты, без накладных расходов на настройку.

Варианты использования

Используйте Decodo MCP-сервер, когда вам нужен веб-парсинг для ИИ-агентов, извлечение структурированных данных в масштабе, надежный доступ к динамическим веб-сайтам, данные в реальном времени для RAG или альтернатива созданию инфраструктуры парсинга с нуля. Типичные сценарии:

  • Веб-парсинг на базе ИИ – дайте LLM возможность собирать свежие данные вместо того, чтобы полагаться на статические обучающие данные.
  • RAG с актуальными данными – получайте результаты поиска Google, Bing и ИИ в реальном времени в пайплайны извлечения.
  • Разведка в электронной коммерции – отслеживайте цены на товары, списки и продавцов на торговых площадках без блокировок.
  • Сбор данных из социальных сетей – собирайте посты, каналы и данные о вовлеченности из Reddit, TikTok и YouTube.
  • Агрегация цен и туристических данных – создавайте инструменты, которые собирают актуальные цены и доступность на разных веб-сайтах.

Быстрый старт

  1. Создайте бесплатную учетную запись на dashboard.decodo.com – до 2 тыс. бесплатных запросов, кредитная карта не требуется.
  2. Получите свой API-ключ. Получите токен базовой аутентификации Web Scraping API из панели управления.
  3. Загрузите Node.js 18+ с https://nodejs.org.
  4. Установите MCP-клиент, например Claude Desktop, Cursor, Windsurf или другие MCP-совместимые инструменты.
  5. Настройте MCP-сервер в вашем ИИ-клиенте (см. примеры конфигурации ниже).

Подключение к Decodo MCP-серверу

Откройте предпочитаемый MCP-клиент и добавьте следующую конфигурацию (см. примеры для Claude Code, Cursor, Windsurf ниже):

{
  "mcpServers": {
    "Decodo": {
      "url": "https://mcp.decodo.com/mcp",
      "headers": {
        "Authorization": "Basic <basic_auth_token>"
      }
    }
  }
}

Claude Desktop

  1. Откройте Claude Desktop → Настройки → Разработчик → Редактировать конфигурацию.
  2. Добавьте в claude_desktop_config.json:
{
  "mcpServers": {
    "Decodo": {
      "command": "npx",
      "args": ["-y", "@decodo/mcp-server"],
      "env": {
        "SCRAPER_API_TOKEN": "<basic_auth_token>",
        "TOOLSETS": "web,ai"
      }
    }
  }
}
  1. Сохраните и перезапустите Claude Desktop.

Cursor

  1. Откройте Настройки → MCP.
  2. Нажмите «Добавить новый глобальный MCP-сервер» (откроется mcp.json).
  3. Добавьте ту же конфигурацию, что и выше.
  4. Сохраните — рядом с Decodo должен появиться зеленый индикатор состояния.

Windsurf

  1. Откройте Настройки → Настройки Windsurf.
  2. Прокрутите до Cascade → Добавить пользовательский сервер + (откроется mcp_config.json).
  3. Добавьте ту же конфигурацию, что и выше.
  4. Сохраните и перезапустите Windsurf.

Проверьте настройку

После подключения попробуйте этот запрос в вашем клиенте:

▎ "Извлеки заголовки топ-5 статей с Hacker News"

Вы должны получить структурированный список в течение нескольких секунд. Если вы видите ошибку аутентификации, перепроверьте ваш токен из панели управления.

Дополнительно: включите определенные наборы инструментов

Запуск MCP-сервера локально

Предварительные требования

  • Node.js 18.0+
  • MCP-клиент — популярные варианты: Claude Desktop и Cursor

Пошаговое руководство

  1. Клонируйте этот репозиторий:
git clone https://github.com/Decodo/mcp-server
  1. Выполните следующие команды в терминале:
cd decodo-mcp-server
npm install
npm run build
  1. Запомните расположение сборки:
cd build/
pwd

Добавив index.js в конец этого каталога, путь к файлу сборки должен выглядеть примерно так:

/Users/your.user/projects/decodo-mcp/build/index.js
  1. Обновите ваш MCP-клиент информацией о сервере:
{
  "mcpServers": {
    "decodo-mcp": {
      "command": "node",
      "args": ["/Users/your.user/projects/decodo-mcp/build/index.js"],
      "env": {
        "SCRAPER_API_TOKEN": "<web_scraping_api_base64_token>"
      }
    }
  }
}

Наборы инструментов

Инструменты организованы в наборы. Вы можете выборочно включить определенные наборы инструментов, передав список, разделенный запятыми, через параметр запроса toolsets:

    "Decodo MCP Server": {
      "url": "https://mcp.decodo.com/mcp?toolsets=web,ai",
      "headers": {
        "Authorization": "Basic <your_auth_token>"
      }
    }

Если наборы инструментов не указаны, регистрируются все инструменты.

Набор инструментовИнструменты
webscrape_as_markdown, screenshot
searchgoogle_search, google_ads, google_lens, google_travel_hotels, bing_search
ecommerceamazon_search, amazon_product, amazon_pricing, amazon_sellers, amazon_bestsellers, walmart_search, walmart_product, target_search, target_product, tiktok_shop_search, tiktok_shop_product, tiktok_shop_url
social_mediareddit_post, reddit_subreddit, reddit_user, tiktok_post, youtube_metadata, youtube_channel, youtube_subtitles, youtube_search
aichatgpt, perplexity, google_ai_mode

Инструменты

Сервер предоставляет следующие инструменты:

ИнструментОписаниеПример запроса
scrape_as_markdownСобирает данные с любого целевого URL, ожидает URL в запросе. Возвращает результат в Markdown.Собери данные с peacock.com с IP-адреса США и покажи цены.
screenshotДелает скриншот любой веб-страницы и возвращает его в виде PNG-изображения.Сделай скриншот github.com с IP-адреса США.
google_searchСобирает результаты поиска Google по заданному запросу и возвращает обработанные данные.Собери результаты поиска Google по запросу "обувь" и покажи первую позицию.
google_adsСобирает результаты поиска Google Ads.Собери данные Google Ads по запросу "ноутбук" и покажи верхние объявления.
google_lensСобирает результаты поиска по изображениям Google Lens.Найди через Google Lens это изображение: https://example.com/image.jpg
google_ai_modeСобирает результаты Google AI Mode (поиск с ИИ).Спроси Google AI Mode: Какие три породы собак самые популярные?
google_travel_hotelsСобирает результаты поиска отелей в Google Travel.Найди отели в Париже через Google Travel Hotels.
amazon_searchСобирает результаты поиска Amazon по заданному запросу и возвращает обработанные данные.Собери результаты поиска Amazon по запросу "беспроводная клавиатура".
amazon_productСобирает данные со страницы товара Amazon.Собери данные о товаре Amazon B09H74FXNW и покажи подробности.
amazon_pricingСобирает информацию о ценах на товар Amazon.Получи цены на товар Amazon B09H74FXNW.
amazon_sellersСобирает информацию о продавце Amazon.Получи информацию о продавце Amazon A1R0Z7FJGTKESH.
amazon_bestsellersСобирает список бестселлеров Amazon.Покажи бестселлеры Amazon в категории "электроника".
walmart_searchСобирает результаты поиска Walmart по заданному запросу и возвращает обработанные данные.Собери результаты поиска Walmart по запросу "походная палатка".
walmart_productСобирает данные со страницы товара Walmart.Собери данные о товаре Walmart 15296401808.
target_searchСобирает результаты поиска Target по заданному запросу и возвращает обработанные данные.Собери результаты поиска Target по запросу "кухонная техника".
target_productСобирает данные со страницы товара Target.Собери данные о товаре Target 92186007.
tiktok_postСобирает структурированные данные (вовлеченность, подпись, хештеги) по URL поста TikTok.Собери данные этого поста TikTok: https://www.tiktok.com/@nba/video/7393013274725403950
tiktok_shop_searchСобирает результаты поиска TikTok Shop по заданному запросу и возвращает обработанные данные.Собери результаты поиска TikTok Shop по запросу "чехлы для телефона".
tiktok_shop_productСобирает данные со страницы товара TikTok Shop.Собери данные о товаре TikTok Shop 1731541214379741272.
tiktok_shop_urlСобирает данные со страницы TikTok Shop по URL.Собери данные по этому URL TikTok Shop: https://www.tiktok.com/shop/s?q=HEADPHONES
youtube_metadataСобирает метаданные видео YouTube.Получи метаданные видео YouTube dFu9aKJoqGg.
youtube_channelСобирает видео с канала YouTube.Собери видео с канала YouTube @decodo_official.
youtube_subtitlesСобирает субтитры видео YouTube.Получи субтитры видео YouTube L8zSWbQN-v8.
youtube_searchИщет видео на YouTube.Найди на YouTube "Как ухаживать за шиншиллами".
reddit_postСобирает данные конкретного поста Reddit.Собери данные этого поста Reddit: https://www.reddit.com/r/horseracing/comments/1nsrn3/
reddit_subredditСобирает результаты из сабреддита Reddit.Собери топ-5 постов на r/Python за эту неделю.
reddit_userСобирает профиль пользователя Reddit и его посты/комментарии.Собери данные этого пользователя Reddit: https://www.reddit.com/user/IWasRightOnce/
bing_searchСобирает результаты поиска Bing.Найди в Bing обзоры ноутбуков.
chatgptПоиск и взаимодействие с ChatGPT для получения ответов и ведения бесед с помощью ИИ.Спроси ChatGPT, как объяснить квантовые вычисления простыми словами.
perplexityПоиск и взаимодействие с Perplexity для получения ответов и ведения бесед с помощью ИИ.Спроси Perplexity о последних трендах в веб-разработке.

Параметры

Следующие параметры извлекаются из запросов пользователя:

ПараметрОписание
jsRenderОтображает целевой URL в headless-браузере.
geoУстанавливает страну, из которой будет исходить запрос.
localeУстанавливает локаль запроса.
tokenLimitОбрезает содержимое ответа до этого предела. Полезно, если контекстное окно мало.
promptЗапрос для отправки в ИИ-инструменты (chatgpt, perplexity).
searchАктивирует функцию веб-поиска ChatGPT (только для chatgpt).
xhrЕсли true, включает ответы XHR или fetch в результат сбора данных, где это поддерживается (например, tiktok_post).
deviceTypeТип устройства для эмуляции запроса (desktop, mobile, tablet).
domainДомен для использования в запросе (например, amazon.com, amazon.co.uk, bing.com).
pageFromНачальный номер страницы для пагинации.
deliveryZipПочтовый индекс для места доставки (Target, Walmart).
storeIdИдентификатор магазина для локальных остатков (Target, Walmart).
countryСтрана для запросов TikTok Shop.
limitМаксимальное количество возвращаемых результатов (например, видео канала YouTube).
language_codeКод языка для субтитров (например, en, es).

Примеры

Сбор гео-ограниченного контента

Отправьте своему ИИ-агенту следующий запрос:

Scrape peacock.com from a German IP address and tell me the pricing.

Этот запрос покажет, что peacock.com гео-ограничен. Чтобы обойти гео-ограничение:

Scrape peacock.com from a US IP address and tell me the pricing.

Ограничение количества токенов ответа

Если у вашего агента маленькое контекстное окно, контент, возвращаемый при сборе, будет автоматически обрезан, чтобы избежать переполнения контекста. Вы можете увеличить количество возвращаемых токенов в своем запросе:

Scrape hacker news, return 50k tokens.

Если у вашего агента большое контекстное окно, скажите ему вернуть full content:

Scrape hacker news, return full content.

Использование с навыками агента Decodo

Этот сервер предоставляет вашему агенту инструменты для сбора данных. Decodo/agent-skills учит его, когда к ним обращаться, какой источник использовать и как его вызывать — чтобы агент выбирал правильный инструмент и параметры самостоятельно, а не гадал.

Навыки маршрутизируют через CLI decodo, этот размещенный MCP-сервер и прямой HTTP API, и автоматически переключаются на MCP-сервер, когда оболочка недоступна. Совместное использование дает вашему агенту как уровень исполнения (этот сервер), так и уровень принятия решений (навыки) в одной установке.

Быстрый старт (Claude Code):

/plugin marketplace add Decodo/agent-skills
/plugin install decodo@decodo-skills

См. README agent-skills для ручной установки и других агентов (Cursor, Codex, Gemini CLI, Windsurf).

Связанные репозитории

Web Scraping API, Decodo agent skills, Decodo OpenClaw skill

Попробуйте

Подключите Decodo MCP Server к своему рабочему процессу ИИ всего за несколько кликов и оснастите своих ИИ-агентов данными с любого сайта в реальном времени.

Начать бесплатно | Документация | Discord

Лицензия

Весь код выпущен под лицензией MIT.