Decodo
официальныйПростой доступ к веб-данным. Упрощённое получение информации с веб-сайтов и онлайн-источников.
Что можно делать с Decodo MCP?
- Скрейпить любую веб-страницу в Markdown — Попросите вашего ассистента получить URL через
scrape_as_markdownи вернуть чистый, готовый для LLM контент с сайтов с интенсивным использованием JavaScript. - Делать скриншоты страниц — Запросите визуальный снимок любой веб-страницы с помощью
screenshot, с опциями геолокации и эмуляции устройства. - Выполнять поисковые запросы — Получайте распарсенные результаты из Google, Bing или Google AI Mode с помощью таких инструментов, как
google_search,bing_searchилиgoogle_ai_mode. - Отслеживать товары и цены в eCommerce — Мониторьте объявления, цены и продавцов на Amazon, Walmart, Target и TikTok Shop с помощью таких инструментов, как
amazon_pricingиwalmart_search. - Собирать данные из соцсетей — Получайте посты, информацию о каналах, субтитры и вовлечённость из Reddit, TikTok и YouTube через такие инструменты, как
reddit_subredditиyoutube_subtitles. - Запрашивать AI-поисковики — Получайте AI-сгенерированные ответы и диалоги из
chatgptилиperplexityпрямо в вашем рабочем процессе.
Документация
Сервер Decodo MCP
Подключайте LLM и AI-агентов к живым веб-данным с помощью MCP (Model Context Protocol). Сервер Decodo MCP позволяет вам парсить веб-сайты, поисковые системы, eCommerce-платформы и социальные сети напрямую из AI-инструментов, таких как Claude, Cursor и Windsurf, без необходимости создавать инфраструктуру для парсинга с нуля.
- Структурированные выходные данные в JSON, Markdown и скриншотах
- Серверный рендеринг JavaScript и обработка анти-бот систем
- 125M+ IP-адресов в 195+ локациях
Что такое сервер Decodo MCP?
Сервер Decodo MCP — это слой веб-парсинга для AI-агентов. Он подключает MCP-совместимых клиентов к Web Scraping API от Decodo, обеспечивая:
- Веб-парсинг для LLM
- Получение данных в реальном времени для RAG
- Просмотр и исследование с помощью AI-агентов
- Извлечение структурированных данных с динамических веб-сайтов
Вместо поддержки прокси, парсеров и логики повторных попыток вы получаете единую точку интеграции для надежного доступа к веб-данным.
Зачем использовать MCP для веб-парсинга?
Model Context Protocol (MCP) — это emerging-стандарт для подключения AI-агентов к внешним инструментам и источникам данных. С MCP:
- Агенты могут динамически вызывать инструменты
- Интеграции остаются стандартизированными
- Рабочие процессы масштабируются в разных средах
Сервер Decodo MCP предоставляет вашим агентам надежный, готовый к продакшену веб-доступ через этот стандарт.
Ключевые возможности
Веб-парсинг для AI-агентов без необходимости в инфраструктуре. Парсите любой веб-сайт, включая страницы с интенсивным использованием JavaScript, без управления ротацией прокси, решением CAPTCHA или анти-бот системами.
Структурированные выходные данные для LLM-рабочих процессов. Markdown (готов для LLM), JSON (для структурированных пайплайнов) и скриншоты (для визуального контекста), созданные для RAG-пайплайнов, AI-исследовательских агентов и автоматизированных процессов.
Встроенная поддержка популярных целей. Готовые инструменты для Google и Bing (SERP), Amazon, Walmart и Target (eCommerce), Reddit, TikTok и YouTube (социальные сети), а также ChatGPT и Perplexity (AI-поиск).
Глобальная прокси-инфраструктура. 125M+ резидентных IP-адресов, 195+ геолокаций и 99.99% уровень успеха даже на самых защищенных целях.
Модульные наборы инструментов MCP. Включайте только то, что нужно: web, search, ecommerce, social_media,
ai для более чистого выбора инструментов и лучшей производительности агентов.
Быстрое получение ценности. От API-ключа до первого парсинга за минуты, без накладных расходов на настройку.
Варианты использования
Используйте сервер Decodo MCP, когда вам нужен веб-парсинг для AI-агентов, извлечение структурированных данных в масштабе, надежный доступ к динамическим веб-сайтам, данные в реальном времени для RAG или альтернатива созданию инфраструктуры парсинга с нуля. Типичные сценарии:
- AI-управляемый веб-парсинг – дайте LLM возможность собирать свежие данные вместо использования статических обучающих данных.
- RAG с живыми данными – получайте результаты поиска Google, Bing и AI в реальном времени в пайплайны поиска.
- eCommerce-аналитика – отслеживайте цены на товары, списки и продавцов на маркетплейсах без блокировок.
- Сбор данных из социальных сетей – собирайте посты, каналы и данные о вовлеченности из Reddit, TikTok и YouTube.
- Агрегация путешествий и цен – создавайте инструменты, которые собирают живые цены и доступность на разных веб-сайтах.
Быстрый старт
- Создайте бесплатный аккаунт на dashboard.decodo.com – до 2K бесплатных запросов, без кредитной карты.
- Получите ваш API-ключ. Получите токен базовой аутентификации Web Scraping API из панели управления.
- Скачайте Node.js 18+ с https://nodejs.org.
- Получите MCP-клиент, такой как Claude Desktop, Cursor, Windsurf или другие MCP-совместимые инструменты.
- Настройте MCP-сервер в вашем AI-клиенте (см. примеры конфигурации ниже).
Подключение к MCP-серверу Decodo
Откройте ваш предпочитаемый MCP-клиент и добавьте следующую конфигурацию (см. примеры для Claude Code, Cursor, Windsurf ниже):
{
"mcpServers": {
"Decodo": {
"url": "https://mcp.decodo.com/mcp",
"headers": {
"Authorization": "Basic <basic_auth_token>"
}
}
}
}
Claude Desktop
- Откройте Claude Desktop → Настройки → Разработчик → Изменить конфигурацию.
- Добавьте в claude_desktop_config.json:
{
"mcpServers": {
"Decodo": {
"command": "npx",
"args": ["-y", "@decodo/mcp-server"],
"env": {
"SCRAPER_API_TOKEN": "<basic_auth_token>",
"TOOLSETS": "web,ai"
}
}
}
}
- Сохраните и перезапустите Claude Desktop.
Cursor
- Откройте Настройки → MCP.
- Нажмите Добавить новый глобальный MCP-сервер (откроется mcp.json).
- Добавьте ту же конфигурацию, что и выше.
- Сохраните — ищите зеленый индикатор статуса рядом с Decodo.
Windsurf
- Откройте Настройки → Настройки Windsurf.
- Прокрутите до Cascade → Добавить пользовательский сервер + (откроется mcp_config.json).
- Добавьте ту же конфигурацию, что и выше.
- Сохраните и перезапустите Windsurf.
Проверьте вашу настройку
После подключения попробуйте этот запрос в вашем клиенте:
▎ "Собери заголовки 5 лучших статей с Hacker News"
Вы должны получить структурированный список в течение нескольких секунд. Если вы видите ошибку аутентификации, перепроверьте ваш токен из панели управления.
Необязательно: включите конкретные наборы инструментов
Запуск MCP-сервера локально
Предварительные требования
- Node.js 18.0+
- MCP-клиент — популярные варианты: Claude Desktop и Cursor
Пошаговое руководство
- Клонируйте этот репозиторий:
git clone https://github.com/Decodo/mcp-server
- Выполните следующие команды в терминале:
cd decodo-mcp-server
npm install
npm run build
- Запомните расположение вашей сборки:
cd build/
pwd
Добавив index.js в конец этой директории, расположение вашего файла сборки должно выглядеть примерно так:
/Users/your.user/projects/decodo-mcp/build/index.js
- Обновите ваш MCP-клиент с информацией о сервере:
{
"mcpServers": {
"decodo-mcp": {
"command": "node",
"args": ["/Users/your.user/projects/decodo-mcp/build/index.js"],
"env": {
"SCRAPER_API_TOKEN": "<web_scraping_api_base64_token>"
}
}
}
}
Наборы инструментов
Инструменты организованы в наборы. Вы можете выборочно включать конкретные наборы, передавая
список, разделенный запятыми, через параметр запроса toolsets:
"Decodo MCP Server": {
"url": "https://mcp.decodo.com/mcp?toolsets=web,ai",
"headers": {
"Authorization": "Basic <your_auth_token>"
}
}
Когда наборы не указаны, регистрируются все инструменты.
| Набор инструментов | Инструменты |
|---|---|
web | scrape_as_markdown, screenshot |
search | google_search, google_ads, google_lens, google_travel_hotels, bing_search |
ecommerce | amazon_search, amazon_product, amazon_pricing, amazon_sellers, amazon_bestsellers, walmart_search, walmart_product, target_search, target_product, tiktok_shop_search, tiktok_shop_product, tiktok_shop_url |
social_media | reddit_post, reddit_subreddit, reddit_user, tiktok_post, youtube_metadata, youtube_channel, youtube_subtitles, youtube_search |
ai | chatgpt, perplexity, google_ai_mode |
Инструменты
Сервер предоставляет следующие инструменты:
| Инструмент | Описание | Пример запроса |
|---|---|---|
scrape_as_markdown | Извлекает данные с любого целевого URL; ожидает, что URL будет указан в запросе. Возвращает результат в Markdown. | Извлеки данные с peacock.com с IP-адреса в США и расскажи мне о ценах. |
screenshot | Делает скриншот любой веб-страницы и возвращает его как PNG-изображение. | Сделай скриншот github.com с IP-адреса в США. |
google_search | Выполняет поиск в Google Search по заданному запросу и возвращает разобранные результаты. | Выполни поиск в Google Search по запросу "обувь" и скажи мне, какая позиция на первом месте. |
google_ads | Извлекает результаты поиска Google Ads. | Выполни поиск в Google Ads по запросу "ноутбук" и покажи мне лучшие объявления. |
google_lens | Извлекает результаты поиска изображений Google Lens. | Выполни поиск в Google Lens по этому изображению: https://example.com/image.jpg |
google_ai_mode | Извлекает результаты Google AI Mode (Поиск с ИИ). | Спроси Google AI Mode: Какие три лучшие породы собак? |
google_travel_hotels | Извлекает результаты поиска отелей Google Travel. | Выполни поиск отелей в Google Travel для Парижа. |
amazon_search | Выполняет поиск на Amazon по заданному запросу и возвращает разобранные результаты. | Выполни поиск на Amazon по запросу "беспроводная клавиатура". |
amazon_product | Извлекает данные со страницы товара Amazon. | Извлеки данные о товаре Amazon B09H74FXNW и покажи мне подробности. |
amazon_pricing | Извлекает информацию о ценах на товары Amazon. | Получи информацию о ценах на товар Amazon B09H74FXNW. |
amazon_sellers | Извлекает информацию о продавцах Amazon. | Получи информацию о продавце Amazon A1R0Z7FJGTKESH. |
amazon_bestsellers | Извлекает список бестселлеров Amazon. | Покажи мне бестселлеры Amazon в категории электроники. |
walmart_search | Выполняет поиск на Walmart по заданному запросу и возвращает разобранные результаты. | Выполни поиск на Walmart по запросу "палатка для кемпинга". |
walmart_product | Извлекает данные со страницы товара Walmart. | Извлеки данные о товаре Walmart 15296401808. |
target_search | Выполняет поиск на Target по заданному запросу и возвращает разобранные результаты. | Выполни поиск на Target по запросу "кухонная техника". |
target_product | Извлекает данные со страницы товара Target. | Извлеки данные о товаре Target 92186007. |
tiktok_post | Извлекает структурированные данные из поста TikTok (например, вовлечённость, подпись, хэштеги). | Извлеки данные из этого поста TikTok: https://www.tiktok.com/@nba/video/7393013274725403950 |
tiktok_shop_search | Выполняет поиск в TikTok Shop по заданному запросу и возвращает разобранные результаты. | Выполни поиск в TikTok Shop по запросу "чехлы для телефона". |
tiktok_shop_product | Извлекает данные со страницы товара TikTok Shop. | Извлеки данные о товаре TikTok Shop 1731541214379741272. |
tiktok_shop_url | Извлекает данные со страницы TikTok Shop по URL. | Извлеки данные с этого URL TikTok Shop: https://www.tiktok.com/shop/s?q=HEADPHONES |
youtube_metadata | Извлекает метаданные видео YouTube. | Получи метаданные для видео YouTube dFu9aKJoqGg. |
youtube_channel | Извлекает видео с канала YouTube. | Извлеки видео с канала YouTube @decodo_official. |
youtube_subtitles | Извлекает субтитры к видео YouTube. | Получи субтитры для видео YouTube L8zSWbQN-v8. |
youtube_search | Выполняет поиск видео на YouTube. | Выполни поиск на YouTube по запросу "Как ухаживать за шиншиллами". |
reddit_post | Извлекает данные конкретного поста Reddit. | Извлеки данные следующего поста Reddit: https://www.reddit.com/r/horseracing/comments/1nsrn3/ |
reddit_subreddit | Извлекает результаты из сабреддита Reddit. | Извлеки 5 лучших постов из r/Python за эту неделю. |
reddit_user | Извлекает профиль пользователя Reddit и его посты/комментарии. | Извлеки данные этого пользователя Reddit: https://www.reddit.com/user/IWasRightOnce/ |
bing_search | Извлекает результаты поиска Bing. | Выполни поиск в Bing по запросу "обзоры ноутбуков". |
chatgpt | Поиск и взаимодействие с ChatGPT для ответов и диалогов на основе ИИ. | Попроси ChatGPT объяснить квантовые вычисления простыми словами. |
perplexity | Поиск и взаимодействие с Perplexity для ответов и диалогов на основе ИИ. | Спроси Perplexity о последних трендах в веб-разработке. |
Параметры
Следующие параметры выводятся из запросов пользователя:
| Параметр | Описание |
|---|---|
jsRender | Отображает целевой URL в headless-браузере. |
geo | Задаёт страну, из которой будет исходить запрос. |
locale | Задаёт локаль запроса. |
tokenLimit | Обрезает содержимое ответа до этого предела. Полезно, если контекстное окно небольшое. |
prompt | Запрос для отправки в ИИ-инструменты (chatgpt, perplexity). |
search | Активирует функцию веб-поиска ChatGPT (только для chatgpt). |
xhr | Если true, включает ответы XHR или fetch в результат извлечения там, где это поддерживается (например, tiktok_post). |
deviceType | Тип устройства для эмуляции при запросе (desktop, mobile, tablet). |
domain | Домен для использования в запросе (например, amazon.com, amazon.co.uk, bing.com). |
pageFrom | Начальный номер страницы для пагинации. |
deliveryZip | Почтовый индекс для адреса доставки (Target, Walmart). |
storeId | Идентификатор магазина для локального наличия (Target, Walmart). |
country | Страна для запросов TikTok Shop. |
limit | Максимальное количество возвращаемых результатов (например, видео с канала YouTube). |
language_code | Код языка для субтитров (например, en, es). |
Примеры
Извлечение гео-ограниченного контента
Задайте вашему ИИ-агенту следующий запрос:
Scrape peacock.com from a German IP address and tell me the pricing.
Этот запрос сообщит, что peacock.com является гео-ограниченным. Чтобы обойти гео-ограничение:
Scrape peacock.com from a US IP address and tell me the pricing.
Ограничение количества токенов в ответе
Если у вашего агента небольшое контекстное окно, содержимое, возвращаемое при извлечении, будет автоматически обрезано, чтобы избежать переполнения контекста. Вы можете увеличить количество возвращаемых токенов в вашем запросе:
Scrape hacker news, return 50k tokens.
Если у вашего агента большое контекстное окно, скажите ему вернуть full content:
Scrape hacker news, return full content.
Использование с навыками агента Decodo
Этот сервер предоставляет вашему агенту инструменты для извлечения данных. Decodo/agent-skills
обучает его когда их использовать, какую поверхность применять и как вызывать — чтобы агент
сам выбирал правильный инструмент и параметры, а не угадывал.
Навыки работают через decodo CLI, этот размещённый MCP-сервер и сырой HTTP API, и автоматически
переключаются на MCP-сервер, когда оболочка недоступна. Объединение обоих даёт вашему агенту и уровень
выполнения (этот сервер), и уровень принятия решений (навыки) в одной настройке.
Быстрый старт (Claude Code):
/plugin marketplace add Decodo/agent-skills
/plugin install decodo@decodo-skills
См. README навыков агента для ручной установки и других агентов (Cursor, Codex, Gemini CLI, Windsurf).
Связанные репозитории
Web Scraping API, Навыки агента Decodo, Навык Decodo OpenClaw
Попробуйте
Подключите Decodo MCP Server к вашему ИИ-рабочему процессу всего за несколько кликов и оснастите ваших ИИ-агентов данными в реальном времени с любого сайта.
Начать бесплатно | Документация | Discord
Лицензия
Весь код выпущен под лицензией MIT.