Decodo
официальныйПростой доступ к веб-данным. Упрощённое получение информации с веб-сайтов и онлайн-источников.
Что можно делать с Decodo MCP?
- Извлекать любую веб-страницу как Markdown — извлекать чистый, готовый для LLM контент из URL с помощью
scrape_as_markdown. - Делать скриншоты веб-страниц — делать визуальный снимок любого сайта с помощью
screenshot. - Искать в Google и Bing — получать разобранные результаты SERP через
google_searchиbing_search. - Извлекать данные о товарах из электронной коммерции — искать цены, продавцов и бестселлеры на Amazon, Walmart или Target.
- Собирать контент из социальных сетей — парсить посты Reddit, видео TikTok или метаданные и субтитры YouTube.
- Запрашивать инструменты поиска с ИИ — взаимодействовать с ChatGPT, Perplexity или Google AI Mode для получения ответов на основе ИИ.
Документация
Decodo MCP-сервер
Подключайте LLM и ИИ-агентов к актуальным веб-данным с помощью MCP (Model Context Protocol). Decodo MCP-сервер позволяет парсить веб-сайты, поисковые системы, платформы электронной коммерции и социальные сети напрямую из ИИ-инструментов, таких как Claude, Cursor и Windsurf, без необходимости создавать инфраструктуру для парсинга с нуля.
- Структурированные результаты в JSON, Markdown и скриншоты
- Серверный рендеринг JavaScript и обработка антибот-систем
- Более 125 млн IP-адресов в более чем 195 локациях
Что такое Decodo MCP-сервер?
Decodo MCP-сервер — это слой веб-парсинга для ИИ-агентов. Он подключает MCP-совместимые клиенты к Decodo Web Scraping API, обеспечивая:
- Веб-парсинг для LLM
- Получение данных в реальном времени для RAG
- Браузинг и исследования ИИ-агентов
- Извлечение структурированных данных с динамических веб-сайтов
Вместо поддержки прокси, парсеров и логики повторных попыток вы получаете единую точку интеграции для надежного доступа к веб-данным.
Зачем использовать MCP для веб-парсинга?
Model Context Protocol (MCP) — это формирующийся стандарт для подключения ИИ-агентов к внешним инструментам и источникам данных. С MCP:
- Агенты могут динамически вызывать инструменты
- Интеграции остаются стандартизированными
- Рабочие процессы масштабируются в различных средах
Decodo MCP-сервер предоставляет вашим агентам надежный, готовый к промышленной эксплуатации веб-доступ через этот стандарт.
Ключевые возможности
Веб-парсинг для ИИ-агентов без необходимости в инфраструктуре. Парсите любые веб-сайты, включая страницы с интенсивным использованием JavaScript, без необходимости управления ротацией прокси, решения CAPTCHA или обхода антибот-систем.
Структурированные результаты для рабочих процессов LLM. Markdown (готовый для LLM), JSON (для структурированных пайплайнов) и скриншоты (для визуального контекста), созданные для RAG-пайплайнов, ИИ-исследовательских агентов и потоков автоматизации.
Встроенная поддержка популярных целей. Готовые инструменты для Google и Bing (SERP), Amazon, Walmart и Target (электронная коммерция), Reddit, TikTok и YouTube (социальные сети), а также ChatGPT и Perplexity (ИИ-поиск).
Глобальная прокси-инфраструктура. Более 125 млн резидентных IP-адресов, более 195 геолокаций и 99,99% успешных запросов даже к самым защищенным целям.
Модульные наборы инструментов MCP. Включайте только то, что вам нужно: web, search, ecommerce, social_media, ai для более чистого выбора инструментов и лучшей производительности агента.
Быстрый старт. От API-ключа до первого парсинга за считанные минуты, без накладных расходов на настройку.
Варианты использования
Используйте Decodo MCP-сервер, когда вам нужен веб-парсинг для ИИ-агентов, извлечение структурированных данных в масштабе, надежный доступ к динамическим веб-сайтам, данные в реальном времени для RAG или альтернатива созданию инфраструктуры парсинга с нуля. Типичные сценарии:
- Веб-парсинг на базе ИИ – дайте LLM возможность собирать свежие данные вместо того, чтобы полагаться на статические обучающие данные.
- RAG с актуальными данными – получайте результаты поиска Google, Bing и ИИ в реальном времени в пайплайны извлечения.
- Разведка в электронной коммерции – отслеживайте цены на товары, списки и продавцов на торговых площадках без блокировок.
- Сбор данных из социальных сетей – собирайте посты, каналы и данные о вовлеченности из Reddit, TikTok и YouTube.
- Агрегация цен и туристических данных – создавайте инструменты, которые собирают актуальные цены и доступность на разных веб-сайтах.
Быстрый старт
- Создайте бесплатную учетную запись на dashboard.decodo.com – до 2 тыс. бесплатных запросов, кредитная карта не требуется.
- Получите свой API-ключ. Получите токен базовой аутентификации Web Scraping API из панели управления.
- Загрузите Node.js 18+ с https://nodejs.org.
- Установите MCP-клиент, например Claude Desktop, Cursor, Windsurf или другие MCP-совместимые инструменты.
- Настройте MCP-сервер в вашем ИИ-клиенте (см. примеры конфигурации ниже).
Подключение к Decodo MCP-серверу
Откройте предпочитаемый MCP-клиент и добавьте следующую конфигурацию (см. примеры для Claude Code, Cursor, Windsurf ниже):
{
"mcpServers": {
"Decodo": {
"url": "https://mcp.decodo.com/mcp",
"headers": {
"Authorization": "Basic <basic_auth_token>"
}
}
}
}
Claude Desktop
- Откройте Claude Desktop → Настройки → Разработчик → Редактировать конфигурацию.
- Добавьте в claude_desktop_config.json:
{
"mcpServers": {
"Decodo": {
"command": "npx",
"args": ["-y", "@decodo/mcp-server"],
"env": {
"SCRAPER_API_TOKEN": "<basic_auth_token>",
"TOOLSETS": "web,ai"
}
}
}
}
- Сохраните и перезапустите Claude Desktop.
Cursor
- Откройте Настройки → MCP.
- Нажмите «Добавить новый глобальный MCP-сервер» (откроется mcp.json).
- Добавьте ту же конфигурацию, что и выше.
- Сохраните — рядом с Decodo должен появиться зеленый индикатор состояния.
Windsurf
- Откройте Настройки → Настройки Windsurf.
- Прокрутите до Cascade → Добавить пользовательский сервер + (откроется mcp_config.json).
- Добавьте ту же конфигурацию, что и выше.
- Сохраните и перезапустите Windsurf.
Проверьте настройку
После подключения попробуйте этот запрос в вашем клиенте:
▎ "Извлеки заголовки топ-5 статей с Hacker News"
Вы должны получить структурированный список в течение нескольких секунд. Если вы видите ошибку аутентификации, перепроверьте ваш токен из панели управления.
Дополнительно: включите определенные наборы инструментов
Запуск MCP-сервера локально
Предварительные требования
- Node.js 18.0+
- MCP-клиент — популярные варианты: Claude Desktop и Cursor
Пошаговое руководство
- Клонируйте этот репозиторий:
git clone https://github.com/Decodo/mcp-server
- Выполните следующие команды в терминале:
cd decodo-mcp-server
npm install
npm run build
- Запомните расположение сборки:
cd build/
pwd
Добавив index.js в конец этого каталога, путь к файлу сборки должен выглядеть примерно так:
/Users/your.user/projects/decodo-mcp/build/index.js
- Обновите ваш MCP-клиент информацией о сервере:
{
"mcpServers": {
"decodo-mcp": {
"command": "node",
"args": ["/Users/your.user/projects/decodo-mcp/build/index.js"],
"env": {
"SCRAPER_API_TOKEN": "<web_scraping_api_base64_token>"
}
}
}
}
Наборы инструментов
Инструменты организованы в наборы. Вы можете выборочно включить определенные наборы инструментов, передав список, разделенный запятыми, через параметр запроса toolsets:
"Decodo MCP Server": {
"url": "https://mcp.decodo.com/mcp?toolsets=web,ai",
"headers": {
"Authorization": "Basic <your_auth_token>"
}
}
Если наборы инструментов не указаны, регистрируются все инструменты.
| Набор инструментов | Инструменты |
|---|---|
web | scrape_as_markdown, screenshot |
search | google_search, google_ads, google_lens, google_travel_hotels, bing_search |
ecommerce | amazon_search, amazon_product, amazon_pricing, amazon_sellers, amazon_bestsellers, walmart_search, walmart_product, target_search, target_product, tiktok_shop_search, tiktok_shop_product, tiktok_shop_url |
social_media | reddit_post, reddit_subreddit, reddit_user, tiktok_post, youtube_metadata, youtube_channel, youtube_subtitles, youtube_search |
ai | chatgpt, perplexity, google_ai_mode |
Инструменты
Сервер предоставляет следующие инструменты:
| Инструмент | Описание | Пример запроса |
|---|---|---|
scrape_as_markdown | Собирает данные с любого целевого URL, ожидает URL в запросе. Возвращает результат в Markdown. | Собери данные с peacock.com с IP-адреса США и покажи цены. |
screenshot | Делает скриншот любой веб-страницы и возвращает его в виде PNG-изображения. | Сделай скриншот github.com с IP-адреса США. |
google_search | Собирает результаты поиска Google по заданному запросу и возвращает обработанные данные. | Собери результаты поиска Google по запросу "обувь" и покажи первую позицию. |
google_ads | Собирает результаты поиска Google Ads. | Собери данные Google Ads по запросу "ноутбук" и покажи верхние объявления. |
google_lens | Собирает результаты поиска по изображениям Google Lens. | Найди через Google Lens это изображение: https://example.com/image.jpg |
google_ai_mode | Собирает результаты Google AI Mode (поиск с ИИ). | Спроси Google AI Mode: Какие три породы собак самые популярные? |
google_travel_hotels | Собирает результаты поиска отелей в Google Travel. | Найди отели в Париже через Google Travel Hotels. |
amazon_search | Собирает результаты поиска Amazon по заданному запросу и возвращает обработанные данные. | Собери результаты поиска Amazon по запросу "беспроводная клавиатура". |
amazon_product | Собирает данные со страницы товара Amazon. | Собери данные о товаре Amazon B09H74FXNW и покажи подробности. |
amazon_pricing | Собирает информацию о ценах на товар Amazon. | Получи цены на товар Amazon B09H74FXNW. |
amazon_sellers | Собирает информацию о продавце Amazon. | Получи информацию о продавце Amazon A1R0Z7FJGTKESH. |
amazon_bestsellers | Собирает список бестселлеров Amazon. | Покажи бестселлеры Amazon в категории "электроника". |
walmart_search | Собирает результаты поиска Walmart по заданному запросу и возвращает обработанные данные. | Собери результаты поиска Walmart по запросу "походная палатка". |
walmart_product | Собирает данные со страницы товара Walmart. | Собери данные о товаре Walmart 15296401808. |
target_search | Собирает результаты поиска Target по заданному запросу и возвращает обработанные данные. | Собери результаты поиска Target по запросу "кухонная техника". |
target_product | Собирает данные со страницы товара Target. | Собери данные о товаре Target 92186007. |
tiktok_post | Собирает структурированные данные (вовлеченность, подпись, хештеги) по URL поста TikTok. | Собери данные этого поста TikTok: https://www.tiktok.com/@nba/video/7393013274725403950 |
tiktok_shop_search | Собирает результаты поиска TikTok Shop по заданному запросу и возвращает обработанные данные. | Собери результаты поиска TikTok Shop по запросу "чехлы для телефона". |
tiktok_shop_product | Собирает данные со страницы товара TikTok Shop. | Собери данные о товаре TikTok Shop 1731541214379741272. |
tiktok_shop_url | Собирает данные со страницы TikTok Shop по URL. | Собери данные по этому URL TikTok Shop: https://www.tiktok.com/shop/s?q=HEADPHONES |
youtube_metadata | Собирает метаданные видео YouTube. | Получи метаданные видео YouTube dFu9aKJoqGg. |
youtube_channel | Собирает видео с канала YouTube. | Собери видео с канала YouTube @decodo_official. |
youtube_subtitles | Собирает субтитры видео YouTube. | Получи субтитры видео YouTube L8zSWbQN-v8. |
youtube_search | Ищет видео на YouTube. | Найди на YouTube "Как ухаживать за шиншиллами". |
reddit_post | Собирает данные конкретного поста Reddit. | Собери данные этого поста Reddit: https://www.reddit.com/r/horseracing/comments/1nsrn3/ |
reddit_subreddit | Собирает результаты из сабреддита Reddit. | Собери топ-5 постов на r/Python за эту неделю. |
reddit_user | Собирает профиль пользователя Reddit и его посты/комментарии. | Собери данные этого пользователя Reddit: https://www.reddit.com/user/IWasRightOnce/ |
bing_search | Собирает результаты поиска Bing. | Найди в Bing обзоры ноутбуков. |
chatgpt | Поиск и взаимодействие с ChatGPT для получения ответов и ведения бесед с помощью ИИ. | Спроси ChatGPT, как объяснить квантовые вычисления простыми словами. |
perplexity | Поиск и взаимодействие с Perplexity для получения ответов и ведения бесед с помощью ИИ. | Спроси Perplexity о последних трендах в веб-разработке. |
Параметры
Следующие параметры извлекаются из запросов пользователя:
| Параметр | Описание |
|---|---|
jsRender | Отображает целевой URL в headless-браузере. |
geo | Устанавливает страну, из которой будет исходить запрос. |
locale | Устанавливает локаль запроса. |
tokenLimit | Обрезает содержимое ответа до этого предела. Полезно, если контекстное окно мало. |
prompt | Запрос для отправки в ИИ-инструменты (chatgpt, perplexity). |
search | Активирует функцию веб-поиска ChatGPT (только для chatgpt). |
xhr | Если true, включает ответы XHR или fetch в результат сбора данных, где это поддерживается (например, tiktok_post). |
deviceType | Тип устройства для эмуляции запроса (desktop, mobile, tablet). |
domain | Домен для использования в запросе (например, amazon.com, amazon.co.uk, bing.com). |
pageFrom | Начальный номер страницы для пагинации. |
deliveryZip | Почтовый индекс для места доставки (Target, Walmart). |
storeId | Идентификатор магазина для локальных остатков (Target, Walmart). |
country | Страна для запросов TikTok Shop. |
limit | Максимальное количество возвращаемых результатов (например, видео канала YouTube). |
language_code | Код языка для субтитров (например, en, es). |
Примеры
Сбор гео-ограниченного контента
Отправьте своему ИИ-агенту следующий запрос:
Scrape peacock.com from a German IP address and tell me the pricing.
Этот запрос покажет, что peacock.com гео-ограничен. Чтобы обойти гео-ограничение:
Scrape peacock.com from a US IP address and tell me the pricing.
Ограничение количества токенов ответа
Если у вашего агента маленькое контекстное окно, контент, возвращаемый при сборе, будет автоматически обрезан, чтобы избежать переполнения контекста. Вы можете увеличить количество возвращаемых токенов в своем запросе:
Scrape hacker news, return 50k tokens.
Если у вашего агента большое контекстное окно, скажите ему вернуть full content:
Scrape hacker news, return full content.
Использование с навыками агента Decodo
Этот сервер предоставляет вашему агенту инструменты для сбора данных. Decodo/agent-skills
учит его, когда к ним обращаться, какой источник использовать и как его вызывать — чтобы агент
выбирал правильный инструмент и параметры самостоятельно, а не гадал.
Навыки маршрутизируют через CLI decodo, этот размещенный MCP-сервер и прямой HTTP API, и автоматически
переключаются на MCP-сервер, когда оболочка недоступна. Совместное использование дает вашему агенту как
уровень исполнения (этот сервер), так и уровень принятия решений (навыки) в одной установке.
Быстрый старт (Claude Code):
/plugin marketplace add Decodo/agent-skills
/plugin install decodo@decodo-skills
См. README agent-skills для ручной установки и других агентов (Cursor, Codex, Gemini CLI, Windsurf).
Связанные репозитории
Web Scraping API, Decodo agent skills, Decodo OpenClaw skill
Попробуйте
Подключите Decodo MCP Server к своему рабочему процессу ИИ всего за несколько кликов и оснастите своих ИИ-агентов данными с любого сайта в реальном времени.
Начать бесплатно | Документация | Discord
Лицензия
Весь код выпущен под лицензией MIT.