Scrapfly

официальный

Сервер Scrapfly MCP предоставляет AI-агентам простой унифицированный способ извлечения живых веб-данных со встроенной защитой от ботов.

Что можно делать с Scrapfly MCP?

  • Сбор данных с актуальных страниц — Попросите ассистента получить актуальные цены, объявления или новости с любой веб-страницы в режиме реального времени.
  • Обход антибот-защиты — Получайте страницы, пока Scrapfly обрабатывает CAPTCHA, прокси, рендеринг JavaScript и ограничения частоты запросов.
  • Извлечение структурированных данных — Преобразуйте сложные сайты в чистый JSON с помощью извлечения данных на основе ИИ.
  • Создание снимков экрана — Делайте визуальные снимки целых страниц или отдельных элементов для анализа.
  • Проверка использования аккаунта — Узнайте, сколько кредитов Scrapfly у вас осталось, и получите информацию о текущей квоте.

Документация

Начало работы с Scrapfly MCP Server

Model Context Protocol (MCP) — это открытый стандарт, который позволяет моделям ИИ взаимодействовать с внешними инструментами и источниками данных. Scrapfly MCP Server снимает ограничение, связанное с обучающими данными: теперь ваш ИИ получает доступ к любому сайту в реальном времени и может по запросу собирать актуальные данные из интернета.

MCP Cloud или собственный сервер

Сервер Scrapfly MCP можно запустить двумя способами с одинаковым набором инструментов. Выберите подходящий:

MCP Cloud (управляемый)Собственный сервер
Где работаетРазмещён Scrapfly по адресу https://mcp.scrapfly.io/mcpНа вашем компьютере или серверах, из сервера с открытым исходным кодом
УстановкаНе требуется: добавьте URL в клиент ИИСоберите бинарный файл Go или образ Docker
АутентификацияВход через OAuth2 в клиенте или ваш API-ключВаш API-ключ
ОбновленияВсегда последняя версияВы сами загружаете изменения и пересобираете сервер
Лучше всего подходитБольшинству пользователей: Claude, Cursor, VS Code, ChatGPT и другим клиентамПользовательским инструментам, изолированным от сети или проверяемым средам

MCP Cloud

Добавьте URL сервера в клиент ИИ. Клиенты с поддержкой OAuth2 при первом использовании откроют страницу входа Scrapfly; в остальных случаях потребуется API-ключ (см. раздел Аутентификация).

{
  "mcpServers": {
    "scrapfly-cloud-mcp": {
      "type": "http",
      "url": "https://mcp.scrapfly.io/mcp"
    }
  }
}

Клиент, который запускает только локальный процесс, подключается через mcp-remote:

{
  "mcpServers": {
    "scrapfly": {
      "command": "npx",
      "args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
    }
  }
}

Инструкции для каждого клиента свои: см. руководства по настройке (Claude Code, Claude Desktop, Cursor, VS Code, ChatGPT и другие).

Собственный сервер

Соберите сервер с открытым исходным кодом, написанный на Go:

git clone https://github.com/scrapfly/scrapfly-mcp
cd scrapfly-mcp
go build -o scrapfly-mcp ./cmd/scrapfly-mcp

Локальный клиент (stdio): клиент запускает бинарный файл, передавая API-ключ через окружение.

{
  "mcpServers": {
    "scrapfly": {
      "command": "/path/to/scrapfly-mcp",
      "env": { "SCRAPFLY_API_KEY": "" }
    }
  }
}

HTTP-сервер: запускается без ключа; каждый вызывающий передаёт собственный ключ в Authorization: Bearer <key> или ?key= через http://<host>:8080/mcp.

./scrapfly-mcp -http :8080

# or with Docker
docker build -t scrapfly-mcp .
docker run -p 8080:8080 scrapfly-mcp

Ключ, заданный в SCRAPFLY_API_KEY вместе с -http, используется для всех вызывающих без аутентификации, поэтому сервер привязывается к 127.0.0.1, если не передать -allow-remote. Все параметры описаны в README.

Что это даёт

Вместо ответа «У меня нет актуальной информации» ваш ИИ теперь может:

Собирать актуальные данные

Получать текущие цены, объявления, новости и содержимое любых веб-страниц в реальном времени

Обходить антибот-системы

Автоматически обрабатывать CAPTCHA, прокси, рендеринг JavaScript и ограничения частоты запросов

Извлекать структурированные данные

Преобразовывать сложные сайты в чистый JSON с помощью извлечения данных на основе ИИ

Делать снимки экрана

Создавать визуальные снимки страниц или отдельных элементов для анализа

Почему Scrapfly MCP Server?

Работает на проверенной инфраструктуре, которой пользуются тысячи разработчиков:

Всегда надёжен

Ваш ИИ никогда не блокируют

Быстрая настройка

Запуск менее чем за 60 секунд

Безопасность

OAuth2 и корпоративная аутентификация

Возможности коннекторов MCP

MCP — это универсальный коннектор, который превращает любой клиент ИИ в мощный инструмент для сбора данных из интернета. Вместо создания отдельных интеграций для каждой платформы ИИ MCP предоставляет единый стандартный интерфейс.

Работает с вашими любимыми инструментами ИИ:
  • Claude Desktop, Cursor, Cline, Windsurf
  • LangChain, LlamaIndex, CrewAI
  • Вызов функций OpenAI, пользовательские агенты
  • Рабочие процессы n8n, Make, Zapier
Одна интеграция — безграничные возможности:

Настройте один раз и используйте везде. Один и тот же сервер MCP работает на всех платформах — не нужно заново создавать интеграции для каждого нового инструмента ИИ.

Как использовать Scrapfly MCP

Начать просто: выберите клиент ИИ и следуйте руководству по настройке:

[###### Настройка клиента ИИ

Более 15 интеграций: Claude Desktop, Cursor, Cline, Windsurf, LangChain, n8n и другие

](https://scrapfly.io/docs/mcp/integrations) [###### Доступные инструменты

9 инструментов: сбор данных, снимки экрана, Cloud Browser с динамическим обнаружением инструментов WebMCP

](https://scrapfly.io/docs/mcp/tools) [###### Варианты аутентификации

API-ключ, OAuth2 или аутентификация через заголовок — выберите подходящий вариант

](https://scrapfly.io/docs/mcp/authentication)

Следующие шаги

Посмотреть примеры из практики — сбор вакансий, мониторинг цен, извлечение данных и многое другое Руководства по настройке для конкретных клиентов — Cursor, Cline, LangChain, n8n и все поддерживаемые платформы Инструменты и спецификация API — полная документация параметров и руководства по использованию Настроить аутентификацию OAuth2 — безопасная аутентификация корпоративного уровня для рабочей среды Читать FAQ — ответы на частые вопросы и устранение неполадок

Проверка настройки

После настройки убедитесь, что всё работает правильно:

  1. Проверьте доступность инструментовНайдите значок молотка (🔨) в клиенте ИИ или проверьте список инструментов, чтобы убедиться, что инструменты Scrapfly загружены.

  2. Проверьте простой запросПопробуйте спросить: «Какие публикации сейчас самые популярные на Hacker News?»

    Ваш ИИ должен автоматически использовать инструменты Scrapfly, чтобы получить и показать актуальные результаты.

  3. Проверьте использование аккаунтаСпросите: «Сколько кредитов Scrapfly у меня осталось?»

    ИИ использует info_account, чтобы показать текущее использование и квоту.

Устранение неполадок

Если возникли проблемы, ниже приведены распространённые причины и решения:

Инструменты не обнаружены

  • Проверьте конфигурацию JSON — убедитесь, что в конфигурации нет синтаксических ошибок (пропущенных запятых или скобок)
  • Перезапустите клиент ИИ — многим клиентам требуется полный перезапуск, чтобы загрузить новые серверы MCP
  • Проверьте доступность npx — выполните npx --version в терминале, чтобы убедиться, что он установлен
  • Проверьте API-ключ — убедитесь, что API-ключ Scrapfly указан правильно и на счету есть кредиты

Ошибки аутентификации

  • Недействительный API-ключ — проверьте ключ в разделе Панель управления → Настройки проекта
  • Сеть не авторизована / Доступ ограничен настройками проекта — проект принимает запросы только с определённых IP-адресов; с ключом всё в порядке. См. раздел Устранение неполадок
  • Проблемы с OAuth2 — убедитесь, что вы завершили процесс OAuth и токены обновлены
  • Срок действия учётных данных истёк — пройдите аутентификацию повторно, если срок действия сеанса истёк

Нужна дополнительная помощь?

Ознакомьтесь с подробными материалами по устранению неполадок: