Scrapfly
официальныйСервер Scrapfly MCP предоставляет AI-агентам простой унифицированный способ извлечения живых веб-данных со встроенной защитой от ботов.
Что можно делать с Scrapfly MCP?
- Сбор данных с актуальных страниц — Попросите ассистента получить актуальные цены, объявления или новости с любой веб-страницы в режиме реального времени.
- Обход антибот-защиты — Получайте страницы, пока Scrapfly обрабатывает CAPTCHA, прокси, рендеринг JavaScript и ограничения частоты запросов.
- Извлечение структурированных данных — Преобразуйте сложные сайты в чистый JSON с помощью извлечения данных на основе ИИ.
- Создание снимков экрана — Делайте визуальные снимки целых страниц или отдельных элементов для анализа.
- Проверка использования аккаунта — Узнайте, сколько кредитов Scrapfly у вас осталось, и получите информацию о текущей квоте.
Документация
Начало работы с Scrapfly MCP Server
Model Context Protocol (MCP) — это открытый стандарт, который позволяет моделям ИИ взаимодействовать с внешними инструментами и источниками данных. Scrapfly MCP Server снимает ограничение, связанное с обучающими данными: теперь ваш ИИ получает доступ к любому сайту в реальном времени и может по запросу собирать актуальные данные из интернета.
MCP Cloud или собственный сервер
Сервер Scrapfly MCP можно запустить двумя способами с одинаковым набором инструментов. Выберите подходящий:
| MCP Cloud (управляемый) | Собственный сервер | |
|---|---|---|
| Где работает | Размещён Scrapfly по адресу https://mcp.scrapfly.io/mcp | На вашем компьютере или серверах, из сервера с открытым исходным кодом |
| Установка | Не требуется: добавьте URL в клиент ИИ | Соберите бинарный файл Go или образ Docker |
| Аутентификация | Вход через OAuth2 в клиенте или ваш API-ключ | Ваш API-ключ |
| Обновления | Всегда последняя версия | Вы сами загружаете изменения и пересобираете сервер |
| Лучше всего подходит | Большинству пользователей: Claude, Cursor, VS Code, ChatGPT и другим клиентам | Пользовательским инструментам, изолированным от сети или проверяемым средам |
MCP Cloud
Добавьте URL сервера в клиент ИИ. Клиенты с поддержкой OAuth2 при первом использовании откроют страницу входа Scrapfly; в остальных случаях потребуется API-ключ (см. раздел Аутентификация).
{
"mcpServers": {
"scrapfly-cloud-mcp": {
"type": "http",
"url": "https://mcp.scrapfly.io/mcp"
}
}
}
Клиент, который запускает только локальный процесс, подключается через mcp-remote:
{
"mcpServers": {
"scrapfly": {
"command": "npx",
"args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
}
}
}
Инструкции для каждого клиента свои: см. руководства по настройке (Claude Code, Claude Desktop, Cursor, VS Code, ChatGPT и другие).
Собственный сервер
Соберите сервер с открытым исходным кодом, написанный на Go:
git clone https://github.com/scrapfly/scrapfly-mcp
cd scrapfly-mcp
go build -o scrapfly-mcp ./cmd/scrapfly-mcp
Локальный клиент (stdio): клиент запускает бинарный файл, передавая API-ключ через окружение.
{
"mcpServers": {
"scrapfly": {
"command": "/path/to/scrapfly-mcp",
"env": { "SCRAPFLY_API_KEY": "" }
}
}
}
HTTP-сервер: запускается без ключа; каждый вызывающий передаёт собственный ключ в Authorization: Bearer <key> или ?key= через http://<host>:8080/mcp.
./scrapfly-mcp -http :8080
# or with Docker
docker build -t scrapfly-mcp .
docker run -p 8080:8080 scrapfly-mcp
Ключ, заданный в SCRAPFLY_API_KEY вместе с -http, используется для всех вызывающих без аутентификации, поэтому сервер привязывается к 127.0.0.1, если не передать -allow-remote. Все параметры описаны в README.
Что это даёт
Вместо ответа «У меня нет актуальной информации» ваш ИИ теперь может:
Собирать актуальные данные
Получать текущие цены, объявления, новости и содержимое любых веб-страниц в реальном времени
Обходить антибот-системы
Автоматически обрабатывать CAPTCHA, прокси, рендеринг JavaScript и ограничения частоты запросов
Извлекать структурированные данные
Преобразовывать сложные сайты в чистый JSON с помощью извлечения данных на основе ИИ
Делать снимки экрана
Создавать визуальные снимки страниц или отдельных элементов для анализа
Почему Scrapfly MCP Server?
Работает на проверенной инфраструктуре, которой пользуются тысячи разработчиков:
Всегда надёжен
Ваш ИИ никогда не блокируют
Быстрая настройка
Запуск менее чем за 60 секунд
Безопасность
OAuth2 и корпоративная аутентификация
Возможности коннекторов MCP
MCP — это универсальный коннектор, который превращает любой клиент ИИ в мощный инструмент для сбора данных из интернета. Вместо создания отдельных интеграций для каждой платформы ИИ MCP предоставляет единый стандартный интерфейс.
Работает с вашими любимыми инструментами ИИ:
- Claude Desktop, Cursor, Cline, Windsurf
- LangChain, LlamaIndex, CrewAI
- Вызов функций OpenAI, пользовательские агенты
- Рабочие процессы n8n, Make, Zapier
Одна интеграция — безграничные возможности:
Настройте один раз и используйте везде. Один и тот же сервер MCP работает на всех платформах — не нужно заново создавать интеграции для каждого нового инструмента ИИ.
Как использовать Scrapfly MCP
Начать просто: выберите клиент ИИ и следуйте руководству по настройке:
[###### Настройка клиента ИИ
Более 15 интеграций: Claude Desktop, Cursor, Cline, Windsurf, LangChain, n8n и другие
](https://scrapfly.io/docs/mcp/integrations) [###### Доступные инструменты
9 инструментов: сбор данных, снимки экрана, Cloud Browser с динамическим обнаружением инструментов WebMCP
](https://scrapfly.io/docs/mcp/tools) [###### Варианты аутентификации
API-ключ, OAuth2 или аутентификация через заголовок — выберите подходящий вариант
](https://scrapfly.io/docs/mcp/authentication)
Следующие шаги
Посмотреть примеры из практики — сбор вакансий, мониторинг цен, извлечение данных и многое другое Руководства по настройке для конкретных клиентов — Cursor, Cline, LangChain, n8n и все поддерживаемые платформы Инструменты и спецификация API — полная документация параметров и руководства по использованию Настроить аутентификацию OAuth2 — безопасная аутентификация корпоративного уровня для рабочей среды Читать FAQ — ответы на частые вопросы и устранение неполадок
Проверка настройки
После настройки убедитесь, что всё работает правильно:
-
Проверьте доступность инструментовНайдите значок молотка (🔨) в клиенте ИИ или проверьте список инструментов, чтобы убедиться, что инструменты Scrapfly загружены.
-
Проверьте простой запросПопробуйте спросить: «Какие публикации сейчас самые популярные на Hacker News?»
Ваш ИИ должен автоматически использовать инструменты Scrapfly, чтобы получить и показать актуальные результаты.
-
Проверьте использование аккаунтаСпросите: «Сколько кредитов Scrapfly у меня осталось?»
ИИ использует
info_account, чтобы показать текущее использование и квоту.
Устранение неполадок
Если возникли проблемы, ниже приведены распространённые причины и решения:
Инструменты не обнаружены
- Проверьте конфигурацию JSON — убедитесь, что в конфигурации нет синтаксических ошибок (пропущенных запятых или скобок)
- Перезапустите клиент ИИ — многим клиентам требуется полный перезапуск, чтобы загрузить новые серверы MCP
- Проверьте доступность
npx— выполнитеnpx --versionв терминале, чтобы убедиться, что он установлен - Проверьте API-ключ — убедитесь, что API-ключ Scrapfly указан правильно и на счету есть кредиты
Ошибки аутентификации
- Недействительный API-ключ — проверьте ключ в разделе Панель управления → Настройки проекта
- Сеть не авторизована / Доступ ограничен настройками проекта — проект принимает запросы только с определённых IP-адресов; с ключом всё в порядке. См. раздел Устранение неполадок
- Проблемы с OAuth2 — убедитесь, что вы завершили процесс OAuth и токены обновлены
- Срок действия учётных данных истёк — пройдите аутентификацию повторно, если срок действия сеанса истёк
Нужна дополнительная помощь?
Ознакомьтесь с подробными материалами по устранению неполадок:
- FAQ по MCP — частые вопросы и подробные ответы
- Сообщество Discord — получите помощь от сообщества
- Связаться со службой поддержки — обратитесь напрямую к нашей команде