MCP-серверы: Веб-скрейпинг — Страница 4

Корпоративная аналитика в одном вызове инструмента — финансирование, технологический стек, сотрудники, конкуренты, новости из публичных API

Пространственные DOM-карты для навигации AI-агентов в браузере с антибот-стелсом и симуляцией человеческого поведения

CrawlForge MCP — это готовый к продакшену MCP-сервер с 18 инструментами веб-скрапинга для AI-агентов. Он предоставляет Claude, Cursor и любому MCP-совместимому клиенту возможность получать URL-адреса, извлекать структурированные данные с помощью CSS/XPath-селекторов, проводить глубокие многошаговые исследования, обходить антибот-защиту с помощью рандомизации TLS-отпечатков, обрабатывать документы, отслеживать изменения на страницах и многое другое. Ценообразование на основе кредитов с бесплатным тарифом (1000 кредитов в месяц, без необходимости вводить данные банковской карты).

Поиск AI-инфлюенсеров, данные о создателях контента и сбор данных в реальном времени

MCP-сервер для получения самых низких цен на бензин в конкретном городе или по почтовому индексу с gasbuddy.com

Удаленный MCP-сервер для Claude, Cursor, VS Code и Windsurf с доступом к 80+ API для веб-скрапинга и извлечения данных.

Извлечение веб-контента для LLM-пайплайнов — чистый Markdown или структурированный JSON с любого URL с использованием браузерного TLS-дактилоскопирования, без необходимости в headless-браузере. CLI, REST API и MCP-сервер.

Многопользовательский браузерный MCP для AI-агентов — скрытый режим, пул сессий, гуманизация, в 10 раз меньше токенов, чем Playwright

MCP-сервер, предоставляющий AI-агентам (Claude, Cursor и др.) возможности LinkRescue по сканированию битых ссылок, мониторингу и предложению исправлений.

MCP-сервер для автоматизации браузера на основе ИИ — навигация по сайтам, заполнение форм, извлечение данных и обработка входов в систему через Claude Code CLI

Мониторинг изменений веб-сайтов с отслеживанием URL, сравнением снимков и интеллектуальным извлечением контента для AI-ассистентов

Надёжная загрузка веб-страниц для AI-агентов с повторными попытками, автоматическим выключателем, кэшированием и обходом антибот-систем

MCP-сервер для проверки здоровья веб-сайтов — SEO-аудит, сканирование доступности, обнаружение битых ссылок, анализ производительности и сравнение страниц.

MCP-сервер для проверки битых ссылок — находит неработающие ссылки, редиректы и таймауты на любом веб-сайте.

Мониторинг веб-сайтов на основе ИИ. Отслеживайте любые сайты и получайте структурированную информацию об изменениях.

Нативная автоматизация браузера Safari для AI-агентов — 80 инструментов через AppleScript, без нагрузки Chrome, сохраняет логины. Только macOS.

Захват скриншотов веб-сайтов в формате PNG/JPEG через AI-агентов. Полностраничный захват, тёмный режим, блокировка рекламы, пользовательские окна просмотра. Развёрнуто на Edge Cloudflare Workers, включён бесплатный тариф.

Данные о трендах в реальном времени из Google (Поиск, Картинки, Новости, Покупки), YouTube, TikTok, Reddit, Amazon, Wikipedia, X (Twitter), LinkedIn, Spotify, GitHub, Steam, npm, App Store, новостной сентимент и веб-трафик через одно MCP-соединение. Бесплатный API-ключ, 20 запросов в день, кредитная карта не требуется.

Мгновенное улучшение WebFetch от Claude, которое автоматически определяет страницы, отрисованные с помощью JavaScript, и загружает их с помощью безголового браузера Playwright

Ценообразование спортивных карточек в реальном времени, анализ рынка, обнаружение арбитража, ROI градинга, инвестиционные советы и статистика игроков (NBA/NFL/MLB). 9 инструментов для AI-агентов, помогающих коллекционерам и инвесторам.

ZenRows MCP предоставляет вашему агенту доступ ко всему вебу, включая сайты, которые блокируют ботов.

Инструмент разработчика — рекурсивно извлекает всю документацию и позволяет задавать вопросы с помощью ИИ.

Агентный безголовый браузер, преобразующий веб-страницы в структурированный JSON на основе семантической объектной модели (SOM) — в 4 раза меньше токенов, чем сырой HTML, с меньшей задержкой на Claude и GPT-4o.

Структурированные данные о продуктах из открытого веба — там, куда не достают API платформ. Schema.org + AI-извлечение. Оплата за вызов через Stripe MPP.

Реальная информация для AI-агентов через x402-микроплатежи. Рынки прогнозов, экономика, погода, нарративы и геополитика.

MCP-сервер для автоматизации браузера, который подключает AI-агентов к вашему реальному Chrome-браузеру с структурированным пониманием страницы примерно за 500 токенов

MCP-сервер, который связывает Claude Desktop (или любое другое локальное приложение с поддержкой MCP) с Selenix для автоматизации и тестирования браузера. Позволяет создавать, запускать, отлаживать и управлять тестами автоматизации браузера с помощью естественного языка.

Связывает ИИ-инструменты с учебными панелями Canvas.

Коллекция MCP-серверов для B2B-продаж. Включает анализ веб-сайтов, определение технологического стека, сигналы найма, агрегацию отзывов, отслеживание рекламы, социальные профили, финансовую отчётность и другое для AI-управляемого поиска клиентов.

MCP сервер для Scrape.do — веб-скрапинг и Google Search с обходом антибот-защиты