Agenty
официальныйВеб-скрапинг, краулинг и обнаружение изменений с помощью ИИ
Что можно делать с Agenty MCP?
- Преобразование любой веб-страницы в чистый Markdown — удаление навигации, рекламы и шаблонного содержимого по URL с помощью
markdownдля получения контента, готового к использованию в LLM. - Создание скриншотов с эмуляцией устройств — получение полноэкранных или обрезанных PNG/JPEG скриншотов через
screenshotс эмуляцией таких устройств, как iPhone 14. - Сбор HTML, отрисованного с помощью JavaScript — использование
scrapeдля получения финального DOM после выполнения всех скриптов, идеально подходит для SPA. - Извлечение структурированных данных с помощью селекторов — получение конкретных полей, таких как цены или заголовки, со страницы с использованием CSS или XPath через
extract. - Генерация PDF с пользовательским форматированием — экспорт страницы в формате A4 или Letter через
pdfс контролем полей, верхних и нижних колонтитулов, а также фона печати. - Трассировка цепочек HTTP-редиректов — отслеживание всех перенаправлений для URL с помощью
redirectsдля отладки ссылок или проверки канонических адресов.
Документация
Agenty AI предоставляет сервер Model Context Protocol (MCP), который дает ИИ-ассистентам, таким как Claude, Cursor и любым MCP-совместимым клиентам, прямой доступ к инструментам автоматизации браузера. Вы можете делать скриншоты, генерировать PDF, парсить веб-страницы, извлекать структурированные данные, конвертировать страницы в Markdown и многое другое, используя LLM-модели.
В этой статье я расскажу, как подключиться к MCP-серверу Agenty и как использовать каждый доступный инструмент.
Необходимые условия
Перед подключением вам понадобятся:
- Учетная запись Agenty AI и API-ключ
- MCP-совместимый клиент, такой как Claude Desktop, Cursor, Windsurf или любой инструмент, поддерживающий Model Context Protocol
- Node.js 18 или новее, если вы используете CLI или локальный файл конфигурации
Как подключиться
Добавьте следующую конфигурацию в ваш MCP-клиент. Для Claude Desktop она помещается в claude_desktop_config.json. Для Cursor — в ваш файл .cursor/mcp.json.
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
Замените YOUR_API_KEY на ключ из раздела Agenty AI > Настройки > API Key. После добавления перезапустите клиент, и инструменты Agenty появятся в списке инструментов.
Agenty API Key1069×482 32.4 KB
Для клиентов, поддерживающих OAuth или вход по токену, вы можете аутентифицироваться напрямую через процесс входа в Agenty AI без ручной вставки ключа.
Доступные инструменты
MCP-сервер Agenty предоставляет одиннадцать инструментов, покрывающих наиболее распространенные задачи автоматизации браузера. Каждый инструмент принимает URL или сырой HTML в качестве входных данных, а также необязательные параметры для управления поведением браузера.
Available Tools in Agenty MCP1265×795 60.9 KB
Markdown MCP
Инструмент markdown загружает страницу, удаляет навигацию, подвалы, скрипты, рекламу и другой шаблонный контент и преобразует оставшееся читаемое содержимое в чистый Markdown. Он может преобразовывать относительные ссылки в абсолютные URL и удалять data-изображения.
Это особенно полезно для передачи веб-контента в LLM, построения RAG-пайплайнов или сохранения читаемых версий статей.
Пример запроса:
«Преобразуй Web scraping - Wikipedia в Markdown»
«Получи Markdown-содержимое этого поста в блоге: https://example.com/article”
Website scraping preview using Claude desktop1272×844 67.2 KB
Screenshot MCP
Инструмент screenshot запускает реальный браузер, загружает страницу и делает ее снимок в формате PNG или JPEG. Он поддерживает скриншоты всей страницы, обрезанные области, пользовательские области просмотра, эмуляцию устройств и манипуляции с изображениями, такие как изменение размера и поворот.
Это полезно, когда вам нужен визуальный снимок страницы, необходимо задокументировать UI или проверить, как сайт выглядит при определенном размере экрана.
Пример запроса:
«Сделай скриншот всей страницы https://example.com и верни его в формате PNG»
«Сделай мобильный скриншот https://agenty.ai, используя область просмотра iPhone 14»
Web Scraping MCP
Инструмент web scrape загружает URL в реальном браузере с полным выполнением JavaScript и возвращает отрендеренный HTML. В отличие от простых HTTP-запросов, он ожидает загрузки динамического контента, что делает его надежным для одностраничных приложений и страниц с большим количеством JavaScript.
Используйте это, когда вам нужен сырой HTML страницы именно таким, каким его видит пользователь после выполнения всех скриптов.
Пример запроса:
«Спарси HTML страницы https://news.ycombinator.com и верни полное отрендеренное содержимое»
«Спарси эту страницу и подожди 3 секунды для загрузки динамического контента: https://example.com/dashboard”
Web Crawling MCP
Инструмент links crawling рендерит страницу и извлекает все гиперссылки, найденные в DOM. Он возвращает плоский список всех href-ссылок, который можно использовать для построения очереди обхода, аудита внутренней перелинковки или обнаружения контента.
Пример запроса:
«Найди все ссылки на https://agenty.ai”
«Извлеки все ссылки с https://example.com/blog и выдай мне список URL статей»
PDF MCP
Инструмент PDF рендерит страницу в реальном браузере и экспортирует ее в PDF. Вы можете задать формат страницы (A4, Letter и т. д.), включить альбомную ориентацию, установить поля, показать или скрыть фон, а также указать пользовательские верхние и нижние колонтитулы.
Пример запроса:
«Сгенерируй PDF страницы https://agenty.ai в формате A4 с включенным фоном для печати»
«Создай альбомный PDF страницы https://example.com/report”
Data Extraction MCP
Инструмент extract рендерит страницу и извлекает структурированные данные с помощью CSS-селекторов или XPath. Он подходит для извлечения конкретных полей, таких как цены на товары, количество отзывов, названия должностей или любых повторяющихся элементов с отрендеренной страницы.
Пример запроса:
«Извлеки названия товаров и цены с https://example.com/products”
«Получи все заголовки с https://news.ycombinator.com”
Sitemap MCP
Инструмент sitemap crawler читает файл sitemap.xml веб-сайта, следует за файлами индекса карты сайта и возвращает полный список всех обнаруженных URL. Он поддерживает шаблоны исключения для фильтрации определенных путей.
Используйте это, чтобы быстро понять полную структуру веб-сайта или построить список для обхода большого сайта.
Пример запроса:
«Найди все URL в карте сайта для https://agenty.ai”
«Получи карту сайта для https://example.com и исключи все URL, содержащие /blog/»
Redirect Tracing MCP
Инструмент redirects capture отслеживает все HTTP-редиректы для заданного URL и возвращает полную цепочку, включая каждый промежуточный URL, код состояния и конечный пункт назначения.
Это полезно для отладки битых ссылок, проверки канонических URL и аудита партнерских или сокращенных ссылок.
Пример запроса:
«Отследи все редиректы для https://bit.ly/some-link”
«Покажи мне цепочку редиректов для https://example.com/old-page”
Email Scraper MCP
Инструмент emails scraper загружает один или несколько URL (до десяти за раз) и извлекает все адреса электронной почты, найденные на отрендеренной странице. Он обрабатывает запутанные адреса и динамически загружаемые разделы контактов.
Пример запроса:
«Найди все адреса электронной почты на https://example.com/contact”
«Спарси email-адреса с этих трех страниц: https://site1.com, https://site2.com, https://site3.com”
Content MCP
Инструмент content возвращает полный отрендеренный HTML страницы после выполнения JavaScript. Он похож на scrape, но оптимизирован для случаев, когда вам нужно конечное состояние DOM, а не пайплайн парсинга.
Пример запроса:
«Получи отрендеренное HTML-содержимое https://example.com/app”
Snapshot MCP
Инструмент snapshot захватывает дерево доступности страницы — структурированный список всех интерактивных и читаемых элементов, включая кнопки, ссылки, поля ввода и заголовки. Он предназначен для ИИ-агентов, которым необходимо навигировать или анализировать страницу без обработки сырого HTML.
Пример запроса:
«Сделай снимок доступности https://example.com, чтобы я мог понять структуру страницы»
Примеры запросов
Вот несколько многошаговых примеров, комбинирующих инструменты:
Аудит контента веб-сайта: «Получи карту сайта для https://example.com,, затем преобразуй первые 5 страниц в Markdown и суммируй каждую»
Создание визуального отчета: «Сделай скриншот https://agenty.ai на мобильной и десктопной областях просмотра и покажи мне оба»
Построение списка контактов: «Найди все ссылки на https://example.com/team,, затем спарси адреса электронной почты с каждой страницы члена команды»
Проверка работоспособности ссылок: «Извлеки все ссылки с https://example.com/blog и отследи цепочку редиректов для тех, которые не возвращают 200»
Архивирование страницы: «Преобразуй https://example.com/article в Markdown и сгенерируй PDF-версию, обе с абсолютными ссылками»
Поддерживаемые параметры
Все инструменты на основе навигации (screenshot, pdf, scrape, content, markdown, links, extract, redirects) используют общий набор параметров конфигурации браузера:
| Параметр | Тип | Описание |
|---|---|---|
| url | string | URL страницы для загрузки. Обязателен, если не предоставлен html. |
| html | string | Строка сырого HTML для рендеринга вместо загрузки URL. |
| waitFor | string или number | Ожидание CSS-селектора, количества миллисекунд или сетевого события перед захватом. |
| viewport | object | Установка ширины, высоты, deviceScaleFactor, isMobile, hasTouch и isLandscape. |
| device | string | Эмуляция указанного устройства, например iPhone 14 или iPad Pro. |
| userAgent | string | Переопределение строки user agent браузера. |
| cookies | array | Внедрение cookie-файлов перед загрузкой страницы. |
| blockAds | boolean | Блокировка запросов к рекламным сетям. Включено по умолчанию для инструментов парсинга. |
| blockTrackers | boolean | Блокировка скриптов отслеживания и аналитики. |
| goToOptions | object | Управление таймаутом навигации (мс) и стратегией waitUntil (load, domcontentloaded, networkidle0, networkidle2). |
| setExtraHTTPHeaders | object | Добавление пользовательских заголовков запроса в виде пар ключ-значение. |
| rejectRequestPattern | array | Блокировка запросов, соответствующих этим шаблонам URL. |
| requestInterceptors | array | Перехват запросов, соответствующих шаблону, и возврат пользовательского ответа. |
| authenticate | object | Установка HTTP-имени пользователя и пароля для страниц за базовой аутентификацией. |
| anonymous | object | Маршрутизация через прокси и пропуск типов ресурсов для анонимного просмотра. |
Специфичные для скриншотов параметры:
| Параметр | Тип | Описание |
|---|---|---|
| options.fullPage | boolean | Захват всей прокручиваемой страницы. По умолчанию true. |
| options.type | string | Формат изображения: png или jpeg. По умолчанию png. |
| options.quality | number | Качество JPEG от 0 до 100. |
| options.clip | object | Захват определенной области с помощью x, y, width и height. |
| options.omitBackground | boolean | Сделать фон прозрачным (только PNG). |
| manipulate | object | Постобработка изображения: resize, rotate, flip и flop. |
| responseType | string | Возврат изображения в виде буфера (по умолчанию) или размещенного URL. |
При использовании инструмента screenshot через MCP результат по умолчанию возвращается в виде размещенного URL. При прямом вызове API responseType по умолчанию имеет значение buffer. Установите responseType: 'url', чтобы вместо этого получить размещенную ссылку.
Специфичные для PDF параметры:
| Параметр | Тип | Описание |
|---|---|---|
| options.format | string | Размер страницы: A4, Letter, Legal, Tabloid, Ledger, A0–A6. |
| options.landscape | boolean | Рендеринг в альбомной ориентации. |
| options.margin | object | Установка верхнего, нижнего, левого и правого полей. |
| options.printBackground | boolean | Включение CSS-фона в вывод. |
| options.displayHeaderFooter | boolean | Показ верхнего и нижнего колонтитулов на каждой странице. |
| options.headerTemplate | string | HTML-шаблон для верхнего колонтитула. |
| options.footerTemplate | string | HTML-шаблон для нижнего колонтитула. |
| options.pageRanges | string | Печать определенных страниц, например 1-5. |
| options.scale | number | Масштабирование содержимого страницы. |
| emulateMedia | string | Рендеринг как тип медиа screen или print. |
| responseType | string | Возврат PDF в виде буфера (по умолчанию) или размещенного URL. |
При использовании инструмента PDF через MCP результат по умолчанию возвращается в виде размещенного URL. При прямом вызове API responseType по умолчанию имеет значение buffer. Установите responseType: 'url', чтобы вместо этого получить размещенную ссылку.
Ограничения скорости и добросовестное использование
Каждый API-ключ имеет месячный лимит запросов в зависимости от вашего тарифного плана. Долго загружающиеся страницы с тяжелым JavaScript или большие PDF потребляют больше ресурсов. Используйте blockAds и blockTrackers для ускорения запросов и снижения использования пропускной способности при задачах парсинга.
Схема запросов и ответов Agenty AI намеренно поддерживает совместимость с наиболее широко используемыми API автоматизации браузера, включая Browserless, Firecrawl, Cloudflare Browser Rendering и аналогичные сервисы. Если вы уже используете одного из этих провайдеров, вы можете перейти на Agenty AI, обновив базовый URL и API-ключ без переписывания существующих запросов.
| Провайдер | Миграция |
|---|---|
| Browserless | Измените базовый URL и API-ключ. Все параметры совместимы. |
| Firecrawl | Измените базовый URL и API-ключ. Эндпоинты scrape, markdown и crawl сопоставляются напрямую. |
| Cloudflare Browser Rendering | Измените базовый URL и заголовок аутентификации. Параметры screenshot и content совместимы. |
| Puppeteer HTTP APIs | Большинство goToOptions и параметров страницы сопоставляются 1:1. |