Agenty

официальный

Веб-скрапинг, краулинг и обнаружение изменений с помощью ИИ

Что можно делать с Agenty MCP?

  • Преобразование любой веб-страницы в чистый Markdown — удаление навигации, рекламы и шаблонного содержимого по URL с помощью markdown для получения контента, готового к использованию в LLM.
  • Создание скриншотов с эмуляцией устройств — получение полноэкранных или обрезанных PNG/JPEG скриншотов через screenshot с эмуляцией таких устройств, как iPhone 14.
  • Сбор HTML, отрисованного с помощью JavaScript — использование scrape для получения финального DOM после выполнения всех скриптов, идеально подходит для SPA.
  • Извлечение структурированных данных с помощью селекторов — получение конкретных полей, таких как цены или заголовки, со страницы с использованием CSS или XPath через extract.
  • Генерация PDF с пользовательским форматированием — экспорт страницы в формате A4 или Letter через pdf с контролем полей, верхних и нижних колонтитулов, а также фона печати.
  • Трассировка цепочек HTTP-редиректов — отслеживание всех перенаправлений для URL с помощью redirects для отладки ссылок или проверки канонических адресов.

Документация

Agenty AI предоставляет сервер Model Context Protocol (MCP), который дает ИИ-ассистентам, таким как Claude, Cursor и любым MCP-совместимым клиентам, прямой доступ к инструментам автоматизации браузера. Вы можете делать скриншоты, генерировать PDF, парсить веб-страницы, извлекать структурированные данные, конвертировать страницы в Markdown и многое другое, используя LLM-модели.

В этой статье я расскажу, как подключиться к MCP-серверу Agenty и как использовать каждый доступный инструмент.

Необходимые условия

Перед подключением вам понадобятся:

  • Учетная запись Agenty AI и API-ключ
  • MCP-совместимый клиент, такой как Claude Desktop, Cursor, Windsurf или любой инструмент, поддерживающий Model Context Protocol
  • Node.js 18 или новее, если вы используете CLI или локальный файл конфигурации

Как подключиться

Добавьте следующую конфигурацию в ваш MCP-клиент. Для Claude Desktop она помещается в claude_desktop_config.json. Для Cursor — в ваш файл .cursor/mcp.json.

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

Замените YOUR_API_KEY на ключ из раздела Agenty AI > Настройки > API Key. После добавления перезапустите клиент, и инструменты Agenty появятся в списке инструментов.

Agenty API Key1069×482 32.4 KB

Для клиентов, поддерживающих OAuth или вход по токену, вы можете аутентифицироваться напрямую через процесс входа в Agenty AI без ручной вставки ключа.

Доступные инструменты

MCP-сервер Agenty предоставляет одиннадцать инструментов, покрывающих наиболее распространенные задачи автоматизации браузера. Каждый инструмент принимает URL или сырой HTML в качестве входных данных, а также необязательные параметры для управления поведением браузера.

Available Tools in Agenty MCP1265×795 60.9 KB

Markdown MCP

Инструмент markdown загружает страницу, удаляет навигацию, подвалы, скрипты, рекламу и другой шаблонный контент и преобразует оставшееся читаемое содержимое в чистый Markdown. Он может преобразовывать относительные ссылки в абсолютные URL и удалять data-изображения.

Это особенно полезно для передачи веб-контента в LLM, построения RAG-пайплайнов или сохранения читаемых версий статей.

Пример запроса:

«Преобразуй Web scraping - Wikipedia в Markdown»

«Получи Markdown-содержимое этого поста в блоге: https://example.com/article”

Website scraping preview using Claude desktop1272×844 67.2 KB

Screenshot MCP

Инструмент screenshot запускает реальный браузер, загружает страницу и делает ее снимок в формате PNG или JPEG. Он поддерживает скриншоты всей страницы, обрезанные области, пользовательские области просмотра, эмуляцию устройств и манипуляции с изображениями, такие как изменение размера и поворот.

Это полезно, когда вам нужен визуальный снимок страницы, необходимо задокументировать UI или проверить, как сайт выглядит при определенном размере экрана.

Пример запроса:

«Сделай скриншот всей страницы https://example.com и верни его в формате PNG»

«Сделай мобильный скриншот https://agenty.ai, используя область просмотра iPhone 14»

Web Scraping MCP

Инструмент web scrape загружает URL в реальном браузере с полным выполнением JavaScript и возвращает отрендеренный HTML. В отличие от простых HTTP-запросов, он ожидает загрузки динамического контента, что делает его надежным для одностраничных приложений и страниц с большим количеством JavaScript.

Используйте это, когда вам нужен сырой HTML страницы именно таким, каким его видит пользователь после выполнения всех скриптов.

Пример запроса:

«Спарси HTML страницы https://news.ycombinator.com и верни полное отрендеренное содержимое»

«Спарси эту страницу и подожди 3 секунды для загрузки динамического контента: https://example.com/dashboard”

Web Crawling MCP

Инструмент links crawling рендерит страницу и извлекает все гиперссылки, найденные в DOM. Он возвращает плоский список всех href-ссылок, который можно использовать для построения очереди обхода, аудита внутренней перелинковки или обнаружения контента.

Пример запроса:

«Найди все ссылки на https://agenty.ai”

«Извлеки все ссылки с https://example.com/blog и выдай мне список URL статей»

PDF MCP

Инструмент PDF рендерит страницу в реальном браузере и экспортирует ее в PDF. Вы можете задать формат страницы (A4, Letter и т. д.), включить альбомную ориентацию, установить поля, показать или скрыть фон, а также указать пользовательские верхние и нижние колонтитулы.

Пример запроса:

«Сгенерируй PDF страницы https://agenty.ai в формате A4 с включенным фоном для печати»

«Создай альбомный PDF страницы https://example.com/report”

Data Extraction MCP

Инструмент extract рендерит страницу и извлекает структурированные данные с помощью CSS-селекторов или XPath. Он подходит для извлечения конкретных полей, таких как цены на товары, количество отзывов, названия должностей или любых повторяющихся элементов с отрендеренной страницы.

Пример запроса:

«Извлеки названия товаров и цены с https://example.com/products”

«Получи все заголовки с https://news.ycombinator.com”

Sitemap MCP

Инструмент sitemap crawler читает файл sitemap.xml веб-сайта, следует за файлами индекса карты сайта и возвращает полный список всех обнаруженных URL. Он поддерживает шаблоны исключения для фильтрации определенных путей.

Используйте это, чтобы быстро понять полную структуру веб-сайта или построить список для обхода большого сайта.

Пример запроса:

«Найди все URL в карте сайта для https://agenty.ai”

«Получи карту сайта для https://example.com и исключи все URL, содержащие /blog/»

Redirect Tracing MCP

Инструмент redirects capture отслеживает все HTTP-редиректы для заданного URL и возвращает полную цепочку, включая каждый промежуточный URL, код состояния и конечный пункт назначения.

Это полезно для отладки битых ссылок, проверки канонических URL и аудита партнерских или сокращенных ссылок.

Пример запроса:

«Отследи все редиректы для https://bit.ly/some-link”

«Покажи мне цепочку редиректов для https://example.com/old-page”

Email Scraper MCP

Инструмент emails scraper загружает один или несколько URL (до десяти за раз) и извлекает все адреса электронной почты, найденные на отрендеренной странице. Он обрабатывает запутанные адреса и динамически загружаемые разделы контактов.

Пример запроса:

«Найди все адреса электронной почты на https://example.com/contact”

«Спарси email-адреса с этих трех страниц: https://site1.com, https://site2.com, https://site3.com”

Content MCP

Инструмент content возвращает полный отрендеренный HTML страницы после выполнения JavaScript. Он похож на scrape, но оптимизирован для случаев, когда вам нужно конечное состояние DOM, а не пайплайн парсинга.

Пример запроса:

«Получи отрендеренное HTML-содержимое https://example.com/app”

Snapshot MCP

Инструмент snapshot захватывает дерево доступности страницы — структурированный список всех интерактивных и читаемых элементов, включая кнопки, ссылки, поля ввода и заголовки. Он предназначен для ИИ-агентов, которым необходимо навигировать или анализировать страницу без обработки сырого HTML.

Пример запроса:

«Сделай снимок доступности https://example.com, чтобы я мог понять структуру страницы»

Примеры запросов

Вот несколько многошаговых примеров, комбинирующих инструменты:

Аудит контента веб-сайта: «Получи карту сайта для https://example.com,, затем преобразуй первые 5 страниц в Markdown и суммируй каждую»

Создание визуального отчета: «Сделай скриншот https://agenty.ai на мобильной и десктопной областях просмотра и покажи мне оба»

Построение списка контактов: «Найди все ссылки на https://example.com/team,, затем спарси адреса электронной почты с каждой страницы члена команды»

Проверка работоспособности ссылок: «Извлеки все ссылки с https://example.com/blog и отследи цепочку редиректов для тех, которые не возвращают 200»

Архивирование страницы: «Преобразуй https://example.com/article в Markdown и сгенерируй PDF-версию, обе с абсолютными ссылками»

Поддерживаемые параметры

Все инструменты на основе навигации (screenshot, pdf, scrape, content, markdown, links, extract, redirects) используют общий набор параметров конфигурации браузера:

ПараметрТипОписание
urlstringURL страницы для загрузки. Обязателен, если не предоставлен html.
htmlstringСтрока сырого HTML для рендеринга вместо загрузки URL.
waitForstring или numberОжидание CSS-селектора, количества миллисекунд или сетевого события перед захватом.
viewportobjectУстановка ширины, высоты, deviceScaleFactor, isMobile, hasTouch и isLandscape.
devicestringЭмуляция указанного устройства, например iPhone 14 или iPad Pro.
userAgentstringПереопределение строки user agent браузера.
cookiesarrayВнедрение cookie-файлов перед загрузкой страницы.
blockAdsbooleanБлокировка запросов к рекламным сетям. Включено по умолчанию для инструментов парсинга.
blockTrackersbooleanБлокировка скриптов отслеживания и аналитики.
goToOptionsobjectУправление таймаутом навигации (мс) и стратегией waitUntil (load, domcontentloaded, networkidle0, networkidle2).
setExtraHTTPHeadersobjectДобавление пользовательских заголовков запроса в виде пар ключ-значение.
rejectRequestPatternarrayБлокировка запросов, соответствующих этим шаблонам URL.
requestInterceptorsarrayПерехват запросов, соответствующих шаблону, и возврат пользовательского ответа.
authenticateobjectУстановка HTTP-имени пользователя и пароля для страниц за базовой аутентификацией.
anonymousobjectМаршрутизация через прокси и пропуск типов ресурсов для анонимного просмотра.

Специфичные для скриншотов параметры:

ПараметрТипОписание
options.fullPagebooleanЗахват всей прокручиваемой страницы. По умолчанию true.
options.typestringФормат изображения: png или jpeg. По умолчанию png.
options.qualitynumberКачество JPEG от 0 до 100.
options.clipobjectЗахват определенной области с помощью x, y, width и height.
options.omitBackgroundbooleanСделать фон прозрачным (только PNG).
manipulateobjectПостобработка изображения: resize, rotate, flip и flop.
responseTypestringВозврат изображения в виде буфера (по умолчанию) или размещенного URL.

При использовании инструмента screenshot через MCP результат по умолчанию возвращается в виде размещенного URL. При прямом вызове API responseType по умолчанию имеет значение buffer. Установите responseType: 'url', чтобы вместо этого получить размещенную ссылку.

Специфичные для PDF параметры:

ПараметрТипОписание
options.formatstringРазмер страницы: A4, Letter, Legal, Tabloid, Ledger, A0–A6.
options.landscapebooleanРендеринг в альбомной ориентации.
options.marginobjectУстановка верхнего, нижнего, левого и правого полей.
options.printBackgroundbooleanВключение CSS-фона в вывод.
options.displayHeaderFooterbooleanПоказ верхнего и нижнего колонтитулов на каждой странице.
options.headerTemplatestringHTML-шаблон для верхнего колонтитула.
options.footerTemplatestringHTML-шаблон для нижнего колонтитула.
options.pageRangesstringПечать определенных страниц, например 1-5.
options.scalenumberМасштабирование содержимого страницы.
emulateMediastringРендеринг как тип медиа screen или print.
responseTypestringВозврат PDF в виде буфера (по умолчанию) или размещенного URL.

При использовании инструмента PDF через MCP результат по умолчанию возвращается в виде размещенного URL. При прямом вызове API responseType по умолчанию имеет значение buffer. Установите responseType: 'url', чтобы вместо этого получить размещенную ссылку.

Ограничения скорости и добросовестное использование

Каждый API-ключ имеет месячный лимит запросов в зависимости от вашего тарифного плана. Долго загружающиеся страницы с тяжелым JavaScript или большие PDF потребляют больше ресурсов. Используйте blockAds и blockTrackers для ускорения запросов и снижения использования пропускной способности при задачах парсинга.

Схема запросов и ответов Agenty AI намеренно поддерживает совместимость с наиболее широко используемыми API автоматизации браузера, включая Browserless, Firecrawl, Cloudflare Browser Rendering и аналогичные сервисы. Если вы уже используете одного из этих провайдеров, вы можете перейти на Agenty AI, обновив базовый URL и API-ключ без переписывания существующих запросов.

ПровайдерМиграция
BrowserlessИзмените базовый URL и API-ключ. Все параметры совместимы.
FirecrawlИзмените базовый URL и API-ключ. Эндпоинты scrape, markdown и crawl сопоставляются напрямую.
Cloudflare Browser RenderingИзмените базовый URL и заголовок аутентификации. Параметры screenshot и content совместимы.
Puppeteer HTTP APIsБольшинство goToOptions и параметров страницы сопоставляются 1:1.