Agenty

oficial

Web scraping, crawling e detecção de mudanças com IA

O que você pode fazer com Agenty MCP?

  • Converter páginas em Markdown — Peça para converter uma URL ou HTML bruto em Markdown limpo e legível com a ferramenta markdown para conteúdo amigável a LLMs.
  • Capturar capturas de tela — Use screenshot para capturar imagens PNG/JPEG de página inteira ou recortadas com viewports personalizados e emulação de dispositivos.
  • Extrair HTML renderizado — Use scrape para obter o HTML renderizado completo de páginas com muito JavaScript após o carregamento do conteúdo dinâmico.
  • Extrair dados estruturados — Use extract para puxar campos específicos como preços, manchetes ou avaliações via seletores CSS ou XPath.
  • Gerar PDFs — Use pdf para exportar uma página como PDF com opções de formato, margens, paisagem e cabeçalho/rodapé.
  • Descobrir estrutura do site — Use sitemap para ler o sitemap.xml de um site e retornar todas as URLs descobertas, com padrões de exclusão.

Documentação

O Agenty AI expõe um servidor Model Context Protocol (MCP) que dá a assistentes de IA como Claude, Cursor e qualquer cliente compatível com MCP acesso direto a ferramentas de automação de navegador. Você pode capturar capturas de tela, gerar PDFs, raspar páginas da web, extrair dados estruturados, converter páginas em Markdown e muito mais usando modelos de LLM.

Neste artigo, vou abordar como conectar-se ao servidor MCP do Agenty e como usar cada ferramenta disponível.

Pré-requisitos

Antes de conectar, você precisará de:

  • Uma conta Agenty AI e chave de API
  • Um cliente compatível com MCP, como Claude Desktop, Cursor, Windsurf ou qualquer ferramenta que suporte o Model Context Protocol
  • Node.js 18 ou posterior se você estiver usando a CLI ou um arquivo de configuração local

Como Conectar

Adicione a seguinte configuração ao seu cliente MCP. Para o Claude Desktop, isso vai em claude_desktop_config.json. Para o Cursor, vai no seu arquivo .cursor/mcp.json.

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

Substitua YOUR_API_KEY pela chave da sua conta Agenty AI > Configurações > Chave de API. Depois de adicionar, reinicie o cliente e as ferramentas do Agenty aparecerão na lista de ferramentas. Para clientes que suportam login OAuth ou baseado em token, você pode autenticar diretamente pelo fluxo de login do Agenty AI sem colar manualmente uma chave.

Ferramentas Disponíveis

O servidor MCP do Agenty fornece onze ferramentas que cobrem as necessidades mais comuns de automação de navegador. Cada ferramenta aceita uma URL ou HTML bruto como entrada, junto com parâmetros opcionais para controlar o comportamento do navegador.

Available Tools in Agenty MCP

Markdown MCP

A ferramenta markdown carrega uma página, remove navegação, rodapés, scripts, anúncios e outros conteúdos boilerplate, e converte o conteúdo legível restante em Markdown limpo. Ela pode resolver links relativos para URLs absolutas e remover imagens de dados.

Isso é particularmente útil para alimentar conteúdo web em LLMs, construir pipelines de RAG ou salvar versões legíveis de artigos.

Exemplo de prompt:

"Converta Web scraping - Wikipedia para Markdown"

"Obtenha o conteúdo Markdown deste post de blog: https://example.com/article"

Website scraping preview using Claude desktop

Screenshot MCP

A ferramenta screenshot inicia um navegador real, carrega a página e a captura como uma imagem PNG ou JPEG. Ela suporta capturas de tela de página inteira, regiões recortadas, viewports personalizados, emulação de dispositivos e manipulação de imagem como redimensionar e girar.

Isso é útil quando você quer um instantâneo visual de uma página, precisa documentar uma interface ou quer verificar como um site se parece em um tamanho de tela específico.

Exemplo de prompt:

"Tire uma captura de tela de página inteira de https://example.com e retorne como PNG"

"Capture uma captura de tela mobile de https://agenty.ai usando um viewport de iPhone 14"

Web Scraping MCP

A ferramenta web scrape carrega uma URL em um navegador real com execução completa de JavaScript e retorna o HTML renderizado. Diferente de requisições HTTP simples, ela espera o conteúdo dinâmico carregar, tornando-a confiável para aplicações de página única e páginas com muito JavaScript.

Use isso quando precisar do HTML bruto de uma página exatamente como um usuário veria após todos os scripts serem executados.

Exemplo de prompt:

"Raspe o HTML de https://news.ycombinator.com e retorne o conteúdo renderizado completo"

"Raspe esta página e espere 3 segundos para o conteúdo dinâmico carregar: https://example.com/dashboard"

Web Crawling MCP

A ferramenta links crawling renderiza uma página e extrai todos os hyperlinks encontrados no DOM. Ela retorna uma lista plana de todos os hrefs de âncoras, que você pode usar para construir uma fila de crawl, auditar links internos ou descobrir conteúdo.

Exemplo de prompt:

"Encontre todos os links em https://agenty.ai"

"Extraia todos os links de https://example.com/blog e me dê uma lista de URLs de artigos"

PDF MCP

A ferramenta PDF renderiza uma página em um navegador real e a exporta como PDF. Você pode definir o formato da página (A4, Carta, etc.), habilitar modo paisagem, definir margens, mostrar ou ocultar fundos e fornecer cabeçalhos e rodapés personalizados.

Exemplo de prompt:

"Gere um PDF de https://agenty.ai em formato A4 com fundos de impressão habilitados"

"Crie um PDF em paisagem de https://example.com/report"

Data Extraction MCP

A ferramenta extract renderiza uma página e extrai dados estruturados usando seletores CSS ou XPath. Ela é adequada para extrair campos específicos como preços de produtos, contagens de avaliações, títulos de empregos ou qualquer elemento repetido de uma página renderizada.

Exemplo de prompt:

"Extraia os nomes e preços dos produtos de https://example.com/products"

"Obtenha todas as manchetes de https://news.ycombinator.com"

Sitemap MCP

A ferramenta sitemap crawler lê o sitemap.xml de um site, segue arquivos de índice de sitemap e retorna uma lista completa de todas as URLs descobertas. Ela suporta padrões de exclusão para filtrar certos caminhos.

Use isso para entender rapidamente a estrutura completa de um site ou para construir uma lista de crawl para um site grande.

Exemplo de prompt:

"Encontre todas as URLs no sitemap de https://agenty.ai"

"Obtenha o sitemap de https://example.com e exclua quaisquer URLs contendo /blog/"

Redirect Tracing MCP

A ferramenta redirects capture segue todos os redirecionamentos HTTP para uma URL fornecida e retorna a cadeia completa, incluindo cada URL intermediária, código de status e destino final.

Isso é útil para depurar links quebrados, verificar URLs canônicas e auditar links de afiliados ou encurtados.

Exemplo de prompt:

"Rastreie todos os redirecionamentos de https://bit.ly/some-link"

"Mostre-me a cadeia de redirecionamento de https://example.com/old-page"

Email Scraper MCP

A ferramenta emails scraper carrega uma ou mais URLs (até dez por vez) e extrai todos os endereços de e-mail encontrados na página renderizada. Ela lida com endereços ofuscados e seções de contato carregadas dinamicamente.

Exemplo de prompt:

"Encontre todos os endereços de e-mail em https://example.com/contact"

"Raspe e-mails destas três páginas: https://site1.com, https://site2.com, https://site3.com"

Content MCP

A ferramenta content retorna o HTML renderizado completo de uma página após a execução do JavaScript. Ela é semelhante ao scrape, mas otimizada para casos de uso onde você precisa do estado final do DOM em vez de um pipeline de raspagem.

Exemplo de prompt:

"Obtenha o conteúdo HTML renderizado de https://example.com/app"

Snapshot MCP

A ferramenta snapshot captura a árvore de acessibilidade de uma página — uma lista estruturada de todos os elementos interativos e legíveis, incluindo botões, links, campos de entrada e cabeçalhos. Ela é projetada para agentes de IA que precisam navegar ou raciocinar sobre uma página sem processar HTML bruto.

Exemplo de prompt:

"Tire um snapshot de acessibilidade de https://example.com para que eu possa entender a estrutura da página"

Exemplos de Prompts

Aqui estão alguns exemplos de múltiplas etapas que combinam ferramentas:

Auditar o conteúdo de um site:
"Obtenha o sitemap de https://example.com, depois converta as 5 principais páginas para Markdown e resuma cada uma"

Gerar um relatório visual:
"Tire uma captura de tela de https://agenty.ai em viewports mobile e desktop e mostre-me ambas"

Construir uma lista de contatos:
"Encontre todos os links em https://example.com/team, depois raspe endereços de e-mail de cada página de membro da equipe"

Verificar a saúde dos links:
"Extraia todos os links de https://example.com/blog e rastreie a cadeia de redirecionamento de qualquer um que não retorne 200"

Arquivar uma página:
"Converta https://example.com/article para Markdown e gere uma versão em PDF, ambos com links absolutos"

Parâmetros Suportados

Todas as ferramentas baseadas em navegação (screenshot, pdf, scrape, content, markdown, links, extract, redirects) compartilham um conjunto comum de opções de configuração do navegador:

ParâmetroTipoDescrição
urlstringA URL da página a carregar. Obrigatório se html não for fornecido.
htmlstringString de HTML bruto para renderizar em vez de carregar uma URL.
waitForstring ou númeroAguardar por um seletor CSS, um número de milissegundos ou um evento de rede antes de capturar.
viewportobjectDefinir width, height, deviceScaleFactor, isMobile, hasTouch e isLandscape.
devicestringEmular um dispositivo nomeado como iPhone 14 ou iPad Pro.
userAgentstringSubstituir a string de user agent do navegador.
cookiesarrayInjetar cookies antes do carregamento da página.
blockAdsbooleanBloquear requisições de redes de anúncios. Habilitado por padrão para ferramentas de raspagem.
blockTrackersbooleanBloquear scripts de rastreamento e análise.
goToOptionsobjectControlar navegação timeout (ms) e estratégia de waitUntil (load, domcontentloaded, networkidle0, networkidle2).
setExtraHTTPHeadersobjectAdicionar cabeçalhos de requisição personalizados como pares chave-valor.
rejectRequestPatternarrayBloquear requisições que correspondam a esses padrões de URL.
requestInterceptorsarrayInterceptar requisições que correspondam a um padrão e retornar uma resposta personalizada.
authenticateobjectDefinir HTTP username e password para páginas atrás de autenticação básica.
anonymousobjectRoteamento através de um proxy e pular tipos de recursos para navegação anônima.

Parâmetros específicos de screenshot:

ParâmetroTipoDescrição
options.fullPagebooleanCapturar a página inteira rolável. Padrão é true.
options.typestringFormato da imagem: png ou jpeg. Padrão é png.
options.qualitynumberQualidade JPEG de 0 a 100.
options.clipobjectCapturar uma região específica com x, y, width e height.
options.omitBackgroundbooleanTornar o fundo transparente (apenas PNG).
manipulateobjectPós-processar a imagem com resize, rotate, flip e flop.
responseTypestringRetornar a imagem como um buffer (padrão) ou um url hospedado.

Ao usar a ferramenta screenshot via MCP, o resultado é retornado como uma URL hospedada por padrão. Ao chamar a API diretamente, responseType tem como padrão buffer. Defina responseType: 'url' para receber um link hospedado.

Parâmetros específicos de PDF:

ParâmetroTipoDescrição
options.formatstringTamanho da página: A4, Letter, Legal, Tabloid, Ledger, A0A6.
options.landscapebooleanRenderizar em orientação paisagem.
options.marginobjectDefinir margens top, bottom, left e right.
options.printBackgroundbooleanIncluir fundos CSS na saída.
options.displayHeaderFooterbooleanMostrar cabeçalho e rodapé em cada página.
options.headerTemplatestringTemplate HTML para o cabeçalho da página.
options.footerTemplatestringTemplate HTML para o rodapé da página.
options.pageRangesstringImprimir páginas específicas, ex. 1-5.
options.scalenumberEscalar o conteúdo da página.
emulateMediastringRenderizar como tipo de mídia screen ou print.
responseTypestringRetornar o PDF como um buffer (padrão) ou um url hospedado.

Ao usar a ferramenta PDF via MCP, o resultado é retornado como uma URL hospedada por padrão. Ao chamar a API diretamente, responseType tem como padrão buffer. Defina responseType: 'url' para receber um link hospedado.

Limites de Taxa e Uso Justo

Cada chave de API tem um limite mensal de solicitações com base no seu plano. Páginas de longa duração com JavaScript pesado ou PDFs grandes consomem mais recursos. Use blockAds e blockTrackers para acelerar as solicitações e reduzir o uso de largura de banda em cargas de trabalho de scraping.

O esquema de solicitação e resposta da Agenty AI é intencionalmente mantido compatível com as APIs de automação de navegador mais amplamente utilizadas, incluindo Browserless, Firecrawl, Cloudflare Browser Rendering e serviços similares. Se você já usa um desses provedores, pode mudar para a Agenty AI atualizando sua URL base e chave de API sem reescrever suas solicitações existentes.

ProvedorMigração
BrowserlessAltere a URL base e a chave de API. Todos os parâmetros são compatíveis.
FirecrawlAltere a URL base e a chave de API. Os endpoints de scrape, markdown e crawl mapeiam diretamente.
Cloudflare Browser RenderingAltere a URL base e o cabeçalho de autenticação. Os parâmetros de screenshot e conteúdo são compatíveis.
Puppeteer HTTP APIsA maioria das opções goToOptions e opções de página mapeiam 1:1.