Agenty
oficialWeb scraping, crawling e detecção de mudanças com IA
O que você pode fazer com Agenty MCP?
- Converta qualquer página web em Markdown limpo — remova navegação, anúncios e conteúdo genérico de uma URL usando
markdownpara obter conteúdo pronto para LLM. - Capture capturas de tela com emulação de dispositivo — tire capturas de tela PNG/JPEG de página inteira ou recortadas via
screenshot, emulando dispositivos como iPhone 14. - Extraia HTML renderizado por JavaScript — use
scrapepara obter o DOM final após a execução de todos os scripts, ideal para SPAs. - Extraia dados estruturados com seletores — obtenha campos específicos como preços ou manchetes de uma página usando CSS ou XPath com
extract. - Gere PDFs com formatação personalizada — exporte uma página como PDF A4 ou Carta via
pdf, controlando margens, cabeçalhos e fundos de impressão. - Rastreie cadeias de redirecionamento HTTP — siga cada redirecionamento de uma URL com
redirectspara depurar links ou verificar destinos canônicos.
Documentação
O Agenty AI expõe um servidor Model Context Protocol (MCP) que oferece a assistentes de IA como Claude, Cursor e qualquer cliente compatível com MCP acesso direto a ferramentas de automação de navegador. Você pode capturar capturas de tela, gerar PDFs, fazer scraping de páginas web, extrair dados estruturados, converter páginas para Markdown e muito mais usando modelos LLM.
Neste artigo, abordarei como conectar ao servidor MCP do Agenty e como usar cada ferramenta disponível.
Pré-requisitos
Antes de conectar, você precisará de:
- Uma conta no Agenty AI e uma chave de API
- Um cliente compatível com MCP, como Claude Desktop, Cursor, Windsurf ou qualquer ferramenta que suporte o Model Context Protocol
- Node.js 18 ou posterior se estiver usando a CLI ou um arquivo de configuração local
Como Conectar
Adicione a seguinte configuração ao seu cliente MCP. Para o Claude Desktop, isso vai em claude_desktop_config.json. Para o Cursor, vai no seu arquivo .cursor/mcp.json.
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
Substitua YOUR_API_KEY pela chave do seu Agenty AI > Configurações > Chave de API. Depois de adicionar, reinicie seu cliente e as ferramentas do Agenty aparecerão na lista de ferramentas.
Chave de API do Agenty1069×482 32.4 KB
Para clientes que suportam login OAuth ou baseado em token, você pode autenticar diretamente pelo fluxo de login do Agenty AI sem colar manualmente uma chave.
Ferramentas Disponíveis
O servidor MCP do Agenty fornece onze ferramentas que cobrem as necessidades mais comuns de automação de navegador. Cada ferramenta aceita uma URL ou HTML bruto como entrada, juntamente com parâmetros opcionais para controlar o comportamento do navegador.
Ferramentas Disponíveis no Agenty MCP1265×795 60.9 KB
Markdown MCP
A ferramenta markdown carrega uma página, remove navegação, rodapés, scripts, anúncios e outros elementos supérfluos, e converte o conteúdo legível restante em Markdown limpo. Ela pode resolver links relativos para URLs absolutas e remover imagens de dados.
Isso é particularmente útil para alimentar conteúdo web em LLMs, construir pipelines RAG ou salvar versões legíveis de artigos.
Exemplo de prompt:
“Converta Web scraping - Wikipedia para Markdown”
“Obtenha o conteúdo Markdown deste post de blog: https://example.com/article”
Pré-visualização de scraping de site usando Claude desktop1272×844 67.2 KB
Screenshot MCP
A ferramenta screenshot inicia um navegador real, carrega a página e a captura como uma imagem PNG ou JPEG. Ela suporta capturas de página inteira, regiões recortadas, viewports personalizados, emulação de dispositivo e manipulação de imagem como redimensionar e rotacionar.
Isso é útil quando você quer um instantâneo visual de uma página, precisa documentar uma IU ou verificar como um site aparece em um tamanho de tela específico.
Exemplo de prompt:
“Tire uma captura de tela de página inteira de https://example.com e retorne como PNG”
“Capture uma captura de tela mobile de https://agenty.ai usando um viewport de iPhone 14”
Web Scraping MCP
A ferramenta web scrape carrega uma URL em um navegador real com execução completa de JavaScript e retorna o HTML renderizado. Diferente de requisições HTTP simples, ela espera o conteúdo dinâmico carregar, tornando-a confiável para single-page applications e páginas com muito JavaScript.
Use isso quando precisar do HTML bruto de uma página exatamente como um usuário o veria depois que todos os scripts forem executados.
Exemplo de prompt:
“Faça o scrape do HTML de https://news.ycombinator.com e retorne o conteúdo renderizado completo”
“Faça o scrape desta página e espere 3 segundos para o conteúdo dinâmico carregar: https://example.com/dashboard”
Web Crawling MCP
A ferramenta links crawling renderiza uma página e extrai todos os hyperlinks encontrados no DOM. Ela retorna uma lista plana de todos os hrefs de âncora, que você pode usar para construir uma fila de crawling, auditar links internos ou descobrir conteúdo.
Exemplo de prompt:
“Encontre todos os links em https://agenty.ai”
“Extraia todos os links de https://example.com/blog e me dê uma lista de URLs de artigos”
PDF MCP
A ferramenta PDF renderiza uma página em um navegador real e a exporta como PDF. Você pode definir o formato da página (A4, Carta, etc.), ativar o modo paisagem, definir margens, mostrar ou ocultar fundos e fornecer cabeçalhos e rodapés personalizados.
Exemplo de prompt:
“Gere um PDF de https://agenty.ai em formato A4 com fundos de impressão ativados”
“Crie um PDF paisagem de https://example.com/report”
Data Extraction MCP
A ferramenta extract renderiza uma página e extrai dados estruturados usando seletores CSS ou XPath. É adequada para extrair campos específicos como preços de produtos, contagens de avaliações, títulos de vagas ou qualquer elemento repetitivo de uma página renderizada.
Exemplo de prompt:
“Extraia os nomes e preços dos produtos de https://example.com/products”
“Obtenha todas as manchetes de https://news.ycombinator.com”
Sitemap MCP
A ferramenta sitemap crawler lê o sitemap.xml de um site, segue arquivos de índice de sitemap e retorna uma lista completa de todas as URLs descobertas. Ela suporta padrões de exclusão para filtrar determinados caminhos.
Use isso para entender rapidamente a estrutura completa de um site ou para construir uma lista de crawling para um site grande.
Exemplo de prompt:
“Encontre todas as URLs no sitemap de https://agenty.ai”
“Obtenha o sitemap de https://example.com e exclua quaisquer URLs que contenham /blog/”
Redirect Tracing MCP
A ferramenta redirects capture segue todos os redirecionamentos HTTP para uma determinada URL e retorna a cadeia completa, incluindo cada URL intermediária, código de status e destino final.
Isso é útil para depurar links quebrados, verificar URLs canônicas e auditar links de afiliados ou encurtados.
Exemplo de prompt:
“Rastreie todos os redirecionamentos para https://bit.ly/some-link”
“Mostre-me a cadeia de redirecionamento para https://example.com/old-page”
Email Scraper MCP
A ferramenta emails scraper carrega uma ou mais URLs (até dez por vez) e extrai todos os endereços de e-mail encontrados na página renderizada. Ela lida com endereços ofuscados e seções de contato carregadas dinamicamente.
Exemplo de prompt:
“Encontre todos os endereços de e-mail em https://example.com/contact”
“Extraia e-mails destas três páginas: https://site1.com, https://site2.com, https://site3.com”
Content MCP
A ferramenta content retorna o HTML renderizado completo de uma página após a execução do JavaScript. É semelhante ao scrape, mas otimizada para casos de uso onde você precisa do estado final do DOM em vez de um pipeline de scraping.
Exemplo de prompt:
“Obtenha o conteúdo HTML renderizado de https://example.com/app”
Snapshot MCP
A ferramenta snapshot captura a árvore de acessibilidade de uma página — uma lista estruturada de todos os elementos interativos e legíveis, incluindo botões, links, campos de entrada e cabeçalhos. Isso é projetado para agentes de IA que precisam navegar ou raciocinar sobre uma página sem processar HTML bruto.
Exemplo de prompt:
“Tire um snapshot de acessibilidade de https://example.com para que eu possa entender a estrutura da página”
Exemplos de Prompts
Aqui estão alguns exemplos de múltiplas etapas que combinam ferramentas:
Auditar o conteúdo de um site:
“Obtenha o sitemap de https://example.com,, depois converta as 5 principais páginas para Markdown e resuma cada uma”
Gerar um relatório visual:
“Tire uma captura de tela de https://agenty.ai em viewports mobile e desktop e mostre-me ambas”
Construir uma lista de contatos:
“Encontre todos os links em https://example.com/team,, depois extraia endereços de e-mail de cada página de membro da equipe”
Verificar a saúde dos links:
“Extraia todos os links de https://example.com/blog e rastreie a cadeia de redirecionamento para qualquer um que não retorne 200”
Arquivar uma página:
“Converta https://example.com/article para Markdown e gere uma versão em PDF, ambos com links absolutos”
Parâmetros Suportados
Todas as ferramentas baseadas em navegação (screenshot, pdf, scrape, content, markdown, links, extract, redirects) compartilham um conjunto comum de opções de configuração do navegador:
| Parâmetro | Tipo | Descrição |
|---|---|---|
| url | string | A URL da página a carregar. Obrigatório se html não for fornecido. |
| html | string | String HTML bruta para renderizar em vez de carregar uma URL. |
| waitFor | string ou number | Aguardar por um seletor CSS, um número de milissegundos ou um evento de rede antes de capturar. |
| viewport | object | Definir largura, altura, deviceScaleFactor, isMobile, hasTouch e isLandscape. |
| device | string | Emular um dispositivo nomeado, como iPhone 14 ou iPad Pro. |
| userAgent | string | Substituir a string do user agent do navegador. |
| cookies | array | Injetar cookies antes da página carregar. |
| blockAds | boolean | Bloquear requisições de redes de anúncios. Ativado por padrão para ferramentas de scraping. |
| blockTrackers | boolean | Bloquear scripts de rastreamento e analytics. |
| goToOptions | object | Controlar o tempo limite de navegação (ms) e a estratégia waitUntil (load, domcontentloaded, networkidle0, networkidle2). |
| setExtraHTTPHeaders | object | Adicionar cabeçalhos de requisição personalizados como pares chave-valor. |
| rejectRequestPattern | array | Bloquear requisições que correspondam a esses padrões de URL. |
| requestInterceptors | array | Interceptar requisições que correspondam a um padrão e retornar uma resposta personalizada. |
| authenticate | object | Definir nome de usuário e senha HTTP para páginas protegidas por autenticação básica. |
| anonymous | object | Roteir através de um proxy e pular tipos de recurso para navegação anônima. |
Parâmetros específicos de screenshot:
| Parâmetro | Tipo | Descrição |
|---|---|---|
| options.fullPage | boolean | Capturar a página inteira rolável. Padrão: true. |
| options.type | string | Formato da imagem: png ou jpeg. Padrão: png. |
| options.quality | number | Qualidade JPEG de 0 a 100. |
| options.clip | object | Capturar uma região específica com x, y, largura e altura. |
| options.omitBackground | boolean | Tornar o fundo transparente (somente PNG). |
| manipulate | object | Pós-processar a imagem com redimensionar, rotacionar, flip e flop. |
| responseType | string | Retornar a imagem como um buffer (padrão) ou uma url hospedada. |
Ao usar a ferramenta screenshot via MCP, o resultado é retornado como uma URL hospedada por padrão. Ao chamar a API diretamente, responseType o padrão é buffer. Defina responseType: 'url' para receber um link hospedado.
Parâmetros específicos de PDF:
| Parâmetro | Tipo | Descrição |
|---|---|---|
| options.format | string | Tamanho da página: A4, Carta, Ofício, Tabloide, Ledger, A0–A6. |
| options.landscape | boolean | Renderizar em orientação paisagem. |
| options.margin | object | Definir margens superior, inferior, esquerda e direita. |
| options.printBackground | boolean | Incluir fundos CSS na saída. |
| options.displayHeaderFooter | boolean | Mostrar cabeçalho e rodapé em cada página. |
| options.headerTemplate | string | Template HTML para o cabeçalho da página. |
| options.footerTemplate | string | Template HTML para o rodapé da página. |
| options.pageRanges | string | Imprimir páginas específicas, ex.: 1-5. |
| options.scale | number | Escalar o conteúdo da página. |
| emulateMedia | string | Renderizar como tipo de mídia screen ou print. |
| responseType | string | Retornar o PDF como um buffer (padrão) ou uma url hospedada. |
Ao usar a ferramenta PDF via MCP, o resultado é retornado como uma URL hospedada por padrão. Ao chamar a API diretamente, responseType o padrão é buffer. Defina responseType: 'url' para receber um link hospedado.
Limites de Taxa e Uso Justo
Cada chave de API tem um limite de requisições mensais baseado no seu plano. Páginas de longa execução com JavaScript pesado ou PDFs grandes consomem mais recursos. Use blockAds e blockTrackers para acelerar as requisições e reduzir o uso de largura de banda em cargas de trabalho de scraping.
O esquema de requisição e resposta do Agenty AI é intencionalmente mantido compatível com as APIs de automação de navegador mais amplamente utilizadas, incluindo Browserless, Firecrawl, Cloudflare Browser Rendering e serviços similares. Se você já está usando um desses provedores, pode migrar para o Agenty AI atualizando sua URL base e chave de API sem reescrever suas requisições existentes.
| Provedor | Migração |
|---|---|
| Browserless | Altere a URL base e a chave de API. Todos os parâmetros são compatíveis. |
| Firecrawl | Altere a URL base e a chave de API. Os endpoints scrape, markdown e crawl mapeiam diretamente. |
| Cloudflare Browser Rendering | Altere a URL base e o cabeçalho de autenticação. Os parâmetros de screenshot e content são compatíveis. |
| Puppeteer HTTP APIs | A maioria das opções goToOptions e page options mapeia 1:1. |