Agenty

oficial

Web scraping, crawling y detección de cambios con IA

¿Qué puedes hacer con Agenty MCP?

  • Convertir páginas a Markdown — Solicita convertir una URL o HTML crudo en Markdown limpio y legible con la herramienta markdown para contenido apto para LLM.
  • Capturar capturas de pantalla — Usa screenshot para capturar imágenes PNG/JPEG de página completa o recortadas con viewports personalizados y emulación de dispositivos.
  • Extraer HTML renderizado — Usa scrape para obtener el HTML renderizado completo de páginas con mucho JavaScript después de que se cargue el contenido dinámico.
  • Extraer datos estructurados — Usa extract para obtener campos específicos como precios, titulares o reseñas mediante selectores CSS o XPath.
  • Generar PDFs — Usa pdf para exportar una página como PDF con opciones de formato, márgenes, orientación horizontal y encabezado/pie de página.
  • Descubrir la estructura del sitio — Usa sitemap para leer el sitemap.xml de un sitio y devolver todas las URLs descubiertas, con patrones de exclusión.

Documentación

Agenty AI expone un servidor de Model Context Protocol (MCP) que brinda a asistentes de IA como Claude, Cursor y cualquier cliente compatible con MCP acceso directo a herramientas de automatización de navegador. Puedes capturar capturas de pantalla, generar PDFs, extraer contenido de páginas web, extraer datos estructurados, convertir páginas a Markdown y más utilizando modelos LLM.

En este artículo, cubriré cómo conectarse al servidor MCP de Agenty y cómo usar cada herramienta disponible.

Requisitos previos

Antes de conectarte, necesitarás:

  • Una cuenta de Agenty AI y una clave de API
  • Un cliente compatible con MCP como Claude Desktop, Cursor, Windsurf o cualquier herramienta que admita el Model Context Protocol
  • Node.js 18 o posterior si usas la CLI o un archivo de configuración local

Cómo conectarse

Agrega la siguiente configuración a tu cliente MCP. Para Claude Desktop, esto va en claude_desktop_config.json. Para Cursor, va en tu archivo .cursor/mcp.json.

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

Reemplaza YOUR_API_KEY con la clave de tu Agenty AI > Configuración > Clave de API. Una vez agregado, reinicia tu cliente y las herramientas de Agenty aparecerán en la lista de herramientas. Para clientes que admiten OAuth o inicio de sesión basado en tokens, puedes autenticarte directamente a través del flujo de inicio de sesión de Agenty AI sin pegar manualmente una clave.

Herramientas disponibles

El servidor MCP de Agenty proporciona once herramientas que cubren las necesidades más comunes de automatización de navegador. Cada herramienta acepta una URL o HTML sin procesar como entrada, junto con parámetros opcionales para controlar el comportamiento del navegador.

Available Tools in Agenty MCP

Markdown MCP

La herramienta de markdown carga una página, elimina la navegación, pies de página, scripts, anuncios y otro contenido repetitivo, y convierte el contenido legible restante a Markdown limpio. Puede resolver enlaces relativos a URLs absolutas y eliminar imágenes de datos.

Esto es particularmente útil para alimentar contenido web a LLMs, construir pipelines RAG o guardar versiones legibles de artículos.

Ejemplo de prompt:

"Convierte Web scraping - Wikipedia a Markdown"

"Obtén el contenido Markdown de esta publicación de blog: https://example.com/article"

Website scraping preview using Claude desktop

Screenshot MCP

La herramienta de captura de pantalla lanza un navegador real, carga la página y la captura como imagen PNG o JPEG. Admite capturas de pantalla de página completa, regiones recortadas, viewports personalizados, emulación de dispositivos y manipulación de imágenes como redimensionar y rotar.

Esto es útil cuando quieres una instantánea visual de una página, necesitas documentar una interfaz de usuario o quieres verificar cómo se ve un sitio en un tamaño de pantalla específico.

Ejemplo de prompt:

"Toma una captura de pantalla de página completa de https://example.com y devuélvela como PNG"

"Captura una captura de pantalla móvil de https://agenty.ai usando un viewport de iPhone 14"

Web Scraping MCP

La herramienta de extracción web carga una URL en un navegador real con ejecución completa de JavaScript y devuelve el HTML renderizado. A diferencia de las solicitudes HTTP simples, espera a que el contenido dinámico se cargue, lo que la hace confiable para aplicaciones de una sola página y páginas con mucho JavaScript.

Úsala cuando necesites el HTML sin procesar de una página exactamente como un usuario lo vería después de que todos los scripts se hayan ejecutado.

Ejemplo de prompt:

"Extrae el HTML de https://news.ycombinator.com y devuelve el contenido renderizado completo"

"Extrae esta página y espera 3 segundos para que el contenido dinámico se cargue: https://example.com/dashboard"

Web Crawling MCP

La herramienta de rastreo de enlaces renderiza una página y extrae cada hipervínculo encontrado en el DOM. Devuelve una lista plana de todos los href de anclas, que puedes usar para construir una cola de rastreo, auditar enlaces internos o descubrir contenido.

Ejemplo de prompt:

"Encuentra todos los enlaces en https://agenty.ai"

"Extrae cada enlace de https://example.com/blog y dame una lista de URLs de artículos"

PDF MCP

La herramienta PDF renderiza una página en un navegador real y la exporta como PDF. Puedes configurar el formato de página (A4, Carta, etc.), habilitar modo horizontal, establecer márgenes, mostrar u ocultar fondos y proporcionar encabezados y pies de página personalizados.

Ejemplo de prompt:

"Genera un PDF de https://agenty.ai en formato A4 con fondos de impresión habilitados"

"Crea un PDF horizontal de https://example.com/report"

Data Extraction MCP

La herramienta de extracción renderiza una página y extrae datos estructurados usando selectores CSS o XPath. Es adecuada para extraer campos específicos como precios de productos, conteos de reseñas, títulos de trabajos o cualquier elemento repetitivo de una página renderizada.

Ejemplo de prompt:

"Extrae los nombres de productos y precios de https://example.com/products"

"Obtén todos los titulares de https://news.ycombinator.com"

Sitemap MCP

La herramienta de rastreo de sitemap lee el sitemap.xml de un sitio web, sigue los archivos de índice de sitemap y devuelve una lista completa de todas las URLs descubiertas. Admite patrones de exclusión para filtrar ciertas rutas.

Úsala para comprender rápidamente la estructura completa de un sitio web o para construir una lista de rastreo para un sitio grande.

Ejemplo de prompt:

"Encuentra todas las URLs en el sitemap de https://agenty.ai"

"Obtén el sitemap de https://example.com y excluye cualquier URL que contenga /blog/"

Redirect Tracing MCP

La herramienta de captura de redirecciones sigue todas las redirecciones HTTP para una URL dada y devuelve la cadena completa, incluida cada URL intermedia, código de estado y destino final.

Esto es útil para depurar enlaces rotos, verificar URLs canónicas y auditar enlaces de afiliados o acortados.

Ejemplo de prompt:

"Rastrea todas las redirecciones de https://bit.ly/some-link"

"Muéstrame la cadena de redirecciones de https://example.com/old-page"

Email Scraper MCP

La herramienta de extracción de correos electrónicos carga una o más URLs (hasta diez a la vez) y extrae todas las direcciones de correo electrónico encontradas en la página renderizada. Maneja direcciones ofuscadas y secciones de contacto cargadas dinámicamente.

Ejemplo de prompt:

"Encuentra todas las direcciones de correo electrónico en https://example.com/contact"

"Extrae correos electrónicos de estas tres páginas: https://site1.com, https://site2.com, https://site3.com"

Content MCP

La herramienta de contenido devuelve el HTML renderizado completo de una página después de la ejecución de JavaScript. Es similar a scrape pero optimizada para casos de uso donde necesitas el estado final del DOM en lugar de un pipeline de extracción.

Ejemplo de prompt:

"Obtén el contenido HTML renderizado de https://example.com/app"

Snapshot MCP

La herramienta de instantánea captura el árbol de accesibilidad de una página: una lista estructurada de todos los elementos interactivos y legibles, incluidos botones, enlaces, campos de entrada y encabezados. Está diseñada para agentes de IA que necesitan navegar o razonar sobre una página sin procesar HTML sin procesar.

Ejemplo de prompt:

"Toma una instantánea de accesibilidad de https://example.com para que pueda entender la estructura de la página"

Ejemplos de prompts

Aquí hay algunos ejemplos de múltiples pasos que combinan herramientas:

Auditar el contenido de un sitio web:
"Obtén el sitemap de https://example.com, luego convierte las 5 páginas principales a Markdown y resume cada una"

Generar un informe visual:
"Toma una captura de pantalla de https://agenty.ai en viewports móvil y de escritorio y muéstrame ambas"

Construir una lista de contactos:
"Encuentra todos los enlaces en https://example.com/team, luego extrae direcciones de correo electrónico de cada página de miembro del equipo"

Verificar la salud de los enlaces:
"Extrae todos los enlaces de https://example.com/blog y rastrea la cadena de redirecciones de cualquier enlace que no devuelva 200"

Archivar una página:
"Convierte https://example.com/article a Markdown y genera una versión PDF, ambos con enlaces absolutos"

Parámetros admitidos

Todas las herramientas basadas en navegación (screenshot, pdf, scrape, content, markdown, links, extract, redirects) comparten un conjunto común de opciones de configuración del navegador:

ParámetroTipoDescripción
urlstringLa URL de la página a cargar. Requerido si html no se proporciona.
htmlstringCadena HTML sin procesar para renderizar en lugar de cargar una URL.
waitForstring o numberEsperar un selector CSS, un número de milisegundos o un evento de red antes de capturar.
viewportobjectConfigurar width, height, deviceScaleFactor, isMobile, hasTouch y isLandscape.
devicestringEmular un dispositivo con nombre como iPhone 14 o iPad Pro.
userAgentstringSobrescribir la cadena de user agent del navegador.
cookiesarrayInyectar cookies antes de que la página se cargue.
blockAdsbooleanBloquear solicitudes de redes de anuncios. Habilitado por defecto para herramientas de extracción.
blockTrackersbooleanBloquear scripts de seguimiento y análisis.
goToOptionsobjectControlar la navegación timeout (ms) y la estrategia de waitUntil (load, domcontentloaded, networkidle0, networkidle2).
setExtraHTTPHeadersobjectAgregar encabezados de solicitud personalizados como pares clave-valor.
rejectRequestPatternarrayBloquear solicitudes que coincidan con estos patrones de URL.
requestInterceptorsarrayInterceptar solicitudes que coincidan con un patrón y devolver una respuesta personalizada.
authenticateobjectConfigurar HTTP username y password para páginas detrás de autenticación básica.
anonymousobjectEnrutar a través de un proxy y omitir tipos de recursos para navegación anónima.

Parámetros específicos de captura de pantalla:

ParámetroTipoDescripción
options.fullPagebooleanCapturar toda la página desplazable. Por defecto es true.
options.typestringFormato de imagen: png o jpeg. Por defecto es png.
options.qualitynumberCalidad JPEG de 0 a 100.
options.clipobjectCapturar una región específica con x, y, width y height.
options.omitBackgroundbooleanHacer el fondo transparente (solo PNG).
manipulateobjectPost-procesar la imagen con resize, rotate, flip y flop.
responseTypestringDevolver la imagen como buffer (por defecto) o un url alojado.

Cuando usas la herramienta de captura de pantalla a través de MCP, el resultado se devuelve como una URL alojada por defecto. Cuando llamas a la API directamente, responseType por defecto es buffer. Configura responseType: 'url' para recibir un enlace alojado en su lugar.

Parámetros específicos de PDF:

ParámetroTipoDescripción
options.formatstringTamaño de página: A4, Letter, Legal, Tabloid, Ledger, A0A6.
options.landscapebooleanRenderizar en orientación horizontal.
options.marginobjectConfigurar márgenes top, bottom, left y right.
options.printBackgroundbooleanIncluir fondos CSS en la salida.
options.displayHeaderFooterbooleanMostrar encabezado y pie de página en cada página.
options.headerTemplatestringPlantilla HTML para el encabezado de página.
options.footerTemplatestringPlantilla HTML para el pie de página.
options.pageRangesstringImprimir páginas específicas, p. ej. 1-5.
options.scalenumberEscalar el contenido de la página.
emulateMediastringRenderizar como tipo de medio screen o print.
responseTypestringDevolver el PDF como buffer (por defecto) o un url alojado.

Cuando usas la herramienta PDF a través de MCP, el resultado se devuelve como una URL alojada por defecto. Cuando llamas a la API directamente, responseType por defecto es buffer. Configura responseType: 'url' para recibir un enlace alojado en su lugar.

Límites de tasa y uso justo

Cada clave de API tiene un límite de solicitudes mensual según tu plan. Las páginas de larga duración con JavaScript pesado o PDFs grandes consumen más recursos. Usa blockAds y blockTrackers para acelerar las solicitudes y reducir el uso de ancho de banda en cargas de trabajo de scraping.

El esquema de solicitud y respuesta de Agenty AI se mantiene intencionalmente compatible con las APIs de automatización de navegador más utilizadas, incluyendo Browserless, Firecrawl, Cloudflare Browser Rendering y servicios similares. Si ya estás usando uno de estos proveedores, puedes cambiar a Agenty AI actualizando tu URL base y tu clave de API sin reescribir tus solicitudes existentes.

ProveedorMigración
BrowserlessCambia la URL base y la clave de API. Todos los parámetros son compatibles.
FirecrawlCambia la URL base y la clave de API. Los endpoints de scrape, markdown y crawl se asignan directamente.
Cloudflare Browser RenderingCambia la URL base y el encabezado de autenticación. Los parámetros de captura de pantalla y contenido son compatibles.
APIs HTTP de PuppeteerLa mayoría de las opciones de goToOptions y opciones de página se asignan 1:1.