Agenty

oficial

Web scraping, crawling y detección de cambios con IA

¿Qué puedes hacer con Agenty MCP?

  • Convertir cualquier página web a Markdown limpio — elimina navegación, anuncios y contenido superfluo de una URL usando markdown para obtener contenido listo para LLM.
  • Capturar capturas de pantalla con emulación de dispositivos — toma capturas de pantalla de página completa o recortadas en PNG/JPEG mediante screenshot, emulando dispositivos como el iPhone 14.
  • Extraer HTML renderizado con JavaScript — usa scrape para obtener el DOM final después de que todos los scripts se hayan ejecutado, ideal para SPA.
  • Extraer datos estructurados con selectores — obtén campos específicos como precios o titulares de una página usando CSS o XPath con extract.
  • Generar PDF con formato personalizado — exporta una página como PDF A4 o Carta mediante pdf, controlando márgenes, encabezados y fondos de impresión.
  • Rastrear cadenas de redirección HTTP — sigue cada redirección de una URL con redirects para depurar enlaces o verificar destinos canónicos.

Documentación

Agenty AI expone un servidor del Protocolo de Contexto de Modelo (MCP) que brinda a asistentes de IA como Claude, Cursor y cualquier cliente compatible con MCP acceso directo a herramientas de automatización de navegadores. Puedes capturar capturas de pantalla, generar PDFs, extraer páginas web, obtener datos estructurados, convertir páginas a Markdown y más usando modelos LLM.

En este artículo, explicaré cómo conectarse al servidor MCP de Agenty y cómo usar cada herramienta disponible.

Requisitos previos

Antes de conectarte, necesitarás:

  • Una cuenta de Agenty AI y una clave API
  • Un cliente compatible con MCP como Claude Desktop, Cursor, Windsurf o cualquier herramienta que soporte el Protocolo de Contexto de Modelo
  • Node.js 18 o posterior si usas la CLI o un archivo de configuración local

Cómo conectarse

Agrega la siguiente configuración a tu cliente MCP. Para Claude Desktop, esto va en claude_desktop_config.json. Para Cursor, va en tu archivo .cursor/mcp.json.

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

Reemplaza YOUR_API_KEY con la clave de tu cuenta de Agenty AI > Configuración > Clave API. Una vez agregada, reinicia tu cliente y las herramientas de Agenty aparecerán en la lista de herramientas.

Clave API de Agenty1069×482 32.4 KB

Para clientes que soportan OAuth o inicio de sesión basado en token, puedes autenticarte directamente a través del flujo de inicio de sesión de Agenty AI sin pegar manualmente una clave.

Herramientas disponibles

El servidor MCP de Agenty proporciona once herramientas que cubren las necesidades más comunes de automatización de navegadores. Cada herramienta acepta una URL o HTML sin procesar como entrada junto con parámetros opcionales para controlar el comportamiento del navegador.

Herramientas disponibles en Agenty MCP1265×795 60.9 KB

Markdown MCP

La herramienta markdown carga una página, elimina navegación, pies de página, scripts, anuncios y otro contenido superfluo, y convierte el contenido legible restante a Markdown limpio. Puede resolver enlaces relativos a URLs absolutas y eliminar imágenes de datos.

Esto es particularmente útil para alimentar contenido web a LLMs, construir pipelines RAG o guardar versiones legibles de artículos.

Ejemplo de prompt:

“Convierte Web scraping - Wikipedia a Markdown”

“Obtén el contenido Markdown de esta publicación de blog: https://example.com/article”

Vista previa de extracción de sitio web usando Claude desktop1272×844 67.2 KB

Screenshot MCP

La herramienta de captura de pantalla lanza un navegador real, carga la página y la captura como una imagen PNG o JPEG. Soporta capturas de página completa, regiones recortadas, viewports personalizados, emulación de dispositivos y manipulación de imágenes como redimensionar y rotar.

Esto es útil cuando quieres una instantánea visual de una página, necesitas documentar una interfaz de usuario o deseas verificar cómo se ve un sitio en un tamaño de pantalla específico.

Ejemplo de prompt:

“Toma una captura de pantalla completa de https://example.com y devuélvela como PNG”

“Captura una captura de pantalla móvil de https://agenty.ai usando un viewport de iPhone 14”

Web Scraping MCP

La herramienta de web scraping carga una URL en un navegador real con ejecución completa de JavaScript y devuelve el HTML renderizado. A diferencia de las solicitudes HTTP simples, espera a que el contenido dinámico se cargue, haciéndola confiable para aplicaciones de una sola página y páginas con mucho JavaScript.

Usa esto cuando necesites el HTML sin procesar de una página exactamente como lo vería un usuario después de que todos los scripts se hayan ejecutado.

Ejemplo de prompt:

“Extrae el HTML de https://news.ycombinator.com y devuelve el contenido renderizado completo”

“Extrae esta página y espera 3 segundos para que el contenido dinámico cargue: https://example.com/dashboard”

Web Crawling MCP

La herramienta de rastreo de enlaces renderiza una página y extrae cada hipervínculo encontrado en el DOM. Devuelve una lista plana de todos los href de anclaje, que puedes usar para construir una cola de rastreo, auditar enlaces internos o descubrir contenido.

Ejemplo de prompt:

“Encuentra todos los enlaces en https://agenty.ai”

“Extrae cada enlace de https://example.com/blog y dame una lista de URLs de artículos”

PDF MCP

La herramienta PDF renderiza una página en un navegador real y la exporta como PDF. Puedes establecer el formato de página (A4, Carta, etc.), habilitar el modo horizontal, establecer márgenes, mostrar u ocultar fondos y proporcionar encabezados y pies de página personalizados.

Ejemplo de prompt:

“Genera un PDF de https://agenty.ai en formato A4 con fondos de impresión habilitados”

“Crea un PDF horizontal de https://example.com/report”

Data Extraction MCP

La herramienta de extracción renderiza una página y extrae datos estructurados usando selectores CSS o XPath. Es adecuada para extraer campos específicos como precios de productos, conteos de reseñas, títulos de trabajo o cualquier elemento repetitivo de una página renderizada.

Ejemplo de prompt:

“Extrae los nombres de productos y precios de https://example.com/products”

“Obtén todos los titulares de https://news.ycombinator.com”

Sitemap MCP

La herramienta de rastreo de sitemap lee el sitemap.xml de un sitio web, sigue archivos de índice de sitemap y devuelve una lista completa de todas las URLs descubiertas. Soporta patrones de exclusión para filtrar ciertas rutas.

Usa esto para comprender rápidamente la estructura completa de un sitio web o para construir una lista de rastreo para un sitio grande.

Ejemplo de prompt:

“Encuentra todas las URLs en el sitemap de https://agenty.ai”

“Obtén el sitemap de https://example.com y excluye cualquier URL que contenga /blog/”

Redirect Tracing MCP

La herramienta de captura de redirecciones sigue todas las redirecciones HTTP para una URL dada y devuelve la cadena completa incluyendo cada URL intermedia, código de estado y destino final.

Esto es útil para depurar enlaces rotos, verificar URLs canónicas y auditar enlaces de afiliados o acortados.

Ejemplo de prompt:

“Rastrea todas las redirecciones para https://bit.ly/some-link”

“Muéstrame la cadena de redirección para https://example.com/old-page”

Email Scraper MCP

La herramienta de extracción de correos electrónicos carga una o más URLs (hasta diez a la vez) y extrae todas las direcciones de correo electrónico encontradas en la página renderizada. Maneja direcciones ofuscadas y secciones de contacto cargadas dinámicamente.

Ejemplo de prompt:

“Encuentra todas las direcciones de correo electrónico en https://example.com/contact”

“Extrae correos electrónicos de estas tres páginas: https://site1.com, https://site2.com, https://site3.com”

Content MCP

La herramienta de contenido devuelve el HTML renderizado completo de una página después de la ejecución de JavaScript. Es similar a scrape pero optimizada para casos de uso donde necesitas el estado final del DOM en lugar de un pipeline de extracción.

Ejemplo de prompt:

“Obtén el contenido HTML renderizado de https://example.com/app”

Snapshot MCP

La herramienta de instantánea captura el árbol de accesibilidad de una página — una lista estructurada de todos los elementos interactivos y legibles incluyendo botones, enlaces, entradas y encabezados. Esto está diseñado para agentes de IA que necesitan navegar o razonar sobre una página sin procesar HTML sin procesar.

Ejemplo de prompt:

“Toma una instantánea de accesibilidad de https://example.com para que pueda entender la estructura de la página”

Ejemplos de prompts

Aquí hay algunos ejemplos de múltiples pasos que combinan herramientas:

Auditar el contenido de un sitio web:
“Obtén el sitemap de https://example.com, luego convierte las 5 páginas principales a Markdown y resume cada una”

Generar un informe visual:
“Toma una captura de pantalla de https://agenty.ai en viewports móvil y de escritorio y muéstrame ambas”

Construir una lista de contactos:
“Encuentra todos los enlaces en https://example.com/team, luego extrae direcciones de correo electrónico de cada página de miembro del equipo”

Verificar la salud de los enlaces:
“Extrae todos los enlaces de https://example.com/blog y rastrea la cadena de redirección para cualquiera que no devuelva 200”

Archivar una página:
“Convierte https://example.com/article a Markdown y genera una versión PDF, ambas con enlaces absolutos”

Parámetros soportados

Todas las herramientas basadas en navegación (screenshot, pdf, scrape, content, markdown, links, extract, redirects) comparten un conjunto común de opciones de configuración del navegador:

ParámetroTipoDescripción
urlstringLa URL de la página a cargar. Requerido si no se proporciona html.
htmlstringCadena HTML sin procesar para renderizar en lugar de cargar una URL.
waitForstring o numberEspera un selector CSS, un número de milisegundos o un evento de red antes de capturar.
viewportobjectEstablece width, height, deviceScaleFactor, isMobile, hasTouch e isLandscape.
devicestringEmula un dispositivo con nombre como iPhone 14 o iPad Pro.
userAgentstringAnula la cadena de agente de usuario del navegador.
cookiesarrayInyecta cookies antes de que la página cargue.
blockAdsbooleanBloquea solicitudes de redes publicitarias. Habilitado por defecto para herramientas de scraping.
blockTrackersbooleanBloquea scripts de seguimiento y analítica.
goToOptionsobjectControla el tiempo de espera de navegación (ms) y la estrategia waitUntil (load, domcontentloaded, networkidle0, networkidle2).
setExtraHTTPHeadersobjectAgrega encabezados de solicitud personalizados como pares clave-valor.
rejectRequestPatternarrayBloquea solicitudes que coincidan con estos patrones de URL.
requestInterceptorsarrayIntercepta solicitudes que coincidan con un patrón y devuelve una respuesta personalizada.
authenticateobjectEstablece nombre de usuario y contraseña HTTP para páginas detrás de autenticación básica.
anonymousobjectEnruta a través de un proxy y omite tipos de recursos para navegación anónima.

Parámetros específicos de captura de pantalla:

ParámetroTipoDescripción
options.fullPagebooleanCaptura la página completa desplazable. Por defecto true.
options.typestringFormato de imagen: png o jpeg. Por defecto png.
options.qualitynumberCalidad JPEG de 0 a 100.
options.clipobjectCaptura una región específica con x, y, width y height.
options.omitBackgroundbooleanHace el fondo transparente (solo PNG).
manipulateobjectPost-procesa la imagen con resize, rotate, flip y flop.
responseTypestringDevuelve la imagen como un buffer (por defecto) o una url alojada.

Al usar la herramienta de captura de pantalla a través de MCP, el resultado se devuelve como una URL alojada por defecto. Al llamar a la API directamente, responseType por defecto es buffer. Establece responseType: 'url' para recibir un enlace alojado en su lugar.

Parámetros específicos de PDF:

ParámetroTipoDescripción
options.formatstringTamaño de página: A4, Carta, Legal, Tabloide, Ledger, A0–A6.
options.landscapebooleanRenderiza en orientación horizontal.
options.marginobjectEstablece márgenes superior, inferior, izquierdo y derecho.
options.printBackgroundbooleanIncluye fondos CSS en la salida.
options.displayHeaderFooterbooleanMuestra encabezado y pie de página en cada página.
options.headerTemplatestringPlantilla HTML para el encabezado de página.
options.footerTemplatestringPlantilla HTML para el pie de página.
options.pageRangesstringImprime páginas específicas, ej. 1-5.
options.scalenumberEscala el contenido de la página.
emulateMediastringRenderiza como tipo de medio screen o print.
responseTypestringDevuelve el PDF como un buffer (por defecto) o una url alojada.

Al usar la herramienta PDF a través de MCP, el resultado se devuelve como una URL alojada por defecto. Al llamar a la API directamente, responseType por defecto es buffer. Establece responseType: 'url' para recibir un enlace alojado en su lugar.

Límites de tasa y uso justo

Cada clave API tiene un límite de solicitudes mensuales basado en tu plan. Las páginas de larga ejecución con JavaScript pesado o PDFs grandes consumen más recursos. Usa blockAds y blockTrackers para acelerar las solicitudes y reducir el uso de ancho de banda en cargas de trabajo de scraping.

El esquema de solicitud y respuesta de Agenty AI se mantiene intencionalmente compatible con las APIs de automatización de navegadores más utilizadas, incluyendo Browserless, Firecrawl, Cloudflare Browser Rendering y servicios similares. Si ya estás usando uno de estos proveedores, puedes cambiar a Agenty AI actualizando tu URL base y clave API sin reescribir tus solicitudes existentes.

ProveedorMigración
BrowserlessCambia la URL base y la clave API. Todos los parámetros son compatibles.
FirecrawlCambia la URL base y la clave API. Los endpoints scrape, markdown y crawl se mapean directamente.
Cloudflare Browser RenderingCambia la URL base y el encabezado de autenticación. Los parámetros de captura de pantalla y contenido son compatibles.
Puppeteer HTTP APIsLa mayoría de las opciones goToOptions y page options se mapean 1:1.