Agenty

officiel

Extraction, crawling et détection de changements avec IA

Que pouvez-vous faire avec Agenty MCP ?

  • Convertir des pages en Markdown — Demandez de convertir une URL ou du HTML brut en Markdown propre et lisible avec l’outil markdown pour un contenu adapté aux LLM.
  • Capturer des captures d’écran — Utilisez screenshot pour capturer des images PNG/JPEG en pleine page ou recadrées, avec des viewports personnalisés et de l’émulation d’appareils.
  • Extraire le HTML rendu — Utilisez scrape pour obtenir le HTML complet rendu des pages riches en JavaScript après le chargement du contenu dynamique.
  • Extraire des données structurées — Utilisez extract pour récupérer des champs spécifiques comme les prix, les titres ou les avis via des sélecteurs CSS ou XPath.
  • Générer des PDF — Utilisez pdf pour exporter une page en PDF avec des options de format, de marges, de paysage, d’en-tête et de pied de page.
  • Découvrir la structure du site — Utilisez sitemap pour lire le sitemap.xml d’un site et renvoyer toutes les URL découvertes, avec des motifs d’exclusion.

Documentation

Agenty AI expose un serveur Model Context Protocol (MCP) qui donne aux assistants IA comme Claude, Cursor, et tout client compatible MCP un accès direct aux outils d'automatisation de navigateur. Vous pouvez capturer des captures d'écran, générer des PDF, extraire des pages web, extraire des données structurées, convertir des pages en Markdown et plus encore en utilisant des modèles LLM.

Dans cet article, je vais expliquer comment se connecter au serveur MCP d'Agenty et comment utiliser chaque outil disponible.

Prérequis

Avant de vous connecter, vous aurez besoin de :

  • Un compte Agenty AI et une clé API
  • Un client compatible MCP tel que Claude Desktop, Cursor, Windsurf, ou tout outil prenant en charge le Model Context Protocol
  • Node.js 18 ou version ultérieure si vous utilisez la CLI ou un fichier de configuration local

Comment se connecter

Ajoutez la configuration suivante à votre client MCP. Pour Claude Desktop, cela va dans claude_desktop_config.json. Pour Cursor, cela va dans votre fichier .cursor/mcp.json.

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

Remplacez YOUR_API_KEY par la clé de votre Agenty AI > Paramètres > Clé API. Une fois ajouté, redémarrez votre client et les outils Agenty apparaîtront dans la liste des outils. Pour les clients qui prennent en charge la connexion OAuth ou par jeton, vous pouvez vous authentifier directement via le flux de connexion Agenty AI sans coller manuellement une clé.

Outils disponibles

Le serveur MCP Agenty fournit onze outils couvrant les besoins les plus courants en automatisation de navigateur. Chaque outil accepte une URL ou du HTML brut en entrée, ainsi que des paramètres optionnels pour contrôler le comportement du navigateur.

Available Tools in Agenty MCP

Markdown MCP

L'outil markdown charge une page, supprime la navigation, les pieds de page, les scripts, les publicités et autres éléments superflus, puis convertit le contenu lisible restant en Markdown propre. Il peut résoudre les liens relatifs en URL absolues et supprimer les images de données.

C'est particulièrement utile pour alimenter les LLM avec du contenu web, construire des pipelines RAG, ou enregistrer des versions lisibles d'articles.

Exemple de prompt :

« Convertir Web scraping - Wikipedia en Markdown »

« Obtenir le contenu Markdown de cet article de blog : https://example.com/article »

Website scraping preview using Claude desktop

Screenshot MCP

L'outil screenshot lance un vrai navigateur, charge la page et la capture en image PNG ou JPEG. Il prend en charge les captures plein écran, les régions rognées, les viewports personnalisés, l'émulation d'appareils et la manipulation d'images comme le redimensionnement et la rotation.

C'est utile lorsque vous voulez un aperçu visuel d'une page, documenter une interface utilisateur, ou vérifier l'apparence d'un site à une taille d'écran spécifique.

Exemple de prompt :

« Prendre une capture plein écran de https://example.com et la retourner en PNG »

« Capturer une capture mobile de https://agenty.ai en utilisant un viewport iPhone 14 »

Web Scraping MCP

L'outil web scrape charge une URL dans un vrai navigateur avec exécution complète de JavaScript et retourne le HTML rendu. Contrairement aux simples requêtes HTTP, il attend que le contenu dynamique soit chargé, ce qui le rend fiable pour les applications à page unique et les pages riches en JavaScript.

Utilisez-le lorsque vous avez besoin du HTML brut d'une page exactement comme un utilisateur le verrait après l'exécution de tous les scripts.

Exemple de prompt :

« Extraire le HTML de https://news.ycombinator.com et retourner le contenu complet rendu »

« Extraire cette page et attendre 3 secondes pour que le contenu dynamique se charge : https://example.com/dashboard »

Web Crawling MCP

L'outil de crawling de liens rend une page et extrait chaque hyperlien trouvé dans le DOM. Il retourne une liste plate de tous les href d'ancres, que vous pouvez utiliser pour construire une file d'attente de crawl, auditer les liens internes ou découvrir du contenu.

Exemple de prompt :

« Trouver tous les liens sur https://agenty.ai »

« Extraire chaque lien de https://example.com/blog et me donner une liste d'URL d'articles »

PDF MCP

L'outil PDF rend une page dans un vrai navigateur et l'exporte en PDF. Vous pouvez définir le format de page (A4, Letter, etc.), activer le mode paysage, définir les marges, afficher ou masquer les arrière-plans, et fournir des en-têtes et pieds de page personnalisés.

Exemple de prompt :

« Générer un PDF de https://agenty.ai au format A4 avec les arrière-plans d'impression activés »

« Créer un PDF paysage de https://example.com/report »

Data Extraction MCP

L'outil extract rend une page et extrait des données structurées à l'aide de sélecteurs CSS ou XPath. Il est adapté pour extraire des champs spécifiques comme les prix de produits, les nombres d'avis, les titres de postes, ou tout élément répétitif d'une page rendue.

Exemple de prompt :

« Extraire les noms et prix des produits de https://example.com/products »

« Obtenir tous les titres de https://news.ycombinator.com »

Sitemap MCP

L'outil crawler de sitemap lit le sitemap.xml d'un site web, suit les fichiers d'index de sitemap et retourne une liste complète de toutes les URL découvertes. Il prend en charge les modèles d'exclusion pour filtrer certains chemins.

Utilisez-le pour comprendre rapidement la structure complète d'un site web ou pour construire une liste de crawl pour un grand site.

Exemple de prompt :

« Trouver toutes les URL dans le sitemap de https://agenty.ai »

« Obtenir le sitemap de https://example.com et exclure toute URL contenant /blog/ »

Redirect Tracing MCP

L'outil de capture des redirections suit toutes les redirections HTTP pour une URL donnée et retourne la chaîne complète, y compris chaque URL intermédiaire, le code de statut et la destination finale.

C'est utile pour déboguer les liens cassés, vérifier les URL canoniques et auditer les liens affiliés ou raccourcis.

Exemple de prompt :

« Tracer toutes les redirections pour https://bit.ly/some-link »

« Montrer la chaîne de redirection pour https://example.com/old-page »

Email Scraper MCP

L'outil scraper d'emails charge une ou plusieurs URL (jusqu'à dix à la fois) et extrait toutes les adresses email trouvées sur la page rendue. Il gère les adresses obscurcies et les sections de contact chargées dynamiquement.

Exemple de prompt :

« Trouver toutes les adresses email sur https://example.com/contact »

« Extraire les emails de ces trois pages : https://site1.com, https://site2.com, https://site3.com »

Content MCP

L'outil content retourne le HTML complet rendu d'une page après exécution de JavaScript. Il est similaire à scrape mais optimisé pour les cas où vous avez besoin de l'état final du DOM plutôt que d'un pipeline de scraping.

Exemple de prompt :

« Obtenir le contenu HTML rendu de https://example.com/app »

Snapshot MCP

L'outil snapshot capture l'arbre d'accessibilité d'une page — une liste structurée de tous les éléments interactifs et lisibles, y compris les boutons, liens, champs de saisie et titres. Il est conçu pour les agents IA qui doivent naviguer ou raisonner sur une page sans traiter le HTML brut.

Exemple de prompt :

« Prendre un instantané d'accessibilité de https://example.com pour que je puisse comprendre la structure de la page »

Exemples de prompts

Voici quelques exemples multi-étapes qui combinent des outils :

Auditer le contenu d'un site web :
« Obtenir le sitemap de https://example.com, puis convertir les 5 premières pages en Markdown et résumer chacune »

Générer un rapport visuel :
« Prendre une capture de https://agenty.ai sur les viewports mobile et desktop et me montrer les deux »

Construire une liste de contacts :
« Trouver tous les liens sur https://example.com/team, puis extraire les adresses email de chaque page de membre de l'équipe »

Vérifier la santé des liens :
« Extraire tous les liens de https://example.com/blog et tracer la chaîne de redirection pour ceux qui ne retournent pas 200 »

Archiver une page :
« Convertir https://example.com/article en Markdown et générer une version PDF, tous deux avec des liens absolus »

Paramètres pris en charge

Tous les outils basés sur la navigation (screenshot, pdf, scrape, content, markdown, links, extract, redirects) partagent un ensemble commun d'options de configuration du navigateur :

ParamètreTypeDescription
urlstringL'URL de la page à charger. Requis si html n'est pas fourni.
htmlstringChaîne HTML brute à rendre au lieu de charger une URL.
waitForstring ou nombreAttendre un sélecteur CSS, un nombre de millisecondes ou un événement réseau avant la capture.
viewportobjectDéfinir width, height, deviceScaleFactor, isMobile, hasTouch et isLandscape.
devicestringÉmuler un appareil nommé tel que iPhone 14 ou iPad Pro.
userAgentstringRemplacer la chaîne user agent du navigateur.
cookiesarrayInjecter des cookies avant le chargement de la page.
blockAdsbooleanBloquer les requêtes réseau publicitaires. Activé par défaut pour les outils de scraping.
blockTrackersbooleanBloquer les scripts de suivi et d'analyse.
goToOptionsobjectContrôler la navigation timeout (ms) et la stratégie waitUntil (load, domcontentloaded, networkidle0, networkidle2).
setExtraHTTPHeadersobjectAjouter des en-têtes de requête personnalisés sous forme de paires clé-valeur.
rejectRequestPatternarrayBloquer les requêtes correspondant à ces modèles d'URL.
requestInterceptorsarrayIntercepter les requêtes correspondant à un modèle et retourner une réponse personnalisée.
authenticateobjectDéfinir HTTP username et password pour les pages derrière une authentification de base.
anonymousobjectRouter via un proxy et ignorer les types de ressources pour la navigation anonyme.

Paramètres spécifiques à la capture d'écran :

ParamètreTypeDescription
options.fullPagebooleanCapturer toute la page défilable. Par défaut true.
options.typestringFormat d'image : png ou jpeg. Par défaut png.
options.qualitynumberQualité JPEG de 0 à 100.
options.clipobjectCapturer une région spécifique avec x, y, width et height.
options.omitBackgroundbooleanRendre l'arrière-plan transparent (PNG uniquement).
manipulateobjectPost-traiter l'image avec resize, rotate, flip et flop.
responseTypestringRetourner l'image comme buffer (par défaut) ou un url hébergé.

Lorsque vous utilisez l'outil screenshot via MCP, le résultat est retourné comme une URL hébergée par défaut. Lorsque vous appelez l'API directement, responseType par défaut à buffer. Définissez responseType: 'url' pour recevoir un lien hébergé à la place.

Paramètres spécifiques au PDF :

ParamètreTypeDescription
options.formatstringTaille de page : A4, Letter, Legal, Tabloid, Ledger, A0A6.
options.landscapebooleanRendre en orientation paysage.
options.marginobjectDéfinir les marges top, bottom, left et right.
options.printBackgroundbooleanInclure les arrière-plans CSS dans la sortie.
options.displayHeaderFooterbooleanAfficher l'en-tête et le pied de page sur chaque page.
options.headerTemplatestringModèle HTML pour l'en-tête de page.
options.footerTemplatestringModèle HTML pour le pied de page.
options.pageRangesstringImprimer des pages spécifiques, par ex. 1-5.
options.scalenumberMettre à l'échelle le contenu de la page.
emulateMediastringRendre comme type de média screen ou print.
responseTypestringRetourner le PDF comme buffer (par défaut) ou un url hébergé.

Lorsque vous utilisez l'outil PDF via MCP, le résultat est retourné comme une URL hébergée par défaut. Lorsque vous appelez l'API directement, responseType par défaut à buffer. Définissez responseType: 'url' pour recevoir un lien hébergé à la place.

Limites de débit et utilisation équitable

Chaque clé API dispose d'une limite mensuelle de requêtes en fonction de votre forfait. Les pages à exécution longue avec beaucoup de JavaScript ou de gros PDF consomment davantage de ressources. Utilisez blockAds et blockTrackers pour accélérer les requêtes et réduire l'utilisation de la bande passante sur les charges de travail de scraping.

Le schéma de requête et de réponse d'Agenty AI est volontairement maintenu compatible avec les API d'automatisation de navigateur les plus utilisées, notamment Browserless, Firecrawl, Cloudflare Browser Rendering et des services similaires. Si vous utilisez déjà l'un de ces fournisseurs, vous pouvez passer à Agenty AI en mettant à jour votre URL de base et votre clé API sans réécrire vos requêtes existantes.

FournisseurMigration
BrowserlessModifiez l'URL de base et la clé API. Tous les paramètres sont compatibles.
FirecrawlModifiez l'URL de base et la clé API. Les points de terminaison scrape, markdown et crawl correspondent directement.
Cloudflare Browser RenderingModifiez l'URL de base et l'en-tête d'authentification. Les paramètres de capture d'écran et de contenu sont compatibles.
API HTTP PuppeteerLa plupart des goToOptions et des options de page correspondent 1:1.