Agenty
officielExtraction, crawling et détection de changements avec IA
Que pouvez-vous faire avec Agenty MCP ?
- Convertir toute page web en Markdown propre — supprimer la navigation, les publicités et les éléments superflus d'une URL à l'aide de
markdownpour obtenir un contenu prêt pour les LLM. - Capturer des captures d'écran avec émulation d'appareil — prendre des captures d'écran PNG/JPEG pleine page ou recadrées via
screenshot, en émulant des appareils comme l'iPhone 14. - Extraire le HTML rendu par JavaScript — utiliser
scrapepour obtenir le DOM final après l'exécution de tous les scripts, idéal pour les SPA. - Extraire des données structurées avec des sélecteurs — récupérer des champs spécifiques comme les prix ou les titres d'une page en utilisant CSS ou XPath avec
extract. - Générer des PDF avec mise en forme personnalisée — exporter une page au format PDF A4 ou Letter via
pdf, en contrôlant les marges, les en-têtes et les arrière-plans d'impression. - Tracer les chaînes de redirection HTTP — suivre chaque redirection d'une URL avec
redirectspour déboguer les liens ou vérifier les destinations canoniques.
Documentation
Agenty AI expose un serveur Model Context Protocol (MCP) qui donne aux assistants IA comme Claude, Cursor et tout client compatible MCP un accès direct aux outils d'automatisation de navigateur. Vous pouvez capturer des captures d'écran, générer des PDF, scraper des pages web, extraire des données structurées, convertir des pages en Markdown et bien plus en utilisant des modèles LLM.
Dans cet article, je vais expliquer comment se connecter au serveur MCP d'Agenty et comment utiliser chaque outil disponible.
Prérequis
Avant de vous connecter, vous aurez besoin de :
- Un compte Agenty AI et une clé API
- Un client compatible MCP tel que Claude Desktop, Cursor, Windsurf ou tout outil prenant en charge le Model Context Protocol
- Node.js 18 ou ultérieur si vous utilisez la CLI ou un fichier de configuration local
Comment se connecter
Ajoutez la configuration suivante à votre client MCP. Pour Claude Desktop, cela se place dans claude_desktop_config.json. Pour Cursor, cela se place dans votre fichier .cursor/mcp.json.
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
Remplacez YOUR_API_KEY par la clé provenant de votre compte Agenty AI > Paramètres > Clé API. Une fois ajoutée, redémarrez votre client et les outils Agenty apparaîtront dans la liste des outils.
Clé API Agenty1069×482 32,4 Ko
Pour les clients qui prennent en charge OAuth ou la connexion par jeton, vous pouvez vous authentifier directement via le flux de connexion Agenty AI sans coller manuellement une clé.
Outils disponibles
Le serveur MCP Agenty fournit onze outils couvrant les besoins les plus courants en automatisation de navigateur. Chaque outil accepte une URL ou du HTML brut en entrée ainsi que des paramètres optionnels pour contrôler le comportement du navigateur.
Outils disponibles dans Agenty MCP1265×795 60,9 Ko
Markdown MCP
L'outil markdown charge une page, supprime la navigation, les pieds de page, les scripts, les publicités et autres éléments superflus, et convertit le contenu lisible restant en Markdown propre. Il peut résoudre les liens relatifs en URL absolues et supprimer les images de données.
C'est particulièrement utile pour alimenter les LLM en contenu web, construire des pipelines RAG ou sauvegarder des versions lisibles d'articles.
Exemple de prompt :
« Convertir Web scraping - Wikipedia en Markdown »
« Obtenir le contenu Markdown de cet article de blog : https://example.com/article”
Aperçu du scraping de site web avec Claude Desktop1272×844 67,2 Ko
Capture d'écran MCP
L'outil de capture d'écran lance un vrai navigateur, charge la page et la capture sous forme d'image PNG ou JPEG. Il prend en charge les captures d'écran pleine page, les régions découpées, les fenêtres d'affichage personnalisées, l'émulation d'appareil et la manipulation d'image comme le redimensionnement et la rotation.
C'est utile lorsque vous voulez un instantané visuel d'une page, devez documenter une interface utilisateur ou vérifier l'apparence d'un site à une taille d'écran spécifique.
Exemple de prompt :
« Prendre une capture d'écran pleine page de https://example.com et la retourner en PNG »
« Capturer une capture d'écran mobile de https://agenty.ai en utilisant une fenêtre d'affichage iPhone 14 »
Web Scraping MCP
L'outil de web scraping charge une URL dans un vrai navigateur avec exécution complète de JavaScript et retourne le HTML rendu. Contrairement aux simples requêtes HTTP, il attend que le contenu dynamique se charge, ce qui le rend fiable pour les applications monopages et les pages riches en JavaScript.
Utilisez-le lorsque vous avez besoin du HTML brut d'une page exactement tel qu'un utilisateur le verrait après l'exécution de tous les scripts.
Exemple de prompt :
« Scraper le HTML de https://news.ycombinator.com et retourner le contenu rendu complet »
« Scraper cette page et attendre 3 secondes que le contenu dynamique se charge : https://example.com/dashboard”
Exploration web MCP
L'outil d'exploration de liens rend une page et extrait chaque hyperlien trouvé dans le DOM. Il retourne une liste plate de tous les href d'ancres, que vous pouvez utiliser pour construire une file d'exploration, auditer le maillage interne ou découvrir du contenu.
Exemple de prompt :
« Trouver tous les liens sur https://agenty.ai”
« Extraire chaque lien de https://example.com/blog et me donner une liste d'URL d'articles »
PDF MCP
L'outil PDF rend une page dans un vrai navigateur et l'exporte en PDF. Vous pouvez définir le format de page (A4, Lettre, etc.), activer le mode paysage, définir les marges, afficher ou masquer les arrière-plans et fournir des en-têtes et pieds de page personnalisés.
Exemple de prompt :
« Générer un PDF de https://agenty.ai au format A4 avec les arrière-plans d'impression activés »
« Créer un PDF paysage de https://example.com/report”
Extraction de données MCP
L'outil d'extraction rend une page et extrait des données structurées en utilisant des sélecteurs CSS ou XPath. Il est adapté pour extraire des champs spécifiques comme les prix des produits, le nombre d'avis, les titres de poste ou tout élément répétitif d'une page rendue.
Exemple de prompt :
« Extraire les noms de produits et les prix de https://example.com/products”
« Obtenir tous les titres de https://news.ycombinator.com”
Sitemap MCP
L'outil d'exploration de sitemap lit le sitemap.xml d'un site web, suit les fichiers d'index de sitemap et retourne une liste complète de toutes les URL découvertes. Il prend en charge les motifs d'exclusion pour filtrer certains chemins.
Utilisez-le pour comprendre rapidement la structure complète d'un site web ou pour construire une liste d'exploration pour un grand site.
Exemple de prompt :
« Trouver toutes les URL dans le sitemap de https://agenty.ai”
« Obtenir le sitemap de https://example.com et exclure toute URL contenant /blog/ »
Traçage de redirections MCP
L'outil de capture de redirections suit toutes les redirections HTTP pour une URL donnée et retourne la chaîne complète incluant chaque URL intermédiaire, le code de statut et la destination finale.
C'est utile pour déboguer les liens cassés, vérifier les URL canoniques et auditer les liens d'affiliation ou raccourcis.
Exemple de prompt :
« Tracer toutes les redirections pour https://bit.ly/some-link”
« Montrer la chaîne de redirection pour https://example.com/old-page”
Scraper d'emails MCP
L'outil de scraping d'emails charge une ou plusieurs URL (jusqu'à dix à la fois) et extrait toutes les adresses email trouvées sur la page rendue. Il gère les adresses obscurcies et les sections de contact chargées dynamiquement.
Exemple de prompt :
« Trouver toutes les adresses email sur https://example.com/contact”
« Scraper les emails de ces trois pages : https://site1.com, https://site2.com, https://site3.com”
Contenu MCP
L'outil de contenu retourne le HTML rendu complet d'une page après exécution de JavaScript. Il est similaire au scraping mais optimisé pour les cas d'usage où vous avez besoin de l'état final du DOM plutôt que d'un pipeline de scraping.
Exemple de prompt :
« Obtenir le contenu HTML rendu de https://example.com/app”
Instantané MCP
L'outil d'instantané capture l'arbre d'accessibilité d'une page — une liste structurée de tous les éléments interactifs et lisibles incluant les boutons, liens, champs de saisie et titres. C'est conçu pour les agents IA qui ont besoin de naviguer ou de raisonner sur une page sans traiter le HTML brut.
Exemple de prompt :
« Prendre un instantané d'accessibilité de https://example.com pour que je puisse comprendre la structure de la page »
Exemples de prompts
Voici quelques exemples en plusieurs étapes qui combinent les outils :
Auditer le contenu d'un site web :
« Obtenir le sitemap de https://example.com, puis convertir les 5 premières pages en Markdown et résumer chacune »
Générer un rapport visuel :
« Prendre une capture d'écran de https://agenty.ai sur les fenêtres d'affichage mobile et bureau et me montrer les deux »
Construire une liste de contacts :
« Trouver tous les liens sur https://example.com/team, puis scraper les adresses email de chaque page de membre d'équipe »
Vérifier la santé des liens :
« Extraire tous les liens de https://example.com/blog et tracer la chaîne de redirection pour ceux qui ne retournent pas 200 »
Archiver une page :
« Convertir https://example.com/article en Markdown et générer une version PDF, les deux avec des liens absolus »
Paramètres pris en charge
Tous les outils basés sur la navigation (capture d'écran, pdf, scrape, contenu, markdown, liens, extraction, redirections) partagent un ensemble commun d'options de configuration du navigateur :
| Paramètre | Type | Description |
|---|---|---|
| url | string | L'URL de la page à charger. Obligatoire si html n'est pas fourni. |
| html | string | Chaîne HTML brute à rendre au lieu de charger une URL. |
| waitFor | string ou number | Attendre un sélecteur CSS, un nombre de millisecondes ou un événement réseau avant de capturer. |
| viewport | object | Définir width, height, deviceScaleFactor, isMobile, hasTouch et isLandscape. |
| device | string | Émuler un appareil nommé tel que iPhone 14 ou iPad Pro. |
| userAgent | string | Remplacer la chaîne user agent du navigateur. |
| cookies | array | Injecter des cookies avant le chargement de la page. |
| blockAds | boolean | Bloquer les requêtes des réseaux publicitaires. Activé par défaut pour les outils de scraping. |
| blockTrackers | boolean | Bloquer les scripts de suivi et d'analyse. |
| goToOptions | object | Contrôler le délai de navigation (ms) et la stratégie waitUntil (load, domcontentloaded, networkidle0, networkidle2). |
| setExtraHTTPHeaders | object | Ajouter des en-têtes de requête personnalisés sous forme de paires clé-valeur. |
| rejectRequestPattern | array | Bloquer les requêtes correspondant à ces motifs d'URL. |
| requestInterceptors | array | Intercepter les requêtes correspondant à un motif et retourner une réponse personnalisée. |
| authenticate | object | Définir le nom d'utilisateur et le mot de passe HTTP pour les pages derrière une authentification basique. |
| anonymous | object | Router via un proxy et ignorer les types de ressources pour une navigation anonyme. |
Paramètres spécifiques à la capture d'écran :
| Paramètre | Type | Description |
|---|---|---|
| options.fullPage | boolean | Capturer la page entière défilable. Par défaut true. |
| options.type | string | Format d'image : png ou jpeg. Par défaut png. |
| options.quality | number | Qualité JPEG de 0 à 100. |
| options.clip | object | Capturer une région spécifique avec x, y, width et height. |
| options.omitBackground | boolean | Rendre l'arrière-plan transparent (PNG uniquement). |
| manipulate | object | Post-traiter l'image avec resize, rotate, flip et flop. |
| responseType | string | Retourner l'image comme buffer (par défaut) ou URL hébergée. |
Lors de l'utilisation de l'outil de capture d'écran via MCP, le résultat est retourné sous forme d'URL hébergée par défaut. Lors de l'appel direct à l'API, responseType est par défaut buffer. Définissez responseType: 'url' pour recevoir un lien hébergé à la place.
Paramètres spécifiques au PDF :
| Paramètre | Type | Description |
|---|---|---|
| options.format | string | Taille de page : A4, Letter, Legal, Tabloid, Ledger, A0–A6. |
| options.landscape | boolean | Rendre en orientation paysage. |
| options.margin | object | Définir les marges haut, bas, gauche et droite. |
| options.printBackground | boolean | Inclure les arrière-plans CSS dans la sortie. |
| options.displayHeaderFooter | boolean | Afficher l'en-tête et le pied de page sur chaque page. |
| options.headerTemplate | string | Template HTML pour l'en-tête de page. |
| options.footerTemplate | string | Template HTML pour le pied de page. |
| options.pageRanges | string | Imprimer des pages spécifiques, ex. 1-5. |
| options.scale | number | Mettre à l'échelle le contenu de la page. |
| emulateMedia | string | Rendre comme type de média screen ou print. |
| responseType | string | Retourner le PDF comme buffer (par défaut) ou URL hébergée. |
Lors de l'utilisation de l'outil PDF via MCP, le résultat est retourné sous forme d'URL hébergée par défaut. Lors de l'appel direct à l'API, responseType est par défaut buffer. Définissez responseType: 'url' pour recevoir un lien hébergé à la place.
Limites de débit et utilisation équitable
Chaque clé API a une limite de requêtes mensuelle basée sur votre forfait. Les pages à chargement long avec JavaScript lourd ou les PDF volumineux consomment plus de ressources. Utilisez blockAds et blockTrackers pour accélérer les requêtes et réduire l'utilisation de la bande passante sur les charges de travail de scraping.
Le schéma de requête et de réponse d'Agenty AI est intentionnellement maintenu compatible avec les API d'automatisation de navigateur les plus utilisées, y compris Browserless, Firecrawl, Cloudflare Browser Rendering et services similaires. Si vous utilisez déjà l'un de ces fournisseurs, vous pouvez passer à Agenty AI en mettant à jour votre URL de base et votre clé API sans réécrire vos requêtes existantes.
| Fournisseur | Migration |
|---|---|
| Browserless | Changer l'URL de base et la clé API. Tous les paramètres sont compatibles. |
| Firecrawl | Changer l'URL de base et la clé API. Les points de terminaison scrape, markdown et crawl correspondent directement. |
| Cloudflare Browser Rendering | Changer l'URL de base et l'en-tête d'authentification. Les paramètres de capture d'écran et de contenu sont compatibles. |
| API HTTP Puppeteer | La plupart des goToOptions et options de page correspondent 1:1. |