Agenty
offiziellWeb Scraping, Crawling und Änderungserkennung mit KI
Was kann man mit Agenty MCP machen?
- Jede Webseite in sauberes Markdown konvertieren — Navigation, Werbung und überflüssige Elemente von einer URL mit
markdownentfernen, um LLM-bereiten Inhalt zu erhalten. - Screenshots mit Geräteemulation erstellen — vollständige oder beschnittene PNG/JPEG-Screenshots via
screenshotaufnehmen, mit Emulation von Geräten wie dem iPhone 14. - JavaScript-gerendertes HTML scrapen — mit
scrapedas finale DOM nach Ausführung aller Skripte abrufen, ideal für SPAs. - Strukturierte Daten mit Selektoren extrahieren — spezifische Felder wie Preise oder Schlagzeilen von einer Seite mittels CSS oder XPath mit
extractabrufen. - PDFs mit benutzerdefinierter Formatierung generieren — eine Seite als A4- oder Letter-PDF via
pdfexportieren, mit Steuerung von Rändern, Kopfzeilen und Druckhintergründen. - HTTP-Weiterleitungsketten verfolgen — jede Weiterleitung für eine URL mit
redirectsnachverfolgen, um Links zu debuggen oder kanonische Ziele zu überprüfen.
Dokumentation
Agenty AI stellt einen Model Context Protocol (MCP)-Server bereit, der KI-Assistenten wie Claude, Cursor und jedem MCP-kompatiblen Client direkten Zugriff auf Browser-Automatisierungswerkzeuge gibt. Sie können Screenshots erstellen, PDFs generieren, Webseiten scrapen, strukturierte Daten extrahieren, Seiten in Markdown konvertieren und vieles mehr – unter Verwendung von LLM-Modellen.
In diesem Artikel beschreibe ich, wie Sie eine Verbindung zum Agenty MCP-Server herstellen und wie Sie jedes verfügbare Werkzeug nutzen.
Voraussetzungen
Bevor Sie eine Verbindung herstellen, benötigen Sie:
- Ein Agenty AI-Konto und einen API-Schlüssel
- Einen MCP-kompatiblen Client wie Claude Desktop, Cursor, Windsurf oder ein beliebiges Tool, das das Model Context Protocol unterstützt
- Node.js 18 oder höher, falls Sie die CLI oder eine lokale Konfigurationsdatei verwenden
Verbindungsaufbau
Fügen Sie die folgende Konfiguration zu Ihrem MCP-Client hinzu. Bei Claude Desktop gehört dies in claude_desktop_config.json. Bei Cursor gehört es in Ihre .cursor/mcp.json-Datei.
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
Ersetzen Sie YOUR_API_KEY durch den Schlüssel aus Ihrem Agenty AI > Einstellungen > API-Schlüssel. Starten Sie anschließend Ihren Client neu, und die Agenty-Werkzeuge erscheinen in der Werkzeugliste.
Agenty API Key1069×482 32.4 KB
Für Clients, die OAuth oder tokenbasierte Anmeldung unterstützen, können Sie sich direkt über den Agenty AI-Anmeldevorgang authentifizieren, ohne manuell einen Schlüssel einzufügen.
Verfügbare Werkzeuge
Der Agenty MCP-Server bietet elf Werkzeuge, die die gängigsten Anforderungen an die Browser-Automatisierung abdecken. Jedes Werkzeug akzeptiert eine URL oder rohes HTML als Eingabe sowie optionale Parameter zur Steuerung des Browserverhaltens.
Available Tools in Agenty MCP1265×795 60.9 KB
Markdown MCP
Das Markdown-Werkzeug lädt eine Seite, entfernt Navigation, Fußzeilen, Skripte, Werbung und andere überflüssige Elemente und konvertiert den verbleibenden lesbaren Inhalt in sauberes Markdown. Es kann relative Links in absolute URLs auflösen und Datenbilder entfernen.
Dies ist besonders nützlich, um Webinhalte in LLMs einzuspeisen, RAG-Pipelines aufzubauen oder lesbare Versionen von Artikeln zu speichern.
Beispiel-Prompt:
„Konvertiere Web Scraping – Wikipedia in Markdown“
„Hole den Markdown-Inhalt dieses Blogbeitrags: https://example.com/article”
Website scraping preview using Claude desktop1272×844 67.2 KB
Screenshot MCP
Das Screenshot-Werkzeug startet einen echten Browser, lädt die Seite und erfasst sie als PNG- oder JPEG-Bild. Es unterstützt ganzseitige Screenshots, zugeschnittene Bereiche, benutzerdefinierte Viewports, Geräteemulation und Bildbearbeitung wie Größenänderung und Drehung.
Dies ist nützlich, wenn Sie eine visuelle Momentaufnahme einer Seite benötigen, eine Benutzeroberfläche dokumentieren oder überprüfen möchten, wie eine Website bei einer bestimmten Bildschirmgröße aussieht.
Beispiel-Prompt:
„Erstelle einen ganzseitigen Screenshot von https://example.com und gib ihn als PNG zurück“
„Erfasse einen mobilen Screenshot von https://agenty.ai mit einem iPhone-14-Viewport“
Web Scraping MCP
Das Web-Scrape-Werkzeug lädt eine URL in einem echten Browser mit vollständiger JavaScript-Ausführung und gibt das gerenderte HTML zurück. Im Gegensatz zu einfachen HTTP-Anfragen wartet es, bis dynamische Inhalte geladen sind, was es zuverlässig für Single-Page-Anwendungen und JavaScript-lastige Seiten macht.
Verwenden Sie dies, wenn Sie das rohe HTML einer Seite genau so benötigen, wie ein Benutzer es sehen würde, nachdem alle Skripte ausgeführt wurden.
Beispiel-Prompt:
„Scrape das HTML von https://news.ycombinator.com und gib den vollständig gerenderten Inhalt zurück“
„Scrape diese Seite und warte 3 Sekunden, bis dynamische Inhalte geladen sind: https://example.com/dashboard”
Web Crawling MCP
Das Links-Crawling-Werkzeug rendert eine Seite und extrahiert jeden im DOM gefundenen Hyperlink. Es gibt eine flache Liste aller Anker-hrefs zurück, die Sie verwenden können, um eine Crawl-Warteschlange aufzubauen, interne Verlinkungen zu prüfen oder Inhalte zu entdecken.
Beispiel-Prompt:
„Finde alle Links auf https://agenty.ai”
„Extrahiere jeden Link von https://example.com/blog und gib mir eine Liste der Artikel-URLs“
PDF MCP
Das PDF-Werkzeug rendert eine Seite in einem echten Browser und exportiert sie als PDF. Sie können das Seitenformat (A4, Letter usw.) festlegen, den Querformatmodus aktivieren, Ränder einstellen, Hintergründe ein- oder ausblenden und benutzerdefinierte Kopf- und Fußzeilen bereitstellen.
Beispiel-Prompt:
„Generiere ein PDF von https://agenty.ai im A4-Format mit aktivierten Druckhintergründen“
„Erstelle ein Querformat-PDF von https://example.com/report”
Datenextraktion MCP
Das Extraktionswerkzeug rendert eine Seite und extrahiert strukturierte Daten mithilfe von CSS-Selektoren oder XPath. Es eignet sich zum Abrufen bestimmter Felder wie Produktpreise, Bewertungsanzahlen, Berufsbezeichnungen oder beliebiger sich wiederholender Elemente von einer gerenderten Seite.
Beispiel-Prompt:
„Extrahiere die Produktnamen und Preise von https://example.com/products”
„Hole alle Schlagzeilen von https://news.ycombinator.com”
Sitemap MCP
Das Sitemap-Crawler-Werkzeug liest die sitemap.xml einer Website, folgt Sitemap-Indexdateien und gibt eine vollständige Liste aller gefundenen URLs zurück. Es unterstützt Ausschlussmuster, um bestimmte Pfade herauszufiltern.
Verwenden Sie dies, um schnell die gesamte Struktur einer Website zu verstehen oder eine Crawl-Liste für eine große Website zu erstellen.
Beispiel-Prompt:
„Finde alle URLs in der Sitemap für https://agenty.ai”
„Hole die Sitemap für https://example.com und schließe alle URLs aus, die /blog/ enthalten“
Redirect Tracing MCP
Das Redirects-Capture-Werkzeug verfolgt alle HTTP-Weiterleitungen für eine gegebene URL und gibt die vollständige Kette zurück, einschließlich jeder Zwischen-URL, des Statuscodes und des endgültigen Ziels.
Dies ist hilfreich zum Debuggen defekter Links, zur Überprüfung kanonischer URLs und zur Prüfung von Affiliate- oder gekürzten Links.
Beispiel-Prompt:
„Verfolge alle Weiterleitungen für https://bit.ly/some-link”
„Zeige mir die Weiterleitungskette für https://example.com/old-page”
Email Scraper MCP
Das E-Mail-Scraper-Werkzeug lädt eine oder mehrere URLs (bis zu zehn gleichzeitig) und extrahiert alle auf der gerenderten Seite gefundenen E-Mail-Adressen. Es verarbeitet verschleierte Adressen und dynamisch geladene Kontaktabschnitte.
Beispiel-Prompt:
„Finde alle E-Mail-Adressen auf https://example.com/contact”
„Scrape E-Mails von diesen drei Seiten: https://site1.com, https://site2.com, https://site3.com”
Content MCP
Das Content-Werkzeug gibt das vollständig gerenderte HTML einer Seite nach der JavaScript-Ausführung zurück. Es ähnelt dem Scraping, ist jedoch für Anwendungsfälle optimiert, bei denen Sie den endgültigen DOM-Zustand anstelle einer Scraping-Pipeline benötigen.
Beispiel-Prompt:
„Hole den gerenderten HTML-Inhalt von https://example.com/app”
Snapshot MCP
Das Snapshot-Werkzeug erfasst den Accessibility-Tree einer Seite – eine strukturierte Liste aller interaktiven und lesbaren Elemente, einschließlich Schaltflächen, Links, Eingabefelder und Überschriften. Dies ist für KI-Agenten konzipiert, die auf einer Seite navigieren oder diese analysieren müssen, ohne rohes HTML zu verarbeiten.
Beispiel-Prompt:
„Erstelle einen Accessibility-Snapshot von https://example.com, damit ich die Seitenstruktur verstehen kann“
Beispiel-Prompts
Hier sind einige mehrstufige Beispiele, die Werkzeuge kombinieren:
Inhalte einer Website prüfen: „Hole die Sitemap für https://example.com,, konvertiere dann die Top-5-Seiten in Markdown und fasse jede zusammen“
Visuellen Bericht erstellen: „Erstelle einen Screenshot von https://agenty.ai auf mobilen und Desktop-Viewports und zeige mir beide“
Kontaktliste aufbauen: „Finde alle Links auf https://example.com/team, und scrape dann E-Mail-Adressen von jeder Teammitgliedsseite“
Link-Gesundheit überprüfen: „Extrahiere alle Links von https://example.com/blog und verfolge die Weiterleitungskette für alle, die nicht 200 zurückgeben“
Seite archivieren: „Konvertiere https://example.com/article in Markdown und generiere eine PDF-Version, beide mit absoluten Links“
Unterstützte Parameter
Alle navigationsbasierten Werkzeuge (screenshot, pdf, scrape, content, markdown, links, extract, redirects) teilen sich einen gemeinsamen Satz an Browser-Konfigurationsoptionen:
| Parameter | Typ | Beschreibung |
|---|---|---|
| url | string | Die zu ladende Seiten-URL. Erforderlich, wenn html nicht angegeben ist. |
| html | string | Roher HTML-String, der anstelle einer URL gerendert werden soll. |
| waitFor | string oder number | Warten auf einen CSS-Selektor, eine Anzahl von Millisekunden oder ein Netzwerkereignis vor der Erfassung. |
| viewport | object | Breite, Höhe, deviceScaleFactor, isMobile, hasTouch und isLandscape festlegen. |
| device | string | Ein benanntes Gerät wie iPhone 14 oder iPad Pro emulieren. |
| userAgent | string | Den User-Agent-String des Browsers überschreiben. |
| cookies | array | Cookies vor dem Laden der Seite injizieren. |
| blockAds | boolean | Werbenetzwerk-Anfragen blockieren. Standardmäßig für Scraping-Werkzeuge aktiviert. |
| blockTrackers | boolean | Tracking- und Analyse-Skripte blockieren. |
| goToOptions | object | Navigations-Timeout (ms) und waitUntil-Strategie steuern (load, domcontentloaded, networkidle0, networkidle2). |
| setExtraHTTPHeaders | object | Benutzerdefinierte Anfrage-Header als Schlüssel-Wert-Paare hinzufügen. |
| rejectRequestPattern | array | Anfragen blockieren, die diesen URL-Mustern entsprechen. |
| requestInterceptors | array | Anfragen abfangen, die einem Muster entsprechen, und eine benutzerdefinierte Antwort zurückgeben. |
| authenticate | object | HTTP-Benutzername und -Passwort für Seiten hinter Basic Auth festlegen. |
| anonymous | object | Über einen Proxy routen und Ressourcentypen für anonymes Browsen überspringen. |
Screenshot-spezifische Parameter:
| Parameter | Typ | Beschreibung |
|---|---|---|
| options.fullPage | boolean | Die gesamte scrollbare Seite erfassen. Standardmäßig true. |
| options.type | string | Bildformat: png oder jpeg. Standardmäßig png. |
| options.quality | number | JPEG-Qualität von 0 bis 100. |
| options.clip | object | Einen bestimmten Bereich mit x, y, Breite und Höhe erfassen. |
| options.omitBackground | boolean | Hintergrund transparent machen (nur PNG). |
| manipulate | object | Bild nachbearbeiten mit Größenänderung, Drehung, Spiegelung usw. |
| responseType | string | Bild als Buffer (Standard) oder als gehostete URL zurückgeben. |
Bei Verwendung des Screenshot-Werkzeugs über MCP wird das Ergebnis standardmäßig als gehostete URL zurückgegeben. Bei direktem API-Aufruf ist der Standardwert von responseType auf buffer gesetzt. Setzen Sie responseType: 'url', um stattdessen einen gehosteten Link zu erhalten.
PDF-spezifische Parameter:
| Parameter | Typ | Beschreibung |
|---|---|---|
| options.format | string | Seitengröße: A4, Letter, Legal, Tabloid, Ledger, A0–A6. |
| options.landscape | boolean | Im Querformat rendern. |
| options.margin | object | Oberen, unteren, linken und rechten Rand festlegen. |
| options.printBackground | boolean | CSS-Hintergründe in die Ausgabe einbeziehen. |
| options.displayHeaderFooter | boolean | Kopf- und Fußzeile auf jeder Seite anzeigen. |
| options.headerTemplate | string | HTML-Vorlage für die Kopfzeile. |
| options.footerTemplate | string | HTML-Vorlage für die Fußzeile. |
| options.pageRanges | string | Bestimmte Seiten drucken, z. B. 1-5. |
| options.scale | number | Seiteninhalt skalieren. |
| emulateMedia | string | Als Bildschirm- oder Druckmedientyp rendern. |
| responseType | string | PDF als Buffer (Standard) oder als gehostete URL zurückgeben. |
Bei Verwendung des PDF-Tools über MCP wird das Ergebnis standardmäßig als gehostete URL zurückgegeben. Bei direktem Aufruf der API ist der Standardwert von responseType buffer. Setzen Sie responseType: 'url', um stattdessen einen gehosteten Link zu erhalten.
Ratenbegrenzungen und faire Nutzung
Jeder API-Schlüssel hat ein monatliches Anfragelimit, das von Ihrem Tarif abhängt. Lang laufende Seiten mit umfangreichem JavaScript oder großen PDFs verbrauchen mehr Ressourcen. Verwenden Sie blockAds und blockTrackers, um Anfragen zu beschleunigen und die Bandbreitennutzung bei Scraping-Workloads zu reduzieren.
Das Anfrage- und Antwortschema von Agenty AI ist bewusst kompatibel mit den am weitesten verbreiteten Browser-Automatisierungs-APIs gehalten, einschließlich Browserless, Firecrawl, Cloudflare Browser Rendering und ähnlichen Diensten. Falls Sie bereits einen dieser Anbieter nutzen, können Sie zu Agenty AI wechseln, indem Sie Ihre Basis-URL und Ihren API-Schlüssel aktualisieren, ohne Ihre bestehenden Anfragen umschreiben zu müssen.
| Anbieter | Migration |
|---|---|
| Browserless | Basis-URL und API-Schlüssel ändern. Alle Parameter sind kompatibel. |
| Firecrawl | Basis-URL und API-Schlüssel ändern. Scrape-, Markdown- und Crawl-Endpunkte werden direkt zugeordnet. |
| Cloudflare Browser Rendering | Basis-URL und Auth-Header ändern. Screenshot- und Inhaltsparameter sind kompatibel. |
| Puppeteer HTTP-APIs | Die meisten goToOptions und Seitenoptionen werden 1:1 zugeordnet. |