Agenty
offiziellWeb Scraping, Crawling und Änderungserkennung mit KI
Was kann man mit Agenty MCP machen?
- Seiten in Markdown konvertieren — Fordern Sie an, eine URL oder rohes HTML in sauberes, lesbares Markdown mit dem
markdown-Tool zu konvertieren, für LLM-freundliche Inhalte. - Screenshots erfassen — Verwenden Sie
screenshot, um ganzseitige oder beschnittene PNG/JPEG-Bilder mit benutzerdefinierten Viewports und Geräteemulation aufzunehmen. - Gerendertes HTML scrapen — Verwenden Sie
scrape, um das vollständig gerenderte HTML von JavaScript-lastigen Seiten zu erhalten, nachdem dynamische Inhalte geladen wurden. - Strukturierte Daten extrahieren — Verwenden Sie
extract, um spezifische Felder wie Preise, Schlagzeilen oder Bewertungen über CSS-Selektoren oder XPath abzurufen. - PDFs generieren — Verwenden Sie
pdf, um eine Seite als PDF zu exportieren, mit Optionen für Format, Ränder, Querformat sowie Kopf- und Fußzeilen. - Website-Struktur entdecken — Verwenden Sie
sitemap, um diesitemap.xmleiner Website zu lesen und alle gefundenen URLs zurückzugeben, mit Ausschlussmustern.
Dokumentation
Agenty AI stellt einen Model Context Protocol (MCP)-Server bereit, der KI-Assistenten wie Claude, Cursor und jedem MCP-kompatiblen Client direkten Zugriff auf Browser-Automatisierungswerkzeuge ermöglicht. Sie können Screenshots aufnehmen, PDFs erstellen, Webseiten scrapen, strukturierte Daten extrahieren, Seiten in Markdown konvertieren und mehr – alles mithilfe von LLM-Modellen.
In diesem Artikel erkläre ich, wie Sie eine Verbindung zum Agenty-MCP-Server herstellen und wie Sie jedes verfügbare Werkzeug verwenden.
Voraussetzungen
Bevor Sie eine Verbindung herstellen, benötigen Sie:
- Ein Agenty-AI-Konto und einen API-Schlüssel
- Einen MCP-kompatiblen Client wie Claude Desktop, Cursor, Windsurf oder ein anderes Tool, das das Model Context Protocol unterstützt
- Node.js 18 oder höher, wenn Sie die CLI oder eine lokale Konfigurationsdatei verwenden
So stellen Sie eine Verbindung her
Fügen Sie die folgende Konfiguration zu Ihrem MCP-Client hinzu. Für Claude Desktop gehört diese in claude_desktop_config.json. Für Cursor gehört sie in Ihre .cursor/mcp.json-Datei.
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
Ersetzen Sie YOUR_API_KEY durch den Schlüssel aus Ihrem Agenty-AI-Konto unter Einstellungen > API-Schlüssel. Starten Sie Ihren Client nach dem Hinzufügen neu, und die Agenty-Werkzeuge erscheinen in der Werkzeugliste. Für Clients, die OAuth oder tokenbasiertes Login unterstützen, können Sie sich direkt über den Agenty-AI-Anmeldevorgang authentifizieren, ohne einen Schlüssel manuell einzufügen.
Verfügbare Werkzeuge
Der Agenty-MCP-Server bietet elf Werkzeuge, die die häufigsten Anforderungen an Browser-Automatisierung abdecken. Jedes Werkzeug akzeptiert eine URL oder rohes HTML als Eingabe sowie optionale Parameter zur Steuerung des Browserverhaltens.
Markdown-MCP
Das Markdown-Werkzeug lädt eine Seite, entfernt Navigation, Fußzeilen, Skripte, Werbung und anderen Ballast und konvertiert den verbleibenden lesbaren Inhalt in sauberes Markdown. Es kann relative Links in absolute URLs auflösen und Datenbilder entfernen.
Dies ist besonders nützlich, um Webinhalte in LLMs einzuspeisen, RAG-Pipelines aufzubauen oder lesbare Versionen von Artikeln zu speichern.
Beispielaufforderung:
„Konvertiere Web Scraping – Wikipedia in Markdown“
„Hole den Markdown-Inhalt dieses Blogbeitrags: https://example.com/article“
Screenshot-MCP
Das Screenshot-Werkzeug startet einen echten Browser, lädt die Seite und erfasst sie als PNG- oder JPEG-Bild. Es unterstützt Ganzseiten-Screenshots, beschnittene Bereiche, benutzerdefinierte Viewports, Geräteemulation und Bildbearbeitung wie Größenänderung und Drehung.
Dies ist nützlich, wenn Sie eine visuelle Momentaufnahme einer Seite wünschen, eine Benutzeroberfläche dokumentieren oder überprüfen möchten, wie eine Website bei einer bestimmten Bildschirmgröße aussieht.
Beispielaufforderung:
„Mache einen Ganzseiten-Screenshot von https://example.com und gib ihn als PNG zurück“
„Erfasse einen mobilen Screenshot von https://agenty.ai mit einem iPhone-14-Viewport“
Web-Scraping-MCP
Das Web-Scrape-Werkzeug lädt eine URL in einem echten Browser mit vollständiger JavaScript-Ausführung und gibt das gerenderte HTML zurück. Im Gegensatz zu einfachen HTTP-Anfragen wartet es auf das Laden dynamischer Inhalte, was es zuverlässig für Single-Page-Anwendungen und JavaScript-lastige Seiten macht.
Verwenden Sie dies, wenn Sie das rohe HTML einer Seite genau so benötigen, wie ein Benutzer es nach Ausführung aller Skripte sehen würde.
Beispielaufforderung:
„Scrape das HTML von https://news.ycombinator.com und gib den vollständig gerenderten Inhalt zurück“
„Scrape diese Seite und warte 3 Sekunden auf dynamische Inhalte: https://example.com/dashboard“
Web-Crawling-MCP
Das Link-Crawling-Werkzeug rendert eine Seite und extrahiert jeden Hyperlink im DOM. Es gibt eine flache Liste aller Anker-Hrefs zurück, die Sie zum Aufbau einer Crawl-Warteschlange, zur Prüfung interner Verlinkungen oder zur Inhaltsentdeckung verwenden können.
Beispielaufforderung:
„Finde alle Links auf https://agenty.ai“
„Extrahiere jeden Link von https://example.com/blog und gib mir eine Liste der Artikel-URLs“
PDF-MCP
Das PDF-Werkzeug rendert eine Seite in einem echten Browser und exportiert sie als PDF. Sie können das Seitenformat (A4, Letter usw.) festlegen, den Querformatmodus aktivieren, Ränder festlegen, Hintergründe ein- oder ausblenden und benutzerdefinierte Kopf- und Fußzeilen bereitstellen.
Beispielaufforderung:
„Erstelle ein PDF von https://agenty.ai im A4-Format mit aktivierten Druckhintergründen“
„Erstelle ein Querformat-PDF von https://example.com/report“
Datenextraktions-MCP
Das Extraktionswerkzeug rendert eine Seite und extrahiert strukturierte Daten mithilfe von CSS-Selektoren oder XPath. Es eignet sich zum Abrufen spezifischer Felder wie Produktpreise, Bewertungszahlen, Jobtitel oder beliebiger sich wiederholender Elemente aus einer gerenderten Seite.
Beispielaufforderung:
„Extrahiere die Produktnamen und Preise von https://example.com/products“
„Hole alle Schlagzeilen von https://news.ycombinator.com“
Sitemap-MCP
Das Sitemap-Crawler-Werkzeug liest die sitemap.xml einer Website, folgt Sitemap-Indexdateien und gibt eine vollständige Liste aller entdeckten URLs zurück. Es unterstützt Ausschlussmuster, um bestimmte Pfade herauszufiltern.
Verwenden Sie dies, um schnell die vollständige Struktur einer Website zu verstehen oder eine Crawl-Liste für eine große Website zu erstellen.
Beispielaufforderung:
„Finde alle URLs im Sitemap für https://agenty.ai“
„Hole das Sitemap für https://example.com und schließe alle URLs aus, die /blog/ enthalten“
Redirect-Verfolgungs-MCP
Das Redirect-Erfassungswerkzeug verfolgt alle HTTP-Weiterleitungen für eine bestimmte URL und gibt die vollständige Kette einschließlich jeder Zwischen-URL, des Statuscodes und des endgültigen Ziels zurück.
Dies ist hilfreich zum Debuggen defekter Links, zur Überprüfung kanonischer URLs und zur Prüfung von Affiliate- oder gekürzten Links.
Beispielaufforderung:
„Verfolge alle Weiterleitungen für https://bit.ly/some-link“
„Zeige mir die Weiterleitungskette für https://example.com/old-page“
E-Mail-Scraper-MCP
Das E-Mail-Scraper-Werkzeug lädt eine oder mehrere URLs (bis zu zehn gleichzeitig) und extrahiert alle auf der gerenderten Seite gefundenen E-Mail-Adressen. Es verarbeitet verschleierte Adressen und dynamisch geladene Kontaktbereiche.
Beispielaufforderung:
„Finde alle E-Mail-Adressen auf https://example.com/contact“
„Scrape E-Mails von diesen drei Seiten: https://site1.com, https://site2.com, https://site3.com“
Inhalts-MCP
Das Inhaltswerkzeug gibt das vollständig gerenderte HTML einer Seite nach der JavaScript-Ausführung zurück. Es ähnelt dem Scrape-Werkzeug, ist jedoch für Anwendungsfälle optimiert, in denen Sie den endgültigen DOM-Zustand benötigen und keine Scrape-Pipeline.
Beispielaufforderung:
„Hole den gerenderten HTML-Inhalt von https://example.com/app“
Snapshot-MCP
Das Snapshot-Werkzeug erfasst den Accessibility-Baum einer Seite – eine strukturierte Liste aller interaktiven und lesbaren Elemente einschließlich Schaltflächen, Links, Eingabefeldern und Überschriften. Es ist für KI-Agenten konzipiert, die eine Seite navigieren oder verstehen müssen, ohne rohes HTML zu verarbeiten.
Beispielaufforderung:
„Mache einen Accessibility-Snapshot von https://example.com, damit ich die Seitenstruktur verstehen kann“
Beispielaufforderungen
Hier sind einige mehrstufige Beispiele, die Werkzeuge kombinieren:
Website-Inhalte prüfen:
„Hole das Sitemap für https://example.com, konvertiere dann die Top-5-Seiten in Markdown und fasse jede zusammen“
Einen visuellen Bericht erstellen:
„Mache einen Screenshot von https://agenty.ai auf mobilen und Desktop-Viewports und zeige mir beide“
Eine Kontaktliste erstellen:
„Finde alle Links auf https://example.com/team und scrape dann E-Mail-Adressen von jeder Teammitgliedsseite“
Link-Gesundheit überprüfen:
„Extrahiere alle Links von https://example.com/blog und verfolge die Weiterleitungskette für alle, die nicht 200 zurückgeben“
Eine Seite archivieren:
„Konvertiere https://example.com/article in Markdown und erstelle eine PDF-Version, beide mit absoluten Links“
Unterstützte Parameter
Alle navigationsbasierten Werkzeuge (Screenshot, PDF, Scrape, Inhalt, Markdown, Links, Extraktion, Weiterleitungen) teilen sich einen gemeinsamen Satz an Browserkonfigurationsoptionen:
| Parameter | Typ | Beschreibung |
|---|---|---|
url | string | Die zu ladende Seiten-URL. Erforderlich, wenn html nicht angegeben ist. |
html | string | Roher HTML-String, der anstelle einer URL gerendert werden soll. |
waitFor | string oder number | Warten Sie auf einen CSS-Selektor, eine Anzahl von Millisekunden oder ein Netzwerkereignis, bevor Sie erfassen. |
viewport | object | Legen Sie width, height, deviceScaleFactor, isMobile, hasTouch und isLandscape fest. |
device | string | Emulieren Sie ein benanntes Gerät wie iPhone 14 oder iPad Pro. |
userAgent | string | Überschreiben Sie die Browser-User-Agent-Zeichenfolge. |
cookies | array | Injizieren Sie Cookies, bevor die Seite geladen wird. |
blockAds | boolean | Blockieren Sie Werbenetzwerkanfragen. Für Scraping-Werkzeuge standardmäßig aktiviert. |
blockTrackers | boolean | Blockieren Sie Tracking- und Analyses-Skripte. |
goToOptions | object | Steuern Sie die Navigation timeout (ms) und die waitUntil-Strategie (load, domcontentloaded, networkidle0, networkidle2). |
setExtraHTTPHeaders | object | Fügen Sie benutzerdefinierte Anforderungsheader als Schlüssel-Wert-Paare hinzu. |
rejectRequestPattern | array | Blockieren Sie Anforderungen, die diesen URL-Mustern entsprechen. |
requestInterceptors | array | Fangen Sie Anforderungen ab, die einem Muster entsprechen, und geben Sie eine benutzerdefinierte Antwort zurück. |
authenticate | object | Legen Sie HTTP username und password für Seiten hinter Basisauthentifizierung fest. |
anonymous | object | Leiten Sie über einen Proxy und überspringen Sie Ressourcentypen für anonymes Browsen. |
Screenshot-spezifische Parameter:
| Parameter | Typ | Beschreibung |
|---|---|---|
options.fullPage | boolean | Erfassen Sie die gesamte scrollbare Seite. Standardmäßig true. |
options.type | string | Bildformat: png oder jpeg. Standardmäßig png. |
options.quality | number | JPEG-Qualität von 0 bis 100. |
options.clip | object | Erfassen Sie einen bestimmten Bereich mit x, y, width und height. |
options.omitBackground | boolean | Machen Sie den Hintergrund transparent (nur PNG). |
manipulate | object | Verarbeiten Sie das Bild nach mit resize, rotate, flip und flop. |
responseType | string | Geben Sie das Bild als buffer (Standard) oder eine gehostete url zurück. |
Bei Verwendung des Screenshot-Werkzeugs über MCP wird das Ergebnis standardmäßig als gehostete URL zurückgegeben. Bei direkter API-Aufruf ist responseType standardmäßig buffer. Setzen Sie responseType: 'url', um stattdessen einen gehosteten Link zu erhalten.
PDF-spezifische Parameter:
| Parameter | Typ | Beschreibung |
|---|---|---|
options.format | string | Seitengröße: A4, Letter, Legal, Tabloid, Ledger, A0 – A6. |
options.landscape | boolean | Im Querformat rendern. |
options.margin | object | Legen Sie top, bottom, left und right-Ränder fest. |
options.printBackground | boolean | CSS-Hintergründe in die Ausgabe einbeziehen. |
options.displayHeaderFooter | boolean | Kopf- und Fußzeile auf jeder Seite anzeigen. |
options.headerTemplate | string | HTML-Vorlage für die Seitenkopfzeile. |
options.footerTemplate | string | HTML-Vorlage für die Seitenfußzeile. |
options.pageRanges | string | Bestimmte Seiten drucken, z. B. 1-5. |
options.scale | number | Seiteninhalt skalieren. |
emulateMedia | string | Als screen- oder print-Medientyp rendern. |
responseType | string | PDF als buffer (Standard) oder gehostete url zurückgeben. |
Bei Verwendung des PDF-Werkzeugs über MCP wird das Ergebnis standardmäßig als gehostete URL zurückgegeben. Bei direkter API-Aufruf ist responseType standardmäßig buffer. Setzen Sie responseType: 'url', um stattdessen einen gehosteten Link zu erhalten.
Rate-Limits und faire Nutzung
Jeder API-Schlüssel hat ein monatliches Anfragelimit basierend auf deinem Plan. Langlaufende Seiten mit viel JavaScript oder großen PDFs verbrauchen mehr Ressourcen. Verwende blockAds und blockTrackers, um Anfragen zu beschleunigen und die Bandbreitennutzung bei Scraping-Workloads zu reduzieren.
Das Agenty AI Anfrage- und Antwortschema ist bewusst kompatibel mit den am weitesten verbreiteten Browser-Automatisierungs-APIs gehalten, einschließlich Browserless, Firecrawl, Cloudflare Browser Rendering und ähnlichen Diensten. Wenn du bereits einen dieser Anbieter verwendest, kannst du zu Agenty AI wechseln, indem du deine Basis-URL und deinen API-Schlüssel aktualisierst, ohne deine bestehenden Anfragen neu schreiben zu müssen.
| Anbieter | Migration |
|---|---|
| Browserless | Basis-URL und API-Schlüssel ändern. Alle Parameter sind kompatibel. |
| Firecrawl | Basis-URL und API-Schlüssel ändern. Scrape-, Markdown- und Crawl-Endpunkte werden direkt zugeordnet. |
| Cloudflare Browser Rendering | Basis-URL und Auth-Header ändern. Screenshot- und Inhalts-Parameter sind kompatibel. |
| Puppeteer HTTP-APIs | Die meisten goToOptions- und Seitenoptionen werden 1:1 zugeordnet. |

