Agenty

offiziell

Web Scraping, Crawling und Änderungserkennung mit KI

Was kann man mit Agenty MCP machen?

  • Jede Webseite in sauberes Markdown konvertieren — Navigation, Werbung und überflüssige Elemente von einer URL mit markdown entfernen, um LLM-bereiten Inhalt zu erhalten.
  • Screenshots mit Geräteemulation erstellen — vollständige oder beschnittene PNG/JPEG-Screenshots via screenshot aufnehmen, mit Emulation von Geräten wie dem iPhone 14.
  • JavaScript-gerendertes HTML scrapen — mit scrape das finale DOM nach Ausführung aller Skripte abrufen, ideal für SPAs.
  • Strukturierte Daten mit Selektoren extrahieren — spezifische Felder wie Preise oder Schlagzeilen von einer Seite mittels CSS oder XPath mit extract abrufen.
  • PDFs mit benutzerdefinierter Formatierung generieren — eine Seite als A4- oder Letter-PDF via pdf exportieren, mit Steuerung von Rändern, Kopfzeilen und Druckhintergründen.
  • HTTP-Weiterleitungsketten verfolgen — jede Weiterleitung für eine URL mit redirects nachverfolgen, um Links zu debuggen oder kanonische Ziele zu überprüfen.

Dokumentation

Agenty AI stellt einen Model Context Protocol (MCP)-Server bereit, der KI-Assistenten wie Claude, Cursor und jedem MCP-kompatiblen Client direkten Zugriff auf Browser-Automatisierungswerkzeuge gibt. Sie können Screenshots erstellen, PDFs generieren, Webseiten scrapen, strukturierte Daten extrahieren, Seiten in Markdown konvertieren und vieles mehr – unter Verwendung von LLM-Modellen.

In diesem Artikel beschreibe ich, wie Sie eine Verbindung zum Agenty MCP-Server herstellen und wie Sie jedes verfügbare Werkzeug nutzen.

Voraussetzungen

Bevor Sie eine Verbindung herstellen, benötigen Sie:

  • Ein Agenty AI-Konto und einen API-Schlüssel
  • Einen MCP-kompatiblen Client wie Claude Desktop, Cursor, Windsurf oder ein beliebiges Tool, das das Model Context Protocol unterstützt
  • Node.js 18 oder höher, falls Sie die CLI oder eine lokale Konfigurationsdatei verwenden

Verbindungsaufbau

Fügen Sie die folgende Konfiguration zu Ihrem MCP-Client hinzu. Bei Claude Desktop gehört dies in claude_desktop_config.json. Bei Cursor gehört es in Ihre .cursor/mcp.json-Datei.

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

Ersetzen Sie YOUR_API_KEY durch den Schlüssel aus Ihrem Agenty AI > Einstellungen > API-Schlüssel. Starten Sie anschließend Ihren Client neu, und die Agenty-Werkzeuge erscheinen in der Werkzeugliste.

Agenty API Key1069×482 32.4 KB

Für Clients, die OAuth oder tokenbasierte Anmeldung unterstützen, können Sie sich direkt über den Agenty AI-Anmeldevorgang authentifizieren, ohne manuell einen Schlüssel einzufügen.

Verfügbare Werkzeuge

Der Agenty MCP-Server bietet elf Werkzeuge, die die gängigsten Anforderungen an die Browser-Automatisierung abdecken. Jedes Werkzeug akzeptiert eine URL oder rohes HTML als Eingabe sowie optionale Parameter zur Steuerung des Browserverhaltens.

Available Tools in Agenty MCP1265×795 60.9 KB

Markdown MCP

Das Markdown-Werkzeug lädt eine Seite, entfernt Navigation, Fußzeilen, Skripte, Werbung und andere überflüssige Elemente und konvertiert den verbleibenden lesbaren Inhalt in sauberes Markdown. Es kann relative Links in absolute URLs auflösen und Datenbilder entfernen.

Dies ist besonders nützlich, um Webinhalte in LLMs einzuspeisen, RAG-Pipelines aufzubauen oder lesbare Versionen von Artikeln zu speichern.

Beispiel-Prompt:

„Konvertiere Web Scraping – Wikipedia in Markdown“

„Hole den Markdown-Inhalt dieses Blogbeitrags: https://example.com/article”

Website scraping preview using Claude desktop1272×844 67.2 KB

Screenshot MCP

Das Screenshot-Werkzeug startet einen echten Browser, lädt die Seite und erfasst sie als PNG- oder JPEG-Bild. Es unterstützt ganzseitige Screenshots, zugeschnittene Bereiche, benutzerdefinierte Viewports, Geräteemulation und Bildbearbeitung wie Größenänderung und Drehung.

Dies ist nützlich, wenn Sie eine visuelle Momentaufnahme einer Seite benötigen, eine Benutzeroberfläche dokumentieren oder überprüfen möchten, wie eine Website bei einer bestimmten Bildschirmgröße aussieht.

Beispiel-Prompt:

„Erstelle einen ganzseitigen Screenshot von https://example.com und gib ihn als PNG zurück“

„Erfasse einen mobilen Screenshot von https://agenty.ai mit einem iPhone-14-Viewport“

Web Scraping MCP

Das Web-Scrape-Werkzeug lädt eine URL in einem echten Browser mit vollständiger JavaScript-Ausführung und gibt das gerenderte HTML zurück. Im Gegensatz zu einfachen HTTP-Anfragen wartet es, bis dynamische Inhalte geladen sind, was es zuverlässig für Single-Page-Anwendungen und JavaScript-lastige Seiten macht.

Verwenden Sie dies, wenn Sie das rohe HTML einer Seite genau so benötigen, wie ein Benutzer es sehen würde, nachdem alle Skripte ausgeführt wurden.

Beispiel-Prompt:

„Scrape das HTML von https://news.ycombinator.com und gib den vollständig gerenderten Inhalt zurück“

„Scrape diese Seite und warte 3 Sekunden, bis dynamische Inhalte geladen sind: https://example.com/dashboard”

Web Crawling MCP

Das Links-Crawling-Werkzeug rendert eine Seite und extrahiert jeden im DOM gefundenen Hyperlink. Es gibt eine flache Liste aller Anker-hrefs zurück, die Sie verwenden können, um eine Crawl-Warteschlange aufzubauen, interne Verlinkungen zu prüfen oder Inhalte zu entdecken.

Beispiel-Prompt:

„Finde alle Links auf https://agenty.ai”

„Extrahiere jeden Link von https://example.com/blog und gib mir eine Liste der Artikel-URLs“

PDF MCP

Das PDF-Werkzeug rendert eine Seite in einem echten Browser und exportiert sie als PDF. Sie können das Seitenformat (A4, Letter usw.) festlegen, den Querformatmodus aktivieren, Ränder einstellen, Hintergründe ein- oder ausblenden und benutzerdefinierte Kopf- und Fußzeilen bereitstellen.

Beispiel-Prompt:

„Generiere ein PDF von https://agenty.ai im A4-Format mit aktivierten Druckhintergründen“

„Erstelle ein Querformat-PDF von https://example.com/report”

Datenextraktion MCP

Das Extraktionswerkzeug rendert eine Seite und extrahiert strukturierte Daten mithilfe von CSS-Selektoren oder XPath. Es eignet sich zum Abrufen bestimmter Felder wie Produktpreise, Bewertungsanzahlen, Berufsbezeichnungen oder beliebiger sich wiederholender Elemente von einer gerenderten Seite.

Beispiel-Prompt:

„Extrahiere die Produktnamen und Preise von https://example.com/products”

„Hole alle Schlagzeilen von https://news.ycombinator.com”

Sitemap MCP

Das Sitemap-Crawler-Werkzeug liest die sitemap.xml einer Website, folgt Sitemap-Indexdateien und gibt eine vollständige Liste aller gefundenen URLs zurück. Es unterstützt Ausschlussmuster, um bestimmte Pfade herauszufiltern.

Verwenden Sie dies, um schnell die gesamte Struktur einer Website zu verstehen oder eine Crawl-Liste für eine große Website zu erstellen.

Beispiel-Prompt:

„Finde alle URLs in der Sitemap für https://agenty.ai”

„Hole die Sitemap für https://example.com und schließe alle URLs aus, die /blog/ enthalten“

Redirect Tracing MCP

Das Redirects-Capture-Werkzeug verfolgt alle HTTP-Weiterleitungen für eine gegebene URL und gibt die vollständige Kette zurück, einschließlich jeder Zwischen-URL, des Statuscodes und des endgültigen Ziels.

Dies ist hilfreich zum Debuggen defekter Links, zur Überprüfung kanonischer URLs und zur Prüfung von Affiliate- oder gekürzten Links.

Beispiel-Prompt:

„Verfolge alle Weiterleitungen für https://bit.ly/some-link”

„Zeige mir die Weiterleitungskette für https://example.com/old-page”

Email Scraper MCP

Das E-Mail-Scraper-Werkzeug lädt eine oder mehrere URLs (bis zu zehn gleichzeitig) und extrahiert alle auf der gerenderten Seite gefundenen E-Mail-Adressen. Es verarbeitet verschleierte Adressen und dynamisch geladene Kontaktabschnitte.

Beispiel-Prompt:

„Finde alle E-Mail-Adressen auf https://example.com/contact”

„Scrape E-Mails von diesen drei Seiten: https://site1.com, https://site2.com, https://site3.com”

Content MCP

Das Content-Werkzeug gibt das vollständig gerenderte HTML einer Seite nach der JavaScript-Ausführung zurück. Es ähnelt dem Scraping, ist jedoch für Anwendungsfälle optimiert, bei denen Sie den endgültigen DOM-Zustand anstelle einer Scraping-Pipeline benötigen.

Beispiel-Prompt:

„Hole den gerenderten HTML-Inhalt von https://example.com/app”

Snapshot MCP

Das Snapshot-Werkzeug erfasst den Accessibility-Tree einer Seite – eine strukturierte Liste aller interaktiven und lesbaren Elemente, einschließlich Schaltflächen, Links, Eingabefelder und Überschriften. Dies ist für KI-Agenten konzipiert, die auf einer Seite navigieren oder diese analysieren müssen, ohne rohes HTML zu verarbeiten.

Beispiel-Prompt:

„Erstelle einen Accessibility-Snapshot von https://example.com, damit ich die Seitenstruktur verstehen kann“

Beispiel-Prompts

Hier sind einige mehrstufige Beispiele, die Werkzeuge kombinieren:

Inhalte einer Website prüfen: „Hole die Sitemap für https://example.com,, konvertiere dann die Top-5-Seiten in Markdown und fasse jede zusammen“

Visuellen Bericht erstellen: „Erstelle einen Screenshot von https://agenty.ai auf mobilen und Desktop-Viewports und zeige mir beide“

Kontaktliste aufbauen: „Finde alle Links auf https://example.com/team, und scrape dann E-Mail-Adressen von jeder Teammitgliedsseite“

Link-Gesundheit überprüfen: „Extrahiere alle Links von https://example.com/blog und verfolge die Weiterleitungskette für alle, die nicht 200 zurückgeben“

Seite archivieren: „Konvertiere https://example.com/article in Markdown und generiere eine PDF-Version, beide mit absoluten Links“

Unterstützte Parameter

Alle navigationsbasierten Werkzeuge (screenshot, pdf, scrape, content, markdown, links, extract, redirects) teilen sich einen gemeinsamen Satz an Browser-Konfigurationsoptionen:

ParameterTypBeschreibung
urlstringDie zu ladende Seiten-URL. Erforderlich, wenn html nicht angegeben ist.
htmlstringRoher HTML-String, der anstelle einer URL gerendert werden soll.
waitForstring oder numberWarten auf einen CSS-Selektor, eine Anzahl von Millisekunden oder ein Netzwerkereignis vor der Erfassung.
viewportobjectBreite, Höhe, deviceScaleFactor, isMobile, hasTouch und isLandscape festlegen.
devicestringEin benanntes Gerät wie iPhone 14 oder iPad Pro emulieren.
userAgentstringDen User-Agent-String des Browsers überschreiben.
cookiesarrayCookies vor dem Laden der Seite injizieren.
blockAdsbooleanWerbenetzwerk-Anfragen blockieren. Standardmäßig für Scraping-Werkzeuge aktiviert.
blockTrackersbooleanTracking- und Analyse-Skripte blockieren.
goToOptionsobjectNavigations-Timeout (ms) und waitUntil-Strategie steuern (load, domcontentloaded, networkidle0, networkidle2).
setExtraHTTPHeadersobjectBenutzerdefinierte Anfrage-Header als Schlüssel-Wert-Paare hinzufügen.
rejectRequestPatternarrayAnfragen blockieren, die diesen URL-Mustern entsprechen.
requestInterceptorsarrayAnfragen abfangen, die einem Muster entsprechen, und eine benutzerdefinierte Antwort zurückgeben.
authenticateobjectHTTP-Benutzername und -Passwort für Seiten hinter Basic Auth festlegen.
anonymousobjectÜber einen Proxy routen und Ressourcentypen für anonymes Browsen überspringen.

Screenshot-spezifische Parameter:

ParameterTypBeschreibung
options.fullPagebooleanDie gesamte scrollbare Seite erfassen. Standardmäßig true.
options.typestringBildformat: png oder jpeg. Standardmäßig png.
options.qualitynumberJPEG-Qualität von 0 bis 100.
options.clipobjectEinen bestimmten Bereich mit x, y, Breite und Höhe erfassen.
options.omitBackgroundbooleanHintergrund transparent machen (nur PNG).
manipulateobjectBild nachbearbeiten mit Größenänderung, Drehung, Spiegelung usw.
responseTypestringBild als Buffer (Standard) oder als gehostete URL zurückgeben.

Bei Verwendung des Screenshot-Werkzeugs über MCP wird das Ergebnis standardmäßig als gehostete URL zurückgegeben. Bei direktem API-Aufruf ist der Standardwert von responseType auf buffer gesetzt. Setzen Sie responseType: 'url', um stattdessen einen gehosteten Link zu erhalten.

PDF-spezifische Parameter:

ParameterTypBeschreibung
options.formatstringSeitengröße: A4, Letter, Legal, Tabloid, Ledger, A0–A6.
options.landscapebooleanIm Querformat rendern.
options.marginobjectOberen, unteren, linken und rechten Rand festlegen.
options.printBackgroundbooleanCSS-Hintergründe in die Ausgabe einbeziehen.
options.displayHeaderFooterbooleanKopf- und Fußzeile auf jeder Seite anzeigen.
options.headerTemplatestringHTML-Vorlage für die Kopfzeile.
options.footerTemplatestringHTML-Vorlage für die Fußzeile.
options.pageRangesstringBestimmte Seiten drucken, z. B. 1-5.
options.scalenumberSeiteninhalt skalieren.
emulateMediastringAls Bildschirm- oder Druckmedientyp rendern.
responseTypestringPDF als Buffer (Standard) oder als gehostete URL zurückgeben.

Bei Verwendung des PDF-Tools über MCP wird das Ergebnis standardmäßig als gehostete URL zurückgegeben. Bei direktem Aufruf der API ist der Standardwert von responseType buffer. Setzen Sie responseType: 'url', um stattdessen einen gehosteten Link zu erhalten.

Ratenbegrenzungen und faire Nutzung

Jeder API-Schlüssel hat ein monatliches Anfragelimit, das von Ihrem Tarif abhängt. Lang laufende Seiten mit umfangreichem JavaScript oder großen PDFs verbrauchen mehr Ressourcen. Verwenden Sie blockAds und blockTrackers, um Anfragen zu beschleunigen und die Bandbreitennutzung bei Scraping-Workloads zu reduzieren.

Das Anfrage- und Antwortschema von Agenty AI ist bewusst kompatibel mit den am weitesten verbreiteten Browser-Automatisierungs-APIs gehalten, einschließlich Browserless, Firecrawl, Cloudflare Browser Rendering und ähnlichen Diensten. Falls Sie bereits einen dieser Anbieter nutzen, können Sie zu Agenty AI wechseln, indem Sie Ihre Basis-URL und Ihren API-Schlüssel aktualisieren, ohne Ihre bestehenden Anfragen umschreiben zu müssen.

AnbieterMigration
BrowserlessBasis-URL und API-Schlüssel ändern. Alle Parameter sind kompatibel.
FirecrawlBasis-URL und API-Schlüssel ändern. Scrape-, Markdown- und Crawl-Endpunkte werden direkt zugeordnet.
Cloudflare Browser RenderingBasis-URL und Auth-Header ändern. Screenshot- und Inhaltsparameter sind kompatibel.
Puppeteer HTTP-APIsDie meisten goToOptions und Seitenoptionen werden 1:1 zugeordnet.