Agenty

offiziell

Web Scraping, Crawling und Änderungserkennung mit KI

Was kann man mit Agenty MCP machen?

  • Seiten in Markdown konvertieren — Fordern Sie an, eine URL oder rohes HTML in sauberes, lesbares Markdown mit dem markdown-Tool zu konvertieren, für LLM-freundliche Inhalte.
  • Screenshots erfassen — Verwenden Sie screenshot, um ganzseitige oder beschnittene PNG/JPEG-Bilder mit benutzerdefinierten Viewports und Geräteemulation aufzunehmen.
  • Gerendertes HTML scrapen — Verwenden Sie scrape, um das vollständig gerenderte HTML von JavaScript-lastigen Seiten zu erhalten, nachdem dynamische Inhalte geladen wurden.
  • Strukturierte Daten extrahieren — Verwenden Sie extract, um spezifische Felder wie Preise, Schlagzeilen oder Bewertungen über CSS-Selektoren oder XPath abzurufen.
  • PDFs generieren — Verwenden Sie pdf, um eine Seite als PDF zu exportieren, mit Optionen für Format, Ränder, Querformat sowie Kopf- und Fußzeilen.
  • Website-Struktur entdecken — Verwenden Sie sitemap, um die sitemap.xml einer Website zu lesen und alle gefundenen URLs zurückzugeben, mit Ausschlussmustern.

Dokumentation

Agenty AI stellt einen Model Context Protocol (MCP)-Server bereit, der KI-Assistenten wie Claude, Cursor und jedem MCP-kompatiblen Client direkten Zugriff auf Browser-Automatisierungswerkzeuge ermöglicht. Sie können Screenshots aufnehmen, PDFs erstellen, Webseiten scrapen, strukturierte Daten extrahieren, Seiten in Markdown konvertieren und mehr – alles mithilfe von LLM-Modellen.

In diesem Artikel erkläre ich, wie Sie eine Verbindung zum Agenty-MCP-Server herstellen und wie Sie jedes verfügbare Werkzeug verwenden.

Voraussetzungen

Bevor Sie eine Verbindung herstellen, benötigen Sie:

  • Ein Agenty-AI-Konto und einen API-Schlüssel
  • Einen MCP-kompatiblen Client wie Claude Desktop, Cursor, Windsurf oder ein anderes Tool, das das Model Context Protocol unterstützt
  • Node.js 18 oder höher, wenn Sie die CLI oder eine lokale Konfigurationsdatei verwenden

So stellen Sie eine Verbindung her

Fügen Sie die folgende Konfiguration zu Ihrem MCP-Client hinzu. Für Claude Desktop gehört diese in claude_desktop_config.json. Für Cursor gehört sie in Ihre .cursor/mcp.json-Datei.

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

Ersetzen Sie YOUR_API_KEY durch den Schlüssel aus Ihrem Agenty-AI-Konto unter Einstellungen > API-Schlüssel. Starten Sie Ihren Client nach dem Hinzufügen neu, und die Agenty-Werkzeuge erscheinen in der Werkzeugliste. Für Clients, die OAuth oder tokenbasiertes Login unterstützen, können Sie sich direkt über den Agenty-AI-Anmeldevorgang authentifizieren, ohne einen Schlüssel manuell einzufügen.

Verfügbare Werkzeuge

Der Agenty-MCP-Server bietet elf Werkzeuge, die die häufigsten Anforderungen an Browser-Automatisierung abdecken. Jedes Werkzeug akzeptiert eine URL oder rohes HTML als Eingabe sowie optionale Parameter zur Steuerung des Browserverhaltens.

Available Tools in Agenty MCP

Markdown-MCP

Das Markdown-Werkzeug lädt eine Seite, entfernt Navigation, Fußzeilen, Skripte, Werbung und anderen Ballast und konvertiert den verbleibenden lesbaren Inhalt in sauberes Markdown. Es kann relative Links in absolute URLs auflösen und Datenbilder entfernen.

Dies ist besonders nützlich, um Webinhalte in LLMs einzuspeisen, RAG-Pipelines aufzubauen oder lesbare Versionen von Artikeln zu speichern.

Beispielaufforderung:

„Konvertiere Web Scraping – Wikipedia in Markdown“

„Hole den Markdown-Inhalt dieses Blogbeitrags: https://example.com/article

Website scraping preview using Claude desktop

Screenshot-MCP

Das Screenshot-Werkzeug startet einen echten Browser, lädt die Seite und erfasst sie als PNG- oder JPEG-Bild. Es unterstützt Ganzseiten-Screenshots, beschnittene Bereiche, benutzerdefinierte Viewports, Geräteemulation und Bildbearbeitung wie Größenänderung und Drehung.

Dies ist nützlich, wenn Sie eine visuelle Momentaufnahme einer Seite wünschen, eine Benutzeroberfläche dokumentieren oder überprüfen möchten, wie eine Website bei einer bestimmten Bildschirmgröße aussieht.

Beispielaufforderung:

„Mache einen Ganzseiten-Screenshot von https://example.com und gib ihn als PNG zurück“

„Erfasse einen mobilen Screenshot von https://agenty.ai mit einem iPhone-14-Viewport“

Web-Scraping-MCP

Das Web-Scrape-Werkzeug lädt eine URL in einem echten Browser mit vollständiger JavaScript-Ausführung und gibt das gerenderte HTML zurück. Im Gegensatz zu einfachen HTTP-Anfragen wartet es auf das Laden dynamischer Inhalte, was es zuverlässig für Single-Page-Anwendungen und JavaScript-lastige Seiten macht.

Verwenden Sie dies, wenn Sie das rohe HTML einer Seite genau so benötigen, wie ein Benutzer es nach Ausführung aller Skripte sehen würde.

Beispielaufforderung:

„Scrape das HTML von https://news.ycombinator.com und gib den vollständig gerenderten Inhalt zurück“

„Scrape diese Seite und warte 3 Sekunden auf dynamische Inhalte: https://example.com/dashboard

Web-Crawling-MCP

Das Link-Crawling-Werkzeug rendert eine Seite und extrahiert jeden Hyperlink im DOM. Es gibt eine flache Liste aller Anker-Hrefs zurück, die Sie zum Aufbau einer Crawl-Warteschlange, zur Prüfung interner Verlinkungen oder zur Inhaltsentdeckung verwenden können.

Beispielaufforderung:

„Finde alle Links auf https://agenty.ai

„Extrahiere jeden Link von https://example.com/blog und gib mir eine Liste der Artikel-URLs“

PDF-MCP

Das PDF-Werkzeug rendert eine Seite in einem echten Browser und exportiert sie als PDF. Sie können das Seitenformat (A4, Letter usw.) festlegen, den Querformatmodus aktivieren, Ränder festlegen, Hintergründe ein- oder ausblenden und benutzerdefinierte Kopf- und Fußzeilen bereitstellen.

Beispielaufforderung:

„Erstelle ein PDF von https://agenty.ai im A4-Format mit aktivierten Druckhintergründen“

„Erstelle ein Querformat-PDF von https://example.com/report

Datenextraktions-MCP

Das Extraktionswerkzeug rendert eine Seite und extrahiert strukturierte Daten mithilfe von CSS-Selektoren oder XPath. Es eignet sich zum Abrufen spezifischer Felder wie Produktpreise, Bewertungszahlen, Jobtitel oder beliebiger sich wiederholender Elemente aus einer gerenderten Seite.

Beispielaufforderung:

„Extrahiere die Produktnamen und Preise von https://example.com/products

„Hole alle Schlagzeilen von https://news.ycombinator.com

Sitemap-MCP

Das Sitemap-Crawler-Werkzeug liest die sitemap.xml einer Website, folgt Sitemap-Indexdateien und gibt eine vollständige Liste aller entdeckten URLs zurück. Es unterstützt Ausschlussmuster, um bestimmte Pfade herauszufiltern.

Verwenden Sie dies, um schnell die vollständige Struktur einer Website zu verstehen oder eine Crawl-Liste für eine große Website zu erstellen.

Beispielaufforderung:

„Finde alle URLs im Sitemap für https://agenty.ai

„Hole das Sitemap für https://example.com und schließe alle URLs aus, die /blog/ enthalten“

Redirect-Verfolgungs-MCP

Das Redirect-Erfassungswerkzeug verfolgt alle HTTP-Weiterleitungen für eine bestimmte URL und gibt die vollständige Kette einschließlich jeder Zwischen-URL, des Statuscodes und des endgültigen Ziels zurück.

Dies ist hilfreich zum Debuggen defekter Links, zur Überprüfung kanonischer URLs und zur Prüfung von Affiliate- oder gekürzten Links.

Beispielaufforderung:

„Verfolge alle Weiterleitungen für https://bit.ly/some-link

„Zeige mir die Weiterleitungskette für https://example.com/old-page

E-Mail-Scraper-MCP

Das E-Mail-Scraper-Werkzeug lädt eine oder mehrere URLs (bis zu zehn gleichzeitig) und extrahiert alle auf der gerenderten Seite gefundenen E-Mail-Adressen. Es verarbeitet verschleierte Adressen und dynamisch geladene Kontaktbereiche.

Beispielaufforderung:

„Finde alle E-Mail-Adressen auf https://example.com/contact

„Scrape E-Mails von diesen drei Seiten: https://site1.com, https://site2.com, https://site3.com

Inhalts-MCP

Das Inhaltswerkzeug gibt das vollständig gerenderte HTML einer Seite nach der JavaScript-Ausführung zurück. Es ähnelt dem Scrape-Werkzeug, ist jedoch für Anwendungsfälle optimiert, in denen Sie den endgültigen DOM-Zustand benötigen und keine Scrape-Pipeline.

Beispielaufforderung:

„Hole den gerenderten HTML-Inhalt von https://example.com/app

Snapshot-MCP

Das Snapshot-Werkzeug erfasst den Accessibility-Baum einer Seite – eine strukturierte Liste aller interaktiven und lesbaren Elemente einschließlich Schaltflächen, Links, Eingabefeldern und Überschriften. Es ist für KI-Agenten konzipiert, die eine Seite navigieren oder verstehen müssen, ohne rohes HTML zu verarbeiten.

Beispielaufforderung:

„Mache einen Accessibility-Snapshot von https://example.com, damit ich die Seitenstruktur verstehen kann“

Beispielaufforderungen

Hier sind einige mehrstufige Beispiele, die Werkzeuge kombinieren:

Website-Inhalte prüfen:
„Hole das Sitemap für https://example.com, konvertiere dann die Top-5-Seiten in Markdown und fasse jede zusammen“

Einen visuellen Bericht erstellen:
„Mache einen Screenshot von https://agenty.ai auf mobilen und Desktop-Viewports und zeige mir beide“

Eine Kontaktliste erstellen:
„Finde alle Links auf https://example.com/team und scrape dann E-Mail-Adressen von jeder Teammitgliedsseite“

Link-Gesundheit überprüfen:
„Extrahiere alle Links von https://example.com/blog und verfolge die Weiterleitungskette für alle, die nicht 200 zurückgeben“

Eine Seite archivieren:
„Konvertiere https://example.com/article in Markdown und erstelle eine PDF-Version, beide mit absoluten Links“

Unterstützte Parameter

Alle navigationsbasierten Werkzeuge (Screenshot, PDF, Scrape, Inhalt, Markdown, Links, Extraktion, Weiterleitungen) teilen sich einen gemeinsamen Satz an Browserkonfigurationsoptionen:

ParameterTypBeschreibung
urlstringDie zu ladende Seiten-URL. Erforderlich, wenn html nicht angegeben ist.
htmlstringRoher HTML-String, der anstelle einer URL gerendert werden soll.
waitForstring oder numberWarten Sie auf einen CSS-Selektor, eine Anzahl von Millisekunden oder ein Netzwerkereignis, bevor Sie erfassen.
viewportobjectLegen Sie width, height, deviceScaleFactor, isMobile, hasTouch und isLandscape fest.
devicestringEmulieren Sie ein benanntes Gerät wie iPhone 14 oder iPad Pro.
userAgentstringÜberschreiben Sie die Browser-User-Agent-Zeichenfolge.
cookiesarrayInjizieren Sie Cookies, bevor die Seite geladen wird.
blockAdsbooleanBlockieren Sie Werbenetzwerkanfragen. Für Scraping-Werkzeuge standardmäßig aktiviert.
blockTrackersbooleanBlockieren Sie Tracking- und Analyses-Skripte.
goToOptionsobjectSteuern Sie die Navigation timeout (ms) und die waitUntil-Strategie (load, domcontentloaded, networkidle0, networkidle2).
setExtraHTTPHeadersobjectFügen Sie benutzerdefinierte Anforderungsheader als Schlüssel-Wert-Paare hinzu.
rejectRequestPatternarrayBlockieren Sie Anforderungen, die diesen URL-Mustern entsprechen.
requestInterceptorsarrayFangen Sie Anforderungen ab, die einem Muster entsprechen, und geben Sie eine benutzerdefinierte Antwort zurück.
authenticateobjectLegen Sie HTTP username und password für Seiten hinter Basisauthentifizierung fest.
anonymousobjectLeiten Sie über einen Proxy und überspringen Sie Ressourcentypen für anonymes Browsen.

Screenshot-spezifische Parameter:

ParameterTypBeschreibung
options.fullPagebooleanErfassen Sie die gesamte scrollbare Seite. Standardmäßig true.
options.typestringBildformat: png oder jpeg. Standardmäßig png.
options.qualitynumberJPEG-Qualität von 0 bis 100.
options.clipobjectErfassen Sie einen bestimmten Bereich mit x, y, width und height.
options.omitBackgroundbooleanMachen Sie den Hintergrund transparent (nur PNG).
manipulateobjectVerarbeiten Sie das Bild nach mit resize, rotate, flip und flop.
responseTypestringGeben Sie das Bild als buffer (Standard) oder eine gehostete url zurück.

Bei Verwendung des Screenshot-Werkzeugs über MCP wird das Ergebnis standardmäßig als gehostete URL zurückgegeben. Bei direkter API-Aufruf ist responseType standardmäßig buffer. Setzen Sie responseType: 'url', um stattdessen einen gehosteten Link zu erhalten.

PDF-spezifische Parameter:

ParameterTypBeschreibung
options.formatstringSeitengröße: A4, Letter, Legal, Tabloid, Ledger, A0A6.
options.landscapebooleanIm Querformat rendern.
options.marginobjectLegen Sie top, bottom, left und right-Ränder fest.
options.printBackgroundbooleanCSS-Hintergründe in die Ausgabe einbeziehen.
options.displayHeaderFooterbooleanKopf- und Fußzeile auf jeder Seite anzeigen.
options.headerTemplatestringHTML-Vorlage für die Seitenkopfzeile.
options.footerTemplatestringHTML-Vorlage für die Seitenfußzeile.
options.pageRangesstringBestimmte Seiten drucken, z. B. 1-5.
options.scalenumberSeiteninhalt skalieren.
emulateMediastringAls screen- oder print-Medientyp rendern.
responseTypestringPDF als buffer (Standard) oder gehostete url zurückgeben.

Bei Verwendung des PDF-Werkzeugs über MCP wird das Ergebnis standardmäßig als gehostete URL zurückgegeben. Bei direkter API-Aufruf ist responseType standardmäßig buffer. Setzen Sie responseType: 'url', um stattdessen einen gehosteten Link zu erhalten.

Rate-Limits und faire Nutzung

Jeder API-Schlüssel hat ein monatliches Anfragelimit basierend auf deinem Plan. Langlaufende Seiten mit viel JavaScript oder großen PDFs verbrauchen mehr Ressourcen. Verwende blockAds und blockTrackers, um Anfragen zu beschleunigen und die Bandbreitennutzung bei Scraping-Workloads zu reduzieren.

Das Agenty AI Anfrage- und Antwortschema ist bewusst kompatibel mit den am weitesten verbreiteten Browser-Automatisierungs-APIs gehalten, einschließlich Browserless, Firecrawl, Cloudflare Browser Rendering und ähnlichen Diensten. Wenn du bereits einen dieser Anbieter verwendest, kannst du zu Agenty AI wechseln, indem du deine Basis-URL und deinen API-Schlüssel aktualisierst, ohne deine bestehenden Anfragen neu schreiben zu müssen.

AnbieterMigration
BrowserlessBasis-URL und API-Schlüssel ändern. Alle Parameter sind kompatibel.
FirecrawlBasis-URL und API-Schlüssel ändern. Scrape-, Markdown- und Crawl-Endpunkte werden direkt zugeordnet.
Cloudflare Browser RenderingBasis-URL und Auth-Header ändern. Screenshot- und Inhalts-Parameter sind kompatibel.
Puppeteer HTTP-APIsDie meisten goToOptions- und Seitenoptionen werden 1:1 zugeordnet.