Scrapfly

offiziell

Der Scrapfly MCP Server bietet KI-Agenten eine einfache, einheitliche Möglichkeit, Live-Webdaten mit integrierter Anti-Bot-Verarbeitung zu scrapen.

Was kann man mit Scrapfly MCP machen?

  • Live-Seiten scrapen — Bitte deinen Assistenten, aktuelle Preise, Angebote oder Nachrichten in Echtzeit von beliebigen Webseiten abzurufen.
  • Anti-Bot-Schutz umgehen — Rufe Seiten ab, während Scrapfly CAPTCHAs, Proxys, JavaScript-Rendering und Ratenbegrenzungen handhabt.
  • Strukturierte Daten extrahieren — Lass komplexe Websites mithilfe KI-gestützter Extraktion in sauberes JSON umwandeln.
  • Screenshots erstellen — Erstelle visuelle Momentaufnahmen ganzer Seiten oder bestimmter Elemente zur Analyse.
  • Kontonutzung prüfen — Frage, wie viele Scrapfly-Credits du noch hast, und lass dir dein aktuelles Kontingent anzeigen.

Dokumentation

Erste Schritte mit dem Scrapfly MCP Server

Das Model Context Protocol (MCP) ist ein offener Standard, über den KI-Modelle mit externen Tools und Datenquellen interagieren können. Der Scrapfly MCP Server erweitert deine KI: Statt auf Trainingsdaten beschränkt zu sein, erhält sie Echtzeitzugriff auf beliebige Websites – und kann so bei Bedarf aktuelle Webdaten abrufen.

MCP Cloud oder selbst gehostet

Der Scrapfly MCP Server kann auf zwei Arten mit denselben Tools ausgeführt werden. Wähle eine davon:

MCP Cloud (verwaltet)Selbst gehostet
AusführungsortVon Scrapfly gehostet unter https://mcp.scrapfly.io/mcpAuf deinem Rechner oder deinen Servern, mit dem Open-Source-Server
InstallationKeine: Füge die URL zu deinem KI-Client hinzuErstelle die Go-Binärdatei oder das Docker-Image
AuthentifizierungOAuth2-Anmeldung über den Client oder dein API-SchlüsselDein API-Schlüssel
UpdatesImmer die neueste VersionDu aktualisierst und erstellst neu
Am besten geeignet fürDie meisten Nutzer: Claude, Cursor, VS Code, ChatGPT und andere ClientsBenutzerdefinierte Tools, isolierte oder geprüfte Umgebungen

MCP Cloud

Füge die Server-URL zu deinem KI-Client hinzu. Clients, die OAuth2 unterstützen, öffnen bei der ersten Verwendung eine Scrapfly-Anmeldeseite; andere benötigen deinen API-Schlüssel (siehe Authentifizierung).

{
  "mcpServers": {
    "scrapfly-cloud-mcp": {
      "type": "http",
      "url": "https://mcp.scrapfly.io/mcp"
    }
  }
}

Ein Client, der nur einen lokalen Prozess startet, verbindet sich über mcp-remote:

{
  "mcpServers": {
    "scrapfly": {
      "command": "npx",
      "args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
    }
  }
}

Die Einrichtung unterscheidet sich je nach Client: Siehe die Einrichtungsanleitungen (Claude Code, Claude Desktop, Cursor, VS Code, ChatGPT und weitere).

Selbst gehostet

Erstelle den in Go geschriebenen Open-Source-Server:

git clone https://github.com/scrapfly/scrapfly-mcp
cd scrapfly-mcp
go build -o scrapfly-mcp ./cmd/scrapfly-mcp

Lokaler Client (stdio): Der Client startet die Binärdatei mit deinem API-Schlüssel in seiner Umgebung.

{
  "mcpServers": {
    "scrapfly": {
      "command": "/path/to/scrapfly-mcp",
      "env": { "SCRAPFLY_API_KEY": "" }
    }
  }
}

HTTP-Server: Wird ohne Schlüssel gestartet; jeder Aufrufer übergibt seinen eigenen Schlüssel als Authorization: Bearer <key> oder ?key= auf http://<host>:8080/mcp.

./scrapfly-mcp -http :8080

# or with Docker
docker build -t scrapfly-mcp .
docker run -p 8080:8080 scrapfly-mcp

Ein in SCRAPFLY_API_KEY zusammen mit -http festgelegter Schlüssel gilt für alle Aufrufer und erfordert keine Authentifizierung. Daher bindet sich der Server an 127.0.0.1, sofern du nicht -allow-remote übergibst. Alle Optionen findest du in der README.

Das wird dadurch möglich

Statt dass deine KI antwortet: „Ich habe keine aktuellen Informationen“, kann sie jetzt:

Aktuelle Daten abrufen

Aktuelle Preise, Angebote, Nachrichten oder Inhalte beliebiger Webseiten in Echtzeit abrufen

Anti-Bot-Systeme umgehen

CAPTCHAs, Proxys, JavaScript-Rendering und Ratenbegrenzungen automatisch bewältigen

Strukturierte Daten extrahieren

Komplexe Websites mithilfe KI-gestützter Extraktion in sauberes JSON umwandeln

Screenshots aufnehmen

Visuelle Momentaufnahmen von Seiten oder bestimmten Elementen zur Analyse erstellen

Warum der Scrapfly MCP Server?

Basiert auf einer bewährten Infrastruktur, die von Tausenden Entwicklern genutzt wird:

Immer zuverlässig

Deine KI wird nie blockiert

Schnell eingerichtet

In weniger als 60 Sekunden einsatzbereit

Sicher

OAuth2 + Authentifizierung für Unternehmen

Die Möglichkeiten von MCP-Connectors

MCP ist ein universeller Connector, der jeden KI-Client zu einem leistungsstarken Web-Scraping-Tool macht. Statt für jede KI-Plattform eigene Integrationen zu entwickeln, bietet MCP eine einheitliche Standardschnittstelle.

Funktioniert mit deinen bevorzugten KI-Tools:
  • Claude Desktop, Cursor, Cline, Windsurf
  • LangChain, LlamaIndex, CrewAI
  • OpenAI Function Calling, benutzerdefinierte Agents
  • n8n-, Make- und Zapier-Workflows
Eine Integration, unzählige Möglichkeiten:

Einmal konfigurieren, überall nutzen. Derselbe MCP-Server funktioniert auf allen Plattformen – Integrationen müssen nicht für jedes neue KI-Tool neu erstellt werden.

Scrapfly MCP verwenden

Der Einstieg ist einfach: Wähle deinen KI-Client und folge der Einrichtungsanleitung:

[###### Einrichtung für deinen KI-Client

Mehr als 15 Integrationen: Claude Desktop, Cursor, Cline, Windsurf, LangChain, n8n und weitere

](https://scrapfly.io/docs/mcp/integrations) [###### Verfügbare Tools

9 Tools: Scraping, Screenshots, Cloud Browser mit dynamischer WebMCP-Tool-Erkennung

](https://scrapfly.io/docs/mcp/tools) [###### Authentifizierungsoptionen

API-Schlüssel, OAuth2 oder Authentifizierung über Header – wähle die passende Option

](https://scrapfly.io/docs/mcp/authentication)

Nächste Schritte

Praxisbeispiele ansehen – Job-Aggregation, Preisüberwachung, Datenextraktion und mehr Einrichtungsanleitungen für einzelne Clients – Cursor, Cline, LangChain, n8n und alle unterstützten Plattformen Tools und API-Spezifikation – Vollständige Parameterdokumentation und Anleitungen zur Verwendung OAuth2-Authentifizierung einrichten – Sichere Authentifizierung auf Unternehmensniveau für den Produktiveinsatz FAQ lesen – Häufige Fragen und Fehlerbehebung

Einrichtung überprüfen

Überprüfe nach der Konfiguration, ob alles korrekt funktioniert:

  1. Verfügbarkeit der Tools prüfenAchte auf das Hammersymbol (🔨) in deinem KI-Client oder prüfe die Tool-Liste, um sicherzustellen, dass die Scrapfly-Tools geladen wurden.

  2. Einfache Anfrage testenFrage zum Beispiel: „Was sind gerade die beliebtesten Beiträge auf Hacker News?“

    Deine KI sollte automatisch Scrapfly-Tools verwenden, um aktuelle Ergebnisse abzurufen und anzuzeigen.

  3. Kontingent des Kontos prüfenFrage: „Wie viele Scrapfly-Credits habe ich noch?“

    Die KI verwendet info_account, um deinen aktuellen Verbrauch und dein Kontingent anzuzeigen.

Fehlerbehebung

Falls Probleme auftreten, findest du hier häufige Probleme und Lösungen:

Tools werden nicht erkannt

  • JSON-Konfiguration überprüfen – Stelle sicher, dass deine Konfiguration keine Syntaxfehler enthält (fehlende Kommas oder Klammern).
  • KI-Client neu starten – Viele Clients müssen vollständig neu gestartet werden, damit neue MCP-Server geladen werden.
  • Verfügbarkeit von npx prüfen – Führe npx --version in deinem Terminal aus, um die Installation zu überprüfen.
  • API-Schlüssel überprüfen – Stelle sicher, dass dein Scrapfly-API-Schlüssel korrekt ist und noch Credits verfügbar sind.

Authentifizierungsfehler

  • Ungültiger API-Schlüssel – Überprüfe deinen Schlüssel unter Dashboard → Projekteinstellungen.
  • Netzwerk nicht autorisiert / Zugriff durch dein Projekt eingeschränkt – Das Projekt akzeptiert nur bestimmte IP-Adressen; der Schlüssel ist gültig. Siehe Fehlerbehebung.
  • OAuth2-Probleme – Stelle sicher, dass du den OAuth-Ablauf abgeschlossen hast und die Tokens aktualisiert wurden.
  • Anmeldedaten abgelaufen – Authentifiziere dich erneut, wenn deine Sitzung abgelaufen ist.

Du brauchst weitere Hilfe?

Weitere Informationen zur Fehlerbehebung findest du hier: