Scrapfly
offiziellDer Scrapfly MCP Server bietet KI-Agenten eine einfache, einheitliche Möglichkeit, Live-Webdaten mit integrierter Anti-Bot-Verarbeitung zu scrapen.
Was kann man mit Scrapfly MCP machen?
- Live-Seiten scrapen — Bitte deinen Assistenten, aktuelle Preise, Angebote oder Nachrichten in Echtzeit von beliebigen Webseiten abzurufen.
- Anti-Bot-Schutz umgehen — Rufe Seiten ab, während Scrapfly CAPTCHAs, Proxys, JavaScript-Rendering und Ratenbegrenzungen handhabt.
- Strukturierte Daten extrahieren — Lass komplexe Websites mithilfe KI-gestützter Extraktion in sauberes JSON umwandeln.
- Screenshots erstellen — Erstelle visuelle Momentaufnahmen ganzer Seiten oder bestimmter Elemente zur Analyse.
- Kontonutzung prüfen — Frage, wie viele Scrapfly-Credits du noch hast, und lass dir dein aktuelles Kontingent anzeigen.
Dokumentation
Erste Schritte mit dem Scrapfly MCP Server
Das Model Context Protocol (MCP) ist ein offener Standard, über den KI-Modelle mit externen Tools und Datenquellen interagieren können. Der Scrapfly MCP Server erweitert deine KI: Statt auf Trainingsdaten beschränkt zu sein, erhält sie Echtzeitzugriff auf beliebige Websites – und kann so bei Bedarf aktuelle Webdaten abrufen.
MCP Cloud oder selbst gehostet
Der Scrapfly MCP Server kann auf zwei Arten mit denselben Tools ausgeführt werden. Wähle eine davon:
| MCP Cloud (verwaltet) | Selbst gehostet | |
|---|---|---|
| Ausführungsort | Von Scrapfly gehostet unter https://mcp.scrapfly.io/mcp | Auf deinem Rechner oder deinen Servern, mit dem Open-Source-Server |
| Installation | Keine: Füge die URL zu deinem KI-Client hinzu | Erstelle die Go-Binärdatei oder das Docker-Image |
| Authentifizierung | OAuth2-Anmeldung über den Client oder dein API-Schlüssel | Dein API-Schlüssel |
| Updates | Immer die neueste Version | Du aktualisierst und erstellst neu |
| Am besten geeignet für | Die meisten Nutzer: Claude, Cursor, VS Code, ChatGPT und andere Clients | Benutzerdefinierte Tools, isolierte oder geprüfte Umgebungen |
MCP Cloud
Füge die Server-URL zu deinem KI-Client hinzu. Clients, die OAuth2 unterstützen, öffnen bei der ersten Verwendung eine Scrapfly-Anmeldeseite; andere benötigen deinen API-Schlüssel (siehe Authentifizierung).
{
"mcpServers": {
"scrapfly-cloud-mcp": {
"type": "http",
"url": "https://mcp.scrapfly.io/mcp"
}
}
}
Ein Client, der nur einen lokalen Prozess startet, verbindet sich über mcp-remote:
{
"mcpServers": {
"scrapfly": {
"command": "npx",
"args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
}
}
}
Die Einrichtung unterscheidet sich je nach Client: Siehe die Einrichtungsanleitungen (Claude Code, Claude Desktop, Cursor, VS Code, ChatGPT und weitere).
Selbst gehostet
Erstelle den in Go geschriebenen Open-Source-Server:
git clone https://github.com/scrapfly/scrapfly-mcp
cd scrapfly-mcp
go build -o scrapfly-mcp ./cmd/scrapfly-mcp
Lokaler Client (stdio): Der Client startet die Binärdatei mit deinem API-Schlüssel in seiner Umgebung.
{
"mcpServers": {
"scrapfly": {
"command": "/path/to/scrapfly-mcp",
"env": { "SCRAPFLY_API_KEY": "" }
}
}
}
HTTP-Server: Wird ohne Schlüssel gestartet; jeder Aufrufer übergibt seinen eigenen Schlüssel als Authorization: Bearer <key> oder ?key= auf http://<host>:8080/mcp.
./scrapfly-mcp -http :8080
# or with Docker
docker build -t scrapfly-mcp .
docker run -p 8080:8080 scrapfly-mcp
Ein in SCRAPFLY_API_KEY zusammen mit -http festgelegter Schlüssel gilt für alle Aufrufer und erfordert keine Authentifizierung. Daher bindet sich der Server an 127.0.0.1, sofern du nicht -allow-remote übergibst. Alle Optionen findest du in der README.
Das wird dadurch möglich
Statt dass deine KI antwortet: „Ich habe keine aktuellen Informationen“, kann sie jetzt:
Aktuelle Daten abrufen
Aktuelle Preise, Angebote, Nachrichten oder Inhalte beliebiger Webseiten in Echtzeit abrufen
Anti-Bot-Systeme umgehen
CAPTCHAs, Proxys, JavaScript-Rendering und Ratenbegrenzungen automatisch bewältigen
Strukturierte Daten extrahieren
Komplexe Websites mithilfe KI-gestützter Extraktion in sauberes JSON umwandeln
Screenshots aufnehmen
Visuelle Momentaufnahmen von Seiten oder bestimmten Elementen zur Analyse erstellen
Warum der Scrapfly MCP Server?
Basiert auf einer bewährten Infrastruktur, die von Tausenden Entwicklern genutzt wird:
Immer zuverlässig
Deine KI wird nie blockiert
Schnell eingerichtet
In weniger als 60 Sekunden einsatzbereit
Sicher
OAuth2 + Authentifizierung für Unternehmen
Die Möglichkeiten von MCP-Connectors
MCP ist ein universeller Connector, der jeden KI-Client zu einem leistungsstarken Web-Scraping-Tool macht. Statt für jede KI-Plattform eigene Integrationen zu entwickeln, bietet MCP eine einheitliche Standardschnittstelle.
Funktioniert mit deinen bevorzugten KI-Tools:
- Claude Desktop, Cursor, Cline, Windsurf
- LangChain, LlamaIndex, CrewAI
- OpenAI Function Calling, benutzerdefinierte Agents
- n8n-, Make- und Zapier-Workflows
Eine Integration, unzählige Möglichkeiten:
Einmal konfigurieren, überall nutzen. Derselbe MCP-Server funktioniert auf allen Plattformen – Integrationen müssen nicht für jedes neue KI-Tool neu erstellt werden.
Scrapfly MCP verwenden
Der Einstieg ist einfach: Wähle deinen KI-Client und folge der Einrichtungsanleitung:
[###### Einrichtung für deinen KI-Client
Mehr als 15 Integrationen: Claude Desktop, Cursor, Cline, Windsurf, LangChain, n8n und weitere
](https://scrapfly.io/docs/mcp/integrations) [###### Verfügbare Tools
9 Tools: Scraping, Screenshots, Cloud Browser mit dynamischer WebMCP-Tool-Erkennung
](https://scrapfly.io/docs/mcp/tools) [###### Authentifizierungsoptionen
API-Schlüssel, OAuth2 oder Authentifizierung über Header – wähle die passende Option
](https://scrapfly.io/docs/mcp/authentication)
Nächste Schritte
Praxisbeispiele ansehen – Job-Aggregation, Preisüberwachung, Datenextraktion und mehr Einrichtungsanleitungen für einzelne Clients – Cursor, Cline, LangChain, n8n und alle unterstützten Plattformen Tools und API-Spezifikation – Vollständige Parameterdokumentation und Anleitungen zur Verwendung OAuth2-Authentifizierung einrichten – Sichere Authentifizierung auf Unternehmensniveau für den Produktiveinsatz FAQ lesen – Häufige Fragen und Fehlerbehebung
Einrichtung überprüfen
Überprüfe nach der Konfiguration, ob alles korrekt funktioniert:
-
Verfügbarkeit der Tools prüfenAchte auf das Hammersymbol (🔨) in deinem KI-Client oder prüfe die Tool-Liste, um sicherzustellen, dass die Scrapfly-Tools geladen wurden.
-
Einfache Anfrage testenFrage zum Beispiel: „Was sind gerade die beliebtesten Beiträge auf Hacker News?“
Deine KI sollte automatisch Scrapfly-Tools verwenden, um aktuelle Ergebnisse abzurufen und anzuzeigen.
-
Kontingent des Kontos prüfenFrage: „Wie viele Scrapfly-Credits habe ich noch?“
Die KI verwendet
info_account, um deinen aktuellen Verbrauch und dein Kontingent anzuzeigen.
Fehlerbehebung
Falls Probleme auftreten, findest du hier häufige Probleme und Lösungen:
Tools werden nicht erkannt
- JSON-Konfiguration überprüfen – Stelle sicher, dass deine Konfiguration keine Syntaxfehler enthält (fehlende Kommas oder Klammern).
- KI-Client neu starten – Viele Clients müssen vollständig neu gestartet werden, damit neue MCP-Server geladen werden.
- Verfügbarkeit von
npxprüfen – Führenpx --versionin deinem Terminal aus, um die Installation zu überprüfen. - API-Schlüssel überprüfen – Stelle sicher, dass dein Scrapfly-API-Schlüssel korrekt ist und noch Credits verfügbar sind.
Authentifizierungsfehler
- Ungültiger API-Schlüssel – Überprüfe deinen Schlüssel unter Dashboard → Projekteinstellungen.
- Netzwerk nicht autorisiert / Zugriff durch dein Projekt eingeschränkt – Das Projekt akzeptiert nur bestimmte IP-Adressen; der Schlüssel ist gültig. Siehe Fehlerbehebung.
- OAuth2-Probleme – Stelle sicher, dass du den OAuth-Ablauf abgeschlossen hast und die Tokens aktualisiert wurden.
- Anmeldedaten abgelaufen – Authentifiziere dich erneut, wenn deine Sitzung abgelaufen ist.
Du brauchst weitere Hilfe?
Weitere Informationen zur Fehlerbehebung findest du hier:
- MCP-FAQ – Häufige Fragen und ausführliche Antworten
- Discord-Community – Hilfe aus der Community erhalten
- Support kontaktieren – Wende dich direkt an unser Team