Oxylabs
offiziellWebsites mit der Oxylabs Web API scrapen, die dynamisches Rendering und Parsing für strukturierte Datenextraktion unterstützt.
Was kann man mit Oxylabs MCP machen?
- Beliebige URL scrapen — Eine Seite abrufen, optional mit JavaScript-Rendering, Geotargeting und Ausgabe als Markdown, HTML oder Links.
- Google und Amazon durchsuchen — Ergebnisse der Google-Suche, der Amazon-Suche und von Amazon-Produktseiten abrufen, optional als strukturiertes JSON geparst.
- KI-gestützte Extraktion — Eine URL mit KI-gestützter Extraktion scrapen und die Daten als JSON, CSV, Markdown oder TOON zurückgeben.
- Eine Website crawlen — Ausgehend von einer Start-URL anhand einer Eingabeaufforderung crawlen und Daten über mehrere Seiten hinweg sammeln.
- Einen Browser steuern — Einen echten Browser anhand einer Eingabeaufforderung navigieren, klicken und Formulare ausfüllen lassen und anschließend das Ergebnis zurückgeben.
- Eine Website kartieren und durchsuchen — URLs einer Website nach Stichwort oder Eingabeaufforderung filtern oder das Web durchsuchen und Markdown zu jedem Ergebnis abrufen.
Dokumentation
Oxylabs MCP Server
Die fehlende Verbindung zwischen KI-Modellen und dem Web der realen Welt: eine API, die saubere, strukturierte Daten von jeder Website liefert.
Haftungsausschluss
Dieses Repository wird weiterhin vollständig unterstützt. Wenn Sie jedoch die Oxylabs Web API verwenden, besuchen Sie bitte das Web API MCP-Repository: Web API MCP
📖 Übersicht
Der Oxylabs MCP-Server stellt eine Verbindung zwischen KI-Modellen und dem Web her. Er ermöglicht es ihnen, beliebige URLs zu scrapen, JavaScript-intensive Seiten zu rendern, Inhalte für die Verwendung mit KI zu extrahieren und zu formatieren, CAPTCHAs zu verwalten und auf geografisch eingeschränkte Webdaten aus mehr als 195 Ländern zuzugreifen.
Er basiert auf dem Model Context Protocol (MCP), dem offenen Standard für die Verbindung von KI-Assistenten mit externen Tools und Daten.
mcp-name: io.oxylabs/oxylabs-mcp
🛠️ MCP-Tools
Oxylabs MCP bietet zwei Tool-Sets, die gemeinsam oder unabhängig voneinander verwendet werden können:
Oxylabs Web Scraper API-Tools
- universal_scraper: scrapet beliebige URLs, optional mit JavaScript-Rendering, Geotargeting und Ausgabe als Markdown/HTML/Links;
- google_search_scraper: extrahiert Ergebnisse aus der Google-Suche, optional mit Parsing in strukturiertes JSON;
- amazon_search_scraper: scrapet Amazon-Suchergebnisseiten, optional mit Parsing in strukturiertes JSON;
- amazon_product_scraper: extrahiert Daten von einzelnen Amazon-Produktseiten.
Oxylabs AI Studio-Tools
- ai_scraper: scrapet Inhalte von beliebigen URLs mit KI-gestützter Extraktion im JSON-, CSV-, Markdown- oder TOON-Format;
- ai_crawler: durchsucht eine Website ausgehend von einer Start-URL anhand einer Eingabeaufforderung und sammelt Daten über mehrere Seiten hinweg;
- ai_browser_agent: steuert einen echten Browser anhand einer Eingabeaufforderung – navigiert, klickt, füllt Formulare aus – und gibt das Ergebnis zurück;
- ai_search: durchsucht das Web und gibt optional Markdown-Inhalte zu jedem Ergebnis zurück;
- ai_map: erfasst die URLs einer Website, gefiltert nach Schlüsselwörtern oder einer Eingabeaufforderung;
- generate_schema: generiert ein JSON-Schema im OpenAPI-Format für die strukturierte Extraktion mit den oben genannten KI-Tools.
✅ Voraussetzungen
Bevor Sie beginnen, stellen Sie sicher, dass Sie mindestens eines der folgenden Konten haben:
- Oxylabs Web Scraper API-Konto: Rufen Sie ein API-Token (oder Ihren Benutzernamen und Ihr Passwort) über das Oxylabs-Dashboard ab (eine kostenlose 1-wöchige Testversion ist verfügbar);
- Oxylabs AI Studio API-Schlüssel: Rufen Sie Ihren API-Schlüssel über Oxylabs AI Studio ab (1000 kostenlose Credits).
Um den Server lokal auszuführen (Option 2 weiter unten), benötigen Sie außerdem den Paketmanager uv:
# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
📦 Konfiguration
Es gibt zwei Möglichkeiten, den Server zu verwenden: Verbinden Sie sich mit der gehosteten Instanz (keine Installation) oder führen Sie ihn lokal mit Anmeldedaten in Umgebungsvariablen aus.
Option 1: Gehosteter Server (keine Installation)
Oxylabs betreibt einen gehosteten MCP-Server unter:
https://mcp.oxylabs.io/mcp
Anmeldedaten werden über Request-Header übergeben:
| Anmeldedaten | Header |
|---|---|
| Web Scraper API-Token (empfohlen) | Authorization: Bearer <token> |
| Web Scraper API-Token (Alternative) | X-Oxylabs-Api-Token |
| Web Scraper API-Benutzername und Passwort | Authorization: Basic <base64(username:password)> |
| Web Scraper API-Benutzername und Passwort (Alt.) | X-Oxylabs-Username und X-Oxylabs-Password |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key |
Wenn sowohl ein API-Token als auch ein Benutzername und Passwort übergeben werden, wird das Token verwendet.
Einrichtung mit Claude Code:
claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
--header "Authorization: Bearer YOUR_API_TOKEN" \
--header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"
Einrichtung mit Cursor oder einem beliebigen Client, der Remote-MCP-Server mit benutzerdefinierten Headern unterstützt:
{
"mcpServers": {
"oxylabs": {
"url": "https://mcp.oxylabs.io/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_TOKEN",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
Der Server ist auch auf Smithery gelistet.
Hinweis: Clients, die für Remote-Server ausschließlich OAuth unterstützen (zum Beispiel beim Hinzufügen eines benutzerdefinierten Connectors in der claude.ai-Weboberfläche), können derzeit keine Header übergeben — die OAuth-Anmeldung steht auf unserer Roadmap. Verwenden Sie bis dahin bei diesen Clients die lokale Einrichtung weiter unten.
Option 2: Lokal ausführen
Umgebungsvariablen
Der Oxylabs MCP-Server unterstützt die folgenden Umgebungsvariablen:
| Name | Beschreibung | Standard |
|---|---|---|
OXYLABS_API_TOKEN | Ihr Oxylabs Web Scraper API-Token | |
OXYLABS_USERNAME | Ihr Oxylabs Web Scraper API-Benutzername | |
OXYLABS_PASSWORD | Ihr Oxylabs Web Scraper API-Passwort | |
OXYLABS_AI_STUDIO_API_KEY | Ihr Oxylabs AI Studio API-Schlüssel | |
LOG_LEVEL | Protokollierungsstufe für die an den Client zurückgegebenen Logs | INFO |
Für die Web Scraper API-Tools legen Sie entweder OXYLABS_API_TOKEN oder sowohl OXYLABS_USERNAME als auch
OXYLABS_PASSWORD fest. Wenn beide gesetzt sind, wird das Token verwendet. Für die AI Studio-Tools legen Sie
OXYLABS_AI_STUDIO_API_KEY fest.
Alle Tools werden immer aufgelistet. Wird ein Tool ohne die erforderlichen Anmeldedaten aufgerufen, wird eine Fehlermeldung mit Hinweisen zur Konfiguration zurückgegeben.
❗ Wichtig: Legen Sie nur Umgebungsvariablen fest, für die Sie gültige Anmeldedaten haben. Platzhalterwerte führen dazu, dass Tool-Aufrufe fehlschlagen.
Mit uvx konfigurieren
Installiert das Paket von PyPI und führt es automatisch aus:
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
Mit einem lokalen Checkout konfigurieren
Nützlich für die Entwicklung — führt den Server aus einem lokalen Klon dieses Repositorys aus:
{
"mcpServers": {
"oxylabs": {
"command": "uv",
"args": [
"--directory",
"/<absolute-path-to-folder>/oxylabs-mcp",
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
Als Remote-HTTP-Server ausführen (Self-Hosting)
Der Server unterstützt auch den MCP-Streamable-HTTP-Transport. Starten Sie ihn mit:
MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp
Beim HTTP-Transport werden Anmeldedaten pro Request statt über Umgebungsvariablen übergeben:
| Anmeldedaten | Übergabe |
|---|---|
| Web Scraper API-Token (empfohlen) | Authorization: Bearer <token> |
| Web Scraper API-Token (Alternative) | Header X-Oxylabs-Api-Token |
| Web Scraper API-Benutzername und Passwort | Authorization: Basic <base64(username:password)> (HTTP-Basic-Authentifizierung) |
| Web Scraper API-Benutzername und Passwort (Alt.) | Header X-Oxylabs-Username und X-Oxylabs-Password |
| AI Studio | Header X-Oxylabs-AI-Studio-Api-Key |
Beispielkonfiguration für einen Client:
{
"mcpServers": {
"oxylabs": {
"url": "https://your-host:8000/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_TOKEN",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
Alle Tools werden unabhängig von den bereitgestellten Anmeldedaten immer aufgelistet. Wird ein Tool ohne die erforderlichen Anmeldedaten aufgerufen, wird eine Fehlermeldung mit genauen Konfigurationshinweisen zurückgegeben.
Einrichtung mit Claude Desktop
Navigieren Sie zu Claude → Settings → Developer → Edit Config und fügen Sie eine der obigen Konfigurationen zur Datei claude_desktop_config.json hinzu.
Einrichtung mit Cursor AI
Navigieren Sie zu Cursor → Settings → Cursor Settings → MCP. Klicken Sie auf Add new global MCP server und fügen Sie eine der obigen Konfigurationen hinzu.
📝 Protokollierung
Der Server stellt in den notification/message-Ereignissen zusätzliche Informationen zu den Tool-Aufrufen bereit:
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
✨ Hauptfunktionen
Inhalte von beliebigen Websites scrapen
- Daten von beliebigen URLs extrahieren, einschließlich komplexer Single-Page-Anwendungen
- Dynamische Websites mit Headless-Browser-Unterstützung vollständig rendern
- Vollständiges JavaScript-Rendering, nur HTML oder gar kein Rendering auswählen
- Mobile- und Desktop-Ansichten für realistisches Rendering emulieren
Automatisch KI-fertige Daten erhalten
- HTML automatisch bereinigen und zur besseren Lesbarkeit in Markdown umwandeln
- Automatisierte Parser für beliebte Ziele wie Google, Amazon und mehr verwenden
CAPTCHAs und geografische Einschränkungen verwalten
- Komplexe Systeme zur Verwaltung automatisierter Anfragen mit hoher Erfolgsquote umgehen
- Selbst die komplexesten Websites zuverlässig scrapen
- Automatisch wechselnde IPs aus einem Proxy-Pool mit Abdeckung von mehr als 195 Ländern erhalten
Flexible Einrichtung und plattformübergreifende Unterstützung
- Bei Bedarf Rendering- und Parsing-Optionen festlegen
- Daten direkt in KI-Modelle oder Analysetools einspeisen
- Funktioniert unter macOS, Windows und Linux
Integrierte Fehlerbehandlung und Anfragenverwaltung
- Umfassende Fehlerbehandlung und Berichterstattung
- Intelligente Ratenbegrenzung und Anfragenverwaltung
Warum Oxylabs MCP? 🕸️ ➜ 📦 ➜ 🤖
Stellen Sie sich vor, Sie sagen Ihrem LLM: „Fasse die neueste Diskussion auf Hacker News über GPT‑5 zusammen“ – und es antwortet einfach. Der Oxylabs MCP-Server macht das möglich, indem er Ihnen die mühsamen Aufgaben abnimmt:
| Was Oxylabs MCP tut | Warum das für Sie wichtig ist |
|---|---|
| Verwaltet automatisierte Zugriffssperren mit dem globalen Proxy-Netzwerk von Oxylabs | Ermöglicht den Zugriff auf Websites und Anonymität |
| Rendert JavaScript in Headless Chrome | Single-Page-Apps? Erledigt. |
| Bereinigt HTML → Markdown | Direkt in Vektordatenbanken oder Prompts einfügen |
| Optionale strukturierte Parser (Google, Amazon usw.) | Direkter Zugriff auf beliebte Ziele |
🛡️ Lizenz
Veröffentlicht unter der MIT-Lizenz – Einzelheiten finden Sie unter LICENSE.
Über Oxylabs
Oxylabs wurde 2015 gegründet und ist eine marktführende Plattform zur Erfassung von Web-Intelligence-Daten. Sie arbeitet nach höchsten Geschäfts-, Ethik- und Compliance-Standards und ermöglicht Unternehmen weltweit, datengestützte Erkenntnisse zu gewinnen.
