Oxylabs
offiziellWebsites mit der Oxylabs Web API scrapen, die dynamisches Rendering und Parsing für strukturierte Datenextraktion unterstützt.
Was kann man mit Oxylabs MCP machen?
- Beliebige URL scrapen — Bitten Sie Ihren Assistenten, Inhalte von jeder Webseite mit
universal_scraperabzurufen und zu extrahieren, optional mit JavaScript-Rendering und Geo-Targeting. - Google und Amazon durchsuchen — Verwenden Sie
google_search_scraper,amazon_search_scraperoderamazon_product_scraper, um strukturierte Ergebnisse von diesen Plattformen zu erhalten. - KI-gestützte Extraktion — Nutzen Sie
ai_scraper, um beliebige URLs zu scrapen und Daten in den Formaten JSON, CSV, Markdown oder TOON zurückzugeben. - Websites crawlen und kartieren — Verwenden Sie
ai_crawler, um Daten über mehrere Seiten von einer Start-URL zu sammeln, oderai_map, um Site-URLs nach Schlüsselwörtern gefiltert aufzulisten. - Browser-Aufgaben automatisieren — Delegieren Sie Navigation, Klicken und Ausfüllen von Formularen an
ai_browser_agent, der basierend auf einer Eingabeaufforderung einen echten Browser steuert. - Extraktionsschemata generieren — Fordern Sie ein JSON-Schema im OpenAPI-Format über
generate_schemaan, um die Datenextraktion mit KI-Tools zu strukturieren.
Dokumentation
Oxylabs MCP Server
Das fehlende Bindeglied zwischen KI-Modellen und dem realen Web: eine API, die saubere, strukturierte Daten von jeder Website liefert.
📖 Übersicht
Der Oxylabs MCP-Server bietet eine Brücke zwischen KI-Modellen und dem Web. Er ermöglicht es ihnen, beliebige URLs zu scrapen, JavaScript-lastige Seiten zu rendern, Inhalte für die KI-Nutzung zu extrahieren und zu formatieren, CAPTCHA zu verwalten und auf geografisch eingeschränkte Webdaten aus über 195 Ländern zuzugreifen.
Er basiert auf dem Model Context Protocol (MCP), dem offenen Standard für die Verbindung von KI-Assistenten mit externen Tools und Daten.
🛠️ MCP-Tools
Oxylabs MCP bietet zwei Toolsätze, die zusammen oder unabhängig voneinander verwendet werden können:
Oxylabs Web Scraper API-Tools
- universal_scraper: scraped jede URL, mit optionalem JavaScript-Rendering, Geo-Targeting und Markdown/HTML/Links-Ausgabe;
- google_search_scraper: extrahiert Ergebnisse aus der Google-Suche, mit optionalem Parsing in strukturiertes JSON;
- amazon_search_scraper: scraped Amazon-Suchergebnisseiten, mit optionalem Parsing in strukturiertes JSON;
- amazon_product_scraper: extrahiert Daten aus einzelnen Amazon-Produktseiten.
Oxylabs AI Studio-Tools
- ai_scraper: scraped Inhalte von beliebigen URLs mit KI-gestützter Extraktion, im JSON-, CSV-, Markdown- oder TOON-Format;
- ai_crawler: durchsucht eine Website von einer Start-URL basierend auf einem Prompt und sammelt Daten über mehrere Seiten;
- ai_browser_agent: steuert einen echten Browser basierend auf einem Prompt – navigiert, klickt, füllt Formulare aus – und gibt das Ergebnis zurück;
- ai_search: durchsucht das Web und gibt optional den Markdown-Inhalt jedes Ergebnisses zurück;
- ai_map: kartiert die URLs einer Website, gefiltert nach Schlüsselwörtern oder einem Prompt;
- generate_schema: generiert ein JSON-Schema im OpenAPI-Format für die strukturierte Extraktion mit den oben genannten KI-Tools.
✅ Voraussetzungen
Bevor Sie beginnen, stellen Sie sicher, dass Sie mindestens eines der folgenden haben:
- Oxylabs Web Scraper API-Konto: erhalten Sie Ihren Benutzernamen und Ihr Passwort von Oxylabs (kostenlose 1-Wochen-Testversion verfügbar);
- Oxylabs AI Studio API-Schlüssel: erhalten Sie Ihren API-Schlüssel von Oxylabs AI Studio (1000 Credits kostenlos).
Um den Server lokal auszuführen (Option 2 unten), benötigen Sie außerdem den uv-Paketmanager:
# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
📦 Konfiguration
Es gibt zwei Möglichkeiten, den Server zu verwenden: Verbinden Sie sich mit der gehosteten Instanz (keine Installation erforderlich) oder führen Sie ihn lokal mit Anmeldedaten in Umgebungsvariablen aus.
Option 1: Gehosteter Server (keine Installation)
Oxylabs betreibt einen gehosteten MCP-Server unter:
https://mcp.oxylabs.io/mcp
Anmeldedaten werden mit den Anfrage-Headern übergeben:
| Anmeldedaten | Header |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)> |
| Web Scraper API (alternativ) | X-Oxylabs-Username und X-Oxylabs-Password |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key |
Einrichtung mit Claude Code:
claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
--header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
--header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"
Einrichtung mit Cursor oder einem beliebigen Client, der Remote-MCP-Server mit benutzerdefinierten Headern unterstützt:
{
"mcpServers": {
"oxylabs": {
"url": "https://mcp.oxylabs.io/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
Der Server ist auch auf Smithery gelistet.
Hinweis: Clients, die nur OAuth für Remote-Server unterstützen (z. B. das Hinzufügen eines benutzerdefinierten Connectors in der claude.ai-Weboberfläche), können noch keine Header übergeben – OAuth-Anmeldung steht auf unserer Roadmap. Verwenden Sie in der Zwischenzeit die lokale Einrichtung unten mit diesen Clients.
Option 2: Lokal ausführen
Umgebungsvariablen
Der Oxylabs MCP-Server unterstützt die folgenden Umgebungsvariablen:
| Name | Beschreibung | Standard |
|---|---|---|
OXYLABS_USERNAME | Ihr Oxylabs Web Scraper API-Benutzername | |
OXYLABS_PASSWORD | Ihr Oxylabs Web Scraper API-Passwort | |
OXYLABS_AI_STUDIO_API_KEY | Ihr Oxylabs AI Studio API-Schlüssel | |
LOG_LEVEL | Protokollebene für die an den Client zurückgegebenen Protokolle | INFO |
Basierend auf den bereitgestellten Anmeldedaten stellt der Server automatisch die entsprechenden Tools bereit:
- Wenn nur
OXYLABS_USERNAMEundOXYLABS_PASSWORDbereitgestellt werden, stellt der Server die Web Scraper API-Tools bereit; - Wenn nur
OXYLABS_AI_STUDIO_API_KEYbereitgestellt wird, stellt der Server die AI Studio-Tools bereit; - Wenn alle drei bereitgestellt werden, stellt der Server alle Tools bereit.
❗ Wichtig: Setzen Sie nur die Umgebungsvariablen, für die Sie echte Anmeldedaten haben. Das Belassen von Platzhalterwerten führt zu bereitgestellten Tools, die nicht funktionieren.
Mit uvx konfigurieren
Installiert das Paket von PyPI und führt es automatisch aus:
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
Mit einem lokalen Checkout konfigurieren
Nützlich für die Entwicklung – führt den Server aus einem lokalen Klon dieses Repositorys aus:
{
"mcpServers": {
"oxylabs": {
"command": "uv",
"args": [
"--directory",
"/<absolute-path-to-folder>/oxylabs-mcp",
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
Als Remote-HTTP-Server ausführen (Self-Hosting)
Der Server unterstützt auch den MCP-Streamable-HTTP-Transport. Starten Sie ihn mit:
MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp
Mit dem HTTP-Transport werden Anmeldedaten pro Anfrage statt über Umgebungsvariablen übergeben:
| Anmeldedaten | So übergeben Sie sie |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)> (Standard-HTTP-Basic-Auth) |
| Web Scraper API (alternativ) | X-Oxylabs-Username und X-Oxylabs-Password-Header |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key-Header |
Beispiel-Client-Konfiguration:
{
"mcpServers": {
"oxylabs": {
"url": "https://your-host:8000/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
Alle Tools werden unabhängig von den bereitgestellten Anmeldedaten immer aufgelistet; das Aufrufen eines Tools ohne die erforderlichen Anmeldedaten gibt eine Fehlermeldung zurück, die genau erklärt, was zu konfigurieren ist.
Einrichtung mit Claude Desktop
Navigieren Sie zu Claude → Einstellungen → Entwickler → Konfiguration bearbeiten und fügen Sie eine der obigen Konfigurationen zur claude_desktop_config.json-Datei hinzu.
Einrichtung mit Cursor AI
Navigieren Sie zu Cursor → Einstellungen → Cursor-Einstellungen → MCP. Klicken Sie auf Neuen globalen MCP-Server hinzufügen und fügen Sie eine der obigen Konfigurationen hinzu.
📝 Protokollierung
Der Server stellt zusätzliche Informationen über die Tool-Aufrufe in notification/message-Ereignissen bereit:
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
✨ Hauptfunktionen
Inhalte von jeder Website scrapen
- Daten von beliebigen URLs extrahieren, einschließlich komplexer Single-Page-Anwendungen
- Dynamische Websites mit Headless-Browser-Unterstützung vollständig rendern
- Vollständiges JavaScript-Rendering, nur HTML oder keines wählen
- Mobile- und Desktop-Viewports für realistisches Rendering emulieren
Automatisch KI-bereite Daten erhalten
- HTML automatisch bereinigen und in Markdown für bessere Lesbarkeit konvertieren
- Automatisierte Parser für beliebte Ziele wie Google, Amazon und mehr verwenden
CAPTCHA & Geo-Einschränkungen verwalten
- Anspruchsvolle automatisierte Anfrageverwaltungssysteme mit hoher Erfolgsquote navigieren
- Selbst die komplexesten Websites zuverlässig scrapen
- Automatisch rotierende IPs aus einem Proxy-Pool erhalten, der über 195 Länder abdeckt
Flexible Einrichtung & plattformübergreifende Unterstützung
- Rendering- und Parsing-Optionen bei Bedarf festlegen
- Daten direkt in KI-Modelle oder Analysetools einspeisen
- Funktioniert auf macOS, Windows und Linux
Integrierte Fehlerbehandlung und Anfrageverwaltung
- Umfassende Fehlerbehandlung und -meldung
- Intelligentes Rate-Limiting und Anfrageverwaltung
Warum Oxylabs MCP? 🕸️ ➜ 📦 ➜ 🤖
Stellen Sie sich vor, Sie sagen Ihrem LLM „Fasse die neueste Hacker-News-Diskussion über GPT‑5 zusammen“ – und es antwortet einfach. Der Oxylabs MCP-Server macht das möglich, indem er die langweiligen Teile für Sie erledigt:
| Was Oxylabs MCP tut | Warum es für Sie wichtig ist |
|---|---|
| Verwaltet automatisierte Anfragewände mit dem globalen Oxylabs-Proxy-Netzwerk | Ermöglicht Website-Zugriff und Anonymität |
| Rendert JavaScript in Headless-Chrome | Single-Page-Apps, erledigt |
| Bereinigt HTML → Markdown | Direkt in Vektor-DBs oder Prompts einfügen |
| Optionale strukturierte Parser (Google, Amazon usw.) | Einzeiliger Zugriff auf beliebte Ziele |
🛡️ Lizenz
Verteilt unter der MIT-Lizenz – siehe LICENSE für Details.
Über Oxylabs
Oxylabs wurde 2015 gegründet und ist eine marktführende Plattform für Web-Intelligence-Sammlung, angetrieben von den höchsten Geschäfts-, Ethik- und Compliance-Standards, die Unternehmen weltweit ermöglicht, datengetriebene Erkenntnisse zu erschließen.
mcp-name: io.oxylabs/oxylabs-mcp
