Oxylabs

offiziell

Websites mit der Oxylabs Web API scrapen, die dynamisches Rendering und Parsing für strukturierte Datenextraktion unterstützt.

Was kann man mit Oxylabs MCP machen?

  • Beliebige URL scrapen — Eine Seite abrufen, optional mit JavaScript-Rendering, Geotargeting und Ausgabe als Markdown, HTML oder Links.
  • Google und Amazon durchsuchen — Ergebnisse der Google-Suche, der Amazon-Suche und von Amazon-Produktseiten abrufen, optional als strukturiertes JSON geparst.
  • KI-gestützte Extraktion — Eine URL mit KI-gestützter Extraktion scrapen und die Daten als JSON, CSV, Markdown oder TOON zurückgeben.
  • Eine Website crawlen — Ausgehend von einer Start-URL anhand einer Eingabeaufforderung crawlen und Daten über mehrere Seiten hinweg sammeln.
  • Einen Browser steuern — Einen echten Browser anhand einer Eingabeaufforderung navigieren, klicken und Formulare ausfüllen lassen und anschließend das Ergebnis zurückgeben.
  • Eine Website kartieren und durchsuchen — URLs einer Website nach Stichwort oder Eingabeaufforderung filtern oder das Web durchsuchen und Markdown zu jedem Ergebnis abrufen.

Dokumentation

Oxylabs + MCP

Oxylabs MCP Server

Die fehlende Verbindung zwischen KI-Modellen und dem Web der realen Welt: eine API, die saubere, strukturierte Daten von jeder Website liefert.


Haftungsausschluss

Dieses Repository wird weiterhin vollständig unterstützt. Wenn Sie jedoch die Oxylabs Web API verwenden, besuchen Sie bitte das Web API MCP-Repository: Web API MCP

📖 Übersicht

Der Oxylabs MCP-Server stellt eine Verbindung zwischen KI-Modellen und dem Web her. Er ermöglicht es ihnen, beliebige URLs zu scrapen, JavaScript-intensive Seiten zu rendern, Inhalte für die Verwendung mit KI zu extrahieren und zu formatieren, CAPTCHAs zu verwalten und auf geografisch eingeschränkte Webdaten aus mehr als 195 Ländern zuzugreifen.

Er basiert auf dem Model Context Protocol (MCP), dem offenen Standard für die Verbindung von KI-Assistenten mit externen Tools und Daten.

mcp-name: io.oxylabs/oxylabs-mcp

🛠️ MCP-Tools

Oxylabs MCP bietet zwei Tool-Sets, die gemeinsam oder unabhängig voneinander verwendet werden können:

Oxylabs Web Scraper API-Tools

  1. universal_scraper: scrapet beliebige URLs, optional mit JavaScript-Rendering, Geotargeting und Ausgabe als Markdown/HTML/Links;
  2. google_search_scraper: extrahiert Ergebnisse aus der Google-Suche, optional mit Parsing in strukturiertes JSON;
  3. amazon_search_scraper: scrapet Amazon-Suchergebnisseiten, optional mit Parsing in strukturiertes JSON;
  4. amazon_product_scraper: extrahiert Daten von einzelnen Amazon-Produktseiten.

Oxylabs AI Studio-Tools

  1. ai_scraper: scrapet Inhalte von beliebigen URLs mit KI-gestützter Extraktion im JSON-, CSV-, Markdown- oder TOON-Format;
  2. ai_crawler: durchsucht eine Website ausgehend von einer Start-URL anhand einer Eingabeaufforderung und sammelt Daten über mehrere Seiten hinweg;
  3. ai_browser_agent: steuert einen echten Browser anhand einer Eingabeaufforderung – navigiert, klickt, füllt Formulare aus – und gibt das Ergebnis zurück;
  4. ai_search: durchsucht das Web und gibt optional Markdown-Inhalte zu jedem Ergebnis zurück;
  5. ai_map: erfasst die URLs einer Website, gefiltert nach Schlüsselwörtern oder einer Eingabeaufforderung;
  6. generate_schema: generiert ein JSON-Schema im OpenAPI-Format für die strukturierte Extraktion mit den oben genannten KI-Tools.

✅ Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie mindestens eines der folgenden Konten haben:

  • Oxylabs Web Scraper API-Konto: Rufen Sie ein API-Token (oder Ihren Benutzernamen und Ihr Passwort) über das Oxylabs-Dashboard ab (eine kostenlose 1-wöchige Testversion ist verfügbar);
  • Oxylabs AI Studio API-Schlüssel: Rufen Sie Ihren API-Schlüssel über Oxylabs AI Studio ab (1000 kostenlose Credits).

Um den Server lokal auszuführen (Option 2 weiter unten), benötigen Sie außerdem den Paketmanager uv:

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 Konfiguration

Es gibt zwei Möglichkeiten, den Server zu verwenden: Verbinden Sie sich mit der gehosteten Instanz (keine Installation) oder führen Sie ihn lokal mit Anmeldedaten in Umgebungsvariablen aus.

Option 1: Gehosteter Server (keine Installation)

Oxylabs betreibt einen gehosteten MCP-Server unter:

https://mcp.oxylabs.io/mcp

Anmeldedaten werden über Request-Header übergeben:

AnmeldedatenHeader
Web Scraper API-Token (empfohlen)Authorization: Bearer <token>
Web Scraper API-Token (Alternative)X-Oxylabs-Api-Token
Web Scraper API-Benutzername und PasswortAuthorization: Basic <base64(username:password)>
Web Scraper API-Benutzername und Passwort (Alt.)X-Oxylabs-Username und X-Oxylabs-Password
AI StudioX-Oxylabs-AI-Studio-Api-Key

Wenn sowohl ein API-Token als auch ein Benutzername und Passwort übergeben werden, wird das Token verwendet.

Einrichtung mit Claude Code:

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Bearer YOUR_API_TOKEN" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

Einrichtung mit Cursor oder einem beliebigen Client, der Remote-MCP-Server mit benutzerdefinierten Headern unterstützt:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_TOKEN",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Der Server ist auch auf Smithery gelistet.

Hinweis: Clients, die für Remote-Server ausschließlich OAuth unterstützen (zum Beispiel beim Hinzufügen eines benutzerdefinierten Connectors in der claude.ai-Weboberfläche), können derzeit keine Header übergeben — die OAuth-Anmeldung steht auf unserer Roadmap. Verwenden Sie bis dahin bei diesen Clients die lokale Einrichtung weiter unten.

Option 2: Lokal ausführen

Umgebungsvariablen

Der Oxylabs MCP-Server unterstützt die folgenden Umgebungsvariablen:

NameBeschreibungStandard
OXYLABS_API_TOKENIhr Oxylabs Web Scraper API-Token
OXYLABS_USERNAMEIhr Oxylabs Web Scraper API-Benutzername
OXYLABS_PASSWORDIhr Oxylabs Web Scraper API-Passwort
OXYLABS_AI_STUDIO_API_KEYIhr Oxylabs AI Studio API-Schlüssel
LOG_LEVELProtokollierungsstufe für die an den Client zurückgegebenen LogsINFO

Für die Web Scraper API-Tools legen Sie entweder OXYLABS_API_TOKEN oder sowohl OXYLABS_USERNAME als auch OXYLABS_PASSWORD fest. Wenn beide gesetzt sind, wird das Token verwendet. Für die AI Studio-Tools legen Sie OXYLABS_AI_STUDIO_API_KEY fest.

Alle Tools werden immer aufgelistet. Wird ein Tool ohne die erforderlichen Anmeldedaten aufgerufen, wird eine Fehlermeldung mit Hinweisen zur Konfiguration zurückgegeben.

❗ Wichtig: Legen Sie nur Umgebungsvariablen fest, für die Sie gültige Anmeldedaten haben. Platzhalterwerte führen dazu, dass Tool-Aufrufe fehlschlagen.

Mit uvx konfigurieren

Installiert das Paket von PyPI und führt es automatisch aus:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Mit einem lokalen Checkout konfigurieren

Nützlich für die Entwicklung — führt den Server aus einem lokalen Klon dieses Repositorys aus:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Als Remote-HTTP-Server ausführen (Self-Hosting)

Der Server unterstützt auch den MCP-Streamable-HTTP-Transport. Starten Sie ihn mit:

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

Beim HTTP-Transport werden Anmeldedaten pro Request statt über Umgebungsvariablen übergeben:

AnmeldedatenÜbergabe
Web Scraper API-Token (empfohlen)Authorization: Bearer <token>
Web Scraper API-Token (Alternative)Header X-Oxylabs-Api-Token
Web Scraper API-Benutzername und PasswortAuthorization: Basic <base64(username:password)> (HTTP-Basic-Authentifizierung)
Web Scraper API-Benutzername und Passwort (Alt.)Header X-Oxylabs-Username und X-Oxylabs-Password
AI StudioHeader X-Oxylabs-AI-Studio-Api-Key

Beispielkonfiguration für einen Client:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_TOKEN",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Alle Tools werden unabhängig von den bereitgestellten Anmeldedaten immer aufgelistet. Wird ein Tool ohne die erforderlichen Anmeldedaten aufgerufen, wird eine Fehlermeldung mit genauen Konfigurationshinweisen zurückgegeben.

Einrichtung mit Claude Desktop

Navigieren Sie zu Claude → Settings → Developer → Edit Config und fügen Sie eine der obigen Konfigurationen zur Datei claude_desktop_config.json hinzu.

Einrichtung mit Cursor AI

Navigieren Sie zu Cursor → Settings → Cursor Settings → MCP. Klicken Sie auf Add new global MCP server und fügen Sie eine der obigen Konfigurationen hinzu.

📝 Protokollierung

Der Server stellt in den notification/message-Ereignissen zusätzliche Informationen zu den Tool-Aufrufen bereit:

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ Hauptfunktionen

Inhalte von beliebigen Websites scrapen
  • Daten von beliebigen URLs extrahieren, einschließlich komplexer Single-Page-Anwendungen
  • Dynamische Websites mit Headless-Browser-Unterstützung vollständig rendern
  • Vollständiges JavaScript-Rendering, nur HTML oder gar kein Rendering auswählen
  • Mobile- und Desktop-Ansichten für realistisches Rendering emulieren
Automatisch KI-fertige Daten erhalten
  • HTML automatisch bereinigen und zur besseren Lesbarkeit in Markdown umwandeln
  • Automatisierte Parser für beliebte Ziele wie Google, Amazon und mehr verwenden
CAPTCHAs und geografische Einschränkungen verwalten
  • Komplexe Systeme zur Verwaltung automatisierter Anfragen mit hoher Erfolgsquote umgehen
  • Selbst die komplexesten Websites zuverlässig scrapen
  • Automatisch wechselnde IPs aus einem Proxy-Pool mit Abdeckung von mehr als 195 Ländern erhalten
Flexible Einrichtung und plattformübergreifende Unterstützung
  • Bei Bedarf Rendering- und Parsing-Optionen festlegen
  • Daten direkt in KI-Modelle oder Analysetools einspeisen
  • Funktioniert unter macOS, Windows und Linux
Integrierte Fehlerbehandlung und Anfragenverwaltung
  • Umfassende Fehlerbehandlung und Berichterstattung
  • Intelligente Ratenbegrenzung und Anfragenverwaltung

Warum Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

Stellen Sie sich vor, Sie sagen Ihrem LLM: „Fasse die neueste Diskussion auf Hacker News über GPT‑5 zusammen“ – und es antwortet einfach. Der Oxylabs MCP-Server macht das möglich, indem er Ihnen die mühsamen Aufgaben abnimmt:

Was Oxylabs MCP tutWarum das für Sie wichtig ist
Verwaltet automatisierte Zugriffssperren mit dem globalen Proxy-Netzwerk von OxylabsErmöglicht den Zugriff auf Websites und Anonymität
Rendert JavaScript in Headless ChromeSingle-Page-Apps? Erledigt.
Bereinigt HTML → MarkdownDirekt in Vektordatenbanken oder Prompts einfügen
Optionale strukturierte Parser (Google, Amazon usw.)Direkter Zugriff auf beliebte Ziele

🛡️ Lizenz

Veröffentlicht unter der MIT-Lizenz – Einzelheiten finden Sie unter LICENSE.


Über Oxylabs

Oxylabs wurde 2015 gegründet und ist eine marktführende Plattform zur Erfassung von Web-Intelligence-Daten. Sie arbeitet nach höchsten Geschäfts-, Ethik- und Compliance-Standards und ermöglicht Unternehmen weltweit, datengestützte Erkenntnisse zu gewinnen.

image

Mit ☕ erstellt von Oxylabs. Geben Sie uns gerne ein ⭐ und folgen Sie uns, wenn unser MCP Ihnen ein Wochenende gerettet hat.

Lösungen auf Basis dieses MCP:

Michelin Detour