Oxylabs

offiziell

Websites mit der Oxylabs Web API scrapen, die dynamisches Rendering und Parsing für strukturierte Datenextraktion unterstützt.

Was kann man mit Oxylabs MCP machen?

  • Beliebige URL scrapen — Bitten Sie Ihren Assistenten, Inhalte von jeder Webseite mit universal_scraper abzurufen und zu extrahieren, optional mit JavaScript-Rendering und Geo-Targeting.
  • Google und Amazon durchsuchen — Verwenden Sie google_search_scraper, amazon_search_scraper oder amazon_product_scraper, um strukturierte Ergebnisse von diesen Plattformen zu erhalten.
  • KI-gestützte Extraktion — Nutzen Sie ai_scraper, um beliebige URLs zu scrapen und Daten in den Formaten JSON, CSV, Markdown oder TOON zurückzugeben.
  • Websites crawlen und kartieren — Verwenden Sie ai_crawler, um Daten über mehrere Seiten von einer Start-URL zu sammeln, oder ai_map, um Site-URLs nach Schlüsselwörtern gefiltert aufzulisten.
  • Browser-Aufgaben automatisieren — Delegieren Sie Navigation, Klicken und Ausfüllen von Formularen an ai_browser_agent, der basierend auf einer Eingabeaufforderung einen echten Browser steuert.
  • Extraktionsschemata generieren — Fordern Sie ein JSON-Schema im OpenAPI-Format über generate_schema an, um die Datenextraktion mit KI-Tools zu strukturieren.

Dokumentation

Oxylabs + MCP

Oxylabs MCP Server

Das fehlende Bindeglied zwischen KI-Modellen und dem realen Web: eine API, die saubere, strukturierte Daten von jeder Website liefert.


📖 Übersicht

Der Oxylabs MCP-Server bietet eine Brücke zwischen KI-Modellen und dem Web. Er ermöglicht es ihnen, beliebige URLs zu scrapen, JavaScript-lastige Seiten zu rendern, Inhalte für die KI-Nutzung zu extrahieren und zu formatieren, CAPTCHA zu verwalten und auf geografisch eingeschränkte Webdaten aus über 195 Ländern zuzugreifen.

Er basiert auf dem Model Context Protocol (MCP), dem offenen Standard für die Verbindung von KI-Assistenten mit externen Tools und Daten.

🛠️ MCP-Tools

Oxylabs MCP bietet zwei Toolsätze, die zusammen oder unabhängig voneinander verwendet werden können:

Oxylabs Web Scraper API-Tools

  1. universal_scraper: scraped jede URL, mit optionalem JavaScript-Rendering, Geo-Targeting und Markdown/HTML/Links-Ausgabe;
  2. google_search_scraper: extrahiert Ergebnisse aus der Google-Suche, mit optionalem Parsing in strukturiertes JSON;
  3. amazon_search_scraper: scraped Amazon-Suchergebnisseiten, mit optionalem Parsing in strukturiertes JSON;
  4. amazon_product_scraper: extrahiert Daten aus einzelnen Amazon-Produktseiten.

Oxylabs AI Studio-Tools

  1. ai_scraper: scraped Inhalte von beliebigen URLs mit KI-gestützter Extraktion, im JSON-, CSV-, Markdown- oder TOON-Format;
  2. ai_crawler: durchsucht eine Website von einer Start-URL basierend auf einem Prompt und sammelt Daten über mehrere Seiten;
  3. ai_browser_agent: steuert einen echten Browser basierend auf einem Prompt – navigiert, klickt, füllt Formulare aus – und gibt das Ergebnis zurück;
  4. ai_search: durchsucht das Web und gibt optional den Markdown-Inhalt jedes Ergebnisses zurück;
  5. ai_map: kartiert die URLs einer Website, gefiltert nach Schlüsselwörtern oder einem Prompt;
  6. generate_schema: generiert ein JSON-Schema im OpenAPI-Format für die strukturierte Extraktion mit den oben genannten KI-Tools.

✅ Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie mindestens eines der folgenden haben:

  • Oxylabs Web Scraper API-Konto: erhalten Sie Ihren Benutzernamen und Ihr Passwort von Oxylabs (kostenlose 1-Wochen-Testversion verfügbar);
  • Oxylabs AI Studio API-Schlüssel: erhalten Sie Ihren API-Schlüssel von Oxylabs AI Studio (1000 Credits kostenlos).

Um den Server lokal auszuführen (Option 2 unten), benötigen Sie außerdem den uv-Paketmanager:

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 Konfiguration

Es gibt zwei Möglichkeiten, den Server zu verwenden: Verbinden Sie sich mit der gehosteten Instanz (keine Installation erforderlich) oder führen Sie ihn lokal mit Anmeldedaten in Umgebungsvariablen aus.

Option 1: Gehosteter Server (keine Installation)

Oxylabs betreibt einen gehosteten MCP-Server unter:

https://mcp.oxylabs.io/mcp

Anmeldedaten werden mit den Anfrage-Headern übergeben:

AnmeldedatenHeader
Web Scraper APIAuthorization: Basic <base64(username:password)>
Web Scraper API (alternativ)X-Oxylabs-Username und X-Oxylabs-Password
AI StudioX-Oxylabs-AI-Studio-Api-Key

Einrichtung mit Claude Code:

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

Einrichtung mit Cursor oder einem beliebigen Client, der Remote-MCP-Server mit benutzerdefinierten Headern unterstützt:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Der Server ist auch auf Smithery gelistet.

Hinweis: Clients, die nur OAuth für Remote-Server unterstützen (z. B. das Hinzufügen eines benutzerdefinierten Connectors in der claude.ai-Weboberfläche), können noch keine Header übergeben – OAuth-Anmeldung steht auf unserer Roadmap. Verwenden Sie in der Zwischenzeit die lokale Einrichtung unten mit diesen Clients.

Option 2: Lokal ausführen

Umgebungsvariablen

Der Oxylabs MCP-Server unterstützt die folgenden Umgebungsvariablen:

NameBeschreibungStandard
OXYLABS_USERNAMEIhr Oxylabs Web Scraper API-Benutzername
OXYLABS_PASSWORDIhr Oxylabs Web Scraper API-Passwort
OXYLABS_AI_STUDIO_API_KEYIhr Oxylabs AI Studio API-Schlüssel
LOG_LEVELProtokollebene für die an den Client zurückgegebenen ProtokolleINFO

Basierend auf den bereitgestellten Anmeldedaten stellt der Server automatisch die entsprechenden Tools bereit:

  • Wenn nur OXYLABS_USERNAME und OXYLABS_PASSWORD bereitgestellt werden, stellt der Server die Web Scraper API-Tools bereit;
  • Wenn nur OXYLABS_AI_STUDIO_API_KEY bereitgestellt wird, stellt der Server die AI Studio-Tools bereit;
  • Wenn alle drei bereitgestellt werden, stellt der Server alle Tools bereit.

❗ Wichtig: Setzen Sie nur die Umgebungsvariablen, für die Sie echte Anmeldedaten haben. Das Belassen von Platzhalterwerten führt zu bereitgestellten Tools, die nicht funktionieren.

Mit uvx konfigurieren

Installiert das Paket von PyPI und führt es automatisch aus:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Mit einem lokalen Checkout konfigurieren

Nützlich für die Entwicklung – führt den Server aus einem lokalen Klon dieses Repositorys aus:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Als Remote-HTTP-Server ausführen (Self-Hosting)

Der Server unterstützt auch den MCP-Streamable-HTTP-Transport. Starten Sie ihn mit:

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

Mit dem HTTP-Transport werden Anmeldedaten pro Anfrage statt über Umgebungsvariablen übergeben:

AnmeldedatenSo übergeben Sie sie
Web Scraper APIAuthorization: Basic <base64(username:password)> (Standard-HTTP-Basic-Auth)
Web Scraper API (alternativ)X-Oxylabs-Username und X-Oxylabs-Password-Header
AI StudioX-Oxylabs-AI-Studio-Api-Key-Header

Beispiel-Client-Konfiguration:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Alle Tools werden unabhängig von den bereitgestellten Anmeldedaten immer aufgelistet; das Aufrufen eines Tools ohne die erforderlichen Anmeldedaten gibt eine Fehlermeldung zurück, die genau erklärt, was zu konfigurieren ist.

Einrichtung mit Claude Desktop

Navigieren Sie zu Claude → Einstellungen → Entwickler → Konfiguration bearbeiten und fügen Sie eine der obigen Konfigurationen zur claude_desktop_config.json-Datei hinzu.

Einrichtung mit Cursor AI

Navigieren Sie zu Cursor → Einstellungen → Cursor-Einstellungen → MCP. Klicken Sie auf Neuen globalen MCP-Server hinzufügen und fügen Sie eine der obigen Konfigurationen hinzu.

📝 Protokollierung

Der Server stellt zusätzliche Informationen über die Tool-Aufrufe in notification/message-Ereignissen bereit:

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ Hauptfunktionen

Inhalte von jeder Website scrapen
  • Daten von beliebigen URLs extrahieren, einschließlich komplexer Single-Page-Anwendungen
  • Dynamische Websites mit Headless-Browser-Unterstützung vollständig rendern
  • Vollständiges JavaScript-Rendering, nur HTML oder keines wählen
  • Mobile- und Desktop-Viewports für realistisches Rendering emulieren
Automatisch KI-bereite Daten erhalten
  • HTML automatisch bereinigen und in Markdown für bessere Lesbarkeit konvertieren
  • Automatisierte Parser für beliebte Ziele wie Google, Amazon und mehr verwenden
CAPTCHA & Geo-Einschränkungen verwalten
  • Anspruchsvolle automatisierte Anfrageverwaltungssysteme mit hoher Erfolgsquote navigieren
  • Selbst die komplexesten Websites zuverlässig scrapen
  • Automatisch rotierende IPs aus einem Proxy-Pool erhalten, der über 195 Länder abdeckt
Flexible Einrichtung & plattformübergreifende Unterstützung
  • Rendering- und Parsing-Optionen bei Bedarf festlegen
  • Daten direkt in KI-Modelle oder Analysetools einspeisen
  • Funktioniert auf macOS, Windows und Linux
Integrierte Fehlerbehandlung und Anfrageverwaltung
  • Umfassende Fehlerbehandlung und -meldung
  • Intelligentes Rate-Limiting und Anfrageverwaltung

Warum Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

Stellen Sie sich vor, Sie sagen Ihrem LLM „Fasse die neueste Hacker-News-Diskussion über GPT‑5 zusammen“ – und es antwortet einfach. Der Oxylabs MCP-Server macht das möglich, indem er die langweiligen Teile für Sie erledigt:

Was Oxylabs MCP tutWarum es für Sie wichtig ist
Verwaltet automatisierte Anfragewände mit dem globalen Oxylabs-Proxy-NetzwerkErmöglicht Website-Zugriff und Anonymität
Rendert JavaScript in Headless-ChromeSingle-Page-Apps, erledigt
Bereinigt HTML → MarkdownDirekt in Vektor-DBs oder Prompts einfügen
Optionale strukturierte Parser (Google, Amazon usw.)Einzeiliger Zugriff auf beliebte Ziele

🛡️ Lizenz

Verteilt unter der MIT-Lizenz – siehe LICENSE für Details.


Über Oxylabs

Oxylabs wurde 2015 gegründet und ist eine marktführende Plattform für Web-Intelligence-Sammlung, angetrieben von den höchsten Geschäfts-, Ethik- und Compliance-Standards, die Unternehmen weltweit ermöglicht, datengetriebene Erkenntnisse zu erschließen.

image

Gemacht mit ☕ von Oxylabs. Geben Sie uns gerne einen ⭐, wenn MCP Ihnen ein Wochenende erspart hat.

mcp-name: io.oxylabs/oxylabs-mcp

Lösungen, die auf diesem MCP basieren:

Michelin Detour