Oxylabs

officiel

Scrapez des sites web avec l'API Web Oxylabs, prenant en charge le rendu dynamique et l'analyse pour l'extraction de données structurées.

Que pouvez-vous faire avec Oxylabs MCP ?

Demandez à votre assistant IA de scraper, rechercher et extraire des données web structurées à l'aide des outils de scraping et d'IA d'Oxylabs.

  • Scraper n'importe quelle URL — Utilisez universal_scraper pour récupérer une page avec rendu JavaScript et géociblage en option, renvoyant du Markdown, du HTML ou des liens.
  • Extraire les résultats Google — Demandez à google_search_scraper de récupérer les résultats de recherche et de les analyser en JSON structuré.
  • Extraction basée sur l'IA — Utilisez ai_scraper pour extraire le contenu de n'importe quelle URL au format JSON, CSV, Markdown ou TOON.
  • Explorer un site web — Demandez à ai_crawler d'explorer à partir d'une URL de départ en fonction d'une invite et de collecter des données sur plusieurs pages.
  • Contrôler un navigateur — Utilisez ai_browser_agent pour naviguer, cliquer et remplir des formulaires dans un vrai navigateur en fonction d'une invite.

Documentation

Oxylabs + MCP

Oxylabs MCP Server

Le chaînon manquant entre les modèles d'IA et le web réel : une seule API qui fournit des données propres et structurées depuis n'importe quel site.


📖 Aperçu

Le serveur MCP Oxylabs fournit une passerelle entre les modèles d'IA et le web. Il leur permet d'extraire n'importe quelle URL, de rendre les pages JavaScript complexes, d'extraire et de formater le contenu pour une utilisation par l'IA, de gérer les CAPTCHA et d'accéder à des données web géo-restreintes depuis plus de 195 pays.

Il est construit sur le Model Context Protocol (MCP), la norme ouverte pour connecter les assistants IA à des outils et données externes.

🛠️ Outils MCP

Le MCP Oxylabs fournit deux ensembles d'outils qui peuvent être utilisés ensemble ou indépendamment :

Outils Oxylabs Web Scraper API

  1. universal_scraper : extrait n'importe quelle URL, avec rendu JavaScript optionnel, géo-ciblage et sortie Markdown/HTML/liens ;
  2. google_search_scraper : extrait les résultats de Google Search, avec analyse optionnelle en JSON structuré ;
  3. amazon_search_scraper : extrait les pages de résultats de recherche Amazon, avec analyse optionnelle en JSON structuré ;
  4. amazon_product_scraper : extrait les données de pages produit Amazon individuelles.

Outils Oxylabs AI Studio

  1. ai_scraper : extrait le contenu de n'importe quelle URL avec extraction alimentée par l'IA, au format JSON, CSV, Markdown ou TOON ;
  2. ai_crawler : explore un site web à partir d'une URL de départ selon une invite et collecte des données sur plusieurs pages ;
  3. ai_browser_agent : contrôle un navigateur réel selon une invite — navigue, clique, remplit des formulaires — et renvoie le résultat ;
  4. ai_search : recherche sur le web et renvoie optionnellement le contenu Markdown de chaque résultat ;
  5. ai_map : cartographie les URLs d'un site web, filtrées par mots-clés ou par une invite ;
  6. generate_schema : génère un schéma JSON au format OpenAPI pour l'extraction structurée avec les outils IA ci-dessus.

✅ Prérequis

Avant de commencer, assurez-vous de disposer d'au moins un des éléments suivants :

  • Compte Oxylabs Web Scraper API : obtenez votre nom d'utilisateur et votre mot de passe sur Oxylabs (essai gratuit d'une semaine disponible) ;
  • Clé API Oxylabs AI Studio : obtenez votre clé API sur Oxylabs AI Studio (1000 crédits gratuits).

Vous aurez également besoin du gestionnaire de paquets uv pour exécuter le serveur :

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 Configuration

Variables d'environnement

Le serveur MCP Oxylabs prend en charge les variables d'environnement suivantes :

NomDescriptionValeur par défaut
OXYLABS_USERNAMEVotre nom d'utilisateur Oxylabs Web Scraper API
OXYLABS_PASSWORDVotre mot de passe Oxylabs Web Scraper API
OXYLABS_AI_STUDIO_API_KEYVotre clé API Oxylabs AI Studio
LOG_LEVELNiveau de journalisation pour les journaux renvoyés au clientINFO

Selon les identifiants fournis, le serveur expose automatiquement les outils correspondants :

  • Si seuls OXYLABS_USERNAME et OXYLABS_PASSWORD sont fournis, le serveur expose les outils Web Scraper API ;
  • Si seul OXYLABS_AI_STUDIO_API_KEY est fourni, le serveur expose les outils AI Studio ;
  • Si les trois sont fournis, le serveur expose tous les outils.

Important : ne définissez que les variables d'environnement pour lesquelles vous avez de réels identifiants. Laisser des valeurs factices entraînera l'exposition d'outils qui ne fonctionneront pas.

Configuration avec uvx

Installe le paquet depuis PyPI et l'exécute automatiquement :

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Configuration avec un checkout local

Utile pour le développement — exécute le serveur depuis un clone local de ce dépôt :

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Exécution en tant que serveur HTTP distant (auto-hébergement)

Le serveur prend également en charge le transport MCP streamable-HTTP. Démarrez-le avec :

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

Avec le transport HTTP, les identifiants sont transmis par requête au lieu de variables d'environnement :

IdentifiantComment le transmettre
Web Scraper APIAuthorization: Basic <base64(username:password)> (authentification HTTP Basic standard)
Web Scraper API (alternative)en-têtes X-Oxylabs-Username et X-Oxylabs-Password
AI Studioen-tête X-Oxylabs-AI-Studio-Api-Key

Exemple de configuration client :

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Tous les outils sont toujours listés quels que soient les identifiants fournis ; appeler un outil sans les identifiants dont il a besoin renvoie un message d'erreur expliquant exactement quoi configurer.

Configuration avec Claude Desktop

Naviguez vers Claude → Paramètres → Développeur → Modifier la configuration et ajoutez l'une des configurations ci-dessus au fichier claude_desktop_config.json.

Configuration avec Cursor AI

Naviguez vers Cursor → Paramètres → Paramètres Cursor → MCP. Cliquez sur Ajouter un nouveau serveur MCP global et ajoutez l'une des configurations ci-dessus.

📝 Journalisation

Le serveur fournit des informations supplémentaires sur les appels d'outils dans les événements notification/message :

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ Fonctionnalités clés

Extraire le contenu de n'importe quel site
  • Extrayez des données de n'importe quelle URL, y compris les applications monopages complexes
  • Rendez entièrement les sites web dynamiques grâce au support du navigateur sans tête
  • Choisissez le rendu JavaScript complet, HTML uniquement, ou aucun
  • Émulez les viewports Mobile et Desktop pour un rendu réaliste
Obtenez automatiquement des données prêtes pour l'IA
  • Nettoyez et convertissez automatiquement le HTML en Markdown pour une meilleure lisibilité
  • Utilisez des parseurs automatisés pour des cibles populaires comme Google, Amazon, etc.
Gérez les CAPTCHA et les géo-restrictions
  • Naviguez dans les systèmes sophistiqués de gestion automatisée des requêtes avec un taux de réussite élevé
  • Extrayez de manière fiable même les sites web les plus complexes
  • Obtenez des IP en rotation automatique depuis un pool de proxys couvrant plus de 195 pays
Configuration flexible et support multiplateforme
  • Définissez les options de rendu et d'analyse si nécessaire
  • Alimentez directement les modèles d'IA ou les outils d'analyse avec les données
  • Fonctionne sur macOS, Windows et Linux
Gestion intégrée des erreurs et des requêtes
  • Gestion et rapport d'erreurs complets
  • Limitation intelligente du débit et gestion des requêtes

Pourquoi Oxylabs MCP ?  🕸️ ➜ 📦 ➜ 🤖

Imaginez dire à votre LLM « Résume la dernière discussion Hacker News sur GPT‑5 » – et qu'il réponde simplement. Le serveur MCP Oxylabs rend cela possible en faisant les parties ennuyeuses à votre place :

Ce que fait Oxylabs MCPPourquoi c'est important pour vous
Gère les murs de requêtes automatisés avec le réseau de proxys global OxylabsPermet l'accès aux sites web et l'anonymat
Rend le JavaScript dans Chrome sans têteApplications monopages, réglées
Nettoie le HTML → MarkdownIntégration directe dans les bases vectorielles ou les invites
Parseurs structurés optionnels (Google, Amazon, etc.)Accès en une ligne aux cibles populaires

🛡️ Licence

Distribuée sous la licence MIT – voir LICENSE pour plus de détails.


À propos d'Oxylabs

Fondée en 2015, Oxylabs est une plateforme leader de collecte d'intelligence web, animée par les plus hautes normes d'éthique, de conformité et d'affaires, permettant aux entreprises du monde entier de débloquer des perspectives basées sur les données.

image

Fait avec ☕ par Oxylabs. N'hésitez pas à nous donner une ⭐ si MCP vous a sauvé un week-end.

mcp-name: io.oxylabs/oxylabs-mcp