Oxylabs

officiel

Scrapez des sites web avec l'API Web Oxylabs, prenant en charge le rendu dynamique et l'analyse pour l'extraction de données structurées.

Que pouvez-vous faire avec Oxylabs MCP ?

  • Extraire n’importe quelle URL — Récupérez une page avec, en option, le rendu JavaScript, le ciblage géographique et une sortie au format Markdown, HTML ou liens.
  • Rechercher sur Google et Amazon — Récupérez les résultats de Google Search, de la recherche Amazon et des pages de produits Amazon, avec la possibilité de les convertir en JSON structuré.
  • Extraction par IA — Extrayez des données d’une URL grâce à l’IA et renvoyez-les au format JSON, CSV, Markdown ou TOON.
  • Explorer un site — Explorez un site à partir d’une URL de départ en suivant une consigne et collectez des données sur plusieurs pages.
  • Piloter un navigateur — Faites naviguer un véritable navigateur, cliquer et remplir des formulaires à partir d’une consigne, puis renvoyer le résultat.
  • Cartographier et rechercher — Cartographiez les URL d’un site en les filtrant par mot-clé ou consigne, ou effectuez une recherche sur le Web et obtenez le contenu Markdown de chaque résultat.

Documentation

Oxylabs + MCP

Serveur MCP Oxylabs

Le lien manquant entre les modèles d’IA et le Web réel : une seule API qui fournit des données propres et structurées depuis n’importe quel site.


Avertissement

Ce dépôt bénéficie toujours d’une prise en charge complète, mais si vous utilisez Oxylabs Web API, veuillez consulter le dépôt Web API MCP : Web API MCP

📖 Présentation

Le serveur MCP Oxylabs fait le lien entre les modèles d’IA et le Web. Il leur permet d’extraire des données depuis n’importe quelle URL, d’afficher les pages riches en JavaScript, d’extraire et de formater le contenu pour l’IA, de gérer les CAPTCHA et d’accéder aux données Web soumises à des restrictions géographiques dans plus de 195 pays.

Il repose sur le Model Context Protocol (MCP), la norme ouverte permettant de connecter les assistants d’IA à des outils et données externes.

mcp-name: io.oxylabs/oxylabs-mcp

🛠️ Outils MCP

Oxylabs MCP fournit deux ensembles d’outils qui peuvent être utilisés ensemble ou indépendamment :

Outils Oxylabs Web Scraper API

  1. universal_scraper : extrait des données depuis n’importe quelle URL, avec rendu JavaScript, ciblage géographique et sortie Markdown/HTML/liens facultatifs ;
  2. google_search_scraper : extrait les résultats de Google Search, avec conversion facultative en JSON structuré ;
  3. amazon_search_scraper : extrait les pages de résultats de recherche Amazon, avec conversion facultative en JSON structuré ;
  4. amazon_product_scraper : extrait les données des pages de produits Amazon individuelles.

Outils Oxylabs AI Studio

  1. ai_scraper : extrait le contenu de n’importe quelle URL avec une extraction optimisée par l’IA, aux formats JSON, CSV, Markdown ou TOON ;
  2. ai_crawler : explore un site Web à partir d’une URL de départ en suivant une instruction et collecte des données sur plusieurs pages ;
  3. ai_browser_agent : contrôle un navigateur réel en suivant une instruction — navigue, clique, remplit des formulaires — et renvoie le résultat ;
  4. ai_search : effectue des recherches sur le Web et peut renvoyer le contenu Markdown de chaque résultat ;
  5. ai_map : cartographie les URL d’un site Web, filtrées par mots-clés ou selon une instruction ;
  6. generate_schema : génère un schéma JSON au format OpenAPI pour l’extraction structurée avec les outils d’IA ci-dessus.

✅ Prérequis

Avant de commencer, assurez-vous de disposer d’au moins un des éléments suivants :

  • Compte Oxylabs Web Scraper API : obtenez un jeton API (ou votre nom d’utilisateur et votre mot de passe) depuis le tableau de bord Oxylabs (essai gratuit d’une semaine disponible) ;
  • Clé API Oxylabs AI Studio : obtenez votre clé API depuis Oxylabs AI Studio (1 000 crédits gratuits).

Pour exécuter le serveur localement (option 2 ci-dessous), vous aurez également besoin du gestionnaire de paquets uv :

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 Configuration

Il existe deux façons d’utiliser le serveur : se connecter à l’instance hébergée (sans installation) ou l’exécuter localement avec des identifiants définis dans des variables d’environnement.

Option 1 : serveur hébergé (sans installation)

Oxylabs héberge un serveur MCP à l’adresse suivante :

https://mcp.oxylabs.io/mcp

Les identifiants sont transmis dans les en-têtes de requête :

IdentifiantEn-tête
Jeton Web Scraper API (recommandé)Authorization: Bearer <token>
Jeton Web Scraper API (autre méthode)X-Oxylabs-Api-Token
Nom d’utilisateur et mot de passe Web Scraper APIAuthorization: Basic <base64(username:password)>
Nom d’utilisateur et mot de passe Web Scraper API (autre méthode)X-Oxylabs-Username et X-Oxylabs-Password
AI StudioX-Oxylabs-AI-Studio-Api-Key

Si un jeton API et un nom d’utilisateur et un mot de passe sont tous deux transmis, le jeton est utilisé.

Configuration avec Claude Code :

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Bearer YOUR_API_TOKEN" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

Configuration avec Cursor ou tout client prenant en charge les serveurs MCP distants avec des en-têtes personnalisés :

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_TOKEN",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Le serveur est également répertorié sur Smithery.

Remarque : les clients qui ne prennent en charge que OAuth pour les serveurs distants (par exemple, l’ajout d’un connecteur personnalisé dans l’interface Web de claude.ai) ne peuvent pas encore transmettre d’en-têtes — la connexion OAuth est prévue. En attendant, utilisez la configuration locale ci-dessous avec ces clients.

Option 2 : exécution locale

Variables d’environnement

Le serveur MCP Oxylabs prend en charge les variables d’environnement suivantes :

NomDescriptionValeur par défaut
OXYLABS_API_TOKENVotre jeton Oxylabs Web Scraper API
OXYLABS_USERNAMEVotre nom d’utilisateur Oxylabs Web Scraper API
OXYLABS_PASSWORDVotre mot de passe Oxylabs Web Scraper API
OXYLABS_AI_STUDIO_API_KEYVotre clé API Oxylabs AI Studio
LOG_LEVELNiveau de journalisation des journaux renvoyés au clientINFO

Pour les outils Web Scraper API, définissez soit OXYLABS_API_TOKEN, soit les deux variables OXYLABS_USERNAME et OXYLABS_PASSWORD. Si les deux sont définies, le jeton est utilisé. Pour les outils AI Studio, définissez OXYLABS_AI_STUDIO_API_KEY.

Tous les outils sont toujours répertoriés ; appeler un outil sans les identifiants requis renvoie un message d’erreur indiquant les paramètres à configurer.

❗ Important : ne définissez que les variables d’environnement pour lesquelles vous disposez d’identifiants valides. Les valeurs fictives entraînent l’échec des appels d’outils.

Configuration avec uvx

Installe le paquet depuis PyPI et l’exécute automatiquement :

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Configuration avec un clone local

Utile pour le développement — exécute le serveur depuis un clone local de ce dépôt :

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Exécution en tant que serveur HTTP distant (auto-hébergement)

Le serveur prend également en charge le transport MCP streamable-HTTP. Démarrez-le avec :

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

Avec le transport HTTP, les identifiants sont transmis pour chaque requête au lieu d’être définis dans des variables d’environnement :

IdentifiantMéthode de transmission
Jeton Web Scraper API (recommandé)Authorization: Bearer <token>
Jeton Web Scraper API (autre méthode)En-tête X-Oxylabs-Api-Token
Nom d’utilisateur et mot de passe Web Scraper APIAuthorization: Basic <base64(username:password)> (authentification HTTP Basic)
Nom d’utilisateur et mot de passe Web Scraper API (autre méthode)En-têtes X-Oxylabs-Username et X-Oxylabs-Password
AI StudioEn-tête X-Oxylabs-AI-Studio-Api-Key

Exemple de configuration client :

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_TOKEN",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Tous les outils sont toujours répertoriés, quels que soient les identifiants fournis ; appeler un outil sans les identifiants requis renvoie un message d’erreur indiquant précisément les paramètres à configurer.

Configuration avec Claude Desktop

Accédez à Claude → Settings → Developer → Edit Config et ajoutez l’une des configurations ci-dessus au fichier claude_desktop_config.json.

Configuration avec Cursor AI

Accédez à Cursor → Settings → Cursor Settings → MCP. Cliquez sur Add new global MCP server et ajoutez l’une des configurations ci-dessus.

📝 Journalisation

Le serveur fournit des informations supplémentaires sur les appels d’outils dans les événements notification/message :

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ Fonctionnalités clés

Extraire du contenu depuis n’importe quel site
  • Extraire des données depuis n’importe quelle URL, y compris les applications monopages complexes
  • Afficher entièrement les sites Web dynamiques grâce à la prise en charge d’un navigateur sans interface graphique
  • Choisir le rendu JavaScript complet, HTML uniquement ou aucun rendu
  • Émuler les affichages mobiles et de bureau pour un rendu réaliste
Obtenir automatiquement des données prêtes pour l’IA
  • Nettoyer et convertir automatiquement le HTML en Markdown pour améliorer la lisibilité
  • Utiliser des analyseurs automatisés pour des cibles populaires comme Google, Amazon et d’autres
Gérer les CAPTCHA et les restrictions géographiques
  • Contourner les systèmes sophistiqués de gestion automatisée des requêtes avec un taux de réussite élevé
  • Extraire des données de manière fiable, même depuis les sites Web les plus complexes
  • Obtenir des adresses IP renouvelées automatiquement depuis un pool de proxys couvrant plus de 195 pays
Configuration flexible et prise en charge multiplateforme
  • Définir les options de rendu et d’analyse si nécessaire
  • Transmettre les données directement aux modèles d’IA ou aux outils d’analyse
  • Fonctionne sur macOS, Windows et Linux
Gestion des erreurs et des requêtes intégrée
  • Gestion et signalement complets des erreurs
  • Limitation intelligente du débit et gestion des requêtes

Pourquoi Oxylabs MCP ?  🕸️ ➜ 📦 ➜ 🤖

Imaginez demander à votre LLM « Résume la dernière discussion sur Hacker News à propos de GPT‑5 » — et obtenir simplement une réponse. Le serveur MCP Oxylabs s’en charge en effectuant les tâches fastidieuses à votre place :

Ce que fait Oxylabs MCPPourquoi c’est important pour vous
Gère les barrières contre les requêtes automatisées grâce au réseau mondial de proxys OxylabsPermet d’accéder aux sites Web tout en préservant l’anonymat
Affiche le JavaScript dans Chrome sans interface graphiqueLes applications monopages, c’est réglé
Nettoie le HTML → MarkdownÀ intégrer directement dans des bases de données vectorielles ou des prompts
Analyseurs structurés facultatifs (Google, Amazon, etc.)Accès aux cibles populaires en une ligne

🛡️ Licence

Distribué sous licence MIT — consultez LICENSE pour plus de détails.


À propos d’Oxylabs

Fondée en 2015, Oxylabs est une plateforme de collecte de renseignements Web de premier plan, qui s’appuie sur les normes les plus exigeantes en matière d’éthique, de conformité et de pratiques commerciales, et permet aux entreprises du monde entier de tirer parti des données pour obtenir des informations stratégiques.

image

Créé avec ☕ par Oxylabs. N’hésitez pas à nous attribuer un ⭐ et à nous suivre si notre MCP vous a fait gagner un week-end.

Solutions créées à partir de ce MCP :

Michelin Detour