Oxylabs

officiel

Scrapez des sites web avec l'API Web Oxylabs, prenant en charge le rendu dynamique et l'analyse pour l'extraction de données structurées.

GitHub

105

Essayer ce MCPSponsorisé

Que pouvez-vous faire avec Oxylabs MCP ?

Scrape any URL — Demandez à votre assistant de récupérer et d'extraire le contenu de n'importe quelle page web à l'aide de universal_scraper, avec rendu JavaScript et ciblage géographique en option.
Rechercher sur Google et Amazon — Utilisez google_search_scraper, amazon_search_scraper ou amazon_product_scraper pour obtenir des résultats structurés de ces plateformes.
Extraction basée sur l'IA — Exploitez ai_scraper pour scraper n'importe quelle URL et renvoyer des données aux formats JSON, CSV, Markdown ou TOON.
Crawler et cartographier des sites web — Utilisez ai_crawler pour collecter des données sur plusieurs pages à partir d'une URL de départ, ou ai_map pour lister les URL du site filtrées par mots-clés.
Automatiser les tâches du navigateur — Déléguez la navigation, les clics et le remplissage de formulaires à ai_browser_agent, qui contrôle un vrai navigateur à partir d'une invite.
Générer des schémas d'extraction — Demandez un schéma JSON au format OpenAPI via generate_schema pour structurer l'extraction de données avec des outils d'IA.

Documentation

Oxylabs + MCP

Serveur MCP Oxylabs

Le lien manquant entre les modèles d'IA et le web réel : une API qui fournit des données propres et structurées depuis n'importe quel site.

📖 Aperçu

Le serveur MCP Oxylabs fournit un pont entre les modèles d'IA et le web. Il leur permet de scraper n'importe quelle URL, de rendre les pages fortement basées sur JavaScript, d'extraire et de formater le contenu pour une utilisation par l'IA, de gérer les CAPTCHA et d'accéder à des données web géo-restreintes dans plus de 195 pays.

Il est construit sur le Model Context Protocol (MCP), la norme ouverte pour connecter les assistants IA à des outils et des données externes.

🛠️ Outils MCP

Oxylabs MCP fournit deux ensembles d'outils qui peuvent être utilisés ensemble ou indépendamment :

Outils de l'API Web Scraper d'Oxylabs

universal_scraper : scrape n'importe quelle URL, avec rendu JavaScript optionnel, ciblage géographique et sortie Markdown/HTML/liens ;
google_search_scraper : extrait les résultats de Google Search, avec analyse optionnelle en JSON structuré ;
amazon_search_scraper : scrape les pages de résultats de recherche Amazon, avec analyse optionnelle en JSON structuré ;
amazon_product_scraper : extrait les données des pages produits individuelles d'Amazon.

Outils d'Oxylabs AI Studio

ai_scraper : scrape le contenu de n'importe quelle URL avec extraction basée sur l'IA, au format JSON, CSV, Markdown ou TOON ;
ai_crawler : explore un site web à partir d'une URL de départ basée sur une invite et collecte des données sur plusieurs pages ;
ai_browser_agent : contrôle un navigateur réel basé sur une invite — navigue, clique, remplit des formulaires — et renvoie le résultat ;
ai_search : recherche sur le web et renvoie optionnellement le contenu Markdown de chaque résultat ;
ai_map : cartographie les URL d'un site web, filtrées par mots-clés ou par une invite ;
generate_schema : génère un schéma JSON au format OpenAPI pour une extraction structurée avec les outils IA ci-dessus.

✅ Prérequis

Avant de commencer, assurez-vous de disposer d'au moins un des éléments suivants :

Compte API Web Scraper Oxylabs : obtenez votre nom d'utilisateur et votre mot de passe auprès d'Oxylabs (essai gratuit d'une semaine disponible) ;
Clé API Oxylabs AI Studio : obtenez votre clé API auprès d'Oxylabs AI Studio (1000 crédits gratuits).

Pour exécuter le serveur localement (Option 2 ci-dessous), vous aurez également besoin du gestionnaire de paquets uv :

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 Configuration

Il existe deux façons d'utiliser le serveur : se connecter à l'instance hébergée (aucune installation) ou l'exécuter localement avec des identifiants dans des variables d'environnement.

Option 1 : Serveur hébergé (aucune installation)

Oxylabs exécute un serveur MCP hébergé à :

https://mcp.oxylabs.io/mcp

Les identifiants sont transmis avec les en-têtes de requête :

Identifiant	En-tête
API Web Scraper	`Authorization: Basic <base64(username:password)>`
API Web Scraper (alternative)	`X-Oxylabs-Username` et `X-Oxylabs-Password`
AI Studio	`X-Oxylabs-AI-Studio-Api-Key`

Configuration avec Claude Code :

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

Configuration avec Cursor ou tout client prenant en charge les serveurs MCP distants avec des en-têtes personnalisés :

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Le serveur est également répertorié sur Smithery.

Remarque : les clients qui ne prennent en charge que OAuth pour les serveurs distants (par exemple, l'ajout d'un connecteur personnalisé dans l'interface web de claude.ai) ne peuvent pas encore transmettre d'en-têtes — la connexion OAuth est sur notre feuille de route. Utilisez la configuration locale ci-dessous avec ces clients en attendant.

Option 2 : Exécution locale

Variables d'environnement

Le serveur MCP Oxylabs prend en charge les variables d'environnement suivantes :

Nom	Description	Défaut
`OXYLABS_USERNAME`	Votre nom d'utilisateur API Web Scraper Oxylabs
`OXYLABS_PASSWORD`	Votre mot de passe API Web Scraper Oxylabs
`OXYLABS_AI_STUDIO_API_KEY`	Votre clé API Oxylabs AI Studio
`LOG_LEVEL`	Niveau de journalisation pour les journaux renvoyés au client	`INFO`

En fonction des identifiants fournis, le serveur expose automatiquement les outils correspondants :

Si seuls OXYLABS_USERNAME et OXYLABS_PASSWORD sont fournis, le serveur expose les outils de l'API Web Scraper ;
Si seul OXYLABS_AI_STUDIO_API_KEY est fourni, le serveur expose les outils AI Studio ;
Si les trois sont fournis, le serveur expose tous les outils.

❗ Important : ne définissez que les variables d'environnement pour lesquelles vous avez de véritables identifiants. Laisser des valeurs de substitution entraînera l'exposition d'outils qui ne fonctionnent pas.

Configuration avec uvx

Installe le paquet depuis PyPI et l'exécute automatiquement :

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Configuration avec un checkout local

Utile pour le développement — exécute le serveur depuis un clone local de ce dépôt :

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Exécution en tant que serveur HTTP distant (auto-hébergement)

Le serveur prend également en charge le transport MCP streamable-HTTP. Démarrez-le avec :

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

Avec le transport HTTP, les identifiants sont transmis par requête au lieu de variables d'environnement :

Identifiant	Comment le transmettre
API Web Scraper	`Authorization: Basic <base64(username:password)>` (authentification HTTP Basic standard)
API Web Scraper (alternative)	`X-Oxylabs-Username` et `X-Oxylabs-Password` en-têtes
AI Studio	`X-Oxylabs-AI-Studio-Api-Key` en-tête

Exemple de configuration client :

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Tous les outils sont toujours répertoriés quels que soient les identifiants fournis ; appeler un outil sans les identifiants dont il a besoin renvoie un message d'erreur expliquant exactement quoi configurer.

Configuration avec Claude Desktop

Naviguez vers Claude → Paramètres → Développeur → Modifier la configuration et ajoutez l'une des configurations ci-dessus au fichier claude_desktop_config.json.

Configuration avec Cursor AI

Naviguez vers Cursor → Paramètres → Paramètres Cursor → MCP. Cliquez sur Ajouter un nouveau serveur MCP global et ajoutez l'une des configurations ci-dessus.

📝 Journalisation

Le serveur fournit des informations supplémentaires sur les appels d'outils dans les événements notification/message :

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}

{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ Fonctionnalités clés

Scrapez le contenu de n'importe quel site

Extrayez des données de n'importe quelle URL, y compris les applications monopages complexes
Rendez entièrement les sites web dynamiques grâce à la prise en charge du navigateur sans tête
Choisissez le rendu JavaScript complet, HTML uniquement ou aucun
Émulez les fenêtres d'affichage Mobile et Desktop pour un rendu réaliste

Obtenez automatiquement des données prêtes pour l'IA

Nettoyez et convertissez automatiquement le HTML en Markdown pour une meilleure lisibilité
Utilisez des analyseurs automatisés pour des cibles populaires comme Google, Amazon, et plus

Gérez les CAPTCHA et les géo-restrictions

Naviguez dans les systèmes sophistiqués de gestion automatisée des requêtes avec un taux de réussite élevé
Scrapez de manière fiable même les sites web les plus complexes
Obtenez des IP à rotation automatique depuis un pool de proxys couvrant plus de 195 pays

Configuration flexible et prise en charge multiplateforme

Définissez les options de rendu et d'analyse si nécessaire
Alimentez directement les données dans les modèles d'IA ou les outils d'analyse
Fonctionne sur macOS, Windows et Linux

Gestion intégrée des erreurs et des requêtes

Gestion et signalement complets des erreurs
Limitation intelligente du débit et gestion des requêtes

Pourquoi Oxylabs MCP ? 🕸️ ➜ 📦 ➜ 🤖

Imaginez dire à votre LLM « Résume la dernière discussion Hacker News sur GPT‑5 » – et qu'il réponde simplement. Le serveur MCP Oxylabs rend cela possible en faisant les parties ennuyeuses pour vous :

Ce que fait Oxylabs MCP	Pourquoi c'est important pour vous
Gère les murs de requêtes automatisés avec le réseau de proxys mondial Oxylabs	Permet l'accès aux sites web et l'anonymat
Rend JavaScript dans Chrome sans tête	Applications monopages, triées
Nettoie HTML → Markdown	Intégration directe dans les bases vectorielles ou les invites
Analyseurs structurés optionnels (Google, Amazon, etc.)	Accès en une ligne aux cibles populaires

🛡️ Licence

Distribué sous la licence MIT – voir LICENSE pour plus de détails.

À propos d'Oxylabs

Fondée en 2015, Oxylabs est une plateforme leader de collecte d'intelligence web, animée par les normes les plus élevées en matière d'affaires, d'éthique et de conformité, permettant aux entreprises du monde entier de débloquer des informations basées sur les données.

_{Fait avec ☕ par Oxylabs. N'hésitez pas à nous donner une ⭐ si MCP vous a sauvé un week-end.}

mcp-name: io.oxylabs/oxylabs-mcp

Solutions réalisées à partir de ce MCP :

Michelin Detour