Oxylabs

公式

Oxylabs Web APIを使用してウェブサイトをスクレイピングし、動的レンダリングと解析をサポートして構造化データを抽出します。

Oxylabs MCPで何ができますか?

  • 任意URLのスクレイピング — アシスタントにuniversal_scraperを使用して任意のウェブページからコンテンツを取得・抽出させます。オプションでJavaScriptレンダリングやジオターゲティングにも対応しています。
  • GoogleとAmazonの検索 — google_search_scraper、amazon_search_scraper、またはamazon_product_scraperを使用して、これらのプラットフォームから構造化された結果を取得します。
  • AIを活用した抽出 — ai_scraperを使用して任意のURLをスクレイピングし、JSON、CSV、Markdown、TOON形式でデータを返します。
  • ウェブサイトのクロールとマッピング — ai_crawlerを使用して開始URLから複数ページにわたるデータを収集するか、ai_mapを使用してキーワードでフィルタリングしたサイトURLを一覧表示します。
  • ブラウザタスクの自動化 — ナビゲーション、クリック、フォーム入力などの操作をai_browser_agentに委任します。このエージェントはプロンプトに基づいて実際のブラウザを制御します。
  • 抽出スキーマの生成 — generate_schemaを使用してOpenAPI形式のJSONスキーマを要求し、AIツールによるデータ抽出を構造化します。

ドキュメント

Oxylabs + MCP

Oxylabs MCP Server

AIモデルと実世界のウェブをつなぐ欠けていたリンク:あらゆるサイトからクリーンで構造化されたデータを提供する単一のAPI。


📖 概要

Oxylabs MCPサーバーは、AIモデルとウェブの間のブリッジを提供します。任意のURLのスクレイピング、JavaScriptを多用するページのレンダリング、AI利用のためのコンテンツの抽出と整形、CAPTCHAの管理、195以上の国からの地理的制限のあるウェブデータへのアクセスを可能にします。

これは、AIアシスタントを外部ツールやデータに接続するためのオープンスタンダードであるModel Context Protocol (MCP)に基づいて構築されています。

🛠️ MCPツール

Oxylabs MCPは、一緒にまたは独立して使用できる2つのツールセットを提供します:

Oxylabs Web Scraper APIツール

  1. universal_scraper:任意のURLをスクレイピングし、オプションでJavaScriptレンダリング、ジオターゲティング、Markdown/HTML/リンク出力に対応;
  2. google_search_scraper:Google検索から結果を抽出し、オプションで構造化JSONへのパースに対応;
  3. amazon_search_scraper:Amazonの検索結果ページをスクレイピングし、オプションで構造化JSONへのパースに対応;
  4. amazon_product_scraper:個々のAmazon商品ページからデータを抽出します。

Oxylabs AI Studioツール

  1. ai_scraper:AI搭載の抽出で任意のURLからコンテンツをスクレイピングし、JSON、CSV、Markdown、またはTOON形式で出力;
  2. ai_crawler:プロンプトに基づいて開始URLからウェブサイトをクロールし、複数ページにわたってデータを収集;
  3. ai_browser_agent:プロンプトに基づいて実際のブラウザを制御 — ナビゲート、クリック、フォーム入力 — し、結果を返します;
  4. ai_search:ウェブを検索し、オプションで各結果のMarkdownコンテンツを返します;
  5. ai_map:キーワードまたはプロンプトでフィルタリングされたウェブサイトのURLをマッピング;
  6. generate_schema:上記のAIツールで構造化抽出するためのOpenAPI形式のJSONスキーマを生成します。

✅ 前提条件

始める前に、以下の少なくとも1つを持っていることを確認してください:

  • Oxylabs Web Scraper APIアカウント:Oxylabsからユーザー名とパスワードを取得(1週間の無料トライアルあり);
  • Oxylabs AI Studio APIキー:Oxylabs AI StudioからAPIキーを取得(1000クレジット無料)。

サーバーをローカルで実行するには(下記のオプション2)、uvパッケージマネージャーも必要です:

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 設定

サーバーを使用する方法は2つあります:ホスト型インスタンスに接続するか(インストール不要)、 環境変数に資格情報を設定してローカルで実行するかです。

オプション1:ホスト型サーバー(インストール不要)

Oxylabsはホスト型MCPサーバーを以下で実行しています:

https://mcp.oxylabs.io/mcp

資格情報はリクエストヘッダーで渡されます:

資格情報ヘッダー
Web Scraper APIAuthorization: Basic <base64(username:password)>
Web Scraper API(代替)X-Oxylabs-Username および X-Oxylabs-Password
AI StudioX-Oxylabs-AI-Studio-Api-Key

Claude Codeでの設定:

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

CursorまたはカスタムヘッダーをサポートするリモートMCPサーバーをサポートする任意のクライアントでの設定:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

サーバーはSmitheryにも掲載されています。

注: リモートサーバーでOAuthのみをサポートするクライアント(たとえば、claude.aiウェブUIでカスタムコネクタを追加する場合)は、まだヘッダーを渡すことができません — OAuthサインインはロードマップにあります。 それまでの間、それらのクライアントでは以下のローカル設定を使用してください。

オプション2:ローカルで実行

環境変数

Oxylabs MCPサーバーは以下の環境変数をサポートしています:

名前説明デフォルト
OXYLABS_USERNAMEあなたのOxylabs Web Scraper APIユーザー名
OXYLABS_PASSWORDあなたのOxylabs Web Scraper APIパスワード
OXYLABS_AI_STUDIO_API_KEYあなたのOxylabs AI Studio APIキー
LOG_LEVELクライアントに返されるログのログレベルINFO

提供された資格情報に基づいて、サーバーは対応するツールを自動的に公開します:

  • OXYLABS_USERNAME と OXYLABS_PASSWORD のみが提供された場合、サーバーはWeb Scraper APIツールを公開します;
  • OXYLABS_AI_STUDIO_API_KEY のみが提供された場合、サーバーはAI Studioツールを公開します;
  • 3つすべてが提供された場合、サーバーはすべてのツールを公開します。

❗ 重要:実際の資格情報を持っている環境変数のみを設定してください。 プレースホルダー値を残すと、動作しないツールが公開されます。

uvxでの設定

PyPIからパッケージをインストールして自動的に実行します:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

ローカルチェックアウトでの設定

開発に便利 — このリポジトリのローカルクローンからサーバーを実行します:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

リモートHTTPサーバーとして実行(セルフホスティング)

サーバーはMCPストリーミング可能なHTTPトランスポートもサポートしています。以下で起動します:

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

HTTPトランスポートでは、資格情報は環境変数ではなくリクエストごとに渡されます:

資格情報渡し方
Web Scraper APIAuthorization: Basic <base64(username:password)>(標準HTTP Basic認証)
Web Scraper API(代替)X-Oxylabs-Username および X-Oxylabs-Password ヘッダー
AI StudioX-Oxylabs-AI-Studio-Api-Key ヘッダー

クライアント設定の例:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

提供された資格情報に関係なく、すべてのツールが常にリストされます;必要な資格情報なしでツールを呼び出すと、何を設定すべきかを正確に説明するエラーメッセージが返されます。

Claude Desktopでの設定

Claude → 設定 → 開発者 → 設定を編集に移動し、上記の設定のいずれかをclaude_desktop_config.jsonファイルに追加します。

Cursor AIでの設定

Cursor → 設定 → Cursor設定 → MCPに移動します。新しいグローバルMCPサーバーを追加をクリックし、上記の設定のいずれかを追加します。

📝 ロギング

サーバーはnotification/messageイベントでツール呼び出しに関する追加情報を提供します:

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ 主な機能

あらゆるサイトからコンテンツをスクレイピング
  • 複雑なシングルページアプリケーションを含む任意のURLからデータを抽出
  • ヘッドレスブラウザサポートで動的ウェブサイトを完全にレンダリング
  • 完全なJavaScriptレンダリング、HTMLのみ、またはなしを選択
  • モバイルおよびデスクトップのビューポートをエミュレートして現実的なレンダリングを実現
AI対応データを自動的に取得
  • 読みやすさを向上させるためにHTMLを自動的にクリーンアップしてMarkdownに変換
  • Google、Amazonなどの人気ターゲット向けの自動パーサーを使用
CAPTCHAと地理的制限の管理
  • 高い成功率で洗練された自動リクエスト管理システムをナビゲート
  • 最も複雑なウェブサイトでも確実にスクレイピング
  • 195以上の国をカバーするプロキシプールから自動的にローテーションするIPを取得
柔軟な設定とクロスプラットフォームサポート
  • 必要に応じてレンダリングおよびパースオプションを設定
  • データをAIモデルや分析ツールに直接フィード
  • macOS、Windows、Linuxで動作
組み込みのエラーハンドリングとリクエスト管理
  • 包括的なエラーハンドリングとレポート
  • スマートなレート制限とリクエスト管理

なぜOxylabs MCPなのか?  🕸️ ➜ 📦 ➜ 🤖

LLMに*「GPT‑5に関する最新のHacker Newsの議論を要約して」*と伝えることを想像してみてください – そしてそれが単純に答えるのです。 Oxylabs MCPサーバーは、退屈な部分を代行することでそれを実現します:

Oxylabs MCPが行うことそれがあなたにとって重要な理由
自動リクエスト壁を管理 Oxylabsグローバルプロキシネットワークでウェブサイトへのアクセスと匿名性を有効化
JavaScriptをレンダリング ヘッドレスChromeでシングルページアプリ、解決済み
HTMLをクリーンアップ → MarkdownベクターDBやプロンプトに直接投入
オプションの構造化パーサー(Google、Amazonなど)人気ターゲットへのワンラインアクセス

🛡️ ライセンス

MITライセンスの下で配布 – 詳細はLICENSEを参照してください。


Oxylabsについて

2015年に設立されたOxylabsは、市場をリードするウェブインテリジェンス収集 プラットフォームであり、最高のビジネス、倫理、コンプライアンス基準に基づいて、 世界中の企業がデータ駆動型の洞察を引き出せるようにしています。

image

☕とOxylabsによって作られました。 MCPが週末を救ってくれたなら、ぜひ⭐をください。

mcp-name: io.oxylabs/oxylabs-mcp

このMCPに基づいて作られたソリューション:

Michelin Detour