Oxylabs
公式Oxylabs Web APIを使用してウェブサイトをスクレイピングし、動的レンダリングと解析をサポートして構造化データを抽出します。
Oxylabs MCPで何ができますか?
- 任意URLのスクレイピング — アシスタントに
universal_scraperを使用して任意のウェブページからコンテンツを取得・抽出させます。オプションでJavaScriptレンダリングやジオターゲティングにも対応しています。 - GoogleとAmazonの検索 —
google_search_scraper、amazon_search_scraper、またはamazon_product_scraperを使用して、これらのプラットフォームから構造化された結果を取得します。 - AIを活用した抽出 —
ai_scraperを使用して任意のURLをスクレイピングし、JSON、CSV、Markdown、TOON形式でデータを返します。 - ウェブサイトのクロールとマッピング —
ai_crawlerを使用して開始URLから複数ページにわたるデータを収集するか、ai_mapを使用してキーワードでフィルタリングしたサイトURLを一覧表示します。 - ブラウザタスクの自動化 — ナビゲーション、クリック、フォーム入力などの操作を
ai_browser_agentに委任します。このエージェントはプロンプトに基づいて実際のブラウザを制御します。 - 抽出スキーマの生成 —
generate_schemaを使用してOpenAPI形式のJSONスキーマを要求し、AIツールによるデータ抽出を構造化します。
ドキュメント
Oxylabs MCP Server
AIモデルと実世界のウェブをつなぐ欠けていたリンク:あらゆるサイトからクリーンで構造化されたデータを提供する単一のAPI。
📖 概要
Oxylabs MCPサーバーは、AIモデルとウェブの間のブリッジを提供します。任意のURLのスクレイピング、JavaScriptを多用するページのレンダリング、AI利用のためのコンテンツの抽出と整形、CAPTCHAの管理、195以上の国からの地理的制限のあるウェブデータへのアクセスを可能にします。
これは、AIアシスタントを外部ツールやデータに接続するためのオープンスタンダードであるModel Context Protocol (MCP)に基づいて構築されています。
🛠️ MCPツール
Oxylabs MCPは、一緒にまたは独立して使用できる2つのツールセットを提供します:
Oxylabs Web Scraper APIツール
- universal_scraper:任意のURLをスクレイピングし、オプションでJavaScriptレンダリング、ジオターゲティング、Markdown/HTML/リンク出力に対応;
- google_search_scraper:Google検索から結果を抽出し、オプションで構造化JSONへのパースに対応;
- amazon_search_scraper:Amazonの検索結果ページをスクレイピングし、オプションで構造化JSONへのパースに対応;
- amazon_product_scraper:個々のAmazon商品ページからデータを抽出します。
Oxylabs AI Studioツール
- ai_scraper:AI搭載の抽出で任意のURLからコンテンツをスクレイピングし、JSON、CSV、Markdown、またはTOON形式で出力;
- ai_crawler:プロンプトに基づいて開始URLからウェブサイトをクロールし、複数ページにわたってデータを収集;
- ai_browser_agent:プロンプトに基づいて実際のブラウザを制御 — ナビゲート、クリック、フォーム入力 — し、結果を返します;
- ai_search:ウェブを検索し、オプションで各結果のMarkdownコンテンツを返します;
- ai_map:キーワードまたはプロンプトでフィルタリングされたウェブサイトのURLをマッピング;
- generate_schema:上記のAIツールで構造化抽出するためのOpenAPI形式のJSONスキーマを生成します。
✅ 前提条件
始める前に、以下の少なくとも1つを持っていることを確認してください:
- Oxylabs Web Scraper APIアカウント:Oxylabsからユーザー名とパスワードを取得(1週間の無料トライアルあり);
- Oxylabs AI Studio APIキー:Oxylabs AI StudioからAPIキーを取得(1000クレジット無料)。
サーバーをローカルで実行するには(下記のオプション2)、uvパッケージマネージャーも必要です:
# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
📦 設定
サーバーを使用する方法は2つあります:ホスト型インスタンスに接続するか(インストール不要)、 環境変数に資格情報を設定してローカルで実行するかです。
オプション1:ホスト型サーバー(インストール不要)
Oxylabsはホスト型MCPサーバーを以下で実行しています:
https://mcp.oxylabs.io/mcp
資格情報はリクエストヘッダーで渡されます:
| 資格情報 | ヘッダー |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)> |
| Web Scraper API(代替) | X-Oxylabs-Username および X-Oxylabs-Password |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key |
Claude Codeでの設定:
claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
--header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
--header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"
CursorまたはカスタムヘッダーをサポートするリモートMCPサーバーをサポートする任意のクライアントでの設定:
{
"mcpServers": {
"oxylabs": {
"url": "https://mcp.oxylabs.io/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
サーバーはSmitheryにも掲載されています。
注: リモートサーバーでOAuthのみをサポートするクライアント(たとえば、claude.aiウェブUIでカスタムコネクタを追加する場合)は、まだヘッダーを渡すことができません — OAuthサインインはロードマップにあります。 それまでの間、それらのクライアントでは以下のローカル設定を使用してください。
オプション2:ローカルで実行
環境変数
Oxylabs MCPサーバーは以下の環境変数をサポートしています:
| 名前 | 説明 | デフォルト |
|---|---|---|
OXYLABS_USERNAME | あなたのOxylabs Web Scraper APIユーザー名 | |
OXYLABS_PASSWORD | あなたのOxylabs Web Scraper APIパスワード | |
OXYLABS_AI_STUDIO_API_KEY | あなたのOxylabs AI Studio APIキー | |
LOG_LEVEL | クライアントに返されるログのログレベル | INFO |
提供された資格情報に基づいて、サーバーは対応するツールを自動的に公開します:
OXYLABS_USERNAMEとOXYLABS_PASSWORDのみが提供された場合、サーバーはWeb Scraper APIツールを公開します;OXYLABS_AI_STUDIO_API_KEYのみが提供された場合、サーバーはAI Studioツールを公開します;- 3つすべてが提供された場合、サーバーはすべてのツールを公開します。
❗ 重要:実際の資格情報を持っている環境変数のみを設定してください。 プレースホルダー値を残すと、動作しないツールが公開されます。
uvxでの設定
PyPIからパッケージをインストールして自動的に実行します:
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
ローカルチェックアウトでの設定
開発に便利 — このリポジトリのローカルクローンからサーバーを実行します:
{
"mcpServers": {
"oxylabs": {
"command": "uv",
"args": [
"--directory",
"/<absolute-path-to-folder>/oxylabs-mcp",
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
リモートHTTPサーバーとして実行(セルフホスティング)
サーバーはMCPストリーミング可能なHTTPトランスポートもサポートしています。以下で起動します:
MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp
HTTPトランスポートでは、資格情報は環境変数ではなくリクエストごとに渡されます:
| 資格情報 | 渡し方 |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)>(標準HTTP Basic認証) |
| Web Scraper API(代替) | X-Oxylabs-Username および X-Oxylabs-Password ヘッダー |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key ヘッダー |
クライアント設定の例:
{
"mcpServers": {
"oxylabs": {
"url": "https://your-host:8000/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
提供された資格情報に関係なく、すべてのツールが常にリストされます;必要な資格情報なしでツールを呼び出すと、何を設定すべきかを正確に説明するエラーメッセージが返されます。
Claude Desktopでの設定
Claude → 設定 → 開発者 → 設定を編集に移動し、上記の設定のいずれかをclaude_desktop_config.jsonファイルに追加します。
Cursor AIでの設定
Cursor → 設定 → Cursor設定 → MCPに移動します。新しいグローバルMCPサーバーを追加をクリックし、上記の設定のいずれかを追加します。
📝 ロギング
サーバーはnotification/messageイベントでツール呼び出しに関する追加情報を提供します:
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
✨ 主な機能
あらゆるサイトからコンテンツをスクレイピング
- 複雑なシングルページアプリケーションを含む任意のURLからデータを抽出
- ヘッドレスブラウザサポートで動的ウェブサイトを完全にレンダリング
- 完全なJavaScriptレンダリング、HTMLのみ、またはなしを選択
- モバイルおよびデスクトップのビューポートをエミュレートして現実的なレンダリングを実現
AI対応データを自動的に取得
- 読みやすさを向上させるためにHTMLを自動的にクリーンアップしてMarkdownに変換
- Google、Amazonなどの人気ターゲット向けの自動パーサーを使用
CAPTCHAと地理的制限の管理
- 高い成功率で洗練された自動リクエスト管理システムをナビゲート
- 最も複雑なウェブサイトでも確実にスクレイピング
- 195以上の国をカバーするプロキシプールから自動的にローテーションするIPを取得
柔軟な設定とクロスプラットフォームサポート
- 必要に応じてレンダリングおよびパースオプションを設定
- データをAIモデルや分析ツールに直接フィード
- macOS、Windows、Linuxで動作
組み込みのエラーハンドリングとリクエスト管理
- 包括的なエラーハンドリングとレポート
- スマートなレート制限とリクエスト管理
なぜOxylabs MCPなのか? 🕸️ ➜ 📦 ➜ 🤖
LLMに*「GPT‑5に関する最新のHacker Newsの議論を要約して」*と伝えることを想像してみてください – そしてそれが単純に答えるのです。 Oxylabs MCPサーバーは、退屈な部分を代行することでそれを実現します:
| Oxylabs MCPが行うこと | それがあなたにとって重要な理由 |
|---|---|
| 自動リクエスト壁を管理 Oxylabsグローバルプロキシネットワークで | ウェブサイトへのアクセスと匿名性を有効化 |
| JavaScriptをレンダリング ヘッドレスChromeで | シングルページアプリ、解決済み |
| HTMLをクリーンアップ → Markdown | ベクターDBやプロンプトに直接投入 |
| オプションの構造化パーサー(Google、Amazonなど) | 人気ターゲットへのワンラインアクセス |
🛡️ ライセンス
MITライセンスの下で配布 – 詳細はLICENSEを参照してください。
Oxylabsについて
2015年に設立されたOxylabsは、市場をリードするウェブインテリジェンス収集 プラットフォームであり、最高のビジネス、倫理、コンプライアンス基準に基づいて、 世界中の企業がデータ駆動型の洞察を引き出せるようにしています。
mcp-name: io.oxylabs/oxylabs-mcp
