Oxylabs

resmi

Scrape situs web dengan Oxylabs Web API, mendukung rendering dinamis dan parsing untuk ekstraksi data terstruktur.

Apa yang bisa Anda lakukan dengan Oxylabs MCP?

  • Scrape URL apa pun — Minta asisten Anda untuk mengambil dan mengekstrak konten dari halaman web mana pun menggunakan universal_scraper, dengan opsi rendering JavaScript dan penargetan geo.
  • Cari Google dan Amazon — Gunakan google_search_scraper, amazon_search_scraper, atau amazon_product_scraper untuk menarik hasil terstruktur dari platform ini.
  • Ekstraksi bertenaga AI — Manfaatkan ai_scraper untuk meng-scrape URL apa pun dan mengembalikan data dalam format JSON, CSV, Markdown, atau TOON.
  • Crawl dan petakan situs web — Gunakan ai_crawler untuk mengumpulkan data di beberapa halaman dari URL awal, atau ai_map untuk mendaftar URL situs yang difilter berdasarkan kata kunci.
  • Otomatiskan tugas browser — Serahkan navigasi, klik, dan pengisian formulir kepada ai_browser_agent, yang mengontrol browser asli berdasarkan prompt.
  • Hasilkan skema ekstraksi — Minta skema JSON format OpenAPI melalui generate_schema untuk menyusun ekstraksi data dengan alat AI.

Dokumentasi

Oxylabs + MCP

Oxylabs MCP Server

Jembatan yang hilang antara model AI dan web dunia nyata: satu API yang menyajikan data bersih dan terstruktur dari situs mana pun.


📖 Ringkasan

Server Oxylabs MCP menyediakan jembatan antara model AI dan web. Server ini memungkinkan model AI untuk mengikis URL apa pun, merender halaman yang banyak menggunakan JavaScript, mengekstrak dan memformat konten untuk penggunaan AI, mengelola CAPTCHA, dan mengakses data web yang dibatasi secara geografis dari 195+ negara.

Server ini dibangun di atas Model Context Protocol (MCP), standar terbuka untuk menghubungkan asisten AI ke alat dan data eksternal.

🛠️ Alat MCP

Oxylabs MCP menyediakan dua set alat yang dapat digunakan bersama atau secara terpisah:

Alat Oxylabs Web Scraper API

  1. universal_scraper: mengikis URL apa pun, dengan opsi rendering JavaScript, penargetan geografis, dan output Markdown/HTML/tautan;
  2. google_search_scraper: mengekstrak hasil dari Google Search, dengan opsi penguraian menjadi JSON terstruktur;
  3. amazon_search_scraper: mengikis halaman hasil pencarian Amazon, dengan opsi penguraian menjadi JSON terstruktur;
  4. amazon_product_scraper: mengekstrak data dari halaman produk Amazon individual.

Alat Oxylabs AI Studio

  1. ai_scraper: mengikis konten dari URL apa pun dengan ekstraksi bertenaga AI, dalam format JSON, CSV, Markdown, atau TOON;
  2. ai_crawler: merayapi situs web dari URL awal berdasarkan prompt dan mengumpulkan data di berbagai halaman;
  3. ai_browser_agent: mengontrol browser asli berdasarkan prompt — menavigasi, mengklik, mengisi formulir — dan mengembalikan hasilnya;
  4. ai_search: mencari di web dan secara opsional mengembalikan konten Markdown dari setiap hasil;
  5. ai_map: memetakan URL situs web, difilter berdasarkan kata kunci atau prompt;
  6. generate_schema: menghasilkan skema JSON format OpenAPI untuk ekstraksi terstruktur dengan alat AI di atas.

✅ Prasyarat

Sebelum memulai, pastikan Anda memiliki setidaknya satu dari hal berikut:

  • Akun Oxylabs Web Scraper API: dapatkan nama pengguna dan kata sandi Anda dari Oxylabs (tersedia uji coba gratis 1 minggu);
  • Kunci API Oxylabs AI Studio: dapatkan kunci API Anda dari Oxylabs AI Studio (1000 kredit gratis).

Untuk menjalankan server secara lokal (Opsi 2 di bawah), Anda juga memerlukan manajer paket uv:

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 Konfigurasi

Ada dua cara untuk menggunakan server: terhubung ke instance yang dihosting (tanpa instalasi) atau menjalankannya secara lokal dengan kredensial dalam variabel lingkungan.

Opsi 1: Server yang dihosting (tanpa instalasi)

Oxylabs menjalankan server MCP yang dihosting di:

https://mcp.oxylabs.io/mcp

Kredensial diteruskan dengan header permintaan:

KredensialHeader
Web Scraper APIAuthorization: Basic <base64(username:password)>
Web Scraper API (alternatif)X-Oxylabs-Username dan X-Oxylabs-Password
AI StudioX-Oxylabs-AI-Studio-Api-Key

Pengaturan dengan Claude Code:

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

Pengaturan dengan Cursor atau klien lain yang mendukung server MCP jarak jauh dengan header kustom:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Server ini juga terdaftar di Smithery.

Catatan: klien yang hanya mendukung OAuth untuk server jarak jauh (misalnya, menambahkan konektor kustom di UI web claude.ai) belum dapat meneruskan header — masuk OAuth ada di peta jalan kami. Gunakan pengaturan lokal di bawah ini dengan klien tersebut sementara ini.

Opsi 2: Jalankan secara lokal

Variabel lingkungan

Server Oxylabs MCP mendukung variabel lingkungan berikut:

NamaDeskripsiDefault
OXYLABS_USERNAMENama pengguna Oxylabs Web Scraper API Anda
OXYLABS_PASSWORDKata sandi Oxylabs Web Scraper API Anda
OXYLABS_AI_STUDIO_API_KEYKunci API Oxylabs AI Studio Anda
LOG_LEVELTingkat log untuk log yang dikembalikan ke klienINFO

Berdasarkan kredensial yang diberikan, server secara otomatis mengekspos alat yang sesuai:

  • Jika hanya OXYLABS_USERNAME dan OXYLABS_PASSWORD yang diberikan, server mengekspos alat Web Scraper API;
  • Jika hanya OXYLABS_AI_STUDIO_API_KEY yang diberikan, server mengekspos alat AI Studio;
  • Jika ketiganya diberikan, server mengekspos semua alat.

❗ Penting: hanya atur variabel lingkungan yang Anda miliki kredensial aslinya. Meninggalkan nilai placeholder akan menghasilkan alat yang diekspos tetapi tidak berfungsi.

Konfigurasi dengan uvx

Menginstal paket dari PyPI dan menjalankannya secara otomatis:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Konfigurasi dengan checkout lokal

Berguna untuk pengembangan — menjalankan server dari klon lokal repositori ini:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Menjalankan sebagai server HTTP jarak jauh (self-hosting)

Server juga mendukung transport MCP streamable-HTTP. Mulai dengan:

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

Dengan transport HTTP, kredensial diteruskan per permintaan, bukan variabel lingkungan:

KredensialCara meneruskannya
Web Scraper APIAuthorization: Basic <base64(username:password)> (autentikasi HTTP Basic standar)
Web Scraper API (alternatif)X-Oxylabs-Username dan X-Oxylabs-Password header
AI StudioX-Oxylabs-AI-Studio-Api-Key header

Contoh konfigurasi klien:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Semua alat selalu terdaftar terlepas dari kredensial yang diberikan; memanggil alat tanpa kredensial yang dibutuhkan akan mengembalikan pesan kesalahan yang menjelaskan dengan tepat apa yang harus dikonfigurasi.

Pengaturan dengan Claude Desktop

Navigasikan ke Claude → Settings → Developer → Edit Config dan tambahkan salah satu konfigurasi di atas ke file claude_desktop_config.json.

Pengaturan dengan Cursor AI

Navigasikan ke Cursor → Settings → Cursor Settings → MCP. Klik Add new global MCP server dan tambahkan salah satu konfigurasi di atas.

📝 Pencatatan Log

Server menyediakan informasi tambahan tentang panggilan alat dalam peristiwa notification/message:

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ Fitur Utama

Mengikis konten dari situs mana pun
  • Ekstrak data dari URL apa pun, termasuk aplikasi satu halaman yang kompleks
  • Render sepenuhnya situs web dinamis menggunakan dukungan browser tanpa kepala
  • Pilih rendering JavaScript penuh, HTML saja, atau tidak sama sekali
  • Emulasikan viewport Mobile dan Desktop untuk rendering yang realistis
Otomatis dapatkan data siap AI
  • Bersihkan dan konversi HTML ke Markdown secara otomatis untuk keterbacaan yang lebih baik
  • Gunakan parser otomatis untuk target populer seperti Google, Amazon, dan lainnya
Kelola CAPTCHA & pembatasan geografis
  • Navigasikan sistem manajemen permintaan otomatis yang canggih dengan tingkat keberhasilan tinggi
  • Ikis dengan andal bahkan situs web yang paling kompleks
  • Dapatkan IP yang berputar otomatis dari kumpulan proxy yang mencakup 195+ negara
Pengaturan fleksibel & dukungan lintas platform
  • Atur opsi rendering dan penguraian jika diperlukan
  • Masukkan data langsung ke model AI atau alat analitik
  • Berfungsi di macOS, Windows, dan Linux
Penanganan kesalahan dan manajemen permintaan bawaan
  • Penanganan dan pelaporan kesalahan yang komprehensif
  • Pembatasan laju dan manajemen permintaan yang cerdas

Mengapa Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

Bayangkan memberi tahu LLM Anda "Ringkas diskusi Hacker News terbaru tentang GPT‑5" – dan LLM itu hanya menjawab. Server Oxylabs MCP mewujudkannya dengan melakukan bagian-bagian yang membosankan untuk Anda:

Apa yang dilakukan Oxylabs MCPMengapa itu penting bagi Anda
Mengelola dinding permintaan otomatis dengan jaringan proxy global OxylabsMemungkinkan akses situs web dan anonimitas
Merender JavaScript di Chrome tanpa kepalaAplikasi satu halaman, beres
Membersihkan HTML → MarkdownMasukkan langsung ke basis data vektor atau prompt
Parser terstruktur opsional (Google, Amazon, dll.)Akses satu baris ke target populer

🛡️ Lisensi

Didistribusikan di bawah Lisensi MIT – lihat LICENSE untuk detailnya.


Tentang Oxylabs

Didirikan pada tahun 2015, Oxylabs adalah platform pengumpulan intelijen web terkemuka di pasar, didorong oleh standar bisnis, etika, dan kepatuhan tertinggi, memungkinkan perusahaan di seluruh dunia untuk membuka wawasan berbasis data.

image

Dibuat dengan ☕ oleh Oxylabs. Jangan ragu untuk memberi kami ⭐ jika MCP menyelamatkan akhir pekan Anda.

mcp-name: io.oxylabs/oxylabs-mcp

Solusi yang dibuat berdasarkan MCP ini:

Michelin Detour