Oxylabs
resmiScrape situs web dengan Oxylabs Web API, mendukung rendering dinamis dan parsing untuk ekstraksi data terstruktur.
Apa yang bisa Anda lakukan dengan Oxylabs MCP?
- Scrape URL apa pun — Minta asisten Anda untuk mengambil dan mengekstrak konten dari halaman web mana pun menggunakan
universal_scraper, dengan opsi rendering JavaScript dan penargetan geo. - Cari Google dan Amazon — Gunakan
google_search_scraper,amazon_search_scraper, atauamazon_product_scraperuntuk menarik hasil terstruktur dari platform ini. - Ekstraksi bertenaga AI — Manfaatkan
ai_scraperuntuk meng-scrape URL apa pun dan mengembalikan data dalam format JSON, CSV, Markdown, atau TOON. - Crawl dan petakan situs web — Gunakan
ai_crawleruntuk mengumpulkan data di beberapa halaman dari URL awal, atauai_mapuntuk mendaftar URL situs yang difilter berdasarkan kata kunci. - Otomatiskan tugas browser — Serahkan navigasi, klik, dan pengisian formulir kepada
ai_browser_agent, yang mengontrol browser asli berdasarkan prompt. - Hasilkan skema ekstraksi — Minta skema JSON format OpenAPI melalui
generate_schemauntuk menyusun ekstraksi data dengan alat AI.
Dokumentasi
Oxylabs MCP Server
Jembatan yang hilang antara model AI dan web dunia nyata: satu API yang menyajikan data bersih dan terstruktur dari situs mana pun.
📖 Ringkasan
Server Oxylabs MCP menyediakan jembatan antara model AI dan web. Server ini memungkinkan model AI untuk mengikis URL apa pun, merender halaman yang banyak menggunakan JavaScript, mengekstrak dan memformat konten untuk penggunaan AI, mengelola CAPTCHA, dan mengakses data web yang dibatasi secara geografis dari 195+ negara.
Server ini dibangun di atas Model Context Protocol (MCP), standar terbuka untuk menghubungkan asisten AI ke alat dan data eksternal.
🛠️ Alat MCP
Oxylabs MCP menyediakan dua set alat yang dapat digunakan bersama atau secara terpisah:
Alat Oxylabs Web Scraper API
- universal_scraper: mengikis URL apa pun, dengan opsi rendering JavaScript, penargetan geografis, dan output Markdown/HTML/tautan;
- google_search_scraper: mengekstrak hasil dari Google Search, dengan opsi penguraian menjadi JSON terstruktur;
- amazon_search_scraper: mengikis halaman hasil pencarian Amazon, dengan opsi penguraian menjadi JSON terstruktur;
- amazon_product_scraper: mengekstrak data dari halaman produk Amazon individual.
Alat Oxylabs AI Studio
- ai_scraper: mengikis konten dari URL apa pun dengan ekstraksi bertenaga AI, dalam format JSON, CSV, Markdown, atau TOON;
- ai_crawler: merayapi situs web dari URL awal berdasarkan prompt dan mengumpulkan data di berbagai halaman;
- ai_browser_agent: mengontrol browser asli berdasarkan prompt — menavigasi, mengklik, mengisi formulir — dan mengembalikan hasilnya;
- ai_search: mencari di web dan secara opsional mengembalikan konten Markdown dari setiap hasil;
- ai_map: memetakan URL situs web, difilter berdasarkan kata kunci atau prompt;
- generate_schema: menghasilkan skema JSON format OpenAPI untuk ekstraksi terstruktur dengan alat AI di atas.
✅ Prasyarat
Sebelum memulai, pastikan Anda memiliki setidaknya satu dari hal berikut:
- Akun Oxylabs Web Scraper API: dapatkan nama pengguna dan kata sandi Anda dari Oxylabs (tersedia uji coba gratis 1 minggu);
- Kunci API Oxylabs AI Studio: dapatkan kunci API Anda dari Oxylabs AI Studio (1000 kredit gratis).
Untuk menjalankan server secara lokal (Opsi 2 di bawah), Anda juga memerlukan manajer paket uv:
# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
📦 Konfigurasi
Ada dua cara untuk menggunakan server: terhubung ke instance yang dihosting (tanpa instalasi) atau menjalankannya secara lokal dengan kredensial dalam variabel lingkungan.
Opsi 1: Server yang dihosting (tanpa instalasi)
Oxylabs menjalankan server MCP yang dihosting di:
https://mcp.oxylabs.io/mcp
Kredensial diteruskan dengan header permintaan:
| Kredensial | Header |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)> |
| Web Scraper API (alternatif) | X-Oxylabs-Username dan X-Oxylabs-Password |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key |
Pengaturan dengan Claude Code:
claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
--header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
--header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"
Pengaturan dengan Cursor atau klien lain yang mendukung server MCP jarak jauh dengan header kustom:
{
"mcpServers": {
"oxylabs": {
"url": "https://mcp.oxylabs.io/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
Server ini juga terdaftar di Smithery.
Catatan: klien yang hanya mendukung OAuth untuk server jarak jauh (misalnya, menambahkan konektor kustom di UI web claude.ai) belum dapat meneruskan header — masuk OAuth ada di peta jalan kami. Gunakan pengaturan lokal di bawah ini dengan klien tersebut sementara ini.
Opsi 2: Jalankan secara lokal
Variabel lingkungan
Server Oxylabs MCP mendukung variabel lingkungan berikut:
| Nama | Deskripsi | Default |
|---|---|---|
OXYLABS_USERNAME | Nama pengguna Oxylabs Web Scraper API Anda | |
OXYLABS_PASSWORD | Kata sandi Oxylabs Web Scraper API Anda | |
OXYLABS_AI_STUDIO_API_KEY | Kunci API Oxylabs AI Studio Anda | |
LOG_LEVEL | Tingkat log untuk log yang dikembalikan ke klien | INFO |
Berdasarkan kredensial yang diberikan, server secara otomatis mengekspos alat yang sesuai:
- Jika hanya
OXYLABS_USERNAMEdanOXYLABS_PASSWORDyang diberikan, server mengekspos alat Web Scraper API; - Jika hanya
OXYLABS_AI_STUDIO_API_KEYyang diberikan, server mengekspos alat AI Studio; - Jika ketiganya diberikan, server mengekspos semua alat.
❗ Penting: hanya atur variabel lingkungan yang Anda miliki kredensial aslinya. Meninggalkan nilai placeholder akan menghasilkan alat yang diekspos tetapi tidak berfungsi.
Konfigurasi dengan uvx
Menginstal paket dari PyPI dan menjalankannya secara otomatis:
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
Konfigurasi dengan checkout lokal
Berguna untuk pengembangan — menjalankan server dari klon lokal repositori ini:
{
"mcpServers": {
"oxylabs": {
"command": "uv",
"args": [
"--directory",
"/<absolute-path-to-folder>/oxylabs-mcp",
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
Menjalankan sebagai server HTTP jarak jauh (self-hosting)
Server juga mendukung transport MCP streamable-HTTP. Mulai dengan:
MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp
Dengan transport HTTP, kredensial diteruskan per permintaan, bukan variabel lingkungan:
| Kredensial | Cara meneruskannya |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)> (autentikasi HTTP Basic standar) |
| Web Scraper API (alternatif) | X-Oxylabs-Username dan X-Oxylabs-Password header |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key header |
Contoh konfigurasi klien:
{
"mcpServers": {
"oxylabs": {
"url": "https://your-host:8000/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
Semua alat selalu terdaftar terlepas dari kredensial yang diberikan; memanggil alat tanpa kredensial yang dibutuhkan akan mengembalikan pesan kesalahan yang menjelaskan dengan tepat apa yang harus dikonfigurasi.
Pengaturan dengan Claude Desktop
Navigasikan ke Claude → Settings → Developer → Edit Config dan tambahkan salah satu konfigurasi di atas ke file claude_desktop_config.json.
Pengaturan dengan Cursor AI
Navigasikan ke Cursor → Settings → Cursor Settings → MCP. Klik Add new global MCP server dan tambahkan salah satu konfigurasi di atas.
📝 Pencatatan Log
Server menyediakan informasi tambahan tentang panggilan alat dalam peristiwa notification/message:
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
✨ Fitur Utama
Mengikis konten dari situs mana pun
- Ekstrak data dari URL apa pun, termasuk aplikasi satu halaman yang kompleks
- Render sepenuhnya situs web dinamis menggunakan dukungan browser tanpa kepala
- Pilih rendering JavaScript penuh, HTML saja, atau tidak sama sekali
- Emulasikan viewport Mobile dan Desktop untuk rendering yang realistis
Otomatis dapatkan data siap AI
- Bersihkan dan konversi HTML ke Markdown secara otomatis untuk keterbacaan yang lebih baik
- Gunakan parser otomatis untuk target populer seperti Google, Amazon, dan lainnya
Kelola CAPTCHA & pembatasan geografis
- Navigasikan sistem manajemen permintaan otomatis yang canggih dengan tingkat keberhasilan tinggi
- Ikis dengan andal bahkan situs web yang paling kompleks
- Dapatkan IP yang berputar otomatis dari kumpulan proxy yang mencakup 195+ negara
Pengaturan fleksibel & dukungan lintas platform
- Atur opsi rendering dan penguraian jika diperlukan
- Masukkan data langsung ke model AI atau alat analitik
- Berfungsi di macOS, Windows, dan Linux
Penanganan kesalahan dan manajemen permintaan bawaan
- Penanganan dan pelaporan kesalahan yang komprehensif
- Pembatasan laju dan manajemen permintaan yang cerdas
Mengapa Oxylabs MCP? 🕸️ ➜ 📦 ➜ 🤖
Bayangkan memberi tahu LLM Anda "Ringkas diskusi Hacker News terbaru tentang GPT‑5" – dan LLM itu hanya menjawab. Server Oxylabs MCP mewujudkannya dengan melakukan bagian-bagian yang membosankan untuk Anda:
| Apa yang dilakukan Oxylabs MCP | Mengapa itu penting bagi Anda |
|---|---|
| Mengelola dinding permintaan otomatis dengan jaringan proxy global Oxylabs | Memungkinkan akses situs web dan anonimitas |
| Merender JavaScript di Chrome tanpa kepala | Aplikasi satu halaman, beres |
| Membersihkan HTML → Markdown | Masukkan langsung ke basis data vektor atau prompt |
| Parser terstruktur opsional (Google, Amazon, dll.) | Akses satu baris ke target populer |
🛡️ Lisensi
Didistribusikan di bawah Lisensi MIT – lihat LICENSE untuk detailnya.
Tentang Oxylabs
Didirikan pada tahun 2015, Oxylabs adalah platform pengumpulan intelijen web terkemuka di pasar, didorong oleh standar bisnis, etika, dan kepatuhan tertinggi, memungkinkan perusahaan di seluruh dunia untuk membuka wawasan berbasis data.
mcp-name: io.oxylabs/oxylabs-mcp
