Oxylabs MCP Server
resmiScrape situs web dengan Oxylabs Web API, mendukung rendering dinamis dan parsing untuk ekstraksi data terstruktur.
Dokumentasi
Server MCP Oxylabs
Penghubung yang hilang antara model AI dan web dunia nyata: satu API yang menyediakan data bersih dan terstruktur dari situs mana pun.
π Gambaran Umum
Server MCP Oxylabs menyediakan jembatan antara model AI dan web. Server ini memungkinkan model AI untuk mengikis URL apa pun, merender halaman yang sarat JavaScript, mengekstrak dan memformat konten untuk penggunaan AI, mengelola CAPTCHA, serta mengakses data web yang dibatasi secara geografis dari lebih dari 195 negara.
π οΈ Alat MCP
Oxylabs MCP menyediakan dua set alat yang dapat digunakan bersama atau secara terpisah:
Alat API Web Scraper Oxylabs
- universal_scraper: Menggunakan API Web Scraper Oxylabs untuk pengikisan situs web umum;
- google_search_scraper: Menggunakan API Web Scraper Oxylabs untuk mengekstrak hasil dari Google Search;
- amazon_search_scraper: Menggunakan API Web Scraper Oxylabs untuk mengikis halaman hasil pencarian Amazon;
- amazon_product_scraper: Menggunakan API Web Scraper Oxylabs untuk mengekstrak data dari halaman produk Amazon individual.
Alat AI Studio Oxylabs
- ai_scraper: Mengikis konten dari URL apa pun dalam format JSON atau Markdown dengan ekstraksi data bertenaga AI;
- ai_crawler: Berdasarkan prompt, merayapi situs web dan mengumpulkan data dalam format Markdown atau JSON di beberapa halaman;
- ai_browser_agent: Berdasarkan prompt, mengendalikan peramban dan mengembalikan data dalam format Markdown, JSON, HTML, atau tangkapan layar;
- ai_search: Mencari web untuk URL dan kontennya dengan ekstraksi konten bertenaga AI.
β Prasyarat
Sebelum memulai, pastikan Anda memiliki setidaknya salah satu dari berikut:
- Akun API Web Scraper Oxylabs: Dapatkan nama pengguna dan kata sandi Anda dari Oxylabs (tersedia uji coba gratis 1 minggu);
- Kunci API AI Studio Oxylabs: Dapatkan kunci API Anda dari Oxylabs AI Studio. (1000 kredit gratis).
π¦ Konfigurasi
Variabel lingkungan
Server MCP Oxylabs mendukung variabel lingkungan berikut:
| Nama | Deskripsi | Default |
|---|---|---|
OXYLABS_USERNAME | Nama pengguna API Web Scraper Oxylabs Anda | |
OXYLABS_PASSWORD | Kata sandi API Web Scraper Oxylabs Anda | |
OXYLABS_AI_STUDIO_API_KEY | Kunci API AI Studio Oxylabs Anda | |
LOG_LEVEL | Tingkat log untuk log yang dikembalikan ke klien | INFO |
Berdasarkan kredensial yang diberikan, server akan secara otomatis mengekspos alat yang sesuai:
- Jika hanya
OXYLABS_USERNAMEdanOXYLABS_PASSWORDyang disediakan, server akan mengekspos alat API Web Scraper; - Jika hanya
OXYLABS_AI_STUDIO_API_KEYyang disediakan, server akan mengekspos alat AI Studio; - Jika
OXYLABS_USERNAMEdanOXYLABS_PASSWORDsertaOXYLABS_AI_STUDIO_API_KEYsemuanya disediakan, server akan mengekspos semua alat.
βββ Catatan penting: jika Anda tidak memiliki kredensial API Web Scraper atau AI Studio Oxylabs, hapus placeholder variabel lingkungan yang sesuai. Membiarkan nilai placeholder akan mengakibatkan alat yang diekspos tidak berfungsi.
Konfigurasi dengan uvx
- Instal manajer paket uvx:
ATAU:# macOS and Linux curl -LsSf https://astral.sh/uv/install.sh | sh# Windows powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex" - Gunakan konfigurasi berikut:
{ "mcpServers": { "oxylabs": { "command": "uvx", "args": ["oxylabs-mcp"], "env": { "OXYLABS_USERNAME": "OXYLABS_USERNAME", "OXYLABS_PASSWORD": "OXYLABS_PASSWORD", "OXYLABS_AI_STUDIO_API_KEY": "OXYLABS_AI_STUDIO_API_KEY" } } } }
Konfigurasi dengan uv
-
Instal manajer paket uv:
# macOS and Linux curl -LsSf https://astral.sh/uv/install.sh | shATAU:
# Windows powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex" -
Gunakan konfigurasi berikut:
{ "mcpServers": { "oxylabs": { "command": "uv", "args": [ "--directory", "/<Absolute-path-to-folder>/oxylabs-mcp", "run", "oxylabs-mcp" ], "env": { "OXYLABS_USERNAME": "OXYLABS_USERNAME", "OXYLABS_PASSWORD": "OXYLABS_PASSWORD", "OXYLABS_AI_STUDIO_API_KEY": "OXYLABS_AI_STUDIO_API_KEY" } } } }
Konfigurasi dengan Smithery Oauth2
- Buka https://smithery.ai/server/@oxylabs/oxylabs-mcp;
- Klik Auto untuk menginstal konfigurasi MCP Oxylabs untuk klien yang sesuai;
- ATAU gunakan konfigurasi berikut:
{
"mcpServers": {
"oxylabs": {
"url": "https://server.smithery.ai/@oxylabs/oxylabs-mcp/mcp"
}
}
}
- Ikuti petunjuk untuk mengautentikasi MCP Oxylabs dengan alur Oauth2
Konfigurasi dengan parameter kueri Smithery
Jika klien Anda tidak mendukung autentikasi Oauth2, Anda dapat meneruskan parameter autentikasi Oxylabs langsung di url
{
"mcpServers": {
"oxylabs": {
"url": "https://server.smithery.ai/@oxylabs/oxylabs-mcp/mcp?oxylabsUsername=OXYLABS_USERNAME&oxylabsPassword=OXYLABS_PASSWORD&oxylabsAiStudioApiKey=OXYLABS_AI_STUDIO_API_KEY"
}
}
}
Pengaturan Manual dengan Claude Desktop
Arahkan ke Claude β Settings β Developer β Edit Config dan tambahkan salah satu konfigurasi di atas ke file claude_desktop_config.json.
Pengaturan Manual dengan Cursor AI
Arahkan ke Cursor β Settings β Cursor Settings β MCP. Klik Add new global MCP server dan tambahkan salah satu konfigurasi di atas.
π Pencatatan
Server menyediakan informasi tambahan tentang panggilan alat dalam event notification/message
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
π‘οΈ Lisensi
Didistribusikan di bawah Lisensi MIT β lihat LICENSE untuk detailnya.
Tentang Oxylabs
Didirikan pada tahun 2015, Oxylabs adalah platform pengumpulan intelijen web terkemuka di pasar, didorong oleh standar bisnis, etika, dan kepatuhan tertinggi, yang memungkinkan perusahaan di seluruh dunia untuk membuka wawasan berbasis data.
β¨ Fitur Utama
Mengikis konten dari situs mana pun
- Mengekstrak data dari URL apa pun, termasuk aplikasi halaman tunggal yang kompleks
- Merender penuh situs web dinamis menggunakan dukungan peramban headless
- Memilih rendering JavaScript penuh, hanya HTML, atau tanpa rendering
- Meniru viewport Seluler dan Desktop untuk rendering yang realistis
Otomatis mendapatkan data siap AI
- Otomatis membersihkan dan mengonversi HTML ke Markdown untuk keterbacaan yang lebih baik
- Menggunakan parser otomatis untuk target populer seperti Google, Amazon, dan lainnya
Mengelola CAPTCHA & pembatasan geografis
- Menavigasi sistem manajemen permintaan otomatis yang canggih dengan tingkat keberhasilan tinggi
- Mengikis dengan andal bahkan situs web yang paling kompleks sekalipun
- Mendapatkan IP yang berotasi otomatis dari kumpulan proxy yang mencakup lebih dari 195 negara
Pengaturan fleksibel & dukungan lintas platform
- Mengatur opsi rendering dan parsing jika diperlukan
- Memasukkan data langsung ke model AI atau alat analitik
- Bekerja di macOS, Windows, dan Linux
Penanganan kesalahan dan manajemen permintaan bawaan
- Penanganan dan pelaporan kesalahan yang komprehensif
- Pembatasan laju dan manajemen permintaan yang cerdas
Mengapa Oxylabs MCP? Β πΈοΈ β π¦ β π€
Bayangkan memberi tahu LLM Anda "Ringkas diskusi Hacker News terbaru tentang GPTβ5" β dan LLM langsung menjawab.
MCP (MultiβClient Proxy) mewujudkannya dengan menangani bagian-bagian membosankan untuk Anda:
| Apa yang dilakukan Oxylabs MCP | Mengapa itu penting bagi Anda |
|---|---|
| Mengelola dinding permintaan otomatis dengan jaringan proxy global Oxylabs | Memungkinkan akses situs web dan anonimitas |
| Merender JavaScript di Chrome headless | Aplikasi halaman tunggal, beres |
| Membersihkan HTML β JSON | Langsung masukkan ke DB vektor atau prompt |
| Parser terstruktur opsional (Google, Amazon, dll.) | Akses satu baris ke target populer |
mcp-name: io.oxylabs/oxylabs-mcp
