Decodo
resmiAkses data web yang mudah. Pengambilan informasi yang disederhanakan dari situs web dan sumber daring.
Apa yang bisa Anda lakukan dengan Decodo MCP?
- Scrape halaman sebagai Markdown — Minta asisten Anda untuk melakukan scrape pada URL apa pun, termasuk halaman yang berat JavaScript, dan kembalikan Markdown yang siap untuk LLM.
- Ambil tangkapan layar — Minta tangkapan layar PNG dari halaman web mana pun, secara opsional dari IP negara tertentu.
- Crawl situs — Mulai crawl, periksa progresnya, ambil halaman yang di-crawl beberapa sekaligus, atau batalkan.
- Mesin pencari — Jalankan pencarian web, Google, Bing, Google Ads, Google Lens, atau Google Travel Hotels dan dapatkan hasil yang telah diurai.
- Data eCommerce — Tarik data produk, harga, penjual, dan bestseller dari Amazon, Walmart, Target, dan TikTok Shop.
- Jawaban sosial dan AI — Kumpulkan postingan TikTok dan metadata, subtitle, channel, atau hasil pencarian YouTube, atau kueri ChatGPT dan Perplexity.
Dokumentasi
Server MCP Decodo
Hubungkan LLM dan agen AI ke data web langsung menggunakan MCP (Model Context Protocol). Server MCP Decodo memungkinkan Anda melakukan scraping situs web, mesin pencari, platform eCommerce, dan media sosial langsung dari alat AI seperti Claude, Cursor, dan Windsurf, semuanya tanpa perlu membangun infrastruktur scraping dari awal.
- Output terstruktur dalam JSON, Markdown, dan tangkapan layar
- Rendering JavaScript sisi server dan penanganan anti-bot
- 125M+ IP di 195+ lokasi
Apa itu server MCP Decodo?
Server MCP Decodo adalah lapisan scraping web untuk agen AI. Ini menghubungkan klien yang kompatibel dengan MCP ke Web Scraping API Decodo, yang memungkinkan:
- Scraping web untuk LLM
- Pengambilan data real-time untuk RAG
- Penjelajahan dan riset oleh agen AI
- Ekstraksi data terstruktur dari situs web dinamis
Alih-alih memelihara proxy, parser, dan logika percobaan ulang, Anda mendapatkan satu titik integrasi untuk akses data web yang andal.
Mengapa menggunakan MCP untuk scraping web?
Model Context Protocol (MCP) adalah standar yang sedang berkembang untuk menghubungkan agen AI ke alat eksternal dan sumber data. Dengan MCP:
- Agen dapat memanggil alat secara dinamis
- Integrasi tetap terstandarisasi
- Alur kerja dapat diskalakan di berbagai lingkungan
Server MCP Decodo memberi agen Anda akses web yang andal dan siap produksi melalui standar ini.
Fitur utama
Scraping web untuk agen AI, tanpa perlu infrastruktur. Lakukan scraping situs web apa pun, termasuk halaman yang berat JavaScript, tanpa menangani rotasi proxy, penyelesaian CAPTCHA, atau sistem anti-bot.
Output terstruktur untuk alur kerja LLM. Markdown (siap untuk LLM), JSON (untuk pipeline terstruktur), dan tangkapan layar (untuk konteks visual), dirancang untuk pipeline RAG, agen riset AI, dan alur otomasi.
Dukungan bawaan untuk target populer. Alat siap pakai untuk Google dan Bing (SERP), Amazon, Walmart, dan Target (eCommerce), TikTok dan YouTube (media sosial), serta ChatGPT dan Perplexity (pencarian AI).
Infrastruktur proxy global. 115M+ IP residensial, 195+ lokasi geografis, dan tingkat keberhasilan 99,99% bahkan pada target yang paling terlindungi.
Toolset MCP modular. Aktifkan hanya yang Anda butuhkan: web, search, ecommerce, social_media,
ai untuk pemilihan alat yang lebih bersih dan performa agen yang lebih baik.
Waktu penerapan yang cepat. Dari kunci API hingga scraping pertama dalam hitungan menit, tanpa beban penyiapan.
Kasus penggunaan
Gunakan Server MCP Decodo ketika Anda memerlukan scraping web untuk agen AI, ekstraksi data terstruktur dalam skala besar, akses andal ke situs web dinamis, data real-time untuk RAG, atau alternatif untuk membangun infrastruktur scraping dari awal. Skenario umum:
- Scraping web bertenaga AI – beri LLM kemampuan untuk mengumpulkan data segar alih-alih mengandalkan data pelatihan statis.
- RAG dengan data langsung – tarik hasil pencarian Google, Bing, dan pencarian AI secara real-time ke dalam pipeline pengambilan.
- Intelijen eCommerce – lacak harga produk, daftar, dan penjual di berbagai marketplace tanpa terblokir.
- Pengumpulan data media sosial – kumpulkan postingan, kanal, dan data keterlibatan dari TikTok dan YouTube.
- Agregasi perjalanan dan harga – bangun alat yang mengumpulkan harga dan ketersediaan langsung di berbagai situs web.
Mulai cepat
- Buat akun gratis di dashboard.decodo.com – hingga 10K permintaan gratis, tanpa perlu kartu kredit.
- Dapatkan kunci API Anda. Salin kunci Web Data API Anda dari langganan Web Data API di dashboard. Paket lama memiliki token autentikasi dasar, yang juga berfungsi (lihat Autentikasi).
- Unduh Node.js 18+ dari https://nodejs.org.
- Dapatkan klien MCP seperti Claude Desktop, Cursor, Windsurf, atau alat lain yang kompatibel dengan MCP.
- Konfigurasikan server MCP di klien AI Anda (lihat contoh konfigurasi di bawah).
Menghubungkan ke server MCP Decodo
Buka klien MCP pilihan Anda dan tambahkan konfigurasi berikut (lihat contoh untuk Claude Code, Cursor, Windsurf di bawah):
{
"mcpServers": {
"Decodo": {
"url": "https://mcp.decodo.com/mcp",
"headers": {
"Authorization": "Bearer <api_key>"
}
}
}
}
Autentikasi
| Kredensial | Dari mana mendapatkannya | Header server hosted | Env server lokal |
|---|---|---|---|
| Kunci API (disarankan) | Langganan Web Data API di dashboard | Authorization: Bearer <api_key> | SCRAPER_API_TOKEN=<api_key> |
| Token autentikasi dasar (paket lama) | Halaman Web Scraping API di dashboard | Authorization: Basic <basic_auth_token> | SCRAPER_API_TOKEN=<basic_auth_token> |
Server lokal membaca salah satu kredensial dari SCRAPER_API_TOKEN dan menentukan mana yang diterimanya.
Claude Desktop
- Buka Claude Desktop → Settings → Developer → Edit Config.
- Tambahkan ke claude_desktop_config.json:
{
"mcpServers": {
"Decodo": {
"command": "npx",
"args": ["-y", "@decodo/mcp-server"],
"env": {
"SCRAPER_API_TOKEN": "<api_key>",
"TOOLSETS": "web,ai"
}
}
}
}
- Simpan dan mulai ulang Claude Desktop.
Cursor
- Buka Settings → MCP.
- Klik Add a new global MCP server (membuka mcp.json).
- Tambahkan konfigurasi yang sama seperti di atas.
- Simpan — cari indikator status hijau di samping Decodo.
Windsurf
- Buka Settings → Windsurf Settings.
- Gulir ke Cascade → Add custom server + (membuka mcp_config.json).
- Tambahkan konfigurasi yang sama seperti di atas.
- Simpan dan mulai ulang Windsurf.
Uji pengaturan Anda
Setelah terhubung, coba prompt ini di klien Anda:
▎ "Scrape the titles of the top 5 articles from Hacker News"
Anda akan menerima daftar terstruktur dalam hitungan detik. Jika Anda melihat kesalahan autentikasi, periksa kembali kunci API Anda di dashboard.
Pengembangan lokal
Hanya diperlukan jika Anda ingin mengubah kode server.
Build and run the server from this repository
Prasyarat
- Node.js 18.0+
- Klien MCP - pilihan populer adalah Claude Desktop dan Cursor
Panduan langkah demi langkah
- Kloning repositori ini:
git clone https://github.com/Decodo/mcp-server
- Jalankan perintah berikut di terminal:
cd mcp-server
npm install
npm run build
- Catat lokasi build Anda:
cd build/
pwd
Menambahkan index.js ke akhir direktori ini, lokasi file build Anda akan terlihat seperti
ini:
/Users/your.user/projects/mcp-server/build/index.js
- Perbarui klien MCP Anda dengan informasi server:
{
"mcpServers": {
"decodo-mcp": {
"command": "node",
"args": ["/Users/your.user/projects/mcp-server/build/index.js"],
"env": {
"SCRAPER_API_TOKEN": "<api_key>"
}
}
}
}
Toolset
Alat diorganisir ke dalam toolset. Toolset mana yang Anda dapatkan bergantung pada cara Anda terhubung.
Claude (konektor resmi)
Konektor Decodo di direktori konektor Claude hanya mencakup alat Web Data API:
| Toolset | Alat |
|---|---|
web | scrape_as_markdown, screenshot, map, crawl_start, crawl_status, crawl_results, crawl_cancel |
search | search |
Klien MCP apa pun
Anda dapat secara selektif mengaktifkan toolset tertentu dengan meneruskan daftar yang dipisahkan
koma melalui parameter kueri toolsets:
"Decodo MCP Server": {
"url": "https://mcp.decodo.com/mcp?toolsets=web,ai",
"headers": {
"Authorization": "Bearer <api_key>"
}
}
Jika tidak ada toolset yang ditentukan, semua alat akan didaftarkan.
| Toolset | Alat |
|---|---|
web | scrape_as_markdown, screenshot, map, crawl_start, crawl_status, crawl_results, crawl_cancel |
search | search, google_search, google_ads, google_lens, google_travel_hotels, bing_search |
ecommerce | amazon_search, amazon_product, amazon_pricing, amazon_sellers, amazon_bestsellers, walmart_search, walmart_product, target_search, target_product, tiktok_shop_search, tiktok_shop_product, tiktok_shop_url |
social_media | tiktok_post, youtube_metadata, youtube_channel, youtube_subtitles, youtube_search |
ai | chatgpt, perplexity, google_ai_mode |
Alat
Server menyediakan alat berikut:
| Alat | Deskripsi | Contoh prompt |
|---|---|---|
scrape_as_markdown | Mengambil konten dari URL target apa pun, mengharapkan URL diberikan melalui prompt. Mengembalikan hasil dalam format Markdown. | Ambil konten peacock.com dari alamat IP AS dan beri tahu saya harganya. |
screenshot | Mengambil tangkapan layar halaman web apa pun dan mengembalikannya sebagai gambar PNG. | Ambil tangkapan layar github.com dari alamat IP AS. |
map | Mendaftar URL di sebuah situs web tanpa mengambil kontennya. Hanya dengan API key. | Petakan docs.decodo.com dan daftar halaman di bawah /scraping-api. |
crawl_start | Memulai crawl situs web dan mengembalikan crawl id tanpa menunggu. Hanya dengan API key. | Crawl 10 halaman pertama decodo.com/blog. |
crawl_status | Melaporkan kemajuan crawl: halaman ditemukan, selesai, dan gagal. Hanya dengan API key. | Apakah crawl saya sudah selesai? |
crawl_results | Mengembalikan halaman yang di-crawl sebagai Markdown, beberapa sekaligus dengan kursor. Hanya dengan API key. | Tampilkan halaman yang ditemukan oleh crawl saya. |
crawl_cancel | Menghentikan crawl yang sedang berjalan; halaman yang sudah di-crawl tetap dapat dibaca. Hanya dengan API key. | Batalkan crawl saya. |
search | Mencari di web dan mengembalikan hasil yang diperingkat. Hanya dengan API key. | Cari di web opsi hosting server MCP. |
google_search | Mengambil konten Google Search untuk kueri tertentu, dan mengembalikan hasil yang telah diurai. | Ambil konten Google Search untuk sepatu dan beri tahu saya posisi teratas. |
google_ads | Mengambil konten hasil pencarian Google Ads. | Ambil konten Google Ads untuk laptop dan tunjukkan iklan teratas. |
google_lens | Mengambil konten hasil pencarian gambar Google Lens. | Cari di Google Lens untuk gambar ini: https://example.com/image.jpg |
google_ai_mode | Mengambil konten hasil Google AI Mode (Search with AI). | Tanyakan ke Google AI Mode: Apa tiga ras anjing teratas? |
google_travel_hotels | Mengambil konten hasil pencarian Google Travel Hotels. | Cari di Google Travel Hotels untuk hotel di Paris. |
amazon_search | Mengambil konten Amazon Search untuk kueri tertentu, dan mengembalikan hasil yang telah diurai. | Ambil konten Amazon Search untuk keyboard nirkabel. |
amazon_product | Mengambil konten halaman Produk Amazon. | Ambil konten produk Amazon B09H74FXNW dan tunjukkan detailnya. |
amazon_pricing | Mengambil konten informasi harga Produk Amazon. | Dapatkan harga untuk produk Amazon B09H74FXNW. |
amazon_sellers | Mengambil konten informasi Penjual Amazon. | Dapatkan informasi tentang penjual Amazon A1R0Z7FJGTKESH. |
amazon_bestsellers | Mengambil konten daftar Bestsellers Amazon. | Tunjukkan bestseller Amazon di kategori elektronik. |
walmart_search | Mengambil konten Walmart Search untuk kueri tertentu, dan mengembalikan hasil yang telah diurai. | Ambil konten Walmart Search untuk tenda berkemah. |
walmart_product | Mengambil konten halaman Produk Walmart. | Ambil konten produk Walmart 15296401808. |
target_search | Mengambil konten Target Search untuk kueri tertentu, dan mengembalikan hasil yang telah diurai. | Ambil konten Target Search untuk peralatan dapur. |
target_product | Mengambil konten halaman Produk Target. | Ambil konten produk Target 92186007. |
tiktok_post | Mengambil konten URL postingan TikTok untuk data terstruktur (mis. engagement, caption, hashtag). | Ambil konten postingan TikTok ini: https://www.tiktok.com/@nba/video/7393013274725403950 |
tiktok_shop_search | Mengambil konten TikTok Shop Search untuk kueri tertentu, dan mengembalikan hasil yang telah diurai. | Ambil konten TikTok Shop Search untuk casing ponsel. |
tiktok_shop_product | Mengambil konten halaman Produk TikTok Shop. | Ambil konten produk TikTok Shop 1731541214379741272. |
tiktok_shop_url | Mengambil konten halaman TikTok Shop berdasarkan URL. | Ambil konten URL TikTok Shop ini: https://www.tiktok.com/shop/s?q=HEADPHONES |
youtube_metadata | Mengambil konten metadata video YouTube. | Dapatkan metadata untuk video YouTube dFu9aKJoqGg. |
youtube_channel | Mengambil konten video channel YouTube. | Ambil konten channel YouTube @decodo_official. |
youtube_subtitles | Mengambil konten subtitle video YouTube. | Dapatkan subtitle untuk video YouTube L8zSWbQN-v8. |
youtube_search | Mencari video YouTube. | Cari di YouTube untuk "Cara merawat chinchilla". |
bing_search | Mengambil konten hasil Bing Search. | Cari di Bing untuk ulasan laptop. |
chatgpt | Mengirim satu prompt ke ChatGPT dan mengembalikan jawabannya (tanpa riwayat percakapan). | Minta ChatGPT menjelaskan komputasi kuantum dengan istilah sederhana. |
perplexity | Mengirim satu prompt ke Perplexity dan mengembalikan jawabannya (tanpa riwayat percakapan). | Tanyakan ke Perplexity apa tren terbaru dalam pengembangan web. |
Parameter
Parameter berikut disimpulkan dari prompt pengguna:
| Parameter | Deskripsi |
|---|---|
jsRender | Merender URL target di browser headless. |
geo | Menetapkan negara asal permintaan. |
locale | Menetapkan locale permintaan. |
tokenLimit | Jumlah maksimum karakter yang dikembalikan (default 45000). Berguna jika jendela konteks kecil. |
prompt | Prompt yang dikirim ke alat AI (chatgpt, perplexity). |
search | Mengaktifkan fungsi pencarian web ChatGPT (hanya chatgpt). |
xhr | Jika true, menyertakan respons XHR atau fetch dalam hasil scrape jika didukung (mis. tiktok_post). |
deviceType | Jenis perangkat yang akan diemulasikan (desktop, mobile, tablet). Target yang diurai lebih ketat: alat Amazon hanya untuk desktop sehingga menghilangkannya, dan bing_search/google_ai_mode hanya menerima desktop dan mobile. |
domain | Domain yang digunakan untuk permintaan (mis., amazon.com, amazon.co.uk, bing.com). |
pageFrom | Nomor halaman awal untuk paginasi. |
deliveryZip | Kode ZIP untuk lokasi pengiriman (Target, Walmart). |
storeId | ID toko untuk inventaris lokal (Walmart). |
country | Negara untuk permintaan TikTok Shop. |
limit | Jumlah maksimum hasil yang dikembalikan (mis., video channel YouTube). |
language_code | Kode bahasa untuk subtitle (mis., en, es). |
Contoh
Mengambil konten yang dibatasi secara geografis
Tanyakan kepada agen AI Anda dengan prompt berikut:
Scrape peacock.com from a German IP address and tell me the pricing.
Prompt ini akan menyatakan bahwa peacock.com dibatasi secara geografis. Untuk melewati pembatasan geografis:
Scrape peacock.com from a US IP address and tell me the pricing.
Membatasi jumlah token respons
Jika agen Anda memiliki jendela konteks yang kecil, konten yang dikembalikan dari scraping akan otomatis dipotong, untuk menghindari luapan konteks. Anda dapat menambah jumlah token yang dikembalikan dalam prompt Anda:
Scrape hacker news, return 50k tokens.
Jika agen Anda memiliki jendela konteks yang besar, perintahkan agen untuk mengembalikan full content:
Scrape hacker news, return full content.
Gunakan dengan keterampilan agen Decodo
Server ini memberi agen Anda alat scraping.
Decodo/agent-skills mengajarkannya kapan harus menggunakan
alat tersebut, permukaan mana yang harus dipakai, dan bagaimana memanggilnya — sehingga agen memilih alat dan
parameter yang tepat dengan sendirinya alih-alih menebak.
Keterampilan tersebut mengarahkan di antara CLI decodo, server MCP yang dihosting ini, dan API HTTP mentah, serta secara otomatis
beralih ke server MCP ketika tidak ada shell yang tersedia. Memadukan keduanya memberi agen Anda
lapisan eksekusi (server ini) dan lapisan keputusan (keterampilan) dalam satu pengaturan.
Mulai cepat (Claude Code):
/plugin marketplace add Decodo/agent-skills
/plugin install decodo@decodo-skills
Lihat README agent-skills untuk instalasi manual dan agen lain (Cursor, Codex, Gemini CLI, Windsurf).
Repositori terkait
Web Scraping API, Decodo agent skills, Decodo OpenClaw skill
Cobalah
Sambungkan Decodo MCP Server ke alur kerja AI Anda hanya dalam beberapa klik dan lengkapi agen AI Anda dengan data real-time dari situs web mana pun.
Mulai gratis | Dokumentasi | Discord
Lisensi
Semua kode dirilis di bawah MIT License.
