Scrapfly
resmiServer MCP Scrapfly memberikan agen AI cara yang sederhana dan terpadu untuk mengikis data web langsung dengan penanganan anti-bot bawaan.
Apa yang bisa Anda lakukan dengan Scrapfly MCP?
- Scrape halaman langsung — Minta asisten Anda mengambil harga, listing, atau berita terkini dari halaman web mana pun secara real time.
- Lewati perlindungan anti-bot — Ambil halaman sementara Scrapfly menangani CAPTCHA, proxy, rendering JavaScript, dan batas laju.
- Ekstrak data terstruktur — Minta situs yang kompleks diurai menjadi JSON yang rapi menggunakan ekstraksi berbasis AI.
- Ambil tangkapan layar — Ambil cuplikan visual seluruh halaman atau elemen tertentu untuk dianalisis.
- Periksa penggunaan akun — Tanyakan berapa kredit Scrapfly yang tersisa dan dapatkan kuota Anda saat ini.
Dokumentasi
Memulai dengan Scrapfly MCP Server
Model Context Protocol (MCP) adalah standar terbuka yang memungkinkan model AI berinteraksi dengan alat dan sumber data eksternal. Scrapfly MCP Server mengubah AI Anda dari yang terbatas pada data pelatihan menjadi memiliki akses waktu nyata ke situs web mana pun—memberi AI Anda kemampuan untuk mengambil data web langsung sesuai permintaan.
MCP Cloud atau Dihosting Sendiri
Scrapfly MCP server dapat dijalankan dengan dua cara, menggunakan alat yang sama. Pilih salah satu:
| MCP Cloud (terkelola) | Dihosting sendiri | |
|---|---|---|
| Lokasi berjalan | Dihosting oleh Scrapfly di https://mcp.scrapfly.io/mcp | Mesin atau server Anda, dari server sumber terbuka |
| Instalasi | Tidak perlu: tambahkan URL ke klien AI Anda | Bangun biner Go atau image Docker |
| Autentikasi | Masuk OAuth2 dari klien, atau gunakan kunci API Anda | Kunci API Anda |
| Pembaruan | Selalu versi terbaru | Anda mengunduh dan membangun ulang |
| Cocok untuk | Sebagian besar pengguna: Claude, Cursor, VS Code, ChatGPT, dan klien lainnya | Alat khusus, lingkungan terisolasi dari jaringan, atau lingkungan yang diaudit |
MCP Cloud
Tambahkan URL server ke klien AI Anda. Klien yang mendukung OAuth2 akan membuka halaman masuk Scrapfly saat pertama kali digunakan; klien lainnya meminta kunci API Anda (lihat Autentikasi).
{
"mcpServers": {
"scrapfly-cloud-mcp": {
"type": "http",
"url": "https://mcp.scrapfly.io/mcp"
}
}
}
Klien yang hanya memulai proses lokal terhubung melalui mcp-remote:
{
"mcpServers": {
"scrapfly": {
"command": "npx",
"args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
}
}
}
Setiap klien memiliki langkahnya sendiri: lihat panduan penyiapan (Claude Code, Claude Desktop, Cursor, VS Code, ChatGPT, dan lainnya).
Dihosting Sendiri
Bangun server sumber terbuka yang ditulis dalam Go:
git clone https://github.com/scrapfly/scrapfly-mcp
cd scrapfly-mcp
go build -o scrapfly-mcp ./cmd/scrapfly-mcp
Klien lokal (stdio): klien memulai biner dengan kunci API Anda di lingkungannya.
{
"mcpServers": {
"scrapfly": {
"command": "/path/to/scrapfly-mcp",
"env": { "SCRAPFLY_API_KEY": "" }
}
}
}
Server HTTP: dimulai tanpa kunci; setiap pemanggil memberikan kuncinya sendiri, sebagai Authorization: Bearer <key> atau ?key= pada http://<host>:8080/mcp.
./scrapfly-mcp -http :8080
# or with Docker
docker build -t scrapfly-mcp .
docker run -p 8080:8080 scrapfly-mcp
Kunci yang ditetapkan di SCRAPFLY_API_KEY bersama -http akan digunakan untuk melayani setiap pemanggil dengan kunci tersebut tanpa autentikasi, sehingga server mengikat ke 127.0.0.1 kecuali Anda memberikan -allow-remote. Semua opsi tersedia di README.
Hal yang Dapat Dilakukan
Alih-alih AI Anda menjawab, "Saya tidak memiliki informasi terkini," kini AI dapat:
Mengambil Data Langsung
Mengambil harga, daftar, berita, atau konten halaman web terkini secara waktu nyata
Melewati Sistem Anti-Bot
Menangani CAPTCHA, proxy, rendering JavaScript, dan batas laju secara otomatis
Mengekstrak Data Terstruktur
Mengurai situs web yang kompleks menjadi JSON yang rapi menggunakan ekstraksi berbasis AI
Mengambil Tangkapan Layar
Mengambil cuplikan visual halaman atau elemen tertentu untuk dianalisis
Mengapa Scrapfly MCP Server?
Dibangun di atas infrastruktur teruji yang digunakan oleh ribuan developer:
Selalu Andal
AI Anda tidak akan pernah diblokir
Penyiapan Cepat
Berjalan dalam waktu kurang dari 60 detik
Aman
OAuth2 + autentikasi tingkat perusahaan
Kekuatan Konektor MCP
MCP adalah konektor universal yang mengubah klien AI apa pun menjadi alat pengumpul data web yang andal. Alih-alih membangun integrasi khusus untuk setiap platform AI, MCP menyediakan satu antarmuka standar.
Berfungsi dengan Alat AI Favorit Anda:
- Claude Desktop, Cursor, Cline, Windsurf
- LangChain, LlamaIndex, CrewAI
- Pemanggilan fungsi OpenAI, agen khusus
- Alur kerja n8n, Make, Zapier
Satu Integrasi, Kemungkinan Tanpa Batas:
Konfigurasikan sekali, gunakan di mana saja. MCP server yang sama berfungsi di semua platform—tidak perlu membangun ulang integrasi untuk setiap alat AI yang Anda gunakan.
Cara Menggunakan Scrapfly MCP
Memulai itu mudah—pilih klien AI Anda dan ikuti panduan penyiapannya:
[###### Penyiapan untuk Klien AI Anda
15+ integrasi: Claude Desktop, Cursor, Cline, Windsurf, LangChain, n8n, dan lainnya
](https://scrapfly.io/docs/mcp/integrations) [###### Alat yang Tersedia
9 alat: scraping, tangkapan layar, Cloud Browser dengan penemuan alat WebMCP dinamis
](https://scrapfly.io/docs/mcp/tools) [###### Opsi Autentikasi
Kunci API, OAuth2, atau autentikasi berbasis header—pilih yang sesuai dengan kebutuhan Anda
](https://scrapfly.io/docs/mcp/authentication)
Langkah Berikutnya
Lihat Contoh di Dunia Nyata - Agregasi lowongan kerja, pemantauan harga, ekstraksi data, dan lainnya Panduan Penyiapan Khusus Klien - Cursor, Cline, LangChain, n8n, dan semua platform yang didukung Spesifikasi Alat & API - Dokumentasi parameter lengkap dan panduan penggunaan Siapkan Autentikasi OAuth2 - Autentikasi aman tingkat perusahaan untuk produksi Baca FAQ - Pertanyaan umum dan pemecahan masalah
Verifikasi Penyiapan Anda
Setelah konfigurasi, verifikasi bahwa semuanya berfungsi dengan benar:
-
Periksa Ketersediaan AlatCari ikon palu (🔨) di klien AI Anda atau periksa daftar alat untuk memastikan alat Scrapfly telah dimuat.
-
Uji Permintaan SederhanaCoba tanyakan: "Apa saja postingan teratas di Hacker News saat ini?"
AI Anda seharusnya secara otomatis menggunakan alat Scrapfly untuk mengambil dan menampilkan hasil terkini.
-
Periksa Penggunaan AkunTanyakan: "Berapa sisa kredit Scrapfly saya?"
AI akan menggunakan
info_accountuntuk menampilkan penggunaan dan kuota Anda saat ini.
Pemecahan Masalah
Jika Anda mengalami masalah, berikut beberapa masalah umum dan solusinya:
Alat Tidak Terdeteksi
- Verifikasi konfigurasi JSON - Pastikan konfigurasi Anda tidak memiliki kesalahan sintaks (koma atau tanda kurung yang hilang)
- Mulai ulang klien AI Anda - Banyak klien memerlukan mulai ulang penuh untuk memuat MCP server baru
- Periksa ketersediaan
npx- Jalankannpx --versiondi terminal Anda untuk memastikan program tersebut telah terpasang - Validasi kunci API - Pastikan kunci API Scrapfly Anda benar dan memiliki kredit yang tersedia
Kesalahan Autentikasi
- Kunci API tidak valid - Periksa kembali kunci Anda di Dashboard → Project Settings
- Jaringan tidak diizinkan / Akses dibatasi oleh proyek Anda - Proyek hanya menerima alamat IP tertentu dan kuncinya tidak bermasalah. Lihat Pemecahan Masalah
- Masalah OAuth2 - Pastikan Anda telah menyelesaikan alur OAuth dan token telah diperbarui
- Kredensial kedaluwarsa - Lakukan autentikasi ulang jika sesi Anda telah kedaluwarsa
Butuh Bantuan Lebih Lanjut?
Lihat sumber daya pemecahan masalah terperinci kami:
- FAQ MCP - Pertanyaan umum dan jawaban terperinci
- Komunitas Discord - Dapatkan bantuan dari komunitas
- Hubungi Dukungan - Hubungi tim kami secara langsung