Scrapfly

resmi

Server MCP Scrapfly memberikan agen AI cara yang sederhana dan terpadu untuk mengikis data web langsung dengan penanganan anti-bot bawaan.

Apa yang bisa Anda lakukan dengan Scrapfly MCP?

  • Scrape halaman langsung — Minta asisten Anda mengambil harga, listing, atau berita terkini dari halaman web mana pun secara real time.
  • Lewati perlindungan anti-bot — Ambil halaman sementara Scrapfly menangani CAPTCHA, proxy, rendering JavaScript, dan batas laju.
  • Ekstrak data terstruktur — Minta situs yang kompleks diurai menjadi JSON yang rapi menggunakan ekstraksi berbasis AI.
  • Ambil tangkapan layar — Ambil cuplikan visual seluruh halaman atau elemen tertentu untuk dianalisis.
  • Periksa penggunaan akun — Tanyakan berapa kredit Scrapfly yang tersisa dan dapatkan kuota Anda saat ini.

Dokumentasi

Memulai dengan Scrapfly MCP Server

Model Context Protocol (MCP) adalah standar terbuka yang memungkinkan model AI berinteraksi dengan alat dan sumber data eksternal. Scrapfly MCP Server mengubah AI Anda dari yang terbatas pada data pelatihan menjadi memiliki akses waktu nyata ke situs web mana pun—memberi AI Anda kemampuan untuk mengambil data web langsung sesuai permintaan.

MCP Cloud atau Dihosting Sendiri

Scrapfly MCP server dapat dijalankan dengan dua cara, menggunakan alat yang sama. Pilih salah satu:

MCP Cloud (terkelola)Dihosting sendiri
Lokasi berjalanDihosting oleh Scrapfly di https://mcp.scrapfly.io/mcpMesin atau server Anda, dari server sumber terbuka
InstalasiTidak perlu: tambahkan URL ke klien AI AndaBangun biner Go atau image Docker
AutentikasiMasuk OAuth2 dari klien, atau gunakan kunci API AndaKunci API Anda
PembaruanSelalu versi terbaruAnda mengunduh dan membangun ulang
Cocok untukSebagian besar pengguna: Claude, Cursor, VS Code, ChatGPT, dan klien lainnyaAlat khusus, lingkungan terisolasi dari jaringan, atau lingkungan yang diaudit

MCP Cloud

Tambahkan URL server ke klien AI Anda. Klien yang mendukung OAuth2 akan membuka halaman masuk Scrapfly saat pertama kali digunakan; klien lainnya meminta kunci API Anda (lihat Autentikasi).

{
  "mcpServers": {
    "scrapfly-cloud-mcp": {
      "type": "http",
      "url": "https://mcp.scrapfly.io/mcp"
    }
  }
}

Klien yang hanya memulai proses lokal terhubung melalui mcp-remote:

{
  "mcpServers": {
    "scrapfly": {
      "command": "npx",
      "args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
    }
  }
}

Setiap klien memiliki langkahnya sendiri: lihat panduan penyiapan (Claude Code, Claude Desktop, Cursor, VS Code, ChatGPT, dan lainnya).

Dihosting Sendiri

Bangun server sumber terbuka yang ditulis dalam Go:

git clone https://github.com/scrapfly/scrapfly-mcp
cd scrapfly-mcp
go build -o scrapfly-mcp ./cmd/scrapfly-mcp

Klien lokal (stdio): klien memulai biner dengan kunci API Anda di lingkungannya.

{
  "mcpServers": {
    "scrapfly": {
      "command": "/path/to/scrapfly-mcp",
      "env": { "SCRAPFLY_API_KEY": "" }
    }
  }
}

Server HTTP: dimulai tanpa kunci; setiap pemanggil memberikan kuncinya sendiri, sebagai Authorization: Bearer <key> atau ?key= pada http://<host>:8080/mcp.

./scrapfly-mcp -http :8080

# or with Docker
docker build -t scrapfly-mcp .
docker run -p 8080:8080 scrapfly-mcp

Kunci yang ditetapkan di SCRAPFLY_API_KEY bersama -http akan digunakan untuk melayani setiap pemanggil dengan kunci tersebut tanpa autentikasi, sehingga server mengikat ke 127.0.0.1 kecuali Anda memberikan -allow-remote. Semua opsi tersedia di README.

Hal yang Dapat Dilakukan

Alih-alih AI Anda menjawab, "Saya tidak memiliki informasi terkini," kini AI dapat:

Mengambil Data Langsung

Mengambil harga, daftar, berita, atau konten halaman web terkini secara waktu nyata

Melewati Sistem Anti-Bot

Menangani CAPTCHA, proxy, rendering JavaScript, dan batas laju secara otomatis

Mengekstrak Data Terstruktur

Mengurai situs web yang kompleks menjadi JSON yang rapi menggunakan ekstraksi berbasis AI

Mengambil Tangkapan Layar

Mengambil cuplikan visual halaman atau elemen tertentu untuk dianalisis

Mengapa Scrapfly MCP Server?

Dibangun di atas infrastruktur teruji yang digunakan oleh ribuan developer:

Selalu Andal

AI Anda tidak akan pernah diblokir

Penyiapan Cepat

Berjalan dalam waktu kurang dari 60 detik

Aman

OAuth2 + autentikasi tingkat perusahaan

Kekuatan Konektor MCP

MCP adalah konektor universal yang mengubah klien AI apa pun menjadi alat pengumpul data web yang andal. Alih-alih membangun integrasi khusus untuk setiap platform AI, MCP menyediakan satu antarmuka standar.

Berfungsi dengan Alat AI Favorit Anda:
  • Claude Desktop, Cursor, Cline, Windsurf
  • LangChain, LlamaIndex, CrewAI
  • Pemanggilan fungsi OpenAI, agen khusus
  • Alur kerja n8n, Make, Zapier
Satu Integrasi, Kemungkinan Tanpa Batas:

Konfigurasikan sekali, gunakan di mana saja. MCP server yang sama berfungsi di semua platform—tidak perlu membangun ulang integrasi untuk setiap alat AI yang Anda gunakan.

Cara Menggunakan Scrapfly MCP

Memulai itu mudah—pilih klien AI Anda dan ikuti panduan penyiapannya:

[###### Penyiapan untuk Klien AI Anda

15+ integrasi: Claude Desktop, Cursor, Cline, Windsurf, LangChain, n8n, dan lainnya

](https://scrapfly.io/docs/mcp/integrations) [###### Alat yang Tersedia

9 alat: scraping, tangkapan layar, Cloud Browser dengan penemuan alat WebMCP dinamis

](https://scrapfly.io/docs/mcp/tools) [###### Opsi Autentikasi

Kunci API, OAuth2, atau autentikasi berbasis header—pilih yang sesuai dengan kebutuhan Anda

](https://scrapfly.io/docs/mcp/authentication)

Langkah Berikutnya

Lihat Contoh di Dunia Nyata - Agregasi lowongan kerja, pemantauan harga, ekstraksi data, dan lainnya Panduan Penyiapan Khusus Klien - Cursor, Cline, LangChain, n8n, dan semua platform yang didukung Spesifikasi Alat & API - Dokumentasi parameter lengkap dan panduan penggunaan Siapkan Autentikasi OAuth2 - Autentikasi aman tingkat perusahaan untuk produksi Baca FAQ - Pertanyaan umum dan pemecahan masalah

Verifikasi Penyiapan Anda

Setelah konfigurasi, verifikasi bahwa semuanya berfungsi dengan benar:

  1. Periksa Ketersediaan AlatCari ikon palu (🔨) di klien AI Anda atau periksa daftar alat untuk memastikan alat Scrapfly telah dimuat.

  2. Uji Permintaan SederhanaCoba tanyakan: "Apa saja postingan teratas di Hacker News saat ini?"

    AI Anda seharusnya secara otomatis menggunakan alat Scrapfly untuk mengambil dan menampilkan hasil terkini.

  3. Periksa Penggunaan AkunTanyakan: "Berapa sisa kredit Scrapfly saya?"

    AI akan menggunakan info_account untuk menampilkan penggunaan dan kuota Anda saat ini.

Pemecahan Masalah

Jika Anda mengalami masalah, berikut beberapa masalah umum dan solusinya:

Alat Tidak Terdeteksi

  • Verifikasi konfigurasi JSON - Pastikan konfigurasi Anda tidak memiliki kesalahan sintaks (koma atau tanda kurung yang hilang)
  • Mulai ulang klien AI Anda - Banyak klien memerlukan mulai ulang penuh untuk memuat MCP server baru
  • Periksa ketersediaan npx - Jalankan npx --version di terminal Anda untuk memastikan program tersebut telah terpasang
  • Validasi kunci API - Pastikan kunci API Scrapfly Anda benar dan memiliki kredit yang tersedia

Kesalahan Autentikasi

  • Kunci API tidak valid - Periksa kembali kunci Anda di Dashboard → Project Settings
  • Jaringan tidak diizinkan / Akses dibatasi oleh proyek Anda - Proyek hanya menerima alamat IP tertentu dan kuncinya tidak bermasalah. Lihat Pemecahan Masalah
  • Masalah OAuth2 - Pastikan Anda telah menyelesaikan alur OAuth dan token telah diperbarui
  • Kredensial kedaluwarsa - Lakukan autentikasi ulang jika sesi Anda telah kedaluwarsa

Butuh Bantuan Lebih Lanjut?

Lihat sumber daya pemecahan masalah terperinci kami: