Agenty

resmi

Web scraping, crawling, dan deteksi perubahan dengan AI

Apa yang bisa Anda lakukan dengan Agenty MCP?

  • Konversi halaman web apa pun menjadi Markdown bersih — hapus navigasi, iklan, dan konten tambahan dari URL menggunakan markdown untuk mendapatkan konten siap-LLM.
  • Ambil tangkapan layar dengan emulasi perangkat — ambil tangkapan layar PNG/JPEG halaman penuh atau terpotong melalui screenshot, dengan emulasi perangkat seperti iPhone 14.
  • Kikis HTML yang dirender JavaScript — gunakan scrape untuk mendapatkan DOM akhir setelah semua skrip dijalankan, ideal untuk SPA.
  • Ekstrak data terstruktur dengan pemilih — ambil bidang spesifik seperti harga atau judul dari halaman menggunakan CSS atau XPath dengan extract.
  • Hasilkan PDF dengan format kustom — ekspor halaman sebagai PDF A4 atau Letter melalui pdf, dengan kontrol margin, header, dan latar belakang cetak.
  • Lacak rantai pengalihan HTTP — ikuti setiap pengalihan untuk URL dengan redirects untuk men-debug tautan atau memverifikasi tujuan kanonik.

Dokumentasi

Agenty AI menyediakan server Model Context Protocol (MCP) yang memberikan asisten AI seperti Claude, Cursor, dan klien apa pun yang kompatibel dengan MCP akses langsung ke alat otomatisasi peramban. Anda dapat menangkap tangkapan layar, menghasilkan PDF, mengikis halaman web, mengekstrak data terstruktur, mengonversi halaman ke Markdown, dan lainnya menggunakan model LLM

Dalam artikel ini, saya akan membahas cara menghubungkan ke server MCP Agenty dan cara menggunakan setiap alat yang tersedia.

Prasyarat

Sebelum menghubungkan, Anda akan memerlukan:

  • Akun Agenty AI dan kunci API
  • Klien yang kompatibel dengan MCP seperti Claude Desktop, Cursor, Windsurf, atau alat apa pun yang mendukung Model Context Protocol
  • Node.js 18 atau yang lebih baru jika Anda menggunakan CLI atau file konfigurasi lokal

Cara Menghubungkan

Tambahkan konfigurasi berikut ke klien MCP Anda. Untuk Claude Desktop, ini ditempatkan di claude_desktop_config.json. Untuk Cursor, ini ditempatkan di file .cursor/mcp.json Anda.

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

Ganti YOUR_API_KEY dengan kunci dari Agenty AI > Pengaturan > Kunci API Anda. Setelah ditambahkan, mulai ulang klien Anda dan alat Agenty akan muncul di daftar alat.

Kunci API Agenty1069×482 32.4 KB

Untuk klien yang mendukung login OAuth atau berbasis token, Anda dapat mengautentikasi langsung melalui alur masuk Agenty AI tanpa menempelkan kunci secara manual.

Alat yang Tersedia

Server MCP Agenty menyediakan sebelas alat yang mencakup kebutuhan otomatisasi peramban yang paling umum. Setiap alat menerima URL atau HTML mentah sebagai input beserta parameter opsional untuk mengontrol perilaku peramban.

Alat yang Tersedia di Agenty MCP1265×795 60.9 KB

Markdown MCP

Alat markdown memuat halaman, menghapus navigasi, footer, skrip, iklan, dan boilerplate lainnya, lalu mengonversi konten yang dapat dibaca yang tersisa menjadi Markdown bersih. Alat ini dapat menyelesaikan tautan relatif menjadi URL absolut dan menghapus gambar data.

Ini sangat berguna untuk memasukkan konten web ke dalam LLM, membangun pipeline RAG, atau menyimpan versi artikel yang dapat dibaca.

Contoh prompt:

“Konversi Web scraping - Wikipedia ke Markdown”

“Dapatkan konten Markdown dari postingan blog ini: https://example.com/article”

Pratinjau pengikisan situs web menggunakan Claude desktop1272×844 67.2 KB

Tangkapan Layar MCP

Alat tangkapan layar meluncurkan peramban nyata, memuat halaman, dan menangkapnya sebagai gambar PNG atau JPEG. Alat ini mendukung tangkapan layar halaman penuh, area terpotong, viewport khusus, emulasi perangkat, dan manipulasi gambar seperti mengubah ukuran dan memutar.

Ini berguna ketika Anda ingin snapshot visual dari sebuah halaman, perlu mendokumentasikan UI, atau ingin memverifikasi bagaimana situs terlihat pada ukuran layar tertentu.

Contoh prompt:

“Ambil tangkapan layar halaman penuh dari https://example.com dan kembalikan sebagai PNG”

“Tangkap tangkapan layar seluler dari https://agenty.ai menggunakan viewport iPhone 14”

Pengikisan Web MCP

Alat pengikis web memuat URL di peramban nyata dengan eksekusi JavaScript penuh dan mengembalikan HTML yang dirender. Tidak seperti permintaan HTTP sederhana, alat ini menunggu konten dinamis dimuat, menjadikannya andal untuk aplikasi halaman tunggal dan halaman yang berat JavaScript.

Gunakan ini ketika Anda membutuhkan HTML mentah dari sebuah halaman persis seperti yang akan dilihat pengguna setelah semua skrip berjalan.

Contoh prompt:

“Kikis HTML dari https://news.ycombinator.com dan kembalikan konten yang dirender penuh”

“Kikis halaman ini dan tunggu 3 detik agar konten dinamis dimuat: https://example.com/dashboard”

Perayapan Web MCP

Alat perayapan tautan merender halaman dan mengekstrak setiap hyperlink yang ditemukan di DOM. Alat ini mengembalikan daftar datar dari semua href anchor, yang dapat Anda gunakan untuk membangun antrian perayapan, mengaudit tautan internal, atau menemukan konten.

Contoh prompt:

“Temukan semua tautan di https://agenty.ai”

“Ekstrak setiap tautan dari https://example.com/blog dan berikan saya daftar URL artikel”

PDF MCP

Alat PDF merender halaman di peramban nyata dan mengekspornya sebagai PDF. Anda dapat mengatur format halaman (A4, Letter, dll.), mengaktifkan mode lanskap, mengatur margin, menampilkan atau menyembunyikan latar belakang, dan menyediakan header dan footer khusus.

Contoh prompt:

“Hasilkan PDF dari https://agenty.ai dalam format A4 dengan latar belakang cetak diaktifkan”

“Buat PDF lanskap dari https://example.com/report”

Ekstraksi Data MCP

Alat ekstrak merender halaman dan mengekstrak data terstruktur menggunakan pemilih CSS atau XPath. Alat ini cocok untuk menarik bidang tertentu seperti harga produk, jumlah ulasan, judul pekerjaan, atau elemen berulang apa pun dari halaman yang dirender.

Contoh prompt:

“Ekstrak nama produk dan harga dari https://example.com/products”

“Dapatkan semua judul berita dari https://news.ycombinator.com”

Peta Situs MCP

Alat perayap peta situs membaca sitemap.xml situs web, mengikuti file indeks peta situs, dan mengembalikan daftar lengkap semua URL yang ditemukan. Alat ini mendukung pola pengecualian untuk menyaring jalur tertentu.

Gunakan ini untuk dengan cepat memahami struktur lengkap situs web atau untuk membangun daftar perayapan untuk situs besar.

Contoh prompt:

“Temukan semua URL di peta situs untuk https://agenty.ai”

“Dapatkan peta situs untuk https://example.com dan kecualikan URL apa pun yang mengandung /blog/”

Pelacakan Pengalihan MCP

Alat penangkap pengalihan mengikuti semua pengalihan HTTP untuk URL tertentu dan mengembalikan rantai lengkap termasuk setiap URL perantara, kode status, dan tujuan akhir.

Ini membantu untuk men-debug tautan rusak, memverifikasi URL kanonik, dan mengaudit tautan afiliasi atau yang dipersingkat.

Contoh prompt:

“Lacak semua pengalihan untuk https://bit.ly/some-link”

“Tunjukkan rantai pengalihan untuk https://example.com/old-page”

Pengikis Email MCP

Alat pengikis email memuat satu atau lebih URL (hingga sepuluh sekaligus) dan mengekstrak semua alamat email yang ditemukan di halaman yang dirender. Alat ini menangani alamat yang dikaburkan dan bagian kontak yang dimuat secara dinamis.

Contoh prompt:

“Temukan semua alamat email di https://example.com/contact”

“Kikis email dari tiga halaman ini: https://site1.com, https://site2.com, https://site3.com”

Konten MCP

Alat konten mengembalikan HTML yang dirender lengkap dari sebuah halaman setelah eksekusi JavaScript. Alat ini mirip dengan kikis tetapi dioptimalkan untuk kasus penggunaan di mana Anda membutuhkan status DOM akhir daripada pipeline pengikisan.

Contoh prompt:

“Dapatkan konten HTML yang dirender dari https://example.com/app”

Snapshot MCP

Alat snapshot menangkap pohon aksesibilitas dari sebuah halaman — daftar terstruktur dari semua elemen interaktif dan yang dapat dibaca termasuk tombol, tautan, input, dan judul. Ini dirancang untuk agen AI yang perlu menavigasi atau menalar tentang halaman tanpa memproses HTML mentah.

Contoh prompt:

“Ambil snapshot aksesibilitas dari https://example.com sehingga saya dapat memahami struktur halaman”

Contoh Prompt

Berikut adalah beberapa contoh multi-langkah yang menggabungkan alat:

Audit konten situs web: “Dapatkan peta situs untuk https://example.com, lalu konversi 5 halaman teratas ke Markdown dan ringkas masing-masing”

Hasilkan laporan visual: “Ambil tangkapan layar dari https://agenty.ai pada viewport seluler dan desktop dan tunjukkan keduanya”

Bangun daftar kontak: “Temukan semua tautan di https://example.com/team, lalu kikis alamat email dari setiap halaman anggota tim”

Verifikasi kesehatan tautan: “Ekstrak semua tautan dari https://example.com/blog dan lacak rantai pengalihan untuk yang tidak mengembalikan 200”

Arsipkan halaman: “Konversi https://example.com/article ke Markdown dan hasilkan versi PDF, keduanya dengan tautan absolut”

Parameter yang Didukung

Semua alat berbasis navigasi (tangkapan layar, pdf, kikis, konten, markdown, tautan, ekstrak, pengalihan) berbagi serangkaian opsi konfigurasi peramban yang umum:

ParameterTipeDeskripsi
urlstringURL halaman yang akan dimuat. Diperlukan jika html tidak disediakan.
htmlstringString HTML mentah untuk dirender alih-alih memuat URL.
waitForstring atau numberTunggu pemilih CSS, sejumlah milidetik, atau peristiwa jaringan sebelum menangkap.
viewportobjectAtur lebar, tinggi, deviceScaleFactor, isMobile, hasTouch, dan isLandscape.
devicestringEmulasikan perangkat bernama seperti iPhone 14 atau iPad Pro.
userAgentstringTimpa string agen pengguna peramban.
cookiesarraySuntikkan cookie sebelum halaman dimuat.
blockAdsbooleanBlokir permintaan jaringan iklan. Diaktifkan secara default untuk alat pengikisan.
blockTrackersbooleanBlokir skrip pelacakan dan analitik.
goToOptionsobjectKontrol batas waktu navigasi (ms) dan strategi waitUntil (load, domcontentloaded, networkidle0, networkidle2).
setExtraHTTPHeadersobjectTambahkan header permintaan khusus sebagai pasangan kunci-nilai.
rejectRequestPatternarrayBlokir permintaan yang cocok dengan pola URL ini.
requestInterceptorsarrayIntersepsi permintaan yang cocok dengan pola dan kembalikan respons khusus.
authenticateobjectAtur nama pengguna dan kata sandi HTTP untuk halaman di balik auth dasar.
anonymousobjectRute melalui proxy dan lewati tipe sumber daya untuk penjelajahan anonim.

Parameter khusus tangkapan layar:

ParameterTipeDeskripsi
options.fullPagebooleanTangkap halaman penuh yang dapat digulir. Default ke true.
options.typestringFormat gambar: png atau jpeg. Default ke png.
options.qualitynumberKualitas JPEG dari 0 hingga 100.
options.clipobjectTangkap wilayah tertentu dengan x, y, lebar, dan tinggi.
options.omitBackgroundbooleanBuat latar belakang transparan (hanya PNG).
manipulateobjectPasca-proses gambar dengan mengubah ukuran, memutar, membalik, dan flop.
responseTypestringKembalikan gambar sebagai buffer (default) atau url yang dihosting.

Saat menggunakan alat tangkapan layar melalui MCP, hasilnya dikembalikan sebagai URL yang dihosting secara default. Saat memanggil API secara langsung, responseType default ke buffer. Atur responseType: 'url' untuk menerima tautan yang dihosting sebagai gantinya.

Parameter khusus PDF:

ParameterTipeDeskripsi
options.formatstringUkuran halaman: A4, Letter, Legal, Tabloid, Ledger, A0–A6.
options.landscapebooleanRender dalam orientasi lanskap.
options.marginobjectAtur margin atas, bawah, kiri, dan kanan.
options.printBackgroundbooleanSertakan latar belakang CSS dalam keluaran.
options.displayHeaderFooterbooleanTampilkan header dan footer di setiap halaman.
options.headerTemplatestringTemplate HTML untuk header halaman.
options.footerTemplatestringTemplate HTML untuk footer halaman.
options.pageRangesstringCetak halaman tertentu, mis. 1-5.
options.scalenumberSkalakan konten halaman.
emulateMediastringRender sebagai tipe media layar atau cetak.
responseTypestringKembalikan PDF sebagai buffer (default) atau url yang dihosting.

Saat menggunakan alat PDF melalui MCP, hasilnya dikembalikan sebagai URL yang dihosting secara default. Saat memanggil API secara langsung, responseType default ke buffer. Atur responseType: 'url' untuk menerima tautan yang dihosting.

Batas Laju dan Penggunaan Wajar

Setiap kunci API memiliki batas permintaan bulanan berdasarkan paket Anda. Halaman yang berjalan lama dengan JavaScript berat atau PDF besar mengonsumsi lebih banyak sumber daya. Gunakan blockAds dan blockTrackers untuk mempercepat permintaan dan mengurangi penggunaan bandwidth pada beban kerja scraping.

Skema permintaan dan respons Agenty AI sengaja dibuat kompatibel dengan API otomatisasi browser yang paling banyak digunakan termasuk Browserless, Firecrawl, Cloudflare Browser Rendering, dan layanan serupa. Jika Anda sudah menggunakan salah satu penyedia ini, Anda dapat beralih ke Agenty AI dengan memperbarui URL dasar dan kunci API tanpa menulis ulang permintaan yang ada.

PenyediaMigrasi
BrowserlessUbah URL dasar dan kunci API. Semua parameter kompatibel.
FirecrawlUbah URL dasar dan kunci API. Endpoint scrape, markdown, dan crawl dipetakan langsung.
Cloudflare Browser RenderingUbah URL dasar dan header auth. Parameter screenshot dan konten kompatibel.
Puppeteer HTTP APIsSebagian besar goToOptions dan opsi halaman dipetakan 1:1.