Agenty
resmiWeb scraping, crawling, dan deteksi perubahan dengan AI
Apa yang bisa Anda lakukan dengan Agenty MCP?
- Konversi halaman ke Markdown — Minta untuk mengonversi URL atau HTML mentah menjadi Markdown yang bersih dan mudah dibaca dengan alat
markdownuntuk konten yang ramah LLM. - Ambil tangkapan layar — Gunakan
screenshotuntuk menangkap gambar PNG/JPEG halaman penuh atau terpotong dengan viewport kustom dan emulasi perangkat. - Kikis HTML yang dirender — Gunakan
scrapeuntuk mendapatkan HTML yang dirender penuh dari halaman yang banyak menggunakan JavaScript setelah konten dinamis dimuat. - Ekstrak data terstruktur — Gunakan
extractuntuk menarik bidang tertentu seperti harga, judul, atau ulasan melalui pemilih CSS atau XPath. - Hasilkan PDF — Gunakan
pdfuntuk mengekspor halaman sebagai PDF dengan opsi format, margin, lanskap, serta header dan footer. - Temukan struktur situs — Gunakan
sitemapuntuk membaca sitemap.xml situs dan mengembalikan semua URL yang ditemukan, dengan pola pengecualian.
Dokumentasi
Agenty AI mengekspos server Model Context Protocol (MCP) yang memberikan asisten AI seperti Claude, Cursor, dan klien apa pun yang kompatibel dengan MCP akses langsung ke alat otomatisasi browser. Anda dapat mengambil tangkapan layar, membuat PDF, mengikis halaman web, mengekstrak data terstruktur, mengonversi halaman ke Markdown, dan banyak lagi menggunakan model LLM.
Pada artikel ini, saya akan membahas cara terhubung ke server MCP Agenty dan cara menggunakan setiap alat yang tersedia.
Prasyarat
Sebelum terhubung, Anda perlu:
- Akun Agenty AI dan kunci API
- Klien yang kompatibel dengan MCP seperti Claude Desktop, Cursor, Windsurf, atau alat apa pun yang mendukung Model Context Protocol
- Node.js 18 atau lebih baru jika Anda menggunakan CLI atau file konfigurasi lokal
Cara Terhubung
Tambahkan konfigurasi berikut ke klien MCP Anda. Untuk Claude Desktop, ini masuk ke claude_desktop_config.json. Untuk Cursor, ini masuk ke file .cursor/mcp.json Anda.
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
Ganti YOUR_API_KEY dengan kunci dari Agenty AI > Pengaturan > Kunci API. Setelah ditambahkan, mulai ulang klien Anda dan alat Agenty akan muncul di daftar alat. Untuk klien yang mendukung login berbasis OAuth atau token, Anda dapat mengautentikasi langsung melalui alur masuk Agenty AI tanpa menempelkan kunci secara manual.
Alat yang Tersedia
Server MCP Agenty menyediakan sebelas alat yang mencakup kebutuhan otomatisasi browser yang paling umum. Setiap alat menerima URL atau HTML mentah sebagai input beserta parameter opsional untuk mengontrol perilaku browser.
Markdown MCP
Alat markdown memuat halaman, menghapus navigasi, footer, skrip, iklan, dan boilerplate lainnya, lalu mengonversi konten yang dapat dibaca menjadi Markdown yang bersih. Alat ini dapat mengubah tautan relatif menjadi URL absolut dan menghapus gambar data.
Ini sangat berguna untuk memasukkan konten web ke LLM, membangun pipeline RAG, atau menyimpan versi artikel yang dapat dibaca.
Contoh prompt:
"Konversi Web scraping - Wikipedia ke Markdown"
"Dapatkan konten Markdown dari posting blog ini: https://example.com/article"
Screenshot MCP
Alat screenshot meluncurkan browser sungguhan, memuat halaman, dan menangkapnya sebagai gambar PNG atau JPEG. Alat ini mendukung tangkapan layar halaman penuh, area terpotong, viewport kustom, emulasi perangkat, dan manipulasi gambar seperti mengubah ukuran dan memutar.
Ini berguna saat Anda menginginkan cuplikan visual halaman, perlu mendokumentasikan UI, atau ingin memverifikasi tampilan situs pada ukuran layar tertentu.
Contoh prompt:
"Ambil tangkapan layar halaman penuh dari https://example.com dan kembalikan sebagai PNG"
"Tangkap tangkapan layar seluler dari https://agenty.ai menggunakan viewport iPhone 14"
Web Scraping MCP
Alat web scrape memuat URL di browser sungguhan dengan eksekusi JavaScript penuh dan mengembalikan HTML yang dirender. Tidak seperti permintaan HTTP sederhana, alat ini menunggu konten dinamis dimuat, menjadikannya andal untuk aplikasi satu halaman dan situs yang banyak menggunakan JavaScript.
Gunakan ini saat Anda memerlukan HTML mentah dari halaman persis seperti yang dilihat pengguna setelah semua skrip dijalankan.
Contoh prompt:
"Kikis HTML dari https://news.ycombinator.com dan kembalikan konten yang dirender penuh"
"Kikis halaman ini dan tunggu 3 detik agar konten dinamis dimuat: https://example.com/dashboard"
Web Crawling MCP
Alat perayapan tautan merender halaman dan mengekstrak setiap hyperlink yang ditemukan di DOM. Alat ini mengembalikan daftar datar semua href anchor, yang dapat Anda gunakan untuk membangun antrean perayapan, mengaudit tautan internal, atau menemukan konten.
Contoh prompt:
"Temukan semua tautan di https://agenty.ai"
"Ekstrak setiap tautan dari https://example.com/blog dan beri saya daftar URL artikel"
PDF MCP
Alat PDF merender halaman di browser sungguhan dan mengekspornya sebagai PDF. Anda dapat mengatur format halaman (A4, Letter, dll.), mengaktifkan mode lanskap, mengatur margin, menampilkan atau menyembunyikan latar belakang, dan menyediakan header serta footer kustom.
Contoh prompt:
"Buat PDF dari https://agenty.ai dalam format A4 dengan latar belakang cetak diaktifkan"
"Buat PDF lanskap dari https://example.com/report"
Data Extraction MCP
Alat ekstrak merender halaman dan mengekstrak data terstruktur menggunakan pemilih CSS atau XPath. Alat ini cocok untuk menarik bidang tertentu seperti harga produk, jumlah ulasan, judul pekerjaan, atau elemen berulang apa pun dari halaman yang dirender.
Contoh prompt:
"Ekstrak nama produk dan harga dari https://example.com/products"
"Ambil semua judul berita dari https://news.ycombinator.com"
Sitemap MCP
Alat perayap sitemap membaca sitemap.xml situs web, mengikuti file indeks sitemap, dan mengembalikan daftar lengkap semua URL yang ditemukan. Alat ini mendukung pola pengecualian untuk memfilter jalur tertentu.
Gunakan ini untuk memahami dengan cepat struktur lengkap situs web atau untuk membangun daftar perayapan untuk situs besar.
Contoh prompt:
"Temukan semua URL di sitemap untuk https://agenty.ai"
"Ambil sitemap untuk https://example.com dan kecualikan URL apa pun yang mengandung /blog/"
Redirect Tracing MCP
Alat penangkap pengalihan mengikuti semua pengalihan HTTP untuk URL tertentu dan mengembalikan rantai lengkap termasuk setiap URL perantara, kode status, dan tujuan akhir.
Ini membantu untuk men-debug tautan rusak, memverifikasi URL kanonik, dan mengaudit tautan afiliasi atau tautan yang dipersingkat.
Contoh prompt:
"Lacak semua pengalihan untuk https://bit.ly/some-link"
"Tunjukkan rantai pengalihan untuk https://example.com/old-page"
Email Scraper MCP
Alat pengikis email memuat satu atau lebih URL (hingga sepuluh sekaligus) dan mengekstrak semua alamat email yang ditemukan di halaman yang dirender. Alat ini menangani alamat yang dikaburkan dan bagian kontak yang dimuat secara dinamis.
Contoh prompt:
"Temukan semua alamat email di https://example.com/contact"
"Kikis email dari tiga halaman ini: https://site1.com, https://site2.com, https://site3.com"
Content MCP
Alat konten mengembalikan HTML yang dirender lengkap dari halaman setelah eksekusi JavaScript. Ini mirip dengan scrape tetapi dioptimalkan untuk kasus penggunaan di mana Anda memerlukan status DOM akhir daripada pipeline pengikisan.
Contoh prompt:
"Ambil konten HTML yang dirender dari https://example.com/app"
Snapshot MCP
Alat snapshot menangkap pohon aksesibilitas halaman — daftar terstruktur dari semua elemen interaktif dan dapat dibaca termasuk tombol, tautan, input, dan judul. Ini dirancang untuk agen AI yang perlu menavigasi atau menalar tentang halaman tanpa memproses HTML mentah.
Contoh prompt:
"Ambil snapshot aksesibilitas dari https://example.com sehingga saya dapat memahami struktur halaman"
Contoh Prompt
Berikut adalah beberapa contoh multi-langkah yang menggabungkan alat:
Audit konten situs web:
"Ambil sitemap untuk https://example.com, lalu konversi 5 halaman teratas ke Markdown dan rangkum masing-masing"
Buat laporan visual:
"Ambil tangkapan layar dari https://agenty.ai pada viewport seluler dan desktop dan tampilkan keduanya"
Bangun daftar kontak:
"Temukan semua tautan di https://example.com/team, lalu kikis alamat email dari setiap halaman anggota tim"
Verifikasi kesehatan tautan:
"Ekstrak semua tautan dari https://example.com/blog dan lacak rantai pengalihan untuk tautan apa pun yang tidak mengembalikan 200"
Arsipkan halaman:
"Konversi https://example.com/article ke Markdown dan buat versi PDF, keduanya dengan tautan absolut"
Parameter yang Didukung
Semua alat berbasis navigasi (screenshot, pdf, scrape, content, markdown, links, extract, redirects) berbagi set opsi konfigurasi browser yang umum:
| Parameter | Tipe | Deskripsi |
|---|---|---|
url | string | URL halaman yang akan dimuat. Diperlukan jika html tidak disediakan. |
html | string | String HTML mentah untuk dirender alih-alih memuat URL. |
waitFor | string atau number | Tunggu pemilih CSS, sejumlah milidetik, atau peristiwa jaringan sebelum menangkap. |
viewport | object | Atur width, height, deviceScaleFactor, isMobile, hasTouch, dan isLandscape. |
device | string | Emulasikan perangkat bernama seperti iPhone 14 atau iPad Pro. |
userAgent | string | Ganti string agen pengguna browser. |
cookies | array | Suntikkan cookie sebelum halaman dimuat. |
blockAds | boolean | Blokir permintaan jaringan iklan. Diaktifkan secara default untuk alat pengikisan. |
blockTrackers | boolean | Blokir skrip pelacakan dan analitik. |
goToOptions | object | Kontrol navigasi timeout (ms) dan strategi waitUntil (load, domcontentloaded, networkidle0, networkidle2). |
setExtraHTTPHeaders | object | Tambahkan header permintaan kustom sebagai pasangan kunci-nilai. |
rejectRequestPattern | array | Blokir permintaan yang cocok dengan pola URL ini. |
requestInterceptors | array | Intersep permintaan yang cocok dengan pola dan kembalikan respons kustom. |
authenticate | object | Atur HTTP username dan password untuk halaman di belakang autentikasi dasar. |
anonymous | object | Rute melalui proxy dan lewati jenis sumber daya untuk penjelajahan anonim. |
Parameter khusus screenshot:
| Parameter | Tipe | Deskripsi |
|---|---|---|
options.fullPage | boolean | Tangkap seluruh halaman yang dapat digulir. Default ke true. |
options.type | string | Format gambar: png atau jpeg. Default ke png. |
options.quality | number | Kualitas JPEG dari 0 hingga 100. |
options.clip | object | Tangkap wilayah tertentu dengan x, y, width, dan height. |
options.omitBackground | boolean | Buat latar belakang transparan (khusus PNG). |
manipulate | object | Proses pasca-gambar dengan resize, rotate, flip, dan flop. |
responseType | string | Kembalikan gambar sebagai buffer (default) atau url yang dihosting. |
Saat menggunakan alat screenshot melalui MCP, hasilnya dikembalikan sebagai URL yang dihosting secara default. Saat memanggil API secara langsung, responseType default ke buffer. Atur responseType: 'url' untuk menerima tautan yang dihosting sebagai gantinya.
Parameter khusus PDF:
| Parameter | Tipe | Deskripsi |
|---|---|---|
options.format | string | Ukuran halaman: A4, Letter, Legal, Tabloid, Ledger, A0 – A6. |
options.landscape | boolean | Render dalam orientasi lanskap. |
options.margin | object | Atur margin top, bottom, left, dan right. |
options.printBackground | boolean | Sertakan latar belakang CSS dalam output. |
options.displayHeaderFooter | boolean | Tampilkan header dan footer di setiap halaman. |
options.headerTemplate | string | Template HTML untuk header halaman. |
options.footerTemplate | string | Template HTML untuk footer halaman. |
options.pageRanges | string | Cetak halaman tertentu, mis. 1-5. |
options.scale | number | Skalakan konten halaman. |
emulateMedia | string | Render sebagai tipe media screen atau print. |
responseType | string | Kembalikan PDF sebagai buffer (default) atau url yang dihosting. |
Saat menggunakan alat PDF melalui MCP, hasilnya dikembalikan sebagai URL yang dihosting secara default. Saat memanggil API secara langsung, responseType default ke buffer. Atur responseType: 'url' untuk menerima tautan yang dihosting sebagai gantinya.
Batas Laju dan Penggunaan Wajar
Setiap kunci API memiliki batas permintaan bulanan berdasarkan paket Anda. Halaman yang berjalan lama dengan JavaScript berat atau PDF besar mengonsumsi lebih banyak sumber daya. Gunakan blockAds dan blockTrackers untuk mempercepat permintaan dan mengurangi penggunaan bandwidth pada beban kerja scraping.
Skema permintaan dan respons Agenty AI sengaja dibuat kompatibel dengan API otomatisasi browser yang paling banyak digunakan, termasuk Browserless, Firecrawl, Cloudflare Browser Rendering, dan layanan serupa. Jika Anda sudah menggunakan salah satu penyedia ini, Anda dapat beralih ke Agenty AI dengan memperbarui URL dasar dan kunci API tanpa menulis ulang permintaan yang sudah ada.
| Penyedia | Migrasi |
|---|---|
| Browserless | Ubah URL dasar dan kunci API. Semua parameter kompatibel. |
| Firecrawl | Ubah URL dasar dan kunci API. Endpoint scrape, markdown, dan crawl dipetakan langsung. |
| Cloudflare Browser Rendering | Ubah URL dasar dan header auth. Parameter screenshot dan konten kompatibel. |
| Puppeteer HTTP APIs | Sebagian besar goToOptions dan opsi halaman dipetakan 1:1. |

