Agenty

resmi

Web scraping, crawling, dan deteksi perubahan dengan AI

Apa yang bisa Anda lakukan dengan Agenty MCP?

  • Konversi halaman ke Markdown — Minta untuk mengonversi URL atau HTML mentah menjadi Markdown yang bersih dan mudah dibaca dengan alat markdown untuk konten yang ramah LLM.
  • Ambil tangkapan layar — Gunakan screenshot untuk menangkap gambar PNG/JPEG halaman penuh atau terpotong dengan viewport kustom dan emulasi perangkat.
  • Kikis HTML yang dirender — Gunakan scrape untuk mendapatkan HTML yang dirender penuh dari halaman yang banyak menggunakan JavaScript setelah konten dinamis dimuat.
  • Ekstrak data terstruktur — Gunakan extract untuk menarik bidang tertentu seperti harga, judul, atau ulasan melalui pemilih CSS atau XPath.
  • Hasilkan PDF — Gunakan pdf untuk mengekspor halaman sebagai PDF dengan opsi format, margin, lanskap, serta header dan footer.
  • Temukan struktur situs — Gunakan sitemap untuk membaca sitemap.xml situs dan mengembalikan semua URL yang ditemukan, dengan pola pengecualian.

Dokumentasi

Agenty AI mengekspos server Model Context Protocol (MCP) yang memberikan asisten AI seperti Claude, Cursor, dan klien apa pun yang kompatibel dengan MCP akses langsung ke alat otomatisasi browser. Anda dapat mengambil tangkapan layar, membuat PDF, mengikis halaman web, mengekstrak data terstruktur, mengonversi halaman ke Markdown, dan banyak lagi menggunakan model LLM.

Pada artikel ini, saya akan membahas cara terhubung ke server MCP Agenty dan cara menggunakan setiap alat yang tersedia.

Prasyarat

Sebelum terhubung, Anda perlu:

  • Akun Agenty AI dan kunci API
  • Klien yang kompatibel dengan MCP seperti Claude Desktop, Cursor, Windsurf, atau alat apa pun yang mendukung Model Context Protocol
  • Node.js 18 atau lebih baru jika Anda menggunakan CLI atau file konfigurasi lokal

Cara Terhubung

Tambahkan konfigurasi berikut ke klien MCP Anda. Untuk Claude Desktop, ini masuk ke claude_desktop_config.json. Untuk Cursor, ini masuk ke file .cursor/mcp.json Anda.

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

Ganti YOUR_API_KEY dengan kunci dari Agenty AI > Pengaturan > Kunci API. Setelah ditambahkan, mulai ulang klien Anda dan alat Agenty akan muncul di daftar alat. Untuk klien yang mendukung login berbasis OAuth atau token, Anda dapat mengautentikasi langsung melalui alur masuk Agenty AI tanpa menempelkan kunci secara manual.

Alat yang Tersedia

Server MCP Agenty menyediakan sebelas alat yang mencakup kebutuhan otomatisasi browser yang paling umum. Setiap alat menerima URL atau HTML mentah sebagai input beserta parameter opsional untuk mengontrol perilaku browser.

Available Tools in Agenty MCP

Markdown MCP

Alat markdown memuat halaman, menghapus navigasi, footer, skrip, iklan, dan boilerplate lainnya, lalu mengonversi konten yang dapat dibaca menjadi Markdown yang bersih. Alat ini dapat mengubah tautan relatif menjadi URL absolut dan menghapus gambar data.

Ini sangat berguna untuk memasukkan konten web ke LLM, membangun pipeline RAG, atau menyimpan versi artikel yang dapat dibaca.

Contoh prompt:

"Konversi Web scraping - Wikipedia ke Markdown"

"Dapatkan konten Markdown dari posting blog ini: https://example.com/article"

Website scraping preview using Claude desktop

Screenshot MCP

Alat screenshot meluncurkan browser sungguhan, memuat halaman, dan menangkapnya sebagai gambar PNG atau JPEG. Alat ini mendukung tangkapan layar halaman penuh, area terpotong, viewport kustom, emulasi perangkat, dan manipulasi gambar seperti mengubah ukuran dan memutar.

Ini berguna saat Anda menginginkan cuplikan visual halaman, perlu mendokumentasikan UI, atau ingin memverifikasi tampilan situs pada ukuran layar tertentu.

Contoh prompt:

"Ambil tangkapan layar halaman penuh dari https://example.com dan kembalikan sebagai PNG"

"Tangkap tangkapan layar seluler dari https://agenty.ai menggunakan viewport iPhone 14"

Web Scraping MCP

Alat web scrape memuat URL di browser sungguhan dengan eksekusi JavaScript penuh dan mengembalikan HTML yang dirender. Tidak seperti permintaan HTTP sederhana, alat ini menunggu konten dinamis dimuat, menjadikannya andal untuk aplikasi satu halaman dan situs yang banyak menggunakan JavaScript.

Gunakan ini saat Anda memerlukan HTML mentah dari halaman persis seperti yang dilihat pengguna setelah semua skrip dijalankan.

Contoh prompt:

"Kikis HTML dari https://news.ycombinator.com dan kembalikan konten yang dirender penuh"

"Kikis halaman ini dan tunggu 3 detik agar konten dinamis dimuat: https://example.com/dashboard"

Web Crawling MCP

Alat perayapan tautan merender halaman dan mengekstrak setiap hyperlink yang ditemukan di DOM. Alat ini mengembalikan daftar datar semua href anchor, yang dapat Anda gunakan untuk membangun antrean perayapan, mengaudit tautan internal, atau menemukan konten.

Contoh prompt:

"Temukan semua tautan di https://agenty.ai"

"Ekstrak setiap tautan dari https://example.com/blog dan beri saya daftar URL artikel"

PDF MCP

Alat PDF merender halaman di browser sungguhan dan mengekspornya sebagai PDF. Anda dapat mengatur format halaman (A4, Letter, dll.), mengaktifkan mode lanskap, mengatur margin, menampilkan atau menyembunyikan latar belakang, dan menyediakan header serta footer kustom.

Contoh prompt:

"Buat PDF dari https://agenty.ai dalam format A4 dengan latar belakang cetak diaktifkan"

"Buat PDF lanskap dari https://example.com/report"

Data Extraction MCP

Alat ekstrak merender halaman dan mengekstrak data terstruktur menggunakan pemilih CSS atau XPath. Alat ini cocok untuk menarik bidang tertentu seperti harga produk, jumlah ulasan, judul pekerjaan, atau elemen berulang apa pun dari halaman yang dirender.

Contoh prompt:

"Ekstrak nama produk dan harga dari https://example.com/products"

"Ambil semua judul berita dari https://news.ycombinator.com"

Sitemap MCP

Alat perayap sitemap membaca sitemap.xml situs web, mengikuti file indeks sitemap, dan mengembalikan daftar lengkap semua URL yang ditemukan. Alat ini mendukung pola pengecualian untuk memfilter jalur tertentu.

Gunakan ini untuk memahami dengan cepat struktur lengkap situs web atau untuk membangun daftar perayapan untuk situs besar.

Contoh prompt:

"Temukan semua URL di sitemap untuk https://agenty.ai"

"Ambil sitemap untuk https://example.com dan kecualikan URL apa pun yang mengandung /blog/"

Redirect Tracing MCP

Alat penangkap pengalihan mengikuti semua pengalihan HTTP untuk URL tertentu dan mengembalikan rantai lengkap termasuk setiap URL perantara, kode status, dan tujuan akhir.

Ini membantu untuk men-debug tautan rusak, memverifikasi URL kanonik, dan mengaudit tautan afiliasi atau tautan yang dipersingkat.

Contoh prompt:

"Lacak semua pengalihan untuk https://bit.ly/some-link"

"Tunjukkan rantai pengalihan untuk https://example.com/old-page"

Email Scraper MCP

Alat pengikis email memuat satu atau lebih URL (hingga sepuluh sekaligus) dan mengekstrak semua alamat email yang ditemukan di halaman yang dirender. Alat ini menangani alamat yang dikaburkan dan bagian kontak yang dimuat secara dinamis.

Contoh prompt:

"Temukan semua alamat email di https://example.com/contact"

"Kikis email dari tiga halaman ini: https://site1.com, https://site2.com, https://site3.com"

Content MCP

Alat konten mengembalikan HTML yang dirender lengkap dari halaman setelah eksekusi JavaScript. Ini mirip dengan scrape tetapi dioptimalkan untuk kasus penggunaan di mana Anda memerlukan status DOM akhir daripada pipeline pengikisan.

Contoh prompt:

"Ambil konten HTML yang dirender dari https://example.com/app"

Snapshot MCP

Alat snapshot menangkap pohon aksesibilitas halaman — daftar terstruktur dari semua elemen interaktif dan dapat dibaca termasuk tombol, tautan, input, dan judul. Ini dirancang untuk agen AI yang perlu menavigasi atau menalar tentang halaman tanpa memproses HTML mentah.

Contoh prompt:

"Ambil snapshot aksesibilitas dari https://example.com sehingga saya dapat memahami struktur halaman"

Contoh Prompt

Berikut adalah beberapa contoh multi-langkah yang menggabungkan alat:

Audit konten situs web:
"Ambil sitemap untuk https://example.com, lalu konversi 5 halaman teratas ke Markdown dan rangkum masing-masing"

Buat laporan visual:
"Ambil tangkapan layar dari https://agenty.ai pada viewport seluler dan desktop dan tampilkan keduanya"

Bangun daftar kontak:
"Temukan semua tautan di https://example.com/team, lalu kikis alamat email dari setiap halaman anggota tim"

Verifikasi kesehatan tautan:
"Ekstrak semua tautan dari https://example.com/blog dan lacak rantai pengalihan untuk tautan apa pun yang tidak mengembalikan 200"

Arsipkan halaman:
"Konversi https://example.com/article ke Markdown dan buat versi PDF, keduanya dengan tautan absolut"

Parameter yang Didukung

Semua alat berbasis navigasi (screenshot, pdf, scrape, content, markdown, links, extract, redirects) berbagi set opsi konfigurasi browser yang umum:

ParameterTipeDeskripsi
urlstringURL halaman yang akan dimuat. Diperlukan jika html tidak disediakan.
htmlstringString HTML mentah untuk dirender alih-alih memuat URL.
waitForstring atau numberTunggu pemilih CSS, sejumlah milidetik, atau peristiwa jaringan sebelum menangkap.
viewportobjectAtur width, height, deviceScaleFactor, isMobile, hasTouch, dan isLandscape.
devicestringEmulasikan perangkat bernama seperti iPhone 14 atau iPad Pro.
userAgentstringGanti string agen pengguna browser.
cookiesarraySuntikkan cookie sebelum halaman dimuat.
blockAdsbooleanBlokir permintaan jaringan iklan. Diaktifkan secara default untuk alat pengikisan.
blockTrackersbooleanBlokir skrip pelacakan dan analitik.
goToOptionsobjectKontrol navigasi timeout (ms) dan strategi waitUntil (load, domcontentloaded, networkidle0, networkidle2).
setExtraHTTPHeadersobjectTambahkan header permintaan kustom sebagai pasangan kunci-nilai.
rejectRequestPatternarrayBlokir permintaan yang cocok dengan pola URL ini.
requestInterceptorsarrayIntersep permintaan yang cocok dengan pola dan kembalikan respons kustom.
authenticateobjectAtur HTTP username dan password untuk halaman di belakang autentikasi dasar.
anonymousobjectRute melalui proxy dan lewati jenis sumber daya untuk penjelajahan anonim.

Parameter khusus screenshot:

ParameterTipeDeskripsi
options.fullPagebooleanTangkap seluruh halaman yang dapat digulir. Default ke true.
options.typestringFormat gambar: png atau jpeg. Default ke png.
options.qualitynumberKualitas JPEG dari 0 hingga 100.
options.clipobjectTangkap wilayah tertentu dengan x, y, width, dan height.
options.omitBackgroundbooleanBuat latar belakang transparan (khusus PNG).
manipulateobjectProses pasca-gambar dengan resize, rotate, flip, dan flop.
responseTypestringKembalikan gambar sebagai buffer (default) atau url yang dihosting.

Saat menggunakan alat screenshot melalui MCP, hasilnya dikembalikan sebagai URL yang dihosting secara default. Saat memanggil API secara langsung, responseType default ke buffer. Atur responseType: 'url' untuk menerima tautan yang dihosting sebagai gantinya.

Parameter khusus PDF:

ParameterTipeDeskripsi
options.formatstringUkuran halaman: A4, Letter, Legal, Tabloid, Ledger, A0A6.
options.landscapebooleanRender dalam orientasi lanskap.
options.marginobjectAtur margin top, bottom, left, dan right.
options.printBackgroundbooleanSertakan latar belakang CSS dalam output.
options.displayHeaderFooterbooleanTampilkan header dan footer di setiap halaman.
options.headerTemplatestringTemplate HTML untuk header halaman.
options.footerTemplatestringTemplate HTML untuk footer halaman.
options.pageRangesstringCetak halaman tertentu, mis. 1-5.
options.scalenumberSkalakan konten halaman.
emulateMediastringRender sebagai tipe media screen atau print.
responseTypestringKembalikan PDF sebagai buffer (default) atau url yang dihosting.

Saat menggunakan alat PDF melalui MCP, hasilnya dikembalikan sebagai URL yang dihosting secara default. Saat memanggil API secara langsung, responseType default ke buffer. Atur responseType: 'url' untuk menerima tautan yang dihosting sebagai gantinya.

Batas Laju dan Penggunaan Wajar

Setiap kunci API memiliki batas permintaan bulanan berdasarkan paket Anda. Halaman yang berjalan lama dengan JavaScript berat atau PDF besar mengonsumsi lebih banyak sumber daya. Gunakan blockAds dan blockTrackers untuk mempercepat permintaan dan mengurangi penggunaan bandwidth pada beban kerja scraping.

Skema permintaan dan respons Agenty AI sengaja dibuat kompatibel dengan API otomatisasi browser yang paling banyak digunakan, termasuk Browserless, Firecrawl, Cloudflare Browser Rendering, dan layanan serupa. Jika Anda sudah menggunakan salah satu penyedia ini, Anda dapat beralih ke Agenty AI dengan memperbarui URL dasar dan kunci API tanpa menulis ulang permintaan yang sudah ada.

PenyediaMigrasi
BrowserlessUbah URL dasar dan kunci API. Semua parameter kompatibel.
FirecrawlUbah URL dasar dan kunci API. Endpoint scrape, markdown, dan crawl dipetakan langsung.
Cloudflare Browser RenderingUbah URL dasar dan header auth. Parameter screenshot dan konten kompatibel.
Puppeteer HTTP APIsSebagian besar goToOptions dan opsi halaman dipetakan 1:1.