Agenty

resmi

Yapay zeka ile web kazıma, tarama ve değişiklik tespiti

Agenty MCP ile neler yapabilirsiniz?

  • Herhangi bir web sayfasını temiz Markdown'a dönüştürünmarkdown kullanarak bir URL'den gezinme çubuklarını, reklamları ve gereksiz içerikleri temizleyerek LLM uyumlu içerik elde edin.
  • Cihaz emülasyonu ile ekran görüntüsü alınscreenshot ile iPhone 14 gibi cihazları emüle ederek tam sayfa veya kırpılmış PNG/JPEG ekran görüntüleri yakalayın.
  • JavaScript ile oluşturulmuş HTML'yi kazıyın — tüm betikler çalıştıktan sonra nihai DOM'u almak için scrape kullanın, özellikle SPA'lar için idealdir.
  • Seçicilerle yapılandırılmış veri çıkarınextract ile CSS veya XPath kullanarak bir sayfadan fiyatlar veya başlıklar gibi belirli alanları çekin.
  • Özel biçimlendirme ile PDF oluşturunpdf ile bir sayfayı A4 veya Letter PDF olarak dışa aktarın, kenar boşluklarını, başlıkları ve yazdırma arka planlarını kontrol edin.
  • HTTP yönlendirme zincirlerini izleyin — bağlantıları hata ayıklamak veya kanonik hedefleri doğrulamak için redirects ile bir URL'nin tüm yönlendirmelerini takip edin.

Dokümantasyon

Agenty AI, Claude, Cursor ve MCP uyumlu herhangi bir istemci gibi yapay zeka asistanlarına tarayıcı otomasyon araçlarına doğrudan erişim sağlayan bir Model Bağlam Protokolü (MCP) sunucusu sunar. Ekran görüntüleri yakalayabilir, PDF'ler oluşturabilir, web sayfalarını kazıyabilir, yapılandırılmış veri çıkarabilir, sayfaları Markdown'a dönüştürebilir ve daha fazlasını LLM modellerini kullanarak yapabilirsiniz.

Bu makalede, Agenty'nin MCP sunucusuna nasıl bağlanılacağını ve mevcut her aracın nasıl kullanılacağını ele alacağım.

Ön Koşullar

Bağlanmadan önce ihtiyacınız olacaklar:

  • Bir Agenty AI hesabı ve API anahtarı
  • Claude Desktop, Cursor, Windsurf gibi MCP uyumlu bir istemci veya Model Bağlam Protokolü'nü destekleyen herhangi bir araç
  • CLI veya yerel bir yapılandırma dosyası kullanıyorsanız Node.js 18 veya üzeri

Nasıl Bağlanılır

MCP istemcinize aşağıdaki yapılandırmayı ekleyin. Claude Desktop için bu, claude_desktop_config.json dosyasına eklenir. Cursor için, .cursor/mcp.json dosyanıza eklenir.

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

YOUR_API_KEY kısmını Agenty AI > Ayarlar > API Anahtarı'ndan aldığınız anahtarla değiştirin. Eklendikten sonra istemcinizi yeniden başlatın, Agenty araçları araç listesinde görünecektir.

Agenty API Anahtarı1069×482 32.4 KB

OAuth veya belirteç tabanlı oturum açmayı destekleyen istemciler için, bir anahtarı manuel olarak yapıştırmadan doğrudan Agenty AI oturum açma akışı aracılığıyla kimlik doğrulaması yapabilirsiniz.

Mevcut Araçlar

Agenty MCP sunucusu, en yaygın tarayıcı otomasyon ihtiyaçlarını karşılayan on bir araç sağlar. Her araç, tarayıcı davranışını kontrol etmek için isteğe bağlı parametrelerle birlikte girdi olarak bir URL veya ham HTML kabul eder.

Agenty MCP'deki Mevcut Araçlar1265×795 60.9 KB

Markdown MCP

Markdown aracı bir sayfayı yükler, gezinme, altbilgi, betikler, reklamlar ve diğer kalıp metinleri çıkarır ve kalan okunabilir içeriği temiz Markdown'a dönüştürür. Göreli bağlantıları mutlak URL'lere çözümleyebilir ve veri görüntülerini kaldırabilir.

Bu, özellikle web içeriğini LLM'lere beslemek, RAG işlem hatları oluşturmak veya makalelerin okunabilir sürümlerini kaydetmek için kullanışlıdır.

Örnek istem:

"Web kazıma - Wikipedia'yı Markdown'a dönüştür"

"Bu blog gönderisinin Markdown içeriğini al: https://example.com/article”

Claude masaüstü kullanarak web sitesi kazıma önizlemesi1272×844 67.2 KB

Ekran Görüntüsü MCP

Ekran görüntüsü aracı gerçek bir tarayıcı başlatır, sayfayı yükler ve PNG veya JPEG görüntüsü olarak yakalar. Tam sayfa ekran görüntülerini, kırpılmış bölgeleri, özel görünüm alanlarını, cihaz öykünmesini ve yeniden boyutlandırma ve döndürme gibi görüntü işlemelerini destekler.

Bu, bir sayfanın görsel anlık görüntüsünü istediğinizde, bir kullanıcı arayüzünü belgelemeniz gerektiğinde veya bir sitenin belirli bir ekran boyutunda nasıl göründüğünü doğrulamak istediğinizde kullanışlıdır.

Örnek istem:

"https://example.com sayfasının tam sayfa ekran görüntüsünü al ve PNG olarak döndür"

"iPhone 14 görünüm alanını kullanarak https://agenty.ai sayfasının mobil ekran görüntüsünü yakala"

Web Kazıma MCP

Web kazıma aracı, tam JavaScript yürütme ile gerçek bir tarayıcıda bir URL yükler ve işlenmiş HTML'yi döndürür. Basit HTTP isteklerinin aksine, dinamik içeriğin yüklenmesini bekler, bu da onu tek sayfalı uygulamalar ve JavaScript ağırlıklı sayfalar için güvenilir kılar.

Bunu, tüm betikler çalıştıktan sonra bir kullanıcının göreceği şekilde bir sayfanın ham HTML'sine ihtiyacınız olduğunda kullanın.

Örnek istem:

"https://news.ycombinator.com sayfasının HTML'sini kazı ve tam işlenmiş içeriği döndür"

"Bu sayfayı kazı ve dinamik içeriğin yüklenmesi için 3 saniye bekle: https://example.com/dashboard”

Web Tarama MCP

Bağlantı tarama aracı bir sayfayı işler ve DOM'da bulunan her köprüyü çıkarır. Tüm bağlantı href'lerinin düz bir listesini döndürür; bunu bir tarama kuyruğu oluşturmak, dahili bağlantı denetimi yapmak veya içerik keşfetmek için kullanabilirsiniz.

Örnek istem:

"https://agenty.ai” sayfasındaki tüm bağlantıları bul

"https://example.com/blog sayfasından her bağlantıyı çıkar ve bana makale URL'lerinin bir listesini ver"

PDF MCP

PDF aracı bir sayfayı gerçek bir tarayıcıda işler ve PDF olarak dışa aktarır. Sayfa biçimini (A4, Letter vb.) ayarlayabilir, yatay modu etkinleştirebilir, kenar boşluklarını ayarlayabilir, arka planları gösterip gizleyebilir ve özel üstbilgi ve altbilgi sağlayabilirsiniz.

Örnek istem:

"https://agenty.ai sayfasının A4 biçiminde, yazdırma arka planları etkin olarak bir PDF'ini oluştur"

"https://example.com/report” sayfasının yatay bir PDF'ini oluştur

Veri Çıkarma MCP

Çıkarma aracı bir sayfayı işler ve CSS seçiciler veya XPath kullanarak yapılandırılmış veri çıkarır. Ürün fiyatları, inceleme sayıları, iş unvanları veya işlenmiş bir sayfadan yinelenen herhangi bir öğe gibi belirli alanları çekmek için uygundur.

Örnek istem:

"https://example.com/products” sayfasından ürün adlarını ve fiyatlarını çıkar

"https://news.ycombinator.com” sayfasındaki tüm başlıkları al

Site Haritası MCP

Site haritası tarayıcı aracı bir web sitesinin sitemap.xml dosyasını okur, site haritası dizin dosyalarını takip eder ve keşfedilen tüm URL'lerin tam bir listesini döndürür. Belirli yolları filtrelemek için dışlama desenlerini destekler.

Bunu, bir web sitesinin tam yapısını hızlıca anlamak veya büyük bir site için bir tarama listesi oluşturmak için kullanın.

Örnek istem:

"https://agenty.ai” için site haritasındaki tüm URL'leri bul

"https://example.com için site haritasını al ve /blog/ içeren URL'leri hariç tut"

Yönlendirme İzleme MCP

Yönlendirme yakalama aracı, belirli bir URL için tüm HTTP yönlendirmelerini takip eder ve her ara URL, durum kodu ve nihai hedef dahil olmak üzere tam zinciri döndürür.

Bu, bozuk bağlantıları ayıklamak, kanonik URL'leri doğrulamak ve satış ortağı veya kısaltılmış bağlantıları denetlemek için yararlıdır.

Örnek istem:

"https://bit.ly/some-link” için tüm yönlendirmeleri izle

"https://example.com/old-page” için yönlendirme zincirini göster

E-posta Kazıyıcı MCP

E-posta kazıyıcı araç bir veya daha fazla URL yükler (bir seferde en fazla on tane) ve işlenen sayfada bulunan tüm e-posta adreslerini çıkarır. Gizlenmiş adresleri ve dinamik olarak yüklenen iletişim bölümlerini işler.

Örnek istem:

"https://example.com/contact” sayfasındaki tüm e-posta adreslerini bul

"Bu üç sayfadan e-postaları kazı: https://site1.com, https://site2.com, https://site3.com”

İçerik MCP

İçerik aracı, JavaScript yürütüldükten sonra bir sayfanın tam işlenmiş HTML'sini döndürür. Kazımaya benzer ancak bir kazıma işlem hattı yerine nihai DOM durumuna ihtiyaç duyduğunuz kullanım durumları için optimize edilmiştir.

Örnek istem:

"https://example.com/app” sayfasının işlenmiş HTML içeriğini al

Anlık Görüntü MCP

Anlık görüntü aracı bir sayfanın erişilebilirlik ağacını yakalar — düğmeler, bağlantılar, girdiler ve başlıklar dahil olmak üzere tüm etkileşimli ve okunabilir öğelerin yapılandırılmış bir listesi. Bu, ham HTML işlemeden bir sayfa hakkında gezinmesi veya akıl yürütmesi gereken yapay zeka aracıları için tasarlanmıştır.

Örnek istem:

"Sayfa yapısını anlayabilmem için https://example.com sayfasının erişilebilirlik anlık görüntüsünü al"

Örnek İstemler

İşte araçları birleştiren birkaç çok adımlı örnek:

Bir web sitesinin içeriğini denetle:
"https://example.com, için site haritasını al, ardından en iyi 5 sayfayı Markdown'a dönüştür ve her birini özetle"

Görsel bir rapor oluştur:
"https://agenty.ai sayfasının mobil ve masaüstü görünüm alanlarında ekran görüntüsünü al ve bana her ikisini de göster"

Bir iletişim listesi oluştur:
"https://example.com/team, sayfasındaki tüm bağlantıları bul, ardından her ekip üyesi sayfasından e-posta adreslerini kazı"

Bağlantı sağlığını doğrula:
"https://example.com/blog sayfasındaki tüm bağlantıları çıkar ve 200 döndürmeyenler için yönlendirme zincirini izle"

Bir sayfayı arşivle:
"https://example.com/article sayfasını Markdown'a dönüştür ve her ikisi de mutlak bağlantılarla olacak şekilde bir PDF sürümü oluştur"

Desteklenen Parametreler

Tüm gezinme tabanlı araçlar (ekran görüntüsü, pdf, kazıma, içerik, markdown, bağlantılar, çıkarma, yönlendirmeler) ortak bir tarayıcı yapılandırma seçenekleri kümesini paylaşır:

ParametreTürAçıklama
urlstringYüklenecek sayfa URL'si. html sağlanmazsa gereklidir.
htmlstringBir URL yüklemek yerine işlenecek ham HTML dizesi.
waitForstring veya numberYakalamadan önce bir CSS seçici, milisaniye cinsinden bir sayı veya bir ağ olayı bekle.
viewportobjectwidth, height, deviceScaleFactor, isMobile, hasTouch ve isLandscape ayarlayın.
devicestringiPhone 14 veya iPad Pro gibi adlandırılmış bir cihazı öykün.
userAgentstringTarayıcı kullanıcı aracısı dizesini geçersiz kıl.
cookiesarraySayfa yüklenmeden önce çerezleri enjekte et.
blockAdsbooleanReklam ağı isteklerini engelle. Kazıma araçları için varsayılan olarak etkindir.
blockTrackersbooleanİzleme ve analitik betiklerini engelle.
goToOptionsobjectGezinme zaman aşımını (ms) ve waitUntil stratejisini (load, domcontentloaded, networkidle0, networkidle2) kontrol et.
setExtraHTTPHeadersobjectAnahtar-değer çiftleri olarak özel istek başlıkları ekleyin.
rejectRequestPatternarrayBu URL desenleriyle eşleşen istekleri engelle.
requestInterceptorsarrayBir desenle eşleşen istekleri yakala ve özel bir yanıt döndür.
authenticateobjectTemel kimlik doğrulamanın arkasındaki sayfalar için HTTP kullanıcı adı ve parola ayarlayın.
anonymousobjectAnonim tarama için bir proxy üzerinden yönlendir ve kaynak türlerini atla.

Ekran görüntüsüne özgü parametreler:

ParametreTürAçıklama
options.fullPagebooleanTam kaydırılabilir sayfayı yakala. Varsayılan true.
options.typestringGörüntü biçimi: png veya jpeg. Varsayılan png.
options.qualitynumber0 ile 100 arasında JPEG kalitesi.
options.clipobjectx, y, width ve height ile belirli bir bölgeyi yakala.
options.omitBackgroundbooleanArka planı saydam yap (yalnızca PNG).
manipulateobjectGörüntüyü resize, rotate, flip ve flop ile son işle.
responseTypestringGörüntüyü bir arabellek (varsayılan) veya barındırılan bir url olarak döndür.

MCP aracılığıyla ekran görüntüsü aracını kullanırken, sonuç varsayılan olarak barındırılan bir URL olarak döndürülür. API'yi doğrudan çağırırken, responseType varsayılan olarak buffer olur. Barındırılan bir bağlantı almak için responseType: 'url' ayarlayın.

PDF'ye özgü parametreler:

ParametreTürAçıklama
options.formatstringSayfa boyutu: A4, Letter, Legal, Tabloid, Ledger, A0–A6.
options.landscapebooleanYatay yönde işle.
options.marginobjectÜst, alt, sol ve sağ kenar boşluklarını ayarla.
options.printBackgroundbooleanÇıktıya CSS arka planlarını dahil et.
options.displayHeaderFooterbooleanHer sayfada üst bilgi ve alt bilgi göster.
options.headerTemplatestringSayfa üst bilgisi için HTML şablonu.
options.footerTemplatestringSayfa alt bilgisi için HTML şablonu.
options.pageRangesstringBelirli sayfaları yazdır, örn. 1-5.
options.scalenumberSayfa içeriğini ölçeklendir.
emulateMediastringEkran veya yazdırma medya türü olarak işle.
responseTypestringPDF'i bir arabellek (varsayılan) veya barındırılan url olarak döndür.

PDF aracını MCP üzerinden kullanırken, sonuç varsayılan olarak barındırılan bir URL olarak döndürülür. API'yi doğrudan çağırırken, responseType varsayılan olarak buffer değerini alır. Bunun yerine barındırılan bir bağlantı almak için responseType: 'url' ayarlayın.

Hız Sınırları ve Adil Kullanım

Her API anahtarının, planınıza bağlı olarak aylık bir istek sınırı vardır. Ağır JavaScript içeren uzun süre çalışan sayfalar veya büyük PDF'ler daha fazla kaynak tüketir. Kazıma iş yüklerinde istekleri hızlandırmak ve bant genişliği kullanımını azaltmak için blockAds ve blockTrackers kullanın.

Agenty AI istek ve yanıt şeması, Browserless, Firecrawl, Cloudflare Browser Rendering ve benzeri hizmetler dahil olmak üzere en yaygın kullanılan tarayıcı otomasyon API'leriyle uyumlu olacak şekilde kasıtlı olarak tutulmuştur. Bu sağlayıcılardan birini zaten kullanıyorsanız, mevcut isteklerinizi yeniden yazmadan temel URL'nizi ve API anahtarınızı güncelleyerek Agenty AI'ye geçiş yapabilirsiniz.

SağlayıcıGeçiş
BrowserlessTemel URL ve API anahtarını değiştirin. Tüm parametreler uyumludur.
FirecrawlTemel URL ve API anahtarını değiştirin. Scrape, markdown ve crawl uç noktaları doğrudan eşleşir.
Cloudflare Browser RenderingTemel URL ve yetkilendirme başlığını değiştirin. Ekran görüntüsü ve içerik parametreleri uyumludur.
Puppeteer HTTP API'leriÇoğu goToOptions ve sayfa seçeneği 1:1 eşleşir.