Agenty
resmiYapay zeka ile web kazıma, tarama ve değişiklik tespiti
Agenty MCP ile neler yapabilirsiniz?
- Sayfaları Markdown'a dönüştürün —
markdownaracıyla bir URL'yi veya ham HTML'i, LLM dostu içerik için temiz ve okunabilir Markdown'a dönüştürmeyi isteyin. - Ekran görüntüsü alın — Özel görünüm alanları ve cihaz emülasyonu ile tam sayfa veya kırpılmış PNG/JPEG görüntüleri yakalamak için
screenshotkullanın. - İşlenmiş HTML'i kazıyın — Dinamik içerik yüklendikten sonra JavaScript ağırlıklı sayfaların tam işlenmiş HTML'ini almak için
scrapekullanın. - Yapılandırılmış veri çıkarın — CSS seçicileri veya XPath ile fiyatlar, manşetler veya incelemeler gibi belirli alanları çekmek için
extractkullanın. - PDF oluşturun — Biçim, kenar boşlukları, yatay görünüm ve üstbilgi/altbilgi seçenekleriyle bir sayfayı PDF olarak dışa aktarmak için
pdfkullanın. - Site yapısını keşfedin — Bir sitenin sitemap.xml dosyasını okumak ve hariç tutma desenleriyle keşfedilen tüm URL'leri döndürmek için
sitemapkullanın.
Dokümantasyon
Agenty AI, Model Context Protocol (MCP) sunucusunu kullanıma sunar. Bu sunucu, Claude, Cursor ve MCP uyumlu herhangi bir istemci gibi yapay zeka asistanlarına tarayıcı otomasyon araçlarına doğrudan erişim sağlar. LLM modellerini kullanarak ekran görüntüsü alabilir, PDF oluşturabilir, web sayfalarını kazıyabilir, yapılandırılmış veri çıkarabilir, sayfaları Markdown'a dönüştürebilir ve daha fazlasını yapabilirsiniz.
Bu makalede, Agenty'nin MCP sunucusuna nasıl bağlanılacağını ve mevcut her aracın nasıl kullanılacağını ele alacağım.
Ön Koşullar
Bağlanmadan önce şunlara ihtiyacınız olacak:
- Bir Agenty AI hesabı ve API anahtarı
- Claude Desktop, Cursor, Windsurf veya Model Context Protocol'ü destekleyen herhangi bir araç gibi MCP uyumlu bir istemci
- CLI veya yerel bir yapılandırma dosyası kullanıyorsanız Node.js 18 veya sonrası
Nasıl Bağlanılır
MCP istemcinize aşağıdaki yapılandırmayı ekleyin. Claude Desktop için bu, claude_desktop_config.json içine gider. Cursor için ise .cursor/mcp.json dosyanıza gider.
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
YOUR_API_KEY değerini Agenty AI > Ayarlar > API Anahtarı bölümündeki anahtarınızla değiştirin. Eklendikten sonra istemcinizi yeniden başlatın; Agenty araçları araç listesinde görünecektir. OAuth veya token tabanlı oturum açmayı destekleyen istemciler için, anahtarı manuel olarak yapıştırmadan doğrudan Agenty AI oturum açma akışı üzerinden kimlik doğrulaması yapabilirsiniz.
Mevcut Araçlar
Agenty MCP sunucusu, en yaygın tarayıcı otomasyon ihtiyaçlarını karşılayan on bir araç sağlar. Her araç, tarayıcı davranışını kontrol etmek için isteğe bağlı parametrelerle birlikte bir URL veya ham HTML'i girdi olarak kabul eder.
Markdown MCP
markdown aracı bir sayfayı yükler, gezinme, altbilgi, komut dosyaları, reklamlar ve diğer sabit içerikleri kaldırır ve kalan okunabilir içeriği temiz Markdown'a dönüştürür. Göreli bağlantıları mutlak URL'lere çözümleyebilir ve veri görüntülerini kaldırabilir.
Bu, web içeriğini LLM'lere beslemek, RAG hatları oluşturmak veya makalelerin okunabilir sürümlerini kaydetmek için özellikle yararlıdır.
Örnek komut:
"Web kazıma - Wikipedia sayfasını Markdown'a dönüştür"
"Bu blog yazısının Markdown içeriğini al: https://example.com/article"
Ekran Görüntüsü MCP
ekran görüntüsü aracı gerçek bir tarayıcı başlatır, sayfayı yükler ve PNG veya JPEG görüntüsü olarak yakalar. Tam sayfa ekran görüntülerini, kırpılmış bölgeleri, özel görünüm alanlarını, cihaz öykünmesini ve yeniden boyutlandırma ile döndürme gibi görüntü işleme işlemlerini destekler.
Bu, bir sayfanın görsel anlık görüntüsünü almak, bir arayüzü belgelemek veya bir sitenin belirli bir ekran boyutunda nasıl göründüğünü doğrulamak istediğinizde kullanışlıdır.
Örnek komut:
"https://example.com sayfasının tam sayfa ekran görüntüsünü al ve PNG olarak döndür"
"iPhone 14 görünüm alanını kullanarak https://agenty.ai sayfasının mobil ekran görüntüsünü yakala"
Web Kazıma MCP
web kazıma aracı tam JavaScript yürütmesiyle gerçek bir tarayıcıda bir URL yükler ve işlenmiş HTML'i döndürür. Basit HTTP isteklerinden farklı olarak, dinamik içeriğin yüklenmesini bekler; bu da onu tek sayfalık uygulamalar ve JavaScript yoğun sayfalar için güvenilir kılar.
Tüm komut dosyaları çalıştırıldıktan sonra bir sayfanın ham HTML'ini, kullanıcının göreceği şekliyle tam olarak almanız gerektiğinde bunu kullanın.
Örnek komut:
"https://news.ycombinator.com sayfasının HTML'ini kazı ve tam işlenmiş içeriği döndür"
"Bu sayfayı kazı ve dinamik içeriğin yüklenmesi için 3 saniye bekle: https://example.com/dashboard"
Web Tarama MCP
bağlantı tarama aracı bir sayfayı işler ve DOM'da bulunan her köprüyü çıkarır. Tüm çapa href'lerinin düz bir listesini döndürür; bunu bir tarama kuyruğu oluşturmak, dahili bağlantıları denetlemek veya içerik keşfetmek için kullanabilirsiniz.
Örnek komut:
"https://agenty.ai sayfasındaki tüm bağlantıları bul"
"https://example.com/blog sayfasındaki her bağlantıyı çıkar ve bana makale URL'lerinin bir listesini ver"
PDF MCP
PDF aracı bir sayfayı gerçek bir tarayıcıda işler ve PDF olarak dışa aktarır. Sayfa biçimini (A4, Letter vb.) ayarlayabilir, yatay modu etkinleştirebilir, kenar boşluklarını ayarlayabilir, arka planları gösterebilir veya gizleyebilir ve özel üstbilgi ile altbilgi sağlayabilirsiniz.
Örnek komut:
"https://agenty.ai sayfasının yazdırma arka planları etkinleştirilmiş A4 biçiminde bir PDF'ini oluştur"
"https://example.com/report sayfasının yatay bir PDF'ini oluştur"
Veri Çıkarma MCP
çıkarma aracı bir sayfayı işler ve CSS seçicileri veya XPath kullanarak yapılandırılmış verileri çıkarır. Ürün fiyatları, inceleme sayıları, iş unvanları veya işlenmiş bir sayfadaki herhangi bir yinelenen öğe gibi belirli alanları çekmek için uygundur.
Örnek komut:
"https://example.com/products sayfasından ürün adlarını ve fiyatlarını çıkar"
"https://news.ycombinator.com sayfasındaki tüm başlıkları al"
Site Haritası MCP
site haritası tarayıcı aracı bir web sitesinin sitemap.xml dosyasını okur, site haritası dizin dosyalarını takip eder ve keşfedilen tüm URL'lerin eksiksiz bir listesini döndürür. Belirli yolları filtrelemek için hariç tutma desenlerini destekler.
Bir web sitesinin tam yapısını hızlıca anlamak veya büyük bir site için tarama listesi oluşturmak için bunu kullanın.
Örnek komut:
"https://agenty.ai sitesinin site haritasındaki tüm URL'leri bul"
"https://example.com sitesinin site haritasını al ve /blog/ içeren URL'leri hariç tut"
Yönlendirme İzleme MCP
yönlendirme yakalama aracı belirli bir URL için tüm HTTP yönlendirmelerini takip eder ve her ara URL, durum kodu ve son hedef dahil olmak üzere tam zinciri döndürür.
Bu, bozuk bağlantıları hata ayıklamak, kurallı URL'leri doğrulamak ve bağlı kuruluş veya kısaltılmış bağlantıları denetlemek için yararlıdır.
Örnek komut:
"https://bit.ly/some-link için tüm yönlendirmeleri izle"
"https://example.com/old-page için yönlendirme zincirini göster"
E-posta Kazıyıcı MCP
e-posta kazıyıcı aracı bir veya daha fazla URL'yi (aynı anda en fazla on) yükler ve işlenmiş sayfada bulunan tüm e-posta adreslerini çıkarır. Gizlenmiş adresleri ve dinamik olarak yüklenen iletişim bölümlerini işler.
Örnek komut:
"https://example.com/contact sayfasındaki tüm e-posta adreslerini bul"
"Bu üç sayfadan e-postaları kazı: https://site1.com, https://site2.com, https://site3.com"
İçerik MCP
İçerik aracı, JavaScript yürütmesinden sonra bir sayfanın eksiksiz işlenmiş HTML'ini döndürür. Kazımaya benzer ancak bir kazıma hattı yerine son DOM durumuna ihtiyaç duyduğunuz kullanım durumları için optimize edilmiştir.
Örnek komut:
"https://example.com/app sayfasının işlenmiş HTML içeriğini al"
Anlık Görüntü MCP
Anlık görüntü aracı, bir sayfanın erişilebilirlik ağacını yakalar — düğmeler, bağlantılar, girişler ve başlıklar dahil tüm etkileşimli ve okunabilir öğelerin yapılandırılmış bir listesi. Ham HTML'i işlemeden bir sayfada gezinmesi veya sayfa hakkında akıl yürütmesi gereken yapay zeka aracıları için tasarlanmıştır.
Örnek komut:
"Sayfa yapısını anlayabilmem için https://example.com sayfasının erişilebilirlik anlık görüntüsünü al"
Örnek Komutlar
Araçları birleştiren birkaç çok adımlı örnek:
Bir web sitesinin içeriğini denetle:
"https://example.com sitesinin site haritasını al, ardından ilk 5 sayfayı Markdown'a dönüştür ve her birini özetle"
Görsel bir rapor oluştur:
"https://agenty.ai sayfasının mobil ve masaüstü görünüm alanlarında ekran görüntüsünü al ve ikisini de bana göster"
Bir iletişim listesi oluştur:
"https://example.com/team sayfasındaki tüm bağlantıları bul, ardından her ekip üyesi sayfasından e-posta adreslerini kazı"
Bağlantı sağlığını doğrula:
"https://example.com/blog sayfasındaki tüm bağlantıları çıkar ve 200 döndürmeyenler için yönlendirme zincirini izle"
Bir sayfayı arşivle:
"https://example.com/article sayfasını Markdown'a dönüştür ve mutlak bağlantılarla bir PDF sürümü oluştur"
Desteklenen Parametreler
Tüm gezinme tabanlı araçlar (ekran görüntüsü, pdf, kazıma, içerik, markdown, bağlantılar, çıkarma, yönlendirmeler) ortak bir tarayıcı yapılandırma seçenekleri kümesini paylaşır:
| Parametre | Tür | Açıklama |
|---|---|---|
url | string | Yüklenecek sayfa URL'si. html sağlanmazsa gereklidir. |
html | string | Bir URL yüklemek yerine işlenecek ham HTML dizesi. |
waitFor | string veya sayı | Yakalamadan önce bir CSS seçicisini, milisaniye sayısını veya bir ağ olayını bekleyin. |
viewport | object | width, height, deviceScaleFactor, isMobile, hasTouch ve isLandscape değerlerini ayarlayın. |
device | string | iPhone 14 veya iPad Pro gibi adlandırılmış bir cihazı öykün. |
userAgent | string | Tarayıcı kullanıcı aracısı dizesini geçersiz kılın. |
cookies | array | Sayfa yüklenmeden önce çerezleri enjekte edin. |
blockAds | boolean | Reklam ağı isteklerini engelleyin. Kazıma araçları için varsayılan olarak etkindir. |
blockTrackers | boolean | İzleme ve analitik komut dosyalarını engelleyin. |
goToOptions | object | Gezinme timeout (ms) ve waitUntil stratejisini (load, domcontentloaded, networkidle0, networkidle2) kontrol edin. |
setExtraHTTPHeaders | object | Anahtar-değer çiftleri olarak özel istek başlıkları ekleyin. |
rejectRequestPattern | array | Bu URL desenleriyle eşleşen istekleri engelleyin. |
requestInterceptors | array | Bir desenle eşleşen istekleri yakalayın ve özel bir yanıt döndürün. |
authenticate | object | Temel kimlik doğrulaması arkasındaki sayfalar için HTTP username ve password değerlerini ayarlayın. |
anonymous | object | Anonim gezinme için bir proxy üzerinden yönlendirin ve kaynak türlerini atlayın. |
Ekran görüntüsüne özgü parametreler:
| Parametre | Tür | Açıklama |
|---|---|---|
options.fullPage | boolean | Kaydırılabilir sayfanın tamamını yakalayın. Varsayılan true değerindedir. |
options.type | string | Görüntü biçimi: png veya jpeg. Varsayılan png değerindedir. |
options.quality | number | 0 ile 100 arasında JPEG kalitesi. |
options.clip | object | x, y, width ve height ile belirli bir bölgeyi yakalayın. |
options.omitBackground | boolean | Arka planı şeffaf yapın (yalnızca PNG). |
manipulate | object | Görüntüyü resize, rotate, flip ve flop ile son işleyin. |
responseType | string | Görüntüyü bir buffer (varsayılan) veya barındırılan bir url olarak döndürün. |
Ekran görüntüsü aracını MCP üzerinden kullanırken sonuç varsayılan olarak barındırılan bir URL olarak döndürülür. API'yi doğrudan çağırırken responseType varsayılan olarak buffer değerindedir. Barındırılan bir bağlantı almak için responseType: 'url' değerini ayarlayın.
PDF'e özgü parametreler:
| Parametre | Tür | Açıklama |
|---|---|---|
options.format | string | Sayfa boyutu: A4, Letter, Legal, Tabloid, Ledger, A0 – A6. |
options.landscape | boolean | Yatay yönde işleyin. |
options.margin | object | top, bottom, left ve right kenar boşluklarını ayarlayın. |
options.printBackground | boolean | Çıktıya CSS arka planlarını dahil edin. |
options.displayHeaderFooter | boolean | Her sayfada üstbilgi ve altbilgiyi gösterin. |
options.headerTemplate | string | Sayfa üstbilgisi için HTML şablonu. |
options.footerTemplate | string | Sayfa altbilgisi için HTML şablonu. |
options.pageRanges | string | Belirli sayfaları yazdırın, örn. 1-5. |
options.scale | number | Sayfa içeriğini ölçekleyin. |
emulateMedia | string | screen veya print medya türü olarak işleyin. |
responseType | string | PDF'i bir buffer (varsayılan) veya barındırılan bir url olarak döndürün. |
PDF aracını MCP üzerinden kullanırken sonuç varsayılan olarak barındırılan bir URL olarak döndürülür. API'yi doğrudan çağırırken responseType varsayılan olarak buffer değerindedir. Barındırılan bir bağlantı almak için responseType: 'url' değerini ayarlayın.
Hız Sınırları ve Adil Kullanım
Her API anahtarının planınıza bağlı olarak aylık istek limiti vardır. Yoğun JavaScript veya büyük PDF'ler içeren uzun süre çalışan sayfalar daha fazla kaynak tüketir. Kazıma iş yüklerinde istekleri hızlandırmak ve bant genişliği kullanımını azaltmak için blockAds ve blockTrackers kullanın.
Agenty AI istek ve yanıt şeması, Browserless, Firecrawl, Cloudflare Browser Rendering ve benzeri hizmetler dahil olmak üzere en yaygın kullanılan tarayıcı otomasyon API'leriyle uyumlu olacak şekilde tasarlanmıştır. Bu sağlayıcılardan birini zaten kullanıyorsanız, mevcut isteklerinizi yeniden yazmadan temel URL'nizi ve API anahtarınızı güncelleyerek Agenty AI'ya geçebilirsiniz.
| Sağlayıcı | Geçiş |
|---|---|
| Browserless | Temel URL'yi ve API anahtarını değiştirin. Tüm parametreler uyumludur. |
| Firecrawl | Temel URL'yi ve API anahtarını değiştirin. Scrape, markdown ve crawl uç noktaları doğrudan eşlenir. |
| Cloudflare Browser Rendering | Temel URL'yi ve kimlik doğrulama başlığını değiştirin. Ekran görüntüsü ve içerik parametreleri uyumludur. |
| Puppeteer HTTP APIs | Çoğu goToOptions ve sayfa seçeneği 1:1 eşlenir. |

