Agenty

आधिकारिक

एआई के साथ वेब स्क्रैपिंग, क्रॉलिंग और परिवर्तन का पता लगाना

Agenty MCP के साथ आप क्या कर सकते हैं?

  • पृष्ठों को Markdown में बदलेंmarkdown टूल से किसी URL या raw HTML को स्वच्छ, पठनीय Markdown में बदलने के लिए कहें, जो LLM-अनुकूल सामग्री के लिए उपयुक्त हो।
  • स्क्रीनशॉट कैप्चर करेंscreenshot का उपयोग करके कस्टम व्यूपोर्ट और डिवाइस एमुलेशन के साथ पूर्ण-पृष्ठ या क्लिप किए गए PNG/JPEG चित्र लें।
  • रेंडर किया गया HTML स्क्रेप करें — डायनामिक कंटेंट लोड होने के बाद JavaScript-भारी पृष्ठों का पूरा रेंडर किया गया HTML प्राप्त करने के लिए scrape का उपयोग करें।
  • संरचित डेटा निकालें — CSS सेलेक्टर या XPath के माध्यम से कीमतों, हेडलाइन्स या समीक्षाओं जैसे विशिष्ट फ़ील्ड निकालने के लिए extract का उपयोग करें।
  • PDF जनरेट करें — फ़ॉर्मेट, मार्जिन, लैंडस्केप और हेडर/फुटर विकल्पों के साथ किसी पृष्ठ को PDF के रूप में निर्यात करने के लिए pdf का उपयोग करें।
  • साइट संरचना खोजें — किसी साइट की sitemap.xml पढ़ने और बहिष्करण पैटर्न के साथ सभी खोजे गए URL लौटाने के लिए sitemap का उपयोग करें।

दस्तावेज़

Agenty AI एक Model Context Protocol (MCP) सर्वर प्रदान करता है जो AI सहायकों जैसे Claude, Cursor, और किसी भी MCP-संगत क्लाइंट को ब्राउज़र स्वचालन टूल तक सीधी पहुँच देता है। आप LLM मॉडल का उपयोग करके स्क्रीनशॉट कैप्चर कर सकते हैं, PDF उत्पन्न कर सकते हैं, वेब पेज स्क्रैप कर सकते हैं, संरचित डेटा निकाल सकते हैं, पेजों को Markdown में बदल सकते हैं और बहुत कुछ कर सकते हैं।

इस लेख में, मैं Agenty के MCP सर्वर से कैसे जुड़ें और प्रत्येक उपलब्ध टूल का उपयोग कैसे करें, इस पर चर्चा करूँगा।

पूर्वापेक्षाएँ

कनेक्ट करने से पहले, आपको आवश्यकता होगी:

  • एक Agenty AI खाता और API कुंजी
  • एक MCP-संगत क्लाइंट जैसे Claude Desktop, Cursor, Windsurf, या कोई भी टूल जो Model Context Protocol का समर्थन करता है
  • Node.js 18 या उसके बाद का संस्करण यदि आप CLI या स्थानीय कॉन्फ़िगरेशन फ़ाइल का उपयोग कर रहे हैं

कैसे कनेक्ट करें

अपने MCP क्लाइंट में निम्नलिखित कॉन्फ़िगरेशन जोड़ें। Claude Desktop के लिए, यह claude_desktop_config.json में जाता है। Cursor के लिए, यह आपकी .cursor/mcp.json फ़ाइल में जाता है।

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

YOUR_API_KEY को अपने Agenty AI > Settings > API Key से प्राप्त कुंजी से बदलें। एक बार जोड़ने के बाद, अपने क्लाइंट को पुनरारंभ करें और Agenty टूल टूल सूची में दिखाई देंगे। OAuth या टोकन-आधारित लॉगिन का समर्थन करने वाले क्लाइंट के लिए, आप मैन्युअल रूप से कुंजी चिपकाए बिना Agenty AI साइन-इन प्रवाह के माध्यम से सीधे प्रमाणित कर सकते हैं।

उपलब्ध टूल

Agenty MCP सर्वर ग्यारह टूल प्रदान करता है जो सबसे सामान्य ब्राउज़र स्वचालन आवश्यकताओं को कवर करते हैं। प्रत्येक टूल URL या कच्चे HTML को इनपुट के रूप में स्वीकार करता है, साथ ही ब्राउज़र व्यवहार को नियंत्रित करने के लिए वैकल्पिक पैरामीटर भी।

Available Tools in Agenty MCP

Markdown MCP

markdown टूल एक पेज लोड करता है, नेविगेशन, फुटर, स्क्रिप्ट, विज्ञापन और अन्य बॉयलरप्लेट हटाता है, और शेष पठनीय सामग्री को स्वच्छ Markdown में परिवर्तित करता है। यह सापेक्ष लिंक को पूर्ण URL में हल कर सकता है और डेटा छवियों को हटा सकता है।

यह विशेष रूप से वेब सामग्री को LLM में फीड करने, RAG पाइपलाइन बनाने, या लेखों के पठनीय संस्करण सहेजने के लिए उपयोगी है।

उदाहरण प्रॉम्प्ट:

"Web scraping - Wikipedia को Markdown में बदलें"

"इस ब्लॉग पोस्ट की Markdown सामग्री प्राप्त करें: https://example.com/article"

Website scraping preview using Claude desktop

Screenshot MCP

screenshot टूल एक वास्तविक ब्राउज़र लॉन्च करता है, पेज लोड करता है, और इसे PNG या JPEG छवि के रूप में कैप्चर करता है। यह पूर्ण-पृष्ठ स्क्रीनशॉट, क्लिप किए गए क्षेत्र, कस्टम व्यूपोर्ट, डिवाइस एमुलेशन, और रिसाइज़ और रोटेट जैसी छवि हेरफेर का समर्थन करता है।

यह तब उपयोगी है जब आप किसी पेज का दृश्य स्नैपशॉट चाहते हैं, UI का दस्तावेज़ीकरण करना चाहते हैं, या यह सत्यापित करना चाहते हैं कि कोई साइट किसी विशिष्ट स्क्रीन आकार पर कैसी दिखती है।

उदाहरण प्रॉम्प्ट:

"https://example.com का पूर्ण-पृष्ठ स्क्रीनशॉट लें और इसे PNG के रूप में लौटाएं"

"iPhone 14 व्यूपोर्ट का उपयोग करके https://agenty.ai का मोबाइल स्क्रीनशॉट कैप्चर करें"

Web Scraping MCP

web scrape टूल पूर्ण JavaScript निष्पादन के साथ एक वास्तविक ब्राउज़र में URL लोड करता है और प्रस्तुत HTML लौटाता है। सरल HTTP अनुरोधों के विपरीत, यह गतिशील सामग्री लोड होने की प्रतीक्षा करता है, जिससे यह सिंगल-पेज एप्लिकेशन और JavaScript-भारी पेजों के लिए विश्वसनीय बनता है।

इसका उपयोग तब करें जब आपको किसी पेज का कच्चा HTML ठीक उसी तरह चाहिए जैसे सभी स्क्रिप्ट चलने के बाद उपयोगकर्ता इसे देखता है।

उदाहरण प्रॉम्प्ट:

"https://news.ycombinator.com का HTML स्क्रैप करें और पूर्ण प्रस्तुत सामग्री लौटाएं"

"इस पेज को स्क्रैप करें और गतिशील सामग्री लोड होने के लिए 3 सेकंड प्रतीक्षा करें: https://example.com/dashboard"

Web Crawling MCP

links crawling टूल एक पेज प्रस्तुत करता है और DOM में पाए गए प्रत्येक हाइपरलिंक को निकालता है। यह सभी एंकर hrefs की एक सपाट सूची लौटाता है, जिसका उपयोग आप क्रॉल कतार बनाने, आंतरिक लिंकिंग का ऑडिट करने, या सामग्री खोजने के लिए कर सकते हैं।

उदाहरण प्रॉम्प्ट:

"https://agenty.ai पर सभी लिंक खोजें"

"https://example.com/blog से प्रत्येक लिंक निकालें और मुझे लेख URL की सूची दें"

PDF MCP

PDF टूल एक पेज प्रस्तुत करता है एक वास्तविक ब्राउज़र में और इसे PDF के रूप में निर्यात करता है। आप पेज प्रारूप (A4, Letter, आदि) सेट कर सकते हैं, लैंडस्केप मोड सक्षम कर सकते हैं, मार्जिन सेट कर सकते हैं, पृष्ठभूमि दिखा या छिपा सकते हैं, और कस्टम हेडर और फुटर प्रदान कर सकते हैं।

उदाहरण प्रॉम्प्ट:

"https://agenty.ai का A4 प्रारूप में PDF उत्पन्न करें जिसमें प्रिंट पृष्ठभूमि सक्षम हो"

"https://example.com/report का लैंडस्केप PDF बनाएं"

Data Extraction MCP

extract टूल एक पेज प्रस्तुत करता है और CSS चयनकर्ताओं या XPath का उपयोग करके संरचित डेटा निकालता है। यह उत्पाद मूल्य, समीक्षा गणना, नौकरी शीर्षक, या किसी प्रस्तुत पेज से किसी भी दोहराए जाने वाले तत्व जैसे विशिष्ट फ़ील्ड खींचने के लिए उपयुक्त है।

उदाहरण प्रॉम्प्ट:

"https://example.com/products से उत्पाद नाम और मूल्य निकालें"

"https://news.ycombinator.com से सभी हेडलाइन प्राप्त करें"

Sitemap MCP

sitemap क्रॉलर टूल किसी वेबसाइट की sitemap.xml पढ़ता है, साइटमैप इंडेक्स फ़ाइलों का अनुसरण करता है, और सभी खोजे गए URL की एक पूरी सूची लौटाता है। यह कुछ पथों को फ़िल्टर करने के लिए बहिष्करण पैटर्न का समर्थन करता है।

किसी वेबसाइट की पूरी संरचना को जल्दी से समझने या किसी बड़ी साइट के लिए क्रॉल सूची बनाने के लिए इसका उपयोग करें।

उदाहरण प्रॉम्प्ट:

"https://agenty.ai के लिए साइटमैप में सभी URL खोजें"

"https://example.com के लिए साइटमैप प्राप्त करें और /blog/ वाले किसी भी URL को बाहर करें"

Redirect Tracing MCP

redirects कैप्चर टूल किसी दिए गए URL के लिए सभी HTTP रीडायरेक्ट का अनुसरण करता है और प्रत्येक मध्यवर्ती URL, स्थिति कोड, और अंतिम गंतव्य सहित पूरी श्रृंखला लौटाता है।

यह टूटे हुए लिंक को डीबग करने, कैननिकल URL सत्यापित करने, और सहबद्ध या छोटे लिंक का ऑडिट करने के लिए सहायक है।

उदाहरण प्रॉम्प्ट:

"https://bit.ly/some-link के लिए सभी रीडायरेक्ट ट्रेस करें"

"https://example.com/old-page के लिए रीडायरेक्ट श्रृंखला दिखाएं"

Email Scraper MCP

emails स्क्रैपर टूल एक या अधिक URL (एक बार में दस तक) लोड करता है और प्रस्तुत पेज पर पाए गए सभी ईमेल पते निकालता है। यह अस्पष्ट पते और गतिशील रूप से लोड किए गए संपर्क अनुभागों को संभालता है।

उदाहरण प्रॉम्प्ट:

"https://example.com/contact पर सभी ईमेल पते खोजें"

"इन तीन पेजों से ईमेल स्क्रैप करें: https://site1.com, https://site2.com, https://site3.com"

Content MCP

content टूल JavaScript निष्पादन के बाद किसी पेज का पूर्ण प्रस्तुत HTML लौटाता है। यह स्क्रैप के समान है लेकिन उन उपयोग मामलों के लिए अनुकूलित है जहां आपको स्क्रैप पाइपलाइन के बजाय अंतिम DOM स्थिति की आवश्यकता होती है।

उदाहरण प्रॉम्प्ट:

"https://example.com/app की प्रस्तुत HTML सामग्री प्राप्त करें"

Snapshot MCP

snapshot टूल किसी पेज की एक्सेसिबिलिटी ट्री कैप्चर करता है — सभी इंटरैक्टिव और पठनीय तत्वों की एक संरचित सूची जिसमें बटन, लिंक, इनपुट और हेडिंग शामिल हैं। यह AI एजेंटों के लिए डिज़ाइन किया गया है जिन्हें कच्चे HTML को संसाधित किए बिना किसी पेज को नेविगेट करने या उसके बारे में तर्क करने की आवश्यकता होती है।

उदाहरण प्रॉम्प्ट:

"https://example.com का एक्सेसिबिलिटी स्नैपशॉट लें ताकि मैं पेज संरचना समझ सकूं"

उदाहरण प्रॉम्प्ट

यहां कुछ बहु-चरणीय उदाहरण दिए गए हैं जो टूल को जोड़ते हैं:

किसी वेबसाइट की सामग्री का ऑडिट करें:
"https://example.com के लिए साइटमैप प्राप्त करें, फिर शीर्ष 5 पेजों को Markdown में बदलें और प्रत्येक का सारांश दें"

एक दृश्य रिपोर्ट उत्पन्न करें:
"https://agenty.ai का मोबाइल और डेस्कटॉप व्यूपोर्ट पर स्क्रीनशॉट लें और मुझे दोनों दिखाएं"

एक संपर्क सूची बनाएं:
"https://example.com/team पर सभी लिंक खोजें, फिर प्रत्येक टीम सदस्य पेज से ईमेल पते स्क्रैप करें"

लिंक स्वास्थ्य सत्यापित करें:
"https://example.com/blog से सभी लिंक निकालें और जो 200 नहीं लौटाते उनके लिए रीडायरेक्ट श्रृंखला ट्रेस करें"

एक पेज संग्रहित करें:
"https://example.com/article को Markdown में बदलें और एक PDF संस्करण उत्पन्न करें, दोनों पूर्ण लिंक के साथ"

समर्थित पैरामीटर

सभी नेविगेशन-आधारित टूल (screenshot, pdf, scrape, content, markdown, links, extract, redirects) ब्राउज़र कॉन्फ़िगरेशन विकल्पों का एक सामान्य सेट साझा करते हैं:

पैरामीटरप्रकारविवरण
urlstringलोड करने के लिए पेज URL। आवश्यक यदि html प्रदान नहीं किया गया है।
htmlstringURL लोड करने के बजाय प्रस्तुत करने के लिए कच्चा HTML स्ट्रिंग।
waitForstring या numberकैप्चर करने से पहले CSS चयनकर्ता, मिलीसेकंड की संख्या, या नेटवर्क इवेंट की प्रतीक्षा करें।
viewportobjectwidth, height, deviceScaleFactor, isMobile, hasTouch, और isLandscape सेट करें।
devicestringiPhone 14 या iPad Pro जैसे नामित डिवाइस का अनुकरण करें।
userAgentstringब्राउज़र उपयोगकर्ता एजेंट स्ट्रिंग को ओवरराइड करें।
cookiesarrayपेज लोड होने से पहले कुकीज़ इंजेक्ट करें।
blockAdsbooleanविज्ञापन नेटवर्क अनुरोधों को ब्लॉक करें। स्क्रैपिंग टूल के लिए डिफ़ॉल्ट रूप से सक्षम।
blockTrackersbooleanट्रैकिंग और एनालिटिक्स स्क्रिप्ट को ब्लॉक करें।
goToOptionsobjectनेविगेशन timeout (ms) और waitUntil रणनीति (load, domcontentloaded, networkidle0, networkidle2) नियंत्रित करें।
setExtraHTTPHeadersobjectकस्टम अनुरोध हेडर को कुंजी-मूल्य जोड़े के रूप में जोड़ें।
rejectRequestPatternarrayइन URL पैटर्न से मेल खाने वाले अनुरोधों को ब्लॉक करें।
requestInterceptorsarrayएक पैटर्न से मेल खाने वाले अनुरोधों को इंटरसेप्ट करें और एक कस्टम प्रतिक्रिया लौटाएं।
authenticateobjectबेसिक प्रमाणीकरण के पीछे पेजों के लिए HTTP username और password सेट करें।
anonymousobjectअनाम ब्राउज़िंग के लिए प्रॉक्सी के माध्यम से रूट करें और संसाधन प्रकार छोड़ें।

स्क्रीनशॉट-विशिष्ट पैरामीटर:

पैरामीटरप्रकारविवरण
options.fullPagebooleanपूर्ण स्क्रॉल करने योग्य पेज कैप्चर करें। डिफ़ॉल्ट true है।
options.typestringछवि प्रारूप: png या jpeg। डिफ़ॉल्ट png है।
options.qualitynumberJPEG गुणवत्ता 0 से 100 तक।
options.clipobjectx, y, width, और height के साथ एक विशिष्ट क्षेत्र कैप्चर करें।
options.omitBackgroundbooleanपृष्ठभूमि को पारदर्शी बनाएं (केवल PNG)।
manipulateobjectresize, rotate, flip, और flop के साथ छवि को पोस्ट-प्रोसेस करें।
responseTypestringछवि को buffer (डिफ़ॉल्ट) या होस्ट किए गए url के रूप में लौटाएं।

MCP के माध्यम से स्क्रीनशॉट टूल का उपयोग करते समय, परिणाम डिफ़ॉल्ट रूप से एक होस्ट किए गए URL के रूप में लौटाया जाता है। API को सीधे कॉल करते समय, responseType डिफ़ॉल्ट रूप से buffer होता है। होस्ट किए गए लिंक प्राप्त करने के लिए responseType: 'url' सेट करें।

PDF-विशिष्ट पैरामीटर:

पैरामीटरप्रकारविवरण
options.formatstringपेज आकार: A4, Letter, Legal, Tabloid, Ledger, A0A6
options.landscapebooleanलैंडस्केप ओरिएंटेशन में प्रस्तुत करें।
options.marginobjecttop, bottom, left, और right मार्जिन सेट करें।
options.printBackgroundbooleanआउटपुट में CSS पृष्ठभूमि शामिल करें।
options.displayHeaderFooterbooleanप्रत्येक पेज पर हेडर और फुटर दिखाएं।
options.headerTemplatestringपेज हेडर के लिए HTML टेम्पलेट।
options.footerTemplatestringपेज फुटर के लिए HTML टेम्पलेट।
options.pageRangesstringविशिष्ट पेज प्रिंट करें, जैसे 1-5
options.scalenumberपेज सामग्री को स्केल करें।
emulateMediastringscreen या print मीडिया प्रकार के रूप में प्रस्तुत करें।
responseTypestringPDF को buffer (डिफ़ॉल्ट) या होस्ट किए गए url के रूप में लौटाएं।

MCP के माध्यम से PDF टूल का उपयोग करते समय, परिणाम डिफ़ॉल्ट रूप से एक होस्ट किए गए URL के रूप में लौटाया जाता है। API को सीधे कॉल करते समय, responseType डिफ़ॉल्ट रूप से buffer होता है। होस्ट किए गए लिंक प्राप्त करने के लिए responseType: 'url' सेट करें।

दर सीमाएं और उचित उपयोग

प्रत्येक API कुंजी की आपके प्लान के आधार पर मासिक अनुरोध सीमा होती है। भारी JavaScript या बड़े PDF वाले लंबे समय तक चलने वाले पेज अधिक संसाधनों का उपभोग करते हैं। स्क्रैपिंग वर्कलोड पर अनुरोधों को तेज़ करने और बैंडविड्थ उपयोग को कम करने के लिए blockAds और blockTrackers का उपयोग करें।

Agenty AI अनुरोध और प्रतिक्रिया स्कीमा को जानबूझकर सबसे व्यापक रूप से उपयोग किए जाने वाले ब्राउज़र ऑटोमेशन APIs के साथ संगत रखा गया है, जिसमें Browserless, Firecrawl, Cloudflare Browser Rendering, और समान सेवाएँ शामिल हैं। यदि आप पहले से ही इन प्रदाताओं में से किसी एक का उपयोग कर रहे हैं, तो आप अपने मौजूदा अनुरोधों को फिर से लिखे बिना अपना बेस URL और API कुंजी अपडेट करके Agenty AI पर स्विच कर सकते हैं।

प्रदातामाइग्रेशन
Browserlessबेस URL और API कुंजी बदलें। सभी पैरामीटर संगत हैं।
Firecrawlबेस URL और API कुंजी बदलें। Scrape, markdown, और crawl एंडपॉइंट सीधे मैप होते हैं।
Cloudflare Browser Renderingबेस URL और auth हेडर बदलें। स्क्रीनशॉट और कंटेंट पैरामीटर संगत हैं।
Puppeteer HTTP APIsअधिकांश goToOptions और पेज विकल्प 1:1 मैप होते हैं।