Agenty

आधिकारिक

एआई के साथ वेब स्क्रैपिंग, क्रॉलिंग और परिवर्तन का पता लगाना

agenty.com पर देखें

Agenty MCP के साथ आप क्या कर सकते हैं?

किसी भी वेब पेज को स्वच्छ Markdown में बदलें — markdown का उपयोग करके किसी URL से नेविगेशन, विज्ञापन और अनावश्यक सामग्री हटाकर LLM-तैयार सामग्री प्राप्त करें।
डिवाइस एमुलेशन के साथ स्क्रीनशॉट लें — screenshot के माध्यम से iPhone 14 जैसे उपकरणों का अनुकरण करते हुए पूर्ण-पृष्ठ या क्रॉप किए गए PNG/JPEG स्क्रीनशॉट लें।
JavaScript-रेंडर्ड HTML स्क्रैप करें — सभी स्क्रिप्ट चलने के बाद अंतिम DOM प्राप्त करने के लिए scrape का उपयोग करें, जो SPA के लिए आदर्श है।
सेलेक्टर के साथ संरचित डेटा निकालें — extract के साथ CSS या XPath का उपयोग करके किसी पेज से कीमतों या हेडलाइन जैसे विशिष्ट फ़ील्ड खींचें।
कस्टम फ़ॉर्मेटिंग के साथ PDF जनरेट करें — pdf के माध्यम से किसी पेज को A4 या Letter PDF के रूप में निर्यात करें, जिसमें मार्जिन, हेडर और प्रिंट बैकग्राउंड को नियंत्रित किया जा सके।
HTTP रीडायरेक्ट चेन ट्रेस करें — redirects के साथ किसी URL के लिए हर रीडायरेक्ट का अनुसरण करके लिंक को डीबग करें या कैननिकल गंतव्य सत्यापित करें।

दस्तावेज़

Agenty AI एक मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP) सर्वर प्रदान करता है जो Claude, Cursor और किसी भी MCP-संगत क्लाइंट जैसे AI सहायकों को ब्राउज़र ऑटोमेशन टूल्स तक सीधी पहुँच देता है। आप स्क्रीनशॉट कैप्चर कर सकते हैं, PDF जनरेट कर सकते हैं, वेब पेज स्क्रैप कर सकते हैं, संरचित डेटा निकाल सकते हैं, पेजों को Markdown में बदल सकते हैं और LLM मॉडलों का उपयोग करके और भी बहुत कुछ कर सकते हैं

इस लेख में, मैं बताऊंगा कि Agenty के MCP सर्वर से कैसे जुड़ें और प्रत्येक उपलब्ध टूल का उपयोग कैसे करें।

पूर्वापेक्षाएँ

कनेक्ट करने से पहले, आपको चाहिए:

एक Agenty AI खाता और API कुंजी
एक MCP-संगत क्लाइंट जैसे Claude Desktop, Cursor, Windsurf, या कोई भी टूल जो मॉडल कॉन्टेक्स्ट प्रोटोकॉल का समर्थन करता है
Node.js 18 या बाद का संस्करण यदि आप CLI या स्थानीय कॉन्फ़िगरेशन फ़ाइल का उपयोग कर रहे हैं

कैसे कनेक्ट करें

अपने MCP क्लाइंट में निम्नलिखित कॉन्फ़िगरेशन जोड़ें। Claude Desktop के लिए, यह claude_desktop_config.json में जाता है। Cursor के लिए, यह आपकी .cursor/mcp.json फ़ाइल में जाता है।

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

YOUR_API_KEY को अपने Agenty AI > सेटिंग्स > API कुंजी से प्राप्त कुंजी से बदलें। एक बार जोड़ने के बाद, अपने क्लाइंट को पुनरारंभ करें और Agenty टूल्स टूल सूची में दिखाई देंगे।

Agenty API कुंजी1069×482 32.4 KB

OAuth या टोकन-आधारित लॉगिन का समर्थन करने वाले क्लाइंट्स के लिए, आप मैन्युअल रूप से कुंजी पेस्ट किए बिना सीधे Agenty AI साइन-इन प्रवाह के माध्यम से प्रमाणित कर सकते हैं।

उपलब्ध टूल्स

Agenty MCP सर्वर ग्यारह टूल्स प्रदान करता है जो सबसे सामान्य ब्राउज़र ऑटोमेशन आवश्यकताओं को कवर करते हैं। प्रत्येक टूल ब्राउज़र व्यवहार को नियंत्रित करने के लिए वैकल्पिक पैरामीटर के साथ इनपुट के रूप में एक URL या कच्चा HTML स्वीकार करता है।

Agenty MCP में उपलब्ध टूल्स1265×795 60.9 KB

Markdown MCP

markdown टूल एक पेज लोड करता है, नेविगेशन, फ़ुटर, स्क्रिप्ट, विज्ञापन और अन्य बॉयलरप्लेट को हटाता है, और शेष पठनीय सामग्री को साफ Markdown में परिवर्तित करता है। यह सापेक्ष लिंक को पूर्ण URL में हल कर सकता है और डेटा छवियों को हटा सकता है।

यह विशेष रूप से LLM में वेब सामग्री फीड करने, RAG पाइपलाइन बनाने, या लेखों के पठनीय संस्करण सहेजने के लिए उपयोगी है।

उदाहरण प्रॉम्प्ट:

“वेब स्क्रैपिंग - विकिपीडिया को Markdown में बदलें”

“इस ब्लॉग पोस्ट की Markdown सामग्री प्राप्त करें: https://example.com/article”

Claude डेस्कटॉप का उपयोग करके वेबसाइट स्क्रैपिंग पूर्वावलोकन1272×844 67.2 KB

स्क्रीनशॉट MCP

स्क्रीनशॉट टूल एक वास्तविक ब्राउज़र लॉन्च करता है, पेज लोड करता है, और इसे PNG या JPEG छवि के रूप में कैप्चर करता है। यह पूर्ण-पृष्ठ स्क्रीनशॉट, क्लिप किए गए क्षेत्र, कस्टम व्यूपोर्ट, डिवाइस एमुलेशन, और आकार बदलने और घुमाने जैसे छवि हेरफेर का समर्थन करता है।

यह तब उपयोगी है जब आप किसी पृष्ठ का दृश्य स्नैपशॉट चाहते हैं, UI का दस्तावेजीकरण करने की आवश्यकता है, या यह सत्यापित करना चाहते हैं कि कोई साइट किसी विशिष्ट स्क्रीन आकार पर कैसी दिखती है।

उदाहरण प्रॉम्प्ट:

“https://example.com का पूर्ण-पृष्ठ स्क्रीनशॉट लें और इसे PNG के रूप में लौटाएं”

“iPhone 14 व्यूपोर्ट का उपयोग करके https://agenty.ai का मोबाइल स्क्रीनशॉट कैप्चर करें”

वेब स्क्रैपिंग MCP

वेब स्क्रैप टूल एक वास्तविक ब्राउज़र में पूर्ण JavaScript निष्पादन के साथ एक URL लोड करता है और रेंडर किया गया HTML लौटाता है। सरल HTTP अनुरोधों के विपरीत, यह गतिशील सामग्री लोड होने की प्रतीक्षा करता है, जिससे यह एकल-पृष्ठ अनुप्रयोगों और JavaScript-भारी पृष्ठों के लिए विश्वसनीय हो जाता है।

इसका उपयोग तब करें जब आपको किसी पृष्ठ का कच्चा HTML ठीक वैसे ही चाहिए जैसा कोई उपयोगकर्ता सभी स्क्रिप्ट चलने के बाद देखता है।

उदाहरण प्रॉम्प्ट:

“https://news.ycombinator.com का HTML स्क्रैप करें और पूर्ण रेंडर की गई सामग्री लौटाएं”

“इस पृष्ठ को स्क्रैप करें और गतिशील सामग्री लोड होने के लिए 3 सेकंड प्रतीक्षा करें: https://example.com/dashboard”

वेब क्रॉलिंग MCP

लिंक क्रॉलिंग टूल एक पृष्ठ रेंडर करता है और DOM में पाए जाने वाले प्रत्येक हाइपरलिंक को निकालता है। यह सभी एंकर hrefs की एक सपाट सूची लौटाता है, जिसका उपयोग आप क्रॉल कतार बनाने, आंतरिक लिंकिंग का ऑडिट करने, या सामग्री खोजने के लिए कर सकते हैं।

उदाहरण प्रॉम्प्ट:

“https://agenty.ai” पर सभी लिंक खोजें

“https://example.com/blog से प्रत्येक लिंक निकालें और मुझे लेख URL की एक सूची दें”

PDF MCP

PDF टूल एक वास्तविक ब्राउज़र में एक पृष्ठ रेंडर करता है और इसे PDF के रूप में निर्यात करता है। आप पृष्ठ प्रारूप (A4, Letter, आदि) सेट कर सकते हैं, लैंडस्केप मोड सक्षम कर सकते हैं, मार्जिन सेट कर सकते हैं, पृष्ठभूमि दिखा या छिपा सकते हैं, और कस्टम हेडर और फ़ुटर प्रदान कर सकते हैं।

उदाहरण प्रॉम्प्ट:

“प्रिंट पृष्ठभूमि सक्षम के साथ A4 प्रारूप में https://agenty.ai का PDF जनरेट करें”

“https://example.com/report” का लैंडस्केप PDF बनाएं

डेटा निष्कर्षण MCP

extract टूल एक पृष्ठ रेंडर करता है और CSS चयनकर्ताओं या XPath का उपयोग करके संरचित डेटा निकालता है। यह उत्पाद की कीमतों, समीक्षा गणना, नौकरी के शीर्षक, या रेंडर किए गए पृष्ठ से किसी भी दोहराए जाने वाले तत्व जैसे विशिष्ट फ़ील्ड खींचने के लिए उपयुक्त है।

उदाहरण प्रॉम्प्ट:

“https://example.com/products” से उत्पाद के नाम और कीमतें निकालें

“https://news.ycombinator.com” से सभी हेडलाइन प्राप्त करें

साइटमैप MCP

साइटमैप क्रॉलर टूल किसी वेबसाइट की sitemap.xml पढ़ता है, साइटमैप इंडेक्स फ़ाइलों का अनुसरण करता है, और सभी खोजे गए URL की पूरी सूची लौटाता है। यह कुछ पथों को फ़िल्टर करने के लिए बहिष्करण पैटर्न का समर्थन करता है।

किसी वेबसाइट की पूरी संरचना को जल्दी से समझने या किसी बड़ी साइट के लिए क्रॉल सूची बनाने के लिए इसका उपयोग करें।

उदाहरण प्रॉम्प्ट:

“https://agenty.ai” के साइटमैप में सभी URL खोजें

“https://example.com का साइटमैप प्राप्त करें और /blog/ वाले किसी भी URL को बाहर करें”

रीडायरेक्ट ट्रेसिंग MCP

रीडायरेक्ट कैप्चर टूल किसी दिए गए URL के लिए सभी HTTP रीडायरेक्ट का अनुसरण करता है और प्रत्येक मध्यवर्ती URL, स्थिति कोड और अंतिम गंतव्य सहित पूरी श्रृंखला लौटाता है।

यह टूटे हुए लिंक को डीबग करने, कैनोनिकल URL सत्यापित करने और सहबद्ध या छोटे लिंक का ऑडिट करने के लिए सहायक है।

उदाहरण प्रॉम्प्ट:

“https://bit.ly/some-link” के लिए सभी रीडायरेक्ट ट्रेस करें

“मुझे https://example.com/old-page” के लिए रीडायरेक्ट श्रृंखला दिखाएं

ईमेल स्क्रैपर MCP

ईमेल स्क्रैपर टूल एक या अधिक URL (एक बार में दस तक) लोड करता है और रेंडर किए गए पृष्ठ पर पाए जाने वाले सभी ईमेल पते निकालता है। यह अस्पष्ट पतों और गतिशील रूप से लोड किए गए संपर्क अनुभागों को संभालता है।

उदाहरण प्रॉम्प्ट:

“https://example.com/contact” पर सभी ईमेल पते खोजें

“इन तीन पृष्ठों से ईमेल स्क्रैप करें: https://site1.com, https://site2.com, https://site3.com”

सामग्री MCP

सामग्री टूल JavaScript निष्पादन के बाद किसी पृष्ठ का पूर्ण रेंडर किया गया HTML लौटाता है। यह स्क्रैप के समान है लेकिन उन उपयोग मामलों के लिए अनुकूलित है जहाँ आपको स्क्रैप पाइपलाइन के बजाय अंतिम DOM स्थिति की आवश्यकता होती है।

उदाहरण प्रॉम्प्ट:

“https://example.com/app” की रेंडर की गई HTML सामग्री प्राप्त करें

स्नैपशॉट MCP

स्नैपशॉट टूल किसी पृष्ठ के एक्सेसिबिलिटी ट्री को कैप्चर करता है — बटन, लिंक, इनपुट और हेडिंग सहित सभी इंटरैक्टिव और पठनीय तत्वों की एक संरचित सूची। यह AI एजेंटों के लिए डिज़ाइन किया गया है जिन्हें कच्चे HTML को संसाधित किए बिना किसी पृष्ठ को नेविगेट करने या उसके बारे में तर्क करने की आवश्यकता होती है।

उदाहरण प्रॉम्प्ट:

“https://example.com का एक्सेसिबिलिटी स्नैपशॉट लें ताकि मैं पृष्ठ संरचना को समझ सकूं”

उदाहरण प्रॉम्प्ट

यहाँ कुछ बहु-चरणीय उदाहरण दिए गए हैं जो टूल्स को जोड़ते हैं:

किसी वेबसाइट की सामग्री का ऑडिट करें:
“https://example.com, का साइटमैप प्राप्त करें फिर शीर्ष 5 पृष्ठों को Markdown में बदलें और प्रत्येक को सारांशित करें”

एक दृश्य रिपोर्ट जनरेट करें:
“https://agenty.ai का मोबाइल और डेस्कटॉप व्यूपोर्ट पर स्क्रीनशॉट लें और मुझे दोनों दिखाएं”

एक संपर्क सूची बनाएं:
“https://example.com/team, पर सभी लिंक खोजें फिर प्रत्येक टीम सदस्य पृष्ठ से ईमेल पते स्क्रैप करें”

लिंक स्वास्थ्य सत्यापित करें:
“https://example.com/blog से सभी लिंक निकालें और किसी भी लिंक के लिए रीडायरेक्ट श्रृंखला ट्रेस करें जो 200 नहीं लौटाते”

एक पृष्ठ संग्रहित करें:
“https://example.com/article को Markdown में बदलें और एक PDF संस्करण जनरेट करें, दोनों पूर्ण लिंक के साथ”

समर्थित पैरामीटर

सभी नेविगेशन-आधारित टूल्स (स्क्रीनशॉट, pdf, scrape, content, markdown, links, extract, redirects) ब्राउज़र कॉन्फ़िगरेशन विकल्पों का एक सामान्य सेट साझा करते हैं:

पैरामीटर	प्रकार	विवरण
url	string	लोड करने के लिए पृष्ठ URL। यदि html प्रदान नहीं किया गया है तो आवश्यक।
html	string	URL लोड करने के बजाय रेंडर करने के लिए कच्चा HTML स्ट्रिंग।
waitFor	string या number	कैप्चर करने से पहले CSS चयनकर्ता, मिलीसेकंड की संख्या, या नेटवर्क ईवेंट की प्रतीक्षा करें।
viewport	object	चौड़ाई, ऊंचाई, deviceScaleFactor, isMobile, hasTouch, और isLandscape सेट करें।
device	string	iPhone 14 या iPad Pro जैसे नामित डिवाइस का अनुकरण करें।
userAgent	string	ब्राउज़र उपयोगकर्ता एजेंट स्ट्रिंग को ओवरराइड करें।
cookies	array	पृष्ठ लोड होने से पहले कुकीज़ इंजेक्ट करें।
blockAds	boolean	विज्ञापन नेटवर्क अनुरोधों को ब्लॉक करें। स्क्रैपिंग टूल्स के लिए डिफ़ॉल्ट रूप से सक्षम।
blockTrackers	boolean	ट्रैकिंग और एनालिटिक्स स्क्रिप्ट को ब्लॉक करें।
goToOptions	object	नेविगेशन टाइमआउट (ms) और waitUntil रणनीति (load, domcontentloaded, networkidle0, networkidle2) को नियंत्रित करें।
setExtraHTTPHeaders	object	कुंजी-मूल्य जोड़े के रूप में कस्टम अनुरोध हेडर जोड़ें।
rejectRequestPattern	array	इन URL पैटर्न से मेल खाने वाले अनुरोधों को ब्लॉक करें।
requestInterceptors	array	किसी पैटर्न से मेल खाने वाले अनुरोधों को इंटरसेप्ट करें और कस्टम प्रतिक्रिया लौटाएं।
authenticate	object	बुनियादी प्रमाणीकरण के पीछे पृष्ठों के लिए HTTP उपयोगकर्ता नाम और पासवर्ड सेट करें।
anonymous	object	गुमनाम ब्राउज़िंग के लिए प्रॉक्सी के माध्यम से रूट करें और संसाधन प्रकारों को छोड़ें।

स्क्रीनशॉट-विशिष्ट पैरामीटर:

पैरामीटर	प्रकार	विवरण
options.fullPage	boolean	पूर्ण स्क्रॉल करने योग्य पृष्ठ कैप्चर करें। डिफ़ॉल्ट true।
options.type	string	छवि प्रारूप: png या jpeg। डिफ़ॉल्ट png।
options.quality	number	JPEG गुणवत्ता 0 से 100 तक।
options.clip	object	x, y, चौड़ाई और ऊंचाई के साथ एक विशिष्ट क्षेत्र कैप्चर करें।
options.omitBackground	boolean	पृष्ठभूमि को पारदर्शी बनाएं (केवल PNG)।
manipulate	object	आकार बदलने, घुमाने, फ्लिप और फ्लॉप के साथ छवि को पोस्ट-प्रोसेस करें।
responseType	string	छवि को बफ़र (डिफ़ॉल्ट) या होस्ट किए गए url के रूप में लौटाएं।

MCP के माध्यम से स्क्रीनशॉट टूल का उपयोग करते समय, परिणाम डिफ़ॉल्ट रूप से होस्ट किए गए URL के रूप में लौटाया जाता है। सीधे API कॉल करते समय, responseType डिफ़ॉल्ट buffer होता है। होस्ट किया गया लिंक प्राप्त करने के लिए responseType: 'url' सेट करें।

PDF-विशिष्ट पैरामीटर:

पैरामीटर	प्रकार	विवरण
options.format	string	पृष्ठ आकार: A4, Letter, Legal, Tabloid, Ledger, A0–A6.
options.landscape	boolean	लैंडस्केप अभिविन्यास में रेंडर करें।
options.margin	object	ऊपर, नीचे, बाएँ और दाएँ मार्जिन सेट करें।
options.printBackground	boolean	आउटपुट में CSS पृष्ठभूमि शामिल करें।
options.displayHeaderFooter	boolean	प्रत्येक पृष्ठ पर हेडर और फ़ुटर दिखाएँ।
options.headerTemplate	string	पृष्ठ हेडर के लिए HTML टेम्पलेट।
options.footerTemplate	string	पृष्ठ फ़ुटर के लिए HTML टेम्पलेट।
options.pageRanges	string	विशिष्ट पृष्ठ प्रिंट करें, जैसे 1-5।
options.scale	number	पृष्ठ सामग्री को स्केल करें।
emulateMedia	string	स्क्रीन या प्रिंट मीडिया प्रकार के रूप में रेंडर करें।
responseType	string	PDF को बफ़र (डिफ़ॉल्ट) या होस्टेड URL के रूप में लौटाएँ।

MCP के माध्यम से PDF टूल का उपयोग करते समय, परिणाम डिफ़ॉल्ट रूप से होस्टेड URL के रूप में लौटाया जाता है। सीधे API कॉल करते समय, responseType का डिफ़ॉल्ट buffer है। होस्टेड लिंक प्राप्त करने के लिए responseType: 'url' सेट करें।

दर सीमाएँ और उचित उपयोग

प्रत्येक API कुंजी की आपकी योजना के आधार पर मासिक अनुरोध सीमा होती है। भारी जावास्क्रिप्ट या बड़े PDF वाले लंबे समय तक चलने वाले पृष्ठ अधिक संसाधनों का उपभोग करते हैं। स्क्रैपिंग कार्यभार पर अनुरोधों को तेज़ करने और बैंडविड्थ उपयोग को कम करने के लिए blockAds और blockTrackers का उपयोग करें।

Agenty AI अनुरोध और प्रतिक्रिया स्कीमा को जानबूझकर सबसे व्यापक रूप से उपयोग किए जाने वाले ब्राउज़र ऑटोमेशन API, जिनमें Browserless, Firecrawl, Cloudflare Browser Rendering और समान सेवाएँ शामिल हैं, के साथ संगत रखा गया है। यदि आप पहले से ही इनमें से किसी प्रदाता का उपयोग कर रहे हैं, तो आप अपने मौजूदा अनुरोधों को फिर से लिखे बिना अपने बेस URL और API कुंजी को अपडेट करके Agenty AI पर स्विच कर सकते हैं।

प्रदाता	माइग्रेशन
Browserless	बेस URL और API कुंजी बदलें। सभी पैरामीटर संगत हैं।
Firecrawl	बेस URL और API कुंजी बदलें। स्क्रैप, मार्कडाउन और क्रॉल एंडपॉइंट सीधे मैप होते हैं।
Cloudflare Browser Rendering	बेस URL और auth हेडर बदलें। स्क्रीनशॉट और सामग्री पैरामीटर संगत हैं।
Puppeteer HTTP APIs	अधिकांश goToOptions और पृष्ठ विकल्प 1:1 मैप होते हैं।