Agenty
आधिकारिकएआई के साथ वेब स्क्रैपिंग, क्रॉलिंग और परिवर्तन का पता लगाना
Agenty MCP के साथ आप क्या कर सकते हैं?
- पृष्ठों को Markdown में बदलें —
markdownटूल से किसी URL या raw HTML को स्वच्छ, पठनीय Markdown में बदलने के लिए कहें, जो LLM-अनुकूल सामग्री के लिए उपयुक्त हो। - स्क्रीनशॉट कैप्चर करें —
screenshotका उपयोग करके कस्टम व्यूपोर्ट और डिवाइस एमुलेशन के साथ पूर्ण-पृष्ठ या क्लिप किए गए PNG/JPEG चित्र लें। - रेंडर किया गया HTML स्क्रेप करें — डायनामिक कंटेंट लोड होने के बाद JavaScript-भारी पृष्ठों का पूरा रेंडर किया गया HTML प्राप्त करने के लिए
scrapeका उपयोग करें। - संरचित डेटा निकालें — CSS सेलेक्टर या XPath के माध्यम से कीमतों, हेडलाइन्स या समीक्षाओं जैसे विशिष्ट फ़ील्ड निकालने के लिए
extractका उपयोग करें। - PDF जनरेट करें — फ़ॉर्मेट, मार्जिन, लैंडस्केप और हेडर/फुटर विकल्पों के साथ किसी पृष्ठ को PDF के रूप में निर्यात करने के लिए
pdfका उपयोग करें। - साइट संरचना खोजें — किसी साइट की sitemap.xml पढ़ने और बहिष्करण पैटर्न के साथ सभी खोजे गए URL लौटाने के लिए
sitemapका उपयोग करें।
दस्तावेज़
Agenty AI एक Model Context Protocol (MCP) सर्वर प्रदान करता है जो AI सहायकों जैसे Claude, Cursor, और किसी भी MCP-संगत क्लाइंट को ब्राउज़र स्वचालन टूल तक सीधी पहुँच देता है। आप LLM मॉडल का उपयोग करके स्क्रीनशॉट कैप्चर कर सकते हैं, PDF उत्पन्न कर सकते हैं, वेब पेज स्क्रैप कर सकते हैं, संरचित डेटा निकाल सकते हैं, पेजों को Markdown में बदल सकते हैं और बहुत कुछ कर सकते हैं।
इस लेख में, मैं Agenty के MCP सर्वर से कैसे जुड़ें और प्रत्येक उपलब्ध टूल का उपयोग कैसे करें, इस पर चर्चा करूँगा।
पूर्वापेक्षाएँ
कनेक्ट करने से पहले, आपको आवश्यकता होगी:
- एक Agenty AI खाता और API कुंजी
- एक MCP-संगत क्लाइंट जैसे Claude Desktop, Cursor, Windsurf, या कोई भी टूल जो Model Context Protocol का समर्थन करता है
- Node.js 18 या उसके बाद का संस्करण यदि आप CLI या स्थानीय कॉन्फ़िगरेशन फ़ाइल का उपयोग कर रहे हैं
कैसे कनेक्ट करें
अपने MCP क्लाइंट में निम्नलिखित कॉन्फ़िगरेशन जोड़ें। Claude Desktop के लिए, यह claude_desktop_config.json में जाता है। Cursor के लिए, यह आपकी .cursor/mcp.json फ़ाइल में जाता है।
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
YOUR_API_KEY को अपने Agenty AI > Settings > API Key से प्राप्त कुंजी से बदलें। एक बार जोड़ने के बाद, अपने क्लाइंट को पुनरारंभ करें और Agenty टूल टूल सूची में दिखाई देंगे। OAuth या टोकन-आधारित लॉगिन का समर्थन करने वाले क्लाइंट के लिए, आप मैन्युअल रूप से कुंजी चिपकाए बिना Agenty AI साइन-इन प्रवाह के माध्यम से सीधे प्रमाणित कर सकते हैं।
उपलब्ध टूल
Agenty MCP सर्वर ग्यारह टूल प्रदान करता है जो सबसे सामान्य ब्राउज़र स्वचालन आवश्यकताओं को कवर करते हैं। प्रत्येक टूल URL या कच्चे HTML को इनपुट के रूप में स्वीकार करता है, साथ ही ब्राउज़र व्यवहार को नियंत्रित करने के लिए वैकल्पिक पैरामीटर भी।
Markdown MCP
markdown टूल एक पेज लोड करता है, नेविगेशन, फुटर, स्क्रिप्ट, विज्ञापन और अन्य बॉयलरप्लेट हटाता है, और शेष पठनीय सामग्री को स्वच्छ Markdown में परिवर्तित करता है। यह सापेक्ष लिंक को पूर्ण URL में हल कर सकता है और डेटा छवियों को हटा सकता है।
यह विशेष रूप से वेब सामग्री को LLM में फीड करने, RAG पाइपलाइन बनाने, या लेखों के पठनीय संस्करण सहेजने के लिए उपयोगी है।
उदाहरण प्रॉम्प्ट:
"Web scraping - Wikipedia को Markdown में बदलें"
"इस ब्लॉग पोस्ट की Markdown सामग्री प्राप्त करें: https://example.com/article"
Screenshot MCP
screenshot टूल एक वास्तविक ब्राउज़र लॉन्च करता है, पेज लोड करता है, और इसे PNG या JPEG छवि के रूप में कैप्चर करता है। यह पूर्ण-पृष्ठ स्क्रीनशॉट, क्लिप किए गए क्षेत्र, कस्टम व्यूपोर्ट, डिवाइस एमुलेशन, और रिसाइज़ और रोटेट जैसी छवि हेरफेर का समर्थन करता है।
यह तब उपयोगी है जब आप किसी पेज का दृश्य स्नैपशॉट चाहते हैं, UI का दस्तावेज़ीकरण करना चाहते हैं, या यह सत्यापित करना चाहते हैं कि कोई साइट किसी विशिष्ट स्क्रीन आकार पर कैसी दिखती है।
उदाहरण प्रॉम्प्ट:
"https://example.com का पूर्ण-पृष्ठ स्क्रीनशॉट लें और इसे PNG के रूप में लौटाएं"
"iPhone 14 व्यूपोर्ट का उपयोग करके https://agenty.ai का मोबाइल स्क्रीनशॉट कैप्चर करें"
Web Scraping MCP
web scrape टूल पूर्ण JavaScript निष्पादन के साथ एक वास्तविक ब्राउज़र में URL लोड करता है और प्रस्तुत HTML लौटाता है। सरल HTTP अनुरोधों के विपरीत, यह गतिशील सामग्री लोड होने की प्रतीक्षा करता है, जिससे यह सिंगल-पेज एप्लिकेशन और JavaScript-भारी पेजों के लिए विश्वसनीय बनता है।
इसका उपयोग तब करें जब आपको किसी पेज का कच्चा HTML ठीक उसी तरह चाहिए जैसे सभी स्क्रिप्ट चलने के बाद उपयोगकर्ता इसे देखता है।
उदाहरण प्रॉम्प्ट:
"https://news.ycombinator.com का HTML स्क्रैप करें और पूर्ण प्रस्तुत सामग्री लौटाएं"
"इस पेज को स्क्रैप करें और गतिशील सामग्री लोड होने के लिए 3 सेकंड प्रतीक्षा करें: https://example.com/dashboard"
Web Crawling MCP
links crawling टूल एक पेज प्रस्तुत करता है और DOM में पाए गए प्रत्येक हाइपरलिंक को निकालता है। यह सभी एंकर hrefs की एक सपाट सूची लौटाता है, जिसका उपयोग आप क्रॉल कतार बनाने, आंतरिक लिंकिंग का ऑडिट करने, या सामग्री खोजने के लिए कर सकते हैं।
उदाहरण प्रॉम्प्ट:
"https://agenty.ai पर सभी लिंक खोजें"
"https://example.com/blog से प्रत्येक लिंक निकालें और मुझे लेख URL की सूची दें"
PDF MCP
PDF टूल एक पेज प्रस्तुत करता है एक वास्तविक ब्राउज़र में और इसे PDF के रूप में निर्यात करता है। आप पेज प्रारूप (A4, Letter, आदि) सेट कर सकते हैं, लैंडस्केप मोड सक्षम कर सकते हैं, मार्जिन सेट कर सकते हैं, पृष्ठभूमि दिखा या छिपा सकते हैं, और कस्टम हेडर और फुटर प्रदान कर सकते हैं।
उदाहरण प्रॉम्प्ट:
"https://agenty.ai का A4 प्रारूप में PDF उत्पन्न करें जिसमें प्रिंट पृष्ठभूमि सक्षम हो"
"https://example.com/report का लैंडस्केप PDF बनाएं"
Data Extraction MCP
extract टूल एक पेज प्रस्तुत करता है और CSS चयनकर्ताओं या XPath का उपयोग करके संरचित डेटा निकालता है। यह उत्पाद मूल्य, समीक्षा गणना, नौकरी शीर्षक, या किसी प्रस्तुत पेज से किसी भी दोहराए जाने वाले तत्व जैसे विशिष्ट फ़ील्ड खींचने के लिए उपयुक्त है।
उदाहरण प्रॉम्प्ट:
"https://example.com/products से उत्पाद नाम और मूल्य निकालें"
"https://news.ycombinator.com से सभी हेडलाइन प्राप्त करें"
Sitemap MCP
sitemap क्रॉलर टूल किसी वेबसाइट की sitemap.xml पढ़ता है, साइटमैप इंडेक्स फ़ाइलों का अनुसरण करता है, और सभी खोजे गए URL की एक पूरी सूची लौटाता है। यह कुछ पथों को फ़िल्टर करने के लिए बहिष्करण पैटर्न का समर्थन करता है।
किसी वेबसाइट की पूरी संरचना को जल्दी से समझने या किसी बड़ी साइट के लिए क्रॉल सूची बनाने के लिए इसका उपयोग करें।
उदाहरण प्रॉम्प्ट:
"https://agenty.ai के लिए साइटमैप में सभी URL खोजें"
"https://example.com के लिए साइटमैप प्राप्त करें और /blog/ वाले किसी भी URL को बाहर करें"
Redirect Tracing MCP
redirects कैप्चर टूल किसी दिए गए URL के लिए सभी HTTP रीडायरेक्ट का अनुसरण करता है और प्रत्येक मध्यवर्ती URL, स्थिति कोड, और अंतिम गंतव्य सहित पूरी श्रृंखला लौटाता है।
यह टूटे हुए लिंक को डीबग करने, कैननिकल URL सत्यापित करने, और सहबद्ध या छोटे लिंक का ऑडिट करने के लिए सहायक है।
उदाहरण प्रॉम्प्ट:
"https://bit.ly/some-link के लिए सभी रीडायरेक्ट ट्रेस करें"
"https://example.com/old-page के लिए रीडायरेक्ट श्रृंखला दिखाएं"
Email Scraper MCP
emails स्क्रैपर टूल एक या अधिक URL (एक बार में दस तक) लोड करता है और प्रस्तुत पेज पर पाए गए सभी ईमेल पते निकालता है। यह अस्पष्ट पते और गतिशील रूप से लोड किए गए संपर्क अनुभागों को संभालता है।
उदाहरण प्रॉम्प्ट:
"https://example.com/contact पर सभी ईमेल पते खोजें"
"इन तीन पेजों से ईमेल स्क्रैप करें: https://site1.com, https://site2.com, https://site3.com"
Content MCP
content टूल JavaScript निष्पादन के बाद किसी पेज का पूर्ण प्रस्तुत HTML लौटाता है। यह स्क्रैप के समान है लेकिन उन उपयोग मामलों के लिए अनुकूलित है जहां आपको स्क्रैप पाइपलाइन के बजाय अंतिम DOM स्थिति की आवश्यकता होती है।
उदाहरण प्रॉम्प्ट:
"https://example.com/app की प्रस्तुत HTML सामग्री प्राप्त करें"
Snapshot MCP
snapshot टूल किसी पेज की एक्सेसिबिलिटी ट्री कैप्चर करता है — सभी इंटरैक्टिव और पठनीय तत्वों की एक संरचित सूची जिसमें बटन, लिंक, इनपुट और हेडिंग शामिल हैं। यह AI एजेंटों के लिए डिज़ाइन किया गया है जिन्हें कच्चे HTML को संसाधित किए बिना किसी पेज को नेविगेट करने या उसके बारे में तर्क करने की आवश्यकता होती है।
उदाहरण प्रॉम्प्ट:
"https://example.com का एक्सेसिबिलिटी स्नैपशॉट लें ताकि मैं पेज संरचना समझ सकूं"
उदाहरण प्रॉम्प्ट
यहां कुछ बहु-चरणीय उदाहरण दिए गए हैं जो टूल को जोड़ते हैं:
किसी वेबसाइट की सामग्री का ऑडिट करें:
"https://example.com के लिए साइटमैप प्राप्त करें, फिर शीर्ष 5 पेजों को Markdown में बदलें और प्रत्येक का सारांश दें"
एक दृश्य रिपोर्ट उत्पन्न करें:
"https://agenty.ai का मोबाइल और डेस्कटॉप व्यूपोर्ट पर स्क्रीनशॉट लें और मुझे दोनों दिखाएं"
एक संपर्क सूची बनाएं:
"https://example.com/team पर सभी लिंक खोजें, फिर प्रत्येक टीम सदस्य पेज से ईमेल पते स्क्रैप करें"
लिंक स्वास्थ्य सत्यापित करें:
"https://example.com/blog से सभी लिंक निकालें और जो 200 नहीं लौटाते उनके लिए रीडायरेक्ट श्रृंखला ट्रेस करें"
एक पेज संग्रहित करें:
"https://example.com/article को Markdown में बदलें और एक PDF संस्करण उत्पन्न करें, दोनों पूर्ण लिंक के साथ"
समर्थित पैरामीटर
सभी नेविगेशन-आधारित टूल (screenshot, pdf, scrape, content, markdown, links, extract, redirects) ब्राउज़र कॉन्फ़िगरेशन विकल्पों का एक सामान्य सेट साझा करते हैं:
| पैरामीटर | प्रकार | विवरण |
|---|---|---|
url | string | लोड करने के लिए पेज URL। आवश्यक यदि html प्रदान नहीं किया गया है। |
html | string | URL लोड करने के बजाय प्रस्तुत करने के लिए कच्चा HTML स्ट्रिंग। |
waitFor | string या number | कैप्चर करने से पहले CSS चयनकर्ता, मिलीसेकंड की संख्या, या नेटवर्क इवेंट की प्रतीक्षा करें। |
viewport | object | width, height, deviceScaleFactor, isMobile, hasTouch, और isLandscape सेट करें। |
device | string | iPhone 14 या iPad Pro जैसे नामित डिवाइस का अनुकरण करें। |
userAgent | string | ब्राउज़र उपयोगकर्ता एजेंट स्ट्रिंग को ओवरराइड करें। |
cookies | array | पेज लोड होने से पहले कुकीज़ इंजेक्ट करें। |
blockAds | boolean | विज्ञापन नेटवर्क अनुरोधों को ब्लॉक करें। स्क्रैपिंग टूल के लिए डिफ़ॉल्ट रूप से सक्षम। |
blockTrackers | boolean | ट्रैकिंग और एनालिटिक्स स्क्रिप्ट को ब्लॉक करें। |
goToOptions | object | नेविगेशन timeout (ms) और waitUntil रणनीति (load, domcontentloaded, networkidle0, networkidle2) नियंत्रित करें। |
setExtraHTTPHeaders | object | कस्टम अनुरोध हेडर को कुंजी-मूल्य जोड़े के रूप में जोड़ें। |
rejectRequestPattern | array | इन URL पैटर्न से मेल खाने वाले अनुरोधों को ब्लॉक करें। |
requestInterceptors | array | एक पैटर्न से मेल खाने वाले अनुरोधों को इंटरसेप्ट करें और एक कस्टम प्रतिक्रिया लौटाएं। |
authenticate | object | बेसिक प्रमाणीकरण के पीछे पेजों के लिए HTTP username और password सेट करें। |
anonymous | object | अनाम ब्राउज़िंग के लिए प्रॉक्सी के माध्यम से रूट करें और संसाधन प्रकार छोड़ें। |
स्क्रीनशॉट-विशिष्ट पैरामीटर:
| पैरामीटर | प्रकार | विवरण |
|---|---|---|
options.fullPage | boolean | पूर्ण स्क्रॉल करने योग्य पेज कैप्चर करें। डिफ़ॉल्ट true है। |
options.type | string | छवि प्रारूप: png या jpeg। डिफ़ॉल्ट png है। |
options.quality | number | JPEG गुणवत्ता 0 से 100 तक। |
options.clip | object | x, y, width, और height के साथ एक विशिष्ट क्षेत्र कैप्चर करें। |
options.omitBackground | boolean | पृष्ठभूमि को पारदर्शी बनाएं (केवल PNG)। |
manipulate | object | resize, rotate, flip, और flop के साथ छवि को पोस्ट-प्रोसेस करें। |
responseType | string | छवि को buffer (डिफ़ॉल्ट) या होस्ट किए गए url के रूप में लौटाएं। |
MCP के माध्यम से स्क्रीनशॉट टूल का उपयोग करते समय, परिणाम डिफ़ॉल्ट रूप से एक होस्ट किए गए URL के रूप में लौटाया जाता है। API को सीधे कॉल करते समय, responseType डिफ़ॉल्ट रूप से buffer होता है। होस्ट किए गए लिंक प्राप्त करने के लिए responseType: 'url' सेट करें।
PDF-विशिष्ट पैरामीटर:
| पैरामीटर | प्रकार | विवरण |
|---|---|---|
options.format | string | पेज आकार: A4, Letter, Legal, Tabloid, Ledger, A0 – A6। |
options.landscape | boolean | लैंडस्केप ओरिएंटेशन में प्रस्तुत करें। |
options.margin | object | top, bottom, left, और right मार्जिन सेट करें। |
options.printBackground | boolean | आउटपुट में CSS पृष्ठभूमि शामिल करें। |
options.displayHeaderFooter | boolean | प्रत्येक पेज पर हेडर और फुटर दिखाएं। |
options.headerTemplate | string | पेज हेडर के लिए HTML टेम्पलेट। |
options.footerTemplate | string | पेज फुटर के लिए HTML टेम्पलेट। |
options.pageRanges | string | विशिष्ट पेज प्रिंट करें, जैसे 1-5। |
options.scale | number | पेज सामग्री को स्केल करें। |
emulateMedia | string | screen या print मीडिया प्रकार के रूप में प्रस्तुत करें। |
responseType | string | PDF को buffer (डिफ़ॉल्ट) या होस्ट किए गए url के रूप में लौटाएं। |
MCP के माध्यम से PDF टूल का उपयोग करते समय, परिणाम डिफ़ॉल्ट रूप से एक होस्ट किए गए URL के रूप में लौटाया जाता है। API को सीधे कॉल करते समय, responseType डिफ़ॉल्ट रूप से buffer होता है। होस्ट किए गए लिंक प्राप्त करने के लिए responseType: 'url' सेट करें।
दर सीमाएं और उचित उपयोग
प्रत्येक API कुंजी की आपके प्लान के आधार पर मासिक अनुरोध सीमा होती है। भारी JavaScript या बड़े PDF वाले लंबे समय तक चलने वाले पेज अधिक संसाधनों का उपभोग करते हैं। स्क्रैपिंग वर्कलोड पर अनुरोधों को तेज़ करने और बैंडविड्थ उपयोग को कम करने के लिए blockAds और blockTrackers का उपयोग करें।
Agenty AI अनुरोध और प्रतिक्रिया स्कीमा को जानबूझकर सबसे व्यापक रूप से उपयोग किए जाने वाले ब्राउज़र ऑटोमेशन APIs के साथ संगत रखा गया है, जिसमें Browserless, Firecrawl, Cloudflare Browser Rendering, और समान सेवाएँ शामिल हैं। यदि आप पहले से ही इन प्रदाताओं में से किसी एक का उपयोग कर रहे हैं, तो आप अपने मौजूदा अनुरोधों को फिर से लिखे बिना अपना बेस URL और API कुंजी अपडेट करके Agenty AI पर स्विच कर सकते हैं।
| प्रदाता | माइग्रेशन |
|---|---|
| Browserless | बेस URL और API कुंजी बदलें। सभी पैरामीटर संगत हैं। |
| Firecrawl | बेस URL और API कुंजी बदलें। Scrape, markdown, और crawl एंडपॉइंट सीधे मैप होते हैं। |
| Cloudflare Browser Rendering | बेस URL और auth हेडर बदलें। स्क्रीनशॉट और कंटेंट पैरामीटर संगत हैं। |
| Puppeteer HTTP APIs | अधिकांश goToOptions और पेज विकल्प 1:1 मैप होते हैं। |

