Scrapfly
आधिकारिकScrapfly MCP Server एआई एजेंटों को बिल्ट-इन एंटी-बॉट हैंडलिंग के साथ लाइव वेब डेटा स्क्रैप करने का एक सरल, एकीकृत तरीका प्रदान करता है।
Scrapfly MCP के साथ आप क्या कर सकते हैं?
- लाइव पेज स्क्रैप करें — अपने असिस्टेंट से किसी भी वेबपेज से मौजूदा कीमतें, लिस्टिंग या समाचार रियल टाइम में प्राप्त करने को कहें।
- एंटी-बॉट सुरक्षा को बायपास करें — पेज फ़ेच करें, जबकि Scrapfly CAPTCHA, प्रॉक्सी, JavaScript रेंडरिंग और रेट लिमिट को संभालता है।
- संरचित डेटा निकालें — AI-संचालित एक्सट्रैक्शन का उपयोग करके जटिल साइटों को साफ़ JSON में पार्स करवाएँ।
- स्क्रीनशॉट कैप्चर करें — विश्लेषण के लिए पूरे पेज या विशिष्ट एलिमेंट के दृश्य स्नैपशॉट लें।
- खाते का उपयोग देखें — पूछें कि आपके कितने Scrapfly क्रेडिट बचे हैं और अपना मौजूदा कोटा जानें।
दस्तावेज़
Scrapfly MCP Server के साथ शुरुआत करें
Model Context Protocol (MCP) एक खुला मानक है, जो AI मॉडल को बाहरी टूल और डेटा स्रोतों के साथ इंटरैक्ट करने की सुविधा देता है। Scrapfly MCP Server आपके AI को प्रशिक्षण डेटा की सीमाओं से आगे ले जाकर किसी भी वेबसाइट तक रीयल-टाइम पहुँच देता है—इससे आपका AI माँग पर लाइव वेब डेटा स्क्रैप कर सकता है।
MCP Cloud या Self-Hosted
Scrapfly MCP server एक ही टूल के साथ दो तरीकों से चलता है। इनमें से एक चुनें:
| MCP Cloud (प्रबंधित) | Self-hosted | |
|---|---|---|
| यह कहाँ चलता है | Scrapfly द्वारा होस्ट किया गया: https://mcp.scrapfly.io/mcp | आपकी मशीन या सर्वर पर, ओपन-सोर्स server से |
| इंस्टॉल करें | कुछ नहीं: अपने AI client में URL जोड़ें | Go binary या Docker image बनाएँ |
| प्रमाणीकरण | Client से OAuth2 साइन-इन, या आपकी API key | आपकी API key |
| अपडेट | हमेशा नवीनतम संस्करण | आपको स्वयं अपडेट लेकर फिर से बिल्ड करना होगा |
| किसके लिए बेहतर | अधिकांश उपयोगकर्ताओं के लिए: Claude, Cursor, VS Code, ChatGPT और अन्य clients | कस्टम टूल, एयर-गैप्ड या ऑडिट किए गए परिवेश |
MCP Cloud
अपने AI client में server URL जोड़ें। OAuth2 का समर्थन करने वाले clients पहली बार इस्तेमाल करने पर Scrapfly साइन-इन खोलते हैं; अन्य clients आपकी API key लेते हैं (देखें प्रमाणीकरण)।
{
"mcpServers": {
"scrapfly-cloud-mcp": {
"type": "http",
"url": "https://mcp.scrapfly.io/mcp"
}
}
}
जो client केवल स्थानीय प्रक्रिया शुरू करता है, वह mcp-remote के ज़रिए कनेक्ट होता है:
{
"mcpServers": {
"scrapfly": {
"command": "npx",
"args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
}
}
}
हर client के लिए अलग चरण हैं: सेटअप गाइड देखें (Claude Code, Claude Desktop, Cursor, VS Code, ChatGPT और अन्य)।
Self-Hosted
Go में लिखे ओपन-सोर्स server को बिल्ड करें:
git clone https://github.com/scrapfly/scrapfly-mcp
cd scrapfly-mcp
go build -o scrapfly-mcp ./cmd/scrapfly-mcp
स्थानीय client (stdio): client अपने environment में आपकी API key के साथ binary शुरू करता है।
{
"mcpServers": {
"scrapfly": {
"command": "/path/to/scrapfly-mcp",
"env": { "SCRAPFLY_API_KEY": "" }
}
}
}
HTTP server: बिना key के शुरू होता है; हर caller अपनी key http://<host>:8080/mcp पर Authorization: Bearer <key> या ?key= के रूप में भेजता है।
./scrapfly-mcp -http :8080
# or with Docker
docker build -t scrapfly-mcp .
docker run -p 8080:8080 scrapfly-mcp
SCRAPFLY_API_KEY में -http के साथ सेट की गई key हर caller को वही key बिना प्रमाणीकरण के देती है, इसलिए server 127.0.0.1 से bind होता है, जब तक कि आप -allow-remote न दें। सभी विकल्प README में हैं।
इससे क्या संभव होता है
अब आपका AI "मेरे पास मौजूदा जानकारी नहीं है" कहने के बजाय यह कर सकता है:
लाइव डेटा स्क्रैप करें
मौजूदा कीमतें, लिस्टिंग, समाचार या किसी भी वेबपेज की सामग्री रीयल-टाइम में प्राप्त करें
एंटी-बॉट सिस्टम को बायपास करें
CAPTCHA, प्रॉक्सी, JavaScript रेंडरिंग और अनुरोध दर सीमाओं को अपने-आप संभालें
संरचित डेटा निकालें
AI-संचालित निष्कर्षण का उपयोग करके जटिल वेबसाइटों को साफ़ JSON में पार्स करें
स्क्रीनशॉट लें
विश्लेषण के लिए पेज या विशिष्ट एलिमेंट के दृश्य स्नैपशॉट लें
Scrapfly MCP Server क्यों?
हज़ारों डेवलपर द्वारा इस्तेमाल किए जाने वाले, युद्ध-परीक्षित इन्फ्रास्ट्रक्चर पर निर्मित:
हमेशा भरोसेमंद
आपका AI कभी ब्लॉक नहीं होता
तेज़ सेटअप
60 सेकंड से कम समय में चालू
सुरक्षित
OAuth2 + एंटरप्राइज़ प्रमाणीकरण
MCP Connectors की शक्ति
MCP एक सार्वभौमिक कनेक्टर है, जो किसी भी AI client को वेब स्क्रैपिंग का शक्तिशाली टूल बना देता है। हर AI प्लेटफ़ॉर्म के लिए कस्टम इंटीग्रेशन बनाने के बजाय, MCP एक ही मानक इंटरफ़ेस देता है।
आपके पसंदीदा AI टूल के साथ काम करता है:
- Claude Desktop, Cursor, Cline, Windsurf
- LangChain, LlamaIndex, CrewAI
- OpenAI function calling, कस्टम agents
- n8n, Make, Zapier workflows
एक इंटीग्रेशन, अनंत संभावनाएँ:
एक बार कॉन्फ़िगर करें, हर जगह इस्तेमाल करें। एक ही MCP server सभी प्लेटफ़ॉर्म पर काम करता है—आपके अपनाए हर AI टूल के लिए इंटीग्रेशन फिर से बनाने की ज़रूरत नहीं।
Scrapfly MCP का उपयोग कैसे करें
शुरुआत करना आसान है—अपना AI client चुनें और सेटअप गाइड का पालन करें:
[###### अपने AI Client के लिए सेटअप
15+ इंटीग्रेशन: Claude Desktop, Cursor, Cline, Windsurf, LangChain, n8n और अन्य
](https://scrapfly.io/docs/mcp/integrations) [###### उपलब्ध टूल
9 टूल: स्क्रैपिंग, स्क्रीनशॉट, डायनामिक WebMCP टूल खोज के साथ Cloud Browser
](https://scrapfly.io/docs/mcp/tools) [###### प्रमाणीकरण विकल्प
API key, OAuth2 या header-आधारित प्रमाणीकरण—अपनी ज़रूरत के अनुसार चुनें
](https://scrapfly.io/docs/mcp/authentication)
अगले चरण
वास्तविक उदाहरण देखें - जॉब एग्रीगेशन, कीमतों की निगरानी, डेटा निष्कर्षण और अन्य Client-विशिष्ट सेटअप गाइड - Cursor, Cline, LangChain, n8n और सभी समर्थित प्लेटफ़ॉर्म टूल और API विनिर्देश - पैरामीटर का पूरा दस्तावेज़ और उपयोग गाइड OAuth2 प्रमाणीकरण सेट अप करें - प्रोडक्शन के लिए सुरक्षित, एंटरप्राइज़-स्तरीय प्रमाणीकरण FAQ पढ़ें - आम सवाल और समस्या-निवारण
अपना सेटअप सत्यापित करें
कॉन्फ़िगरेशन के बाद, जाँचें कि सब कुछ सही ढंग से काम कर रहा है:
-
टूल की उपलब्धता जाँचेंअपने AI client में हथौड़े का आइकन (🔨) देखें या टूल सूची जाँचें, ताकि पुष्टि हो सके कि Scrapfly टूल लोड हो गए हैं।
-
एक आसान अनुरोध आज़माएँयह पूछकर देखें: "अभी Hacker News की सबसे लोकप्रिय पोस्ट कौन-सी हैं?"
आपका AI मौजूदा नतीजे प्राप्त करने और दिखाने के लिए Scrapfly टूल का अपने-आप उपयोग करेगा।
-
खाते का उपयोग जाँचेंपूछें: "मेरे पास कितने Scrapfly क्रेडिट बचे हैं?"
AI आपके मौजूदा उपयोग और कोटा दिखाने के लिए
info_accountका उपयोग करेगा।
समस्या-निवारण
अगर आपको कोई समस्या आती है, तो यहाँ आम समस्याएँ और उनके समाधान दिए गए हैं:
टूल का पता नहीं चल रहा
- JSON कॉन्फ़िगरेशन सत्यापित करें - सुनिश्चित करें कि कॉन्फ़िगरेशन में सिंटैक्स की कोई त्रुटि न हो (जैसे कॉमा या ब्रैकेट छूटना)
- अपना AI client रीस्टार्ट करें - नए MCP servers लोड करने के लिए कई clients को पूरी तरह रीस्टार्ट करना पड़ता है
npxकी उपलब्धता जाँचें - इंस्टॉल होने की पुष्टि के लिए अपने टर्मिनल मेंnpx --versionचलाएँ- API key सत्यापित करें - सुनिश्चित करें कि आपकी Scrapfly API key सही है और उसमें पर्याप्त क्रेडिट हैं
प्रमाणीकरण संबंधी त्रुटियाँ
- अमान्य API key - Dashboard → Project Settings पर अपनी key दोबारा जाँचें
- नेटवर्क अनधिकृत / आपके प्रोजेक्ट द्वारा पहुँच प्रतिबंधित - प्रोजेक्ट केवल विशिष्ट IP पतों को स्वीकार करता है और key सही है। समस्या-निवारण देखें
- OAuth2 समस्याएँ - सुनिश्चित करें कि आपने OAuth flow पूरा कर लिया है और tokens रीफ़्रेश हो गए हैं
- समाप्त हो चुके क्रेडेंशियल - आपका session समाप्त हो गया हो, तो फिर से प्रमाणित करें
और मदद चाहिए?
समस्या-निवारण के हमारे विस्तृत संसाधन देखें:
- MCP FAQ - आम सवाल और विस्तृत जवाब
- Discord Community - समुदाय से मदद पाएँ
- सहायता से संपर्क करें - हमारी टीम से सीधे संपर्क करें