Oxylabs
आधिकारिकऑक्सीलैब्स वेब एपीआई के साथ वेबसाइटों को स्क्रैप करें, जो संरचित डेटा निष्कर्षण के लिए डायनामिक रेंडरिंग और पार्सिंग का समर्थन करता है।
Oxylabs MCP के साथ आप क्या कर सकते हैं?
- किसी भी URL को स्क्रैप करें — अपने असिस्टेंट से किसी भी वेबपेज से सामग्री लाने और निकालने के लिए
universal_scraperका उपयोग करने को कहें, जिसमें वैकल्पिक JavaScript रेंडरिंग और जियो-टार्गेटिंग शामिल है। - Google और Amazon खोजें — इन प्लेटफ़ॉर्म से संरचित परिणाम प्राप्त करने के लिए
google_search_scraper,amazon_search_scraper, याamazon_product_scraperका उपयोग करें। - AI-संचालित निष्कर्षण — किसी भी URL को स्क्रैप करने और डेटा को JSON, CSV, Markdown, या TOON प्रारूपों में लौटाने के लिए
ai_scraperका लाभ उठाएं। - वेबसाइटों को क्रॉल और मैप करें — प्रारंभिक URL से कई पेजों पर डेटा एकत्र करने के लिए
ai_crawlerका उपयोग करें, या कीवर्ड द्वारा फ़िल्टर की गई साइट URL सूची बनाने के लिएai_mapका उपयोग करें। - ब्राउज़र कार्यों को स्वचालित करें — नेविगेशन, क्लिक करना, और फ़ॉर्म भरना
ai_browser_agentको सौंपें, जो एक प्रॉम्प्ट के आधार पर वास्तविक ब्राउज़र को नियंत्रित करता है। - निष्कर्षण स्कीमा उत्पन्न करें — AI टूल्स के साथ डेटा निष्कर्षण को संरचित करने के लिए
generate_schemaके माध्यम से OpenAPI-प्रारूप JSON स्कीमा मांगें।
दस्तावेज़
Oxylabs MCP सर्वर
AI मॉडल और वास्तविक दुनिया के वेब के बीच की खोई हुई कड़ी: एक API जो किसी भी साइट से स्वच्छ, संरचित डेटा प्रदान करता है।
📖 अवलोकन
Oxylabs MCP सर्वर AI मॉडल और वेब के बीच एक पुल प्रदान करता है। यह उन्हें किसी भी URL को स्क्रैप करने, JavaScript-भारी पेजों को रेंडर करने, AI उपयोग के लिए सामग्री निकालने और प्रारूपित करने, CAPTCHA प्रबंधित करने, और 195+ देशों से भू-प्रतिबंधित वेब डेटा तक पहुँचने में सक्षम बनाता है।
यह Model Context Protocol (MCP) पर आधारित है, जो AI सहायकों को बाहरी टूल और डेटा से जोड़ने के लिए खुला मानक है।
🛠️ MCP टूल
Oxylabs MCP दो टूल सेट प्रदान करता है जिन्हें एक साथ या स्वतंत्र रूप से उपयोग किया जा सकता है:
Oxylabs Web Scraper API टूल
- universal_scraper: किसी भी URL को स्क्रैप करता है, वैकल्पिक JavaScript रेंडरिंग, भू-लक्ष्यीकरण, और Markdown/HTML/लिंक आउटपुट के साथ;
- google_search_scraper: Google खोज से परिणाम निकालता है, वैकल्पिक रूप से संरचित JSON में पार्स करने के साथ;
- amazon_search_scraper: Amazon खोज परिणाम पृष्ठों को स्क्रैप करता है, वैकल्पिक रूप से संरचित JSON में पार्स करने के साथ;
- amazon_product_scraper: व्यक्तिगत Amazon उत्पाद पृष्ठों से डेटा निकालता है।
Oxylabs AI Studio टूल
- ai_scraper: AI-संचालित निष्कर्षण के साथ किसी भी URL से सामग्री स्क्रैप करता है, JSON, CSV, Markdown, या TOON प्रारूप में;
- ai_crawler: एक प्रारंभिक URL से एक प्रॉम्प्ट के आधार पर वेबसाइट को क्रॉल करता है और कई पृष्ठों से डेटा एकत्र करता है;
- ai_browser_agent: एक प्रॉम्प्ट के आधार पर वास्तविक ब्राउज़र को नियंत्रित करता है — नेविगेट करता है, क्लिक करता है, फ़ॉर्म भरता है — और परिणाम लौटाता है;
- ai_search: वेब खोजता है और वैकल्पिक रूप से प्रत्येक परिणाम की Markdown सामग्री लौटाता है;
- ai_map: किसी वेबसाइट के URL का मानचित्रण करता है, कीवर्ड या प्रॉम्प्ट द्वारा फ़िल्टर किया गया;
- generate_schema: ऊपर दिए गए AI टूल के साथ संरचित निष्कर्षण के लिए OpenAPI-प्रारूप JSON स्कीमा उत्पन्न करता है।
✅ पूर्वापेक्षाएँ
शुरू करने से पहले, सुनिश्चित करें कि आपके पास निम्न में से कम से कम एक है:
- Oxylabs Web Scraper API खाता: Oxylabs से अपना उपयोगकर्ता नाम और पासवर्ड प्राप्त करें (1-सप्ताह का निःशुल्क परीक्षण उपलब्ध);
- Oxylabs AI Studio API कुंजी: Oxylabs AI Studio से अपनी API कुंजी प्राप्त करें (1000 क्रेडिट निःशुल्क)।
सर्वर को स्थानीय रूप से चलाने के लिए (नीचे विकल्प 2) आपको uv पैकेज मैनेजर की भी आवश्यकता होगी:
# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
📦 कॉन्फ़िगरेशन
सर्वर का उपयोग करने के दो तरीके हैं: होस्टेड इंस्टेंस से कनेक्ट करें (कोई इंस्टॉलेशन नहीं) या पर्यावरण चर में क्रेडेंशियल के साथ इसे स्थानीय रूप से चलाएं।
विकल्प 1: होस्टेड सर्वर (कोई इंस्टॉलेशन नहीं)
Oxylabs एक होस्टेड MCP सर्वर चलाता है:
https://mcp.oxylabs.io/mcp
क्रेडेंशियल अनुरोध हेडर के साथ पास किए जाते हैं:
| क्रेडेंशियल | हेडर |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)> |
| Web Scraper API (वैकल्पिक) | X-Oxylabs-Username और X-Oxylabs-Password |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key |
Claude Code के साथ सेटअप:
claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
--header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
--header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"
Cursor या किसी भी क्लाइंट के साथ सेटअप जो कस्टम हेडर के साथ रिमोट MCP सर्वर का समर्थन करता है:
{
"mcpServers": {
"oxylabs": {
"url": "https://mcp.oxylabs.io/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
सर्वर Smithery पर भी सूचीबद्ध है।
नोट: जो क्लाइंट केवल रिमोट सर्वर के लिए OAuth का समर्थन करते हैं (उदाहरण के लिए, claude.ai वेब UI में कस्टम कनेक्टर जोड़ना) अभी तक हेडर पास नहीं कर सकते — OAuth साइन-इन हमारे रोडमैप पर है। उन क्लाइंट के साथ तब तक नीचे दिए गए स्थानीय सेटअप का उपयोग करें।
विकल्प 2: स्थानीय रूप से चलाएं
पर्यावरण चर
Oxylabs MCP सर्वर निम्नलिखित पर्यावरण चर का समर्थन करता है:
| नाम | विवरण | डिफ़ॉल्ट |
|---|---|---|
OXYLABS_USERNAME | आपका Oxylabs Web Scraper API उपयोगकर्ता नाम | |
OXYLABS_PASSWORD | आपका Oxylabs Web Scraper API पासवर्ड | |
OXYLABS_AI_STUDIO_API_KEY | आपकी Oxylabs AI Studio API कुंजी | |
LOG_LEVEL | क्लाइंट को लौटाए गए लॉग के लिए लॉग स्तर | INFO |
प्रदान किए गए क्रेडेंशियल के आधार पर, सर्वर स्वचालित रूप से संबंधित टूल प्रदर्शित करता है:
- यदि केवल
OXYLABS_USERNAMEऔरOXYLABS_PASSWORDप्रदान किए गए हैं, तो सर्वर Web Scraper API टूल प्रदर्शित करता है; - यदि केवल
OXYLABS_AI_STUDIO_API_KEYप्रदान किया गया है, तो सर्वर AI Studio टूल प्रदर्शित करता है; - यदि सभी तीन प्रदान किए गए हैं, तो सर्वर सभी टूल प्रदर्शित करता है।
❗ महत्वपूर्ण: केवल उन पर्यावरण चर को सेट करें जिनके लिए आपके पास वास्तविक क्रेडेंशियल हैं। प्लेसहोल्डर मान छोड़ने से ऐसे टूल प्रदर्शित होंगे जो काम नहीं करेंगे।
uvx के साथ कॉन्फ़िगर करें
PyPI से पैकेज इंस्टॉल करता है और इसे स्वचालित रूप से चलाता है:
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
स्थानीय चेकआउट के साथ कॉन्फ़िगर करें
विकास के लिए उपयोगी — इस रिपॉजिटरी के स्थानीय क्लोन से सर्वर चलाता है:
{
"mcpServers": {
"oxylabs": {
"command": "uv",
"args": [
"--directory",
"/<absolute-path-to-folder>/oxylabs-mcp",
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
रिमोट HTTP सर्वर के रूप में चलाना (सेल्फ-होस्टिंग)
सर्वर MCP स्ट्रीमेबल-HTTP ट्रांसपोर्ट का भी समर्थन करता है। इसे इसके साथ शुरू करें:
MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp
HTTP ट्रांसपोर्ट के साथ, क्रेडेंशियल पर्यावरण चर के बजाय प्रति अनुरोध पास किए जाते हैं:
| क्रेडेंशियल | इसे कैसे पास करें |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)> (मानक HTTP बेसिक प्रमाणीकरण) |
| Web Scraper API (वैकल्पिक) | X-Oxylabs-Username और X-Oxylabs-Password हेडर |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key हेडर |
उदाहरण क्लाइंट कॉन्फ़िगरेशन:
{
"mcpServers": {
"oxylabs": {
"url": "https://your-host:8000/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
सभी टूल हमेशा प्रदान किए गए क्रेडेंशियल के बावजूद सूचीबद्ध होते हैं; बिना आवश्यक क्रेडेंशियल के किसी टूल को कॉल करने पर एक त्रुटि संदेश लौटता है जो बताता है कि वास्तव में क्या कॉन्फ़िगर करना है।
Claude Desktop के साथ सेटअप
Claude → Settings → Developer → Edit Config पर नेविगेट करें और claude_desktop_config.json फ़ाइल में उपरोक्त कॉन्फ़िगरेशन में से एक जोड़ें।
Cursor AI के साथ सेटअप
Cursor → Settings → Cursor Settings → MCP पर नेविगेट करें। Add new global MCP server पर क्लिक करें और उपरोक्त कॉन्फ़िगरेशन में से एक जोड़ें।
📝 लॉगिंग
सर्वर notification/message इवेंट में टूल कॉल के बारे में अतिरिक्त जानकारी प्रदान करता है:
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
✨ मुख्य विशेषताएं
किसी भी साइट से सामग्री स्क्रैप करें
- किसी भी URL से डेटा निकालें, जिसमें जटिल सिंगल-पेज एप्लिकेशन शामिल हैं
- हेडलेस ब्राउज़र समर्थन का उपयोग करके गतिशील वेबसाइटों को पूरी तरह से रेंडर करें
- पूर्ण JavaScript रेंडरिंग, केवल HTML, या कोई नहीं चुनें
- यथार्थवादी रेंडरिंग के लिए मोबाइल और डेस्कटॉप व्यूपोर्ट का अनुकरण करें
स्वचालित रूप से AI-तैयार डेटा प्राप्त करें
- बेहतर पठनीयता के लिए HTML को स्वचालित रूप से साफ करें और Markdown में परिवर्तित करें
- Google, Amazon, और अधिक जैसे लोकप्रिय लक्ष्यों के लिए स्वचालित पार्सर का उपयोग करें
CAPTCHA और भू-प्रतिबंध प्रबंधित करें
- उच्च सफलता दर के साथ परिष्कृत स्वचालित अनुरोध प्रबंधन प्रणालियों को नेविगेट करें
- सबसे जटिल वेबसाइटों को भी विश्वसनीय रूप से स्क्रैप करें
- 195+ देशों को कवर करने वाले प्रॉक्सी पूल से स्वचालित रूप से घूमने वाले IP प्राप्त करें
लचीला सेटअप और क्रॉस-प्लेटफ़ॉर्म समर्थन
- आवश्यकता होने पर रेंडरिंग और पार्सिंग विकल्प सेट करें
- डेटा को सीधे AI मॉडल या एनालिटिक्स टूल में फीड करें
- macOS, Windows, और Linux पर काम करता है
अंतर्निहित त्रुटि हैंडलिंग और अनुरोध प्रबंधन
- व्यापक त्रुटि हैंडलिंग और रिपोर्टिंग
- स्मार्ट रेट लिमिटिंग और अनुरोध प्रबंधन
Oxylabs MCP क्यों? 🕸️ ➜ 📦 ➜ 🤖
अपने LLM से कहने की कल्पना करें "GPT‑5 के बारे में नवीनतम Hacker News चर्चा का सारांश दें" – और यह बस उत्तर देता है। Oxylabs MCP सर्वर आपके लिए उबाऊ हिस्से करके ऐसा संभव बनाता है:
| Oxylabs MCP क्या करता है | यह आपके लिए क्यों मायने रखता है |
|---|---|
| स्वचालित अनुरोध दीवारों को प्रबंधित करता है Oxylabs वैश्विक प्रॉक्सी नेटवर्क के साथ | वेबसाइट पहुँच और गुमनामी सक्षम करता है |
| हेडलेस Chrome में JavaScript रेंडर करता है | सिंगल-पेज ऐप्स, हल हो गए |
| HTML → Markdown साफ करता है | सीधे वेक्टर DB या प्रॉम्प्ट में डालें |
| वैकल्पिक संरचित पार्सर (Google, Amazon, आदि) | लोकप्रिय लक्ष्यों तक एक-पंक्ति पहुँच |
🛡️ लाइसेंस
MIT लाइसेंस के तहत वितरित – विवरण के लिए LICENSE देखें।
Oxylabs के बारे में
2015 में स्थापित, Oxylabs एक बाज़ार-अग्रणी वेब इंटेलिजेंस संग्रह प्लेटफ़ॉर्म है, जो उच्चतम व्यावसायिक, नैतिकता, और अनुपालन मानकों द्वारा संचालित है, जो दुनिया भर की कंपनियों को डेटा-संचालित अंतर्दृष्टि अनलॉक करने में सक्षम बनाता है।
mcp-name: io.oxylabs/oxylabs-mcp
