Oxylabs
आधिकारिकऑक्सीलैब्स वेब एपीआई के साथ वेबसाइटों को स्क्रैप करें, जो संरचित डेटा निष्कर्षण के लिए डायनामिक रेंडरिंग और पार्सिंग का समर्थन करता है।
Oxylabs MCP के साथ आप क्या कर सकते हैं?
- किसी भी URL को स्क्रैप करें — वैकल्पिक JavaScript रेंडरिंग, जियो-टार्गेटिंग और Markdown, HTML या लिंक आउटपुट के साथ कोई पेज फ़ेच करें।
- Google और Amazon पर खोजें — Google Search, Amazon खोज और Amazon उत्पाद पेज के परिणाम प्राप्त करें; चाहें तो उन्हें संरचित JSON में पार्स करें।
- AI निष्कर्षण — AI-संचालित निष्कर्षण के साथ किसी URL को स्क्रैप करें और डेटा को JSON, CSV, Markdown या TOON के रूप में लौटाएँ।
- किसी साइट को क्रॉल करें — प्रॉम्प्ट के आधार पर शुरुआती URL से क्रॉल करें और कई पेजों से डेटा एकत्र करें।
- ब्राउज़र चलाएँ — किसी वास्तविक ब्राउज़र से प्रॉम्प्ट के आधार पर नेविगेट करवाएँ, क्लिक करवाएँ और फ़ॉर्म भरवाएँ, फिर परिणाम लौटाएँ।
- मैप करें और खोजें — कीवर्ड या प्रॉम्प्ट के आधार पर फ़िल्टर करके किसी साइट के URL मैप करें, या वेब पर खोजें और हर परिणाम का Markdown प्राप्त करें।
दस्तावेज़
Oxylabs MCP Server
AI मॉडल और वास्तविक दुनिया के वेब के बीच की कड़ी: एक API, जो किसी भी साइट से साफ़-सुथरा, संरचित डेटा उपलब्ध कराता है।
अस्वीकरण
इस रिपॉज़िटरी को अब भी पूरा समर्थन मिलता है, लेकिन यदि आप Oxylabs Web API का उपयोग कर रहे हैं, तो कृपया Web API MCP रिपॉज़िटरी देखें: Web API MCP
📖 परिचय
Oxylabs MCP सर्वर AI मॉडल और वेब के बीच एक सेतु प्रदान करता है। यह उन्हें किसी भी URL को स्क्रैप करने, JavaScript-प्रधान पेज रेंडर करने, AI के उपयोग के लिए सामग्री निकालने और फ़ॉर्मैट करने, CAPTCHA प्रबंधित करने और 195+ देशों के भू-प्रतिबंधित वेब डेटा तक पहुँचने में सक्षम बनाता है।
यह Model Context Protocol (MCP) पर आधारित है, जो AI सहायकों को बाहरी टूल और डेटा से जोड़ने का खुला मानक है।
mcp-name: io.oxylabs/oxylabs-mcp
🛠️ MCP टूल
Oxylabs MCP टूल के दो समूह उपलब्ध कराता है, जिनका उपयोग साथ में या अलग-अलग किया जा सकता है:
Oxylabs Web Scraper API टूल
- universal_scraper: किसी भी URL को स्क्रैप करता है; JavaScript रेंडरिंग, भू-लक्ष्यीकरण और Markdown/HTML/लिंक आउटपुट वैकल्पिक हैं;
- google_search_scraper: Google Search से परिणाम निकालता है; उन्हें संरचित JSON में पार्स करना वैकल्पिक है;
- amazon_search_scraper: Amazon खोज परिणाम पेज स्क्रैप करता है; उन्हें संरचित JSON में पार्स करना वैकल्पिक है;
- amazon_product_scraper: अलग-अलग Amazon उत्पाद पेजों से डेटा निकालता है।
Oxylabs AI Studio टूल
- ai_scraper: AI-संचालित निष्कर्षण के साथ किसी भी URL से सामग्री स्क्रैप करता है; JSON, CSV, Markdown या TOON फ़ॉर्मैट में;
- ai_crawler: प्रॉम्प्ट के आधार पर शुरुआती URL से वेबसाइट क्रॉल करता है और कई पेजों से डेटा एकत्र करता है;
- ai_browser_agent: प्रॉम्प्ट के आधार पर वास्तविक ब्राउज़र नियंत्रित करता है — नेविगेट करता है, क्लिक करता है, फ़ॉर्म भरता है — और परिणाम लौटाता है;
- ai_search: वेब पर खोज करता है और वैकल्पिक रूप से हर परिणाम की Markdown सामग्री लौटाता है;
- ai_map: कीवर्ड या प्रॉम्प्ट के आधार पर फ़िल्टर करके वेबसाइट के URL का मानचित्र बनाता है;
- generate_schema: ऊपर दिए गए AI टूल से संरचित निष्कर्षण के लिए OpenAPI-फ़ॉर्मैट वाला JSON स्कीमा बनाता है।
✅ आवश्यकताएँ
शुरू करने से पहले, सुनिश्चित करें कि आपके पास निम्नलिखित में से कम-से-कम एक है:
- Oxylabs Web Scraper API खाता: Oxylabs डैशबोर्ड से API टोकन (या अपना उपयोगकर्ता नाम और पासवर्ड) प्राप्त करें (1 सप्ताह का निःशुल्क परीक्षण उपलब्ध);
- Oxylabs AI Studio API कुंजी: Oxylabs AI Studio से अपनी API कुंजी प्राप्त करें (1000 निःशुल्क क्रेडिट)।
सर्वर को स्थानीय रूप से चलाने के लिए (नीचे विकल्प 2), आपको uv पैकेज मैनेजर की भी आवश्यकता होगी:
# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
📦 कॉन्फ़िगरेशन
सर्वर का उपयोग करने के दो तरीके हैं: होस्ट किए गए इंस्टेंस से कनेक्ट करें (इंस्टॉल करने की ज़रूरत नहीं) या क्रेडेंशियल को एनवायरनमेंट वेरिएबल में रखकर इसे स्थानीय रूप से चलाएँ।
विकल्प 1: होस्ट किया गया सर्वर (इंस्टॉल करने की ज़रूरत नहीं)
Oxylabs एक होस्ट किया गया MCP सर्वर यहाँ चलाता है:
https://mcp.oxylabs.io/mcp
क्रेडेंशियल अनुरोध हेडर के ज़रिए भेजे जाते हैं:
| क्रेडेंशियल | हेडर |
|---|---|
| Web Scraper API टोकन (अनुशंसित) | Authorization: Bearer <token> |
| Web Scraper API टोकन (वैकल्पिक) | X-Oxylabs-Api-Token |
| Web Scraper API उपयोगकर्ता नाम और पासवर्ड | Authorization: Basic <base64(username:password)> |
| Web Scraper API उपयोगकर्ता नाम और पासवर्ड (वैकल्पिक) | X-Oxylabs-Username और X-Oxylabs-Password |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key |
यदि API टोकन और उपयोगकर्ता नाम व पासवर्ड, दोनों दिए गए हों, तो टोकन का उपयोग किया जाएगा।
Claude Code के साथ सेटअप:
claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
--header "Authorization: Bearer YOUR_API_TOKEN" \
--header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"
Cursor या कस्टम हेडर वाले रिमोट MCP सर्वर का समर्थन करने वाले किसी भी क्लाइंट के साथ सेटअप:
{
"mcpServers": {
"oxylabs": {
"url": "https://mcp.oxylabs.io/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_TOKEN",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
सर्वर Smithery पर भी सूचीबद्ध है।
ध्यान दें: जो क्लाइंट रिमोट सर्वर के लिए केवल OAuth का समर्थन करते हैं (उदाहरण के लिए, claude.ai वेब UI में कस्टम कनेक्टर जोड़ना), वे अभी हेडर नहीं भेज सकते — OAuth साइन-इन हमारी आगामी योजना में है। तब तक ऐसे क्लाइंट के साथ नीचे दिया गया स्थानीय सेटअप इस्तेमाल करें।
विकल्प 2: स्थानीय रूप से चलाएँ
एनवायरनमेंट वेरिएबल
Oxylabs MCP सर्वर निम्नलिखित एनवायरनमेंट वेरिएबल का समर्थन करता है:
| नाम | विवरण | डिफ़ॉल्ट |
|---|---|---|
OXYLABS_API_TOKEN | आपका Oxylabs Web Scraper API टोकन | |
OXYLABS_USERNAME | आपका Oxylabs Web Scraper API उपयोगकर्ता नाम | |
OXYLABS_PASSWORD | आपका Oxylabs Web Scraper API पासवर्ड | |
OXYLABS_AI_STUDIO_API_KEY | आपकी Oxylabs AI Studio API कुंजी | |
LOG_LEVEL | क्लाइंट को लौटाए जाने वाले लॉग का स्तर | INFO |
Web Scraper API टूल के लिए, OXYLABS_API_TOKEN या OXYLABS_USERNAME और
OXYLABS_PASSWORD दोनों सेट करें। यदि दोनों सेट हों, तो टोकन का उपयोग किया जाएगा। AI Studio टूल के लिए,
OXYLABS_AI_STUDIO_API_KEY सेट करें।
सभी टूल हमेशा सूचीबद्ध रहते हैं; आवश्यक क्रेडेंशियल के बिना किसी टूल को कॉल करने पर यह बताने वाला त्रुटि संदेश मिलता है कि क्या कॉन्फ़िगर करना है।
❗ महत्वपूर्ण: केवल वही एनवायरनमेंट वेरिएबल सेट करें जिनके लिए आपके पास वास्तविक क्रेडेंशियल हैं। प्लेसहोल्डर मानों के कारण टूल कॉल विफल हो जाते हैं।
uvx के साथ कॉन्फ़िगर करें
PyPI से पैकेज इंस्टॉल करके इसे अपने-आप चलाता है:
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
स्थानीय क्लोन के साथ कॉन्फ़िगर करें
विकास के लिए उपयोगी — इस रिपॉज़िटरी के स्थानीय क्लोन से सर्वर चलाता है:
{
"mcpServers": {
"oxylabs": {
"command": "uv",
"args": [
"--directory",
"/<absolute-path-to-folder>/oxylabs-mcp",
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
रिमोट HTTP सर्वर के रूप में चलाना (स्वयं होस्ट करना)
सर्वर MCP streamable-HTTP ट्रांसपोर्ट का भी समर्थन करता है। इसे इस कमांड से शुरू करें:
MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp
HTTP ट्रांसपोर्ट के साथ, क्रेडेंशियल एनवायरनमेंट वेरिएबल के बजाय हर अनुरोध के साथ भेजे जाते हैं:
| क्रेडेंशियल | भेजने का तरीका |
|---|---|
| Web Scraper API टोकन (अनुशंसित) | Authorization: Bearer <token> |
| Web Scraper API टोकन (वैकल्पिक) | X-Oxylabs-Api-Token हेडर |
| Web Scraper API उपयोगकर्ता नाम और पासवर्ड | Authorization: Basic <base64(username:password)> (HTTP Basic auth) |
| Web Scraper API उपयोगकर्ता नाम और पासवर्ड (वैकल्पिक) | X-Oxylabs-Username और X-Oxylabs-Password हेडर |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key हेडर |
क्लाइंट कॉन्फ़िगरेशन का उदाहरण:
{
"mcpServers": {
"oxylabs": {
"url": "https://your-host:8000/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_TOKEN",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
दिए गए क्रेडेंशियल चाहे जो भी हों, सभी टूल हमेशा सूचीबद्ध रहते हैं; आवश्यक क्रेडेंशियल के बिना किसी टूल को कॉल करने पर यह बताने वाला त्रुटि संदेश मिलता है कि क्या कॉन्फ़िगर करना है।
Claude Desktop के साथ सेटअप
Claude → Settings → Developer → Edit Config पर जाएँ और ऊपर दिए गए कॉन्फ़िगरेशन में से एक को claude_desktop_config.json फ़ाइल में जोड़ें।
Cursor AI के साथ सेटअप
Cursor → Settings → Cursor Settings → MCP पर जाएँ। Add new global MCP server पर क्लिक करें और ऊपर दिए गए कॉन्फ़िगरेशन में से एक जोड़ें।
📝 लॉगिंग
सर्वर notification/message इवेंट में टूल कॉल के बारे में अतिरिक्त जानकारी देता है:
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
✨ मुख्य विशेषताएँ
किसी भी साइट से सामग्री स्क्रैप करें
- जटिल सिंगल-पेज एप्लिकेशन सहित किसी भी URL से डेटा निकालें
- हेडलेस ब्राउज़र समर्थन से डायनामिक वेबसाइटों को पूरी तरह रेंडर करें
- पूर्ण JavaScript रेंडरिंग, केवल HTML या कोई रेंडरिंग नहीं — इनमें से चुनें
- वास्तविक रेंडरिंग के लिए Mobile और Desktop व्यूपोर्ट का अनुकरण करें
AI के लिए तैयार डेटा अपने-आप पाएँ
- बेहतर पठनीयता के लिए HTML को अपने-आप साफ़ करके Markdown में बदलें
- Google, Amazon और अन्य लोकप्रिय लक्ष्यों के लिए स्वचालित पार्सर इस्तेमाल करें
CAPTCHA और भू-प्रतिबंधों को संभालें
- उच्च सफलता दर के साथ जटिल स्वचालित अनुरोध प्रबंधन प्रणालियों से आगे बढ़ें
- सबसे जटिल वेबसाइटों को भी भरोसेमंद तरीके से स्क्रैप करें
- 195+ देशों को कवर करने वाले प्रॉक्सी पूल से अपने-आप बदलते IP प्राप्त करें
लचीला सेटअप और क्रॉस-प्लेटफ़ॉर्म समर्थन
- ज़रूरत पड़ने पर रेंडरिंग और पार्सिंग विकल्प सेट करें
- डेटा सीधे AI मॉडल या एनालिटिक्स टूल में भेजें
- macOS, Windows और Linux पर काम करता है
अंतर्निहित त्रुटि प्रबंधन और अनुरोध प्रबंधन
- व्यापक त्रुटि प्रबंधन और रिपोर्टिंग
- स्मार्ट रेट लिमिटिंग और अनुरोध प्रबंधन
Oxylabs MCP क्यों? 🕸️ ➜ 📦 ➜ 🤖
कल्पना करें कि आप अपने LLM से कहते हैं "GPT‑5 के बारे में Hacker News की नवीनतम चर्चा का सारांश दें" — और वह बस जवाब दे देता है। Oxylabs MCP सर्वर आपके लिए उबाऊ काम करके इसे संभव बनाता है:
| Oxylabs MCP क्या करता है | यह आपके लिए क्यों मायने रखता है |
|---|---|
| Oxylabs के वैश्विक प्रॉक्सी नेटवर्क से स्वचालित अनुरोध अवरोधों को संभालता है | वेबसाइट तक पहुँच और गुमनामी सुनिश्चित करता है |
| हेडलेस Chrome में JavaScript रेंडर करता है | सिंगल-पेज ऐप्स की समस्या हल |
| HTML → Markdown साफ़ करता है | सीधे vector DB या प्रॉम्प्ट में डालें |
| वैकल्पिक संरचित पार्सर (Google, Amazon आदि) | लोकप्रिय लक्ष्यों तक एक पंक्ति में पहुँच |
🛡️ लाइसेंस
MIT License के तहत वितरित — विवरण के लिए LICENSE देखें।
Oxylabs के बारे में
2015 में स्थापित, Oxylabs वेब इंटेलिजेंस डेटा संग्रह का एक अग्रणी प्लेटफ़ॉर्म है। यह उच्चतम व्यावसायिक, नैतिक और अनुपालन मानकों के आधार पर काम करता है और दुनिया भर की कंपनियों को डेटा-आधारित अंतर्दृष्टि प्राप्त करने में सक्षम बनाता है।
