Oxylabs
resmiOxylabs Web API ile web sitelerini kazıyın, dinamik işleme ve yapılandırılmış veri çıkarma için ayrıştırmayı destekler.
Oxylabs MCP ile neler yapabilirsiniz?
Yapay zeka asistanınıza Oxylabs'ın kazıma ve yapay zeka araçlarını kullanarak yapılandırılmış web verilerini kazımasını, aramasını ve çıkarmasını isteyin.
- Herhangi bir URL'yi kazıyın — İsteğe bağlı JavaScript oluşturma ve coğrafi hedefleme ile bir sayfayı getirmek için
universal_scraperkullanın; Markdown, HTML veya bağlantılar döndürür. - Google sonuçlarını çıkarın — Arama sonuçlarını çekmek ve bunları yapılandırılmış JSON'a ayrıştırmak için
google_search_scraperkullanın. - Yapay zeka destekli çıkarma — Herhangi bir URL'den içeriği JSON, CSV, Markdown veya TOON formatına çıkarmak için
ai_scraperkullanın. - Bir web sitesini tarayın — Bir başlangıç URL'sinden bir istem temelinde tarama yapmak ve birden fazla sayfada veri toplamak için
ai_crawlerkullanın. - Bir tarayıcıyı kontrol edin — Bir istem temelinde gerçek bir tarayıcıda gezinmek, tıklamak ve formları doldurmak için
ai_browser_agentkullanın.
Dokümantasyon
Oxylabs MCP Sunucusu
Yapay zeka modelleri ile gerçek dünya web'i arasındaki eksik halka: herhangi bir siteden temiz, yapılandırılmış veri sunan tek bir API.
📖 Genel Bakış
Oxylabs MCP sunucusu, yapay zeka modelleri ile web arasında bir köprü sağlar. Herhangi bir URL'yi kazımayı, JavaScript ağırlıklı sayfaları render etmeyi, içeriği yapay zeka kullanımı için çıkarmayı ve biçimlendirmeyi, CAPTCHA'yı yönetmeyi ve 195'ten fazla ülkeden coğrafi kısıtlamalı web verilerine erişmeyi mümkün kılar.
Yapay zeka asistanlarını harici araçlara ve verilere bağlamak için açık standart olan Model Context Protocol (MCP) üzerine inşa edilmiştir.
🛠️ MCP Araçları
Oxylabs MCP, birlikte veya bağımsız olarak kullanılabilen iki araç seti sağlar:
Oxylabs Web Scraper API araçları
- universal_scraper: isteğe bağlı JavaScript render etme, coğrafi hedefleme ve Markdown/HTML/bağlantı çıktısı ile herhangi bir URL'yi kazır;
- google_search_scraper: Google Arama'dan sonuçları çıkarır, isteğe bağlı olarak yapılandırılmış JSON'a ayrıştırır;
- amazon_search_scraper: Amazon arama sonucu sayfalarını kazır, isteğe bağlı olarak yapılandırılmış JSON'a ayrıştırır;
- amazon_product_scraper: Tek tek Amazon ürün sayfalarından veri çıkarır.
Oxylabs AI Studio araçları
- ai_scraper: yapay zeka destekli çıkarma ile herhangi bir URL'den içerik kazır; JSON, CSV, Markdown veya TOON formatında;
- ai_crawler: bir istem temelinde başlangıç URL'sinden bir web sitesini tarar ve birden çok sayfada veri toplar;
- ai_browser_agent: bir isteme dayalı olarak gerçek bir tarayıcıyı kontrol eder — gezinir, tıklar, formları doldurur — ve sonucu döndürür;
- ai_search: web'de arama yapar ve isteğe bağlı olarak her sonucun Markdown içeriğini döndürür;
- ai_map: anahtar kelimeler veya bir istemle filtrelenmiş bir web sitesinin URL'lerini haritalar;
- generate_schema: yukarıdaki yapay zeka araçlarıyla yapılandırılmış çıkarma için OpenAPI formatında bir JSON şeması oluşturur.
✅ Ön Koşullar
Başlamadan önce aşağıdakilerden en az birine sahip olduğunuzdan emin olun:
- Oxylabs Web Scraper API hesabı: kullanıcı adınızı ve şifrenizi Oxylabs adresinden edinin (1 haftalık ücretsiz deneme mevcuttur);
- Oxylabs AI Studio API anahtarı: API anahtarınızı Oxylabs AI Studio adresinden edinin (1000 kredi ücretsiz).
Sunucuyu çalıştırmak için ayrıca uv paket yöneticisine ihtiyacınız olacak:
# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
📦 Yapılandırma
Ortam değişkenleri
Oxylabs MCP sunucusu aşağıdaki ortam değişkenlerini destekler:
| Ad | Açıklama | Varsayılan |
|---|---|---|
OXYLABS_USERNAME | Oxylabs Web Scraper API kullanıcı adınız | |
OXYLABS_PASSWORD | Oxylabs Web Scraper API şifreniz | |
OXYLABS_AI_STUDIO_API_KEY | Oxylabs AI Studio API anahtarınız | |
LOG_LEVEL | İstemciye döndürülen günlükler için günlük düzeyi | INFO |
Sağlanan kimlik bilgilerine bağlı olarak, sunucu ilgili araçları otomatik olarak kullanıma sunar:
- Yalnızca
OXYLABS_USERNAMEveOXYLABS_PASSWORDsağlanırsa, sunucu Web Scraper API araçlarını kullanıma sunar; - Yalnızca
OXYLABS_AI_STUDIO_API_KEYsağlanırsa, sunucu AI Studio araçlarını kullanıma sunar; - Üçü de sağlanırsa, sunucu tüm araçları kullanıma sunar.
❗ Önemli: yalnızca gerçek kimlik bilgilerine sahip olduğunuz ortam değişkenlerini ayarlayın. Yer tutucu değerler bırakmak, çalışmayan araçların kullanıma sunulmasına neden olur.
uvx ile yapılandırma
PyPI paketini kurar ve otomatik olarak çalıştırır:
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
Yerel bir kopya ile yapılandırma
Geliştirme için kullanışlıdır — sunucuyu bu deponun yerel bir kopyasından çalıştırır:
{
"mcpServers": {
"oxylabs": {
"command": "uv",
"args": [
"--directory",
"/<absolute-path-to-folder>/oxylabs-mcp",
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
Uzak HTTP sunucusu olarak çalıştırma (kendi kendine barındırma)
Sunucu ayrıca MCP akışı yapılabilir HTTP taşımasını destekler. Şununla başlatın:
MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp
HTTP taşımasında, kimlik bilgileri ortam değişkenleri yerine her istekte iletilir:
| Kimlik Bilgisi | Nasıl İletilir |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)> (standart HTTP Temel kimlik doğrulaması) |
| Web Scraper API (alternatif) | X-Oxylabs-Username ve X-Oxylabs-Password başlıkları |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key başlığı |
Örnek istemci yapılandırması:
{
"mcpServers": {
"oxylabs": {
"url": "https://your-host:8000/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
Sağlanan kimlik bilgilerinden bağımsız olarak tüm araçlar her zaman listelenir; ihtiyaç duyduğu kimlik bilgileri olmadan bir aracı çağırmak, tam olarak ne yapılandırılacağını açıklayan bir hata mesajı döndürür.
Claude Desktop ile Kurulum
Claude → Settings → Developer → Edit Config bölümüne gidin ve yukarıdaki yapılandırmalardan birini claude_desktop_config.json dosyasına ekleyin.
Cursor AI ile Kurulum
Cursor → Settings → Cursor Settings → MCP bölümüne gidin. Add new global MCP server seçeneğine tıklayın ve yukarıdaki yapılandırmalardan birini ekleyin.
📝 Günlük Kaydı
Sunucu, notification/message olaylarında araç çağrıları hakkında ek bilgi sağlar:
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
✨ Temel Özellikler
Herhangi bir siteden içerik kazıyın
- Karmaşık tek sayfalık uygulamalar dahil herhangi bir URL'den veri çıkarın
- Başsız tarayıcı desteğiyle dinamik web sitelerini tamamen render edin
- Tam JavaScript render etme, yalnızca HTML veya hiçbiri arasından seçim yapın
- Gerçekçi render için Mobil ve Masaüstü görünüm alanlarını öykünün
Otomatik olarak yapay zekaya hazır veri alın
- Okunabilirliği artırmak için HTML'i otomatik olarak temizleyin ve Markdown'a dönüştürün
- Google, Amazon ve daha fazlası gibi popüler hedefler için otomatik ayrıştırıcılar kullanın
CAPTCHA ve coğrafi kısıtlamaları yönetin
- Yüksek başarı oranıyla gelişmiş otomatik istek yönetimi sistemlerinde gezinin
- En karmaşık web sitelerini bile güvenilir şekilde kazıyın
- 195'ten fazla ülkeyi kapsayan bir proxy havuzundan otomatik dönen IP'ler edinin
Esnek kurulum ve platformlar arası destek
- Gerekirse render ve ayrıştırma seçeneklerini ayarlayın
- Verileri doğrudan yapay zeka modellerine veya analitik araçlarına besleyin
- macOS, Windows ve Linux'ta çalışır
Yerleşik hata işleme ve istek yönetimi
- Kapsamlı hata işleme ve raporlama
- Akıllı hız sınırlama ve istek yönetimi
Neden Oxylabs MCP? 🕸️ ➜ 📦 ➜ 🤖
LLM'nize "GPT‑5 hakkındaki en son Hacker News tartışmasını özetle" dediğinizi hayal edin – ve o basitçe cevap verir. Oxylabs MCP sunucusu, sizin için sıkıcı kısımları yaparak bunu gerçekleştirir:
| Oxylabs MCP ne yapar | Neden sizin için önemli |
|---|---|
| Otomatik istek duvarlarını yönetir Oxylabs global proxy ağı ile | Web sitesi erişimi ve anonimlik sağlar |
| JavaScript'i render eder başsız Chrome'da | Tek sayfalık uygulamalar, halledildi |
| HTML'i temizler → Markdown | Doğrudan vektör veritabanlarına veya istemlere bırakın |
| İsteğe bağlı yapılandırılmış ayrıştırıcılar (Google, Amazon, vb.) | Popüler hedeflere tek satır erişim |
🛡️ Lisans
MIT Lisansı altında dağıtılmaktadır – ayrıntılar için LICENSE bölümüne bakın.
Oxylabs Hakkında
2015 yılında kurulan Oxylabs, en yüksek iş, etik ve uyumluluk standartlarıyla yönlendirilen, dünya çapındaki şirketlerin veri odaklı içgörüler elde etmesini sağlayan, pazarda lider bir web istihbaratı toplama platformudur.
mcp-name: io.oxylabs/oxylabs-mcp
