Oxylabs

resmi

Oxylabs Web API ile web sitelerini kazıyın, dinamik işleme ve yapılandırılmış veri çıkarma için ayrıştırmayı destekler.

Oxylabs MCP ile neler yapabilirsiniz?

  • Herhangi bir URL'yi kazıyın — Asistanınızdan universal_scraper kullanarak herhangi bir web sayfasından içerik getirmesini ve çıkarmasını isteyin; isteğe bağlı JavaScript oluşturma ve coğrafi hedefleme desteğiyle.
  • Google ve Amazon'da arama yapın — Bu platformlardan yapılandırılmış sonuçlar almak için google_search_scraper, amazon_search_scraper veya amazon_product_scraper kullanın.
  • Yapay zeka destekli çıkarma — Herhangi bir URL'yi kazımak ve verileri JSON, CSV, Markdown veya TOON formatlarında döndürmek için ai_scraper kullanın.
  • Web sitelerini tarayın ve haritalayın — Bir başlangıç URL'sinden birden fazla sayfada veri toplamak için ai_crawler veya anahtar kelimelere göre filtrelenmiş site URL'lerini listelemek için ai_map kullanın.
  • Tarayıcı görevlerini otomatikleştirin — Gezinme, tıklama ve form doldurma işlemlerini, bir istem temelinde gerçek bir tarayıcıyı kontrol eden ai_browser_agent'a devredin.
  • Çıkarma şemaları oluşturun — AI araçlarıyla veri çıkarmayı yapılandırmak için generate_schema aracılığıyla OpenAPI formatında bir JSON şeması isteyin.

Dokümantasyon

Oxylabs + MCP

Oxylabs MCP Sunucusu

Yapay zeka modelleri ile gerçek dünya web'i arasındaki eksik halka: herhangi bir siteden temiz, yapılandırılmış veri sunan tek bir API.


📖 Genel Bakış

Oxylabs MCP sunucusu, yapay zeka modelleri ile web arasında bir köprü sağlar. Herhangi bir URL'yi kazımayı, JavaScript ağırlıklı sayfaları işlemeyi, yapay zeka kullanımı için içerik çıkarmayı ve biçimlendirmeyi, CAPTCHA yönetimini ve 195'ten fazla ülkeden coğrafi kısıtlı web verilerine erişimi mümkün kılar.

Yapay zeka asistanlarını harici araçlara ve verilere bağlamak için açık standart olan Model Context Protocol (MCP) üzerine inşa edilmiştir.

🛠️ MCP Araçları

Oxylabs MCP, birlikte veya bağımsız olarak kullanılabilen iki araç seti sağlar:

Oxylabs Web Scraper API araçları

  1. universal_scraper: isteğe bağlı JavaScript işleme, coğrafi hedefleme ve Markdown/HTML/bağlantı çıktısı ile herhangi bir URL'yi kazır;
  2. google_search_scraper: isteğe bağlı olarak yapılandırılmış JSON'a ayrıştırma ile Google Arama sonuçlarını çıkarır;
  3. amazon_search_scraper: isteğe bağlı olarak yapılandırılmış JSON'a ayrıştırma ile Amazon arama sonuç sayfalarını kazır;
  4. amazon_product_scraper: bireysel Amazon ürün sayfalarından veri çıkarır.

Oxylabs AI Studio araçları

  1. ai_scraper: JSON, CSV, Markdown veya TOON formatında yapay zeka destekli çıkarma ile herhangi bir URL'den içerik kazır;
  2. ai_crawler: bir başlangıç URL'sinden bir istem temelinde bir web sitesini tarar ve birden çok sayfada veri toplar;
  3. ai_browser_agent: bir istem temelinde gerçek bir tarayıcıyı kontrol eder — gezinir, tıklar, formları doldurur — ve sonucu döndürür;
  4. ai_search: web'de arama yapar ve isteğe bağlı olarak her sonucun Markdown içeriğini döndürür;
  5. ai_map: anahtar kelimelere veya bir isteme göre filtrelenmiş bir web sitesinin URL'lerini haritalar;
  6. generate_schema: yukarıdaki yapay zeka araçlarıyla yapılandırılmış çıkarma için OpenAPI formatında bir JSON şeması oluşturur.

✅ Ön Koşullar

Başlamadan önce aşağıdakilerden en az birine sahip olduğunuzdan emin olun:

  • Oxylabs Web Scraper API hesabı: kullanıcı adınızı ve şifrenizi Oxylabs adresinden edinin (1 haftalık ücretsiz deneme mevcuttur);
  • Oxylabs AI Studio API anahtarı: API anahtarınızı Oxylabs AI Studio adresinden edinin (1000 kredi ücretsiz).

Sunucuyu yerel olarak çalıştırmak için (aşağıdaki Seçenek 2) ayrıca uv paket yöneticisine ihtiyacınız olacaktır:

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 Yapılandırma

Sunucuyu kullanmanın iki yolu vardır: barındırılan örneğe bağlanın (kurulum gerekmez) veya ortam değişkenlerinde kimlik bilgileriyle yerel olarak çalıştırın.

Seçenek 1: Barındırılan sunucu (kurulum gerekmez)

Oxylabs, aşağıdaki adreste barındırılan bir MCP sunucusu çalıştırır:

https://mcp.oxylabs.io/mcp

Kimlik bilgileri istek başlıklarıyla iletilir:

Kimlik BilgisiBaşlık
Web Scraper APIAuthorization: Basic <base64(username:password)>
Web Scraper API (alternatif)X-Oxylabs-Username ve X-Oxylabs-Password
AI StudioX-Oxylabs-AI-Studio-Api-Key

Claude Code ile kurulum:

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

Cursor veya özel başlıkları destekleyen herhangi bir uzak MCP sunucusu istemcisi ile kurulum:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Sunucu ayrıca Smithery üzerinde listelenmiştir.

Not: uzak sunucular için yalnızca OAuth'u destekleyen istemciler (örneğin, claude.ai web arayüzüne özel bir bağlayıcı ekleme) henüz başlık iletemez — OAuth oturum açma yol haritamızda. Bu arada bu istemcilerle aşağıdaki yerel kurulumu kullanın.

Seçenek 2: Yerel olarak çalıştırın

Ortam değişkenleri

Oxylabs MCP sunucusu aşağıdaki ortam değişkenlerini destekler:

AdAçıklamaVarsayılan
OXYLABS_USERNAMEOxylabs Web Scraper API kullanıcı adınız
OXYLABS_PASSWORDOxylabs Web Scraper API şifreniz
OXYLABS_AI_STUDIO_API_KEYOxylabs AI Studio API anahtarınız
LOG_LEVELİstemciye döndürülen günlükler için günlük düzeyiINFO

Sağlanan kimlik bilgilerine bağlı olarak, sunucu ilgili araçları otomatik olarak kullanıma sunar:

  • Yalnızca OXYLABS_USERNAME ve OXYLABS_PASSWORD sağlanırsa, sunucu Web Scraper API araçlarını kullanıma sunar;
  • Yalnızca OXYLABS_AI_STUDIO_API_KEY sağlanırsa, sunucu AI Studio araçlarını kullanıma sunar;
  • Üçü de sağlanırsa, sunucu tüm araçları kullanıma sunar.

❗ Önemli: yalnızca gerçek kimlik bilgilerine sahip olduğunuz ortam değişkenlerini ayarlayın. Yer tutucu değerler bırakmak, çalışmayan araçların kullanıma sunulmasına neden olur.

uvx ile yapılandırın

PyPI paketini yükler ve otomatik olarak çalıştırır:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Yerel bir kopya ile yapılandırın

Geliştirme için kullanışlıdır — sunucuyu bu deponun yerel bir kopyasından çalıştırır:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Uzak bir HTTP sunucusu olarak çalıştırma (kendi kendine barındırma)

Sunucu ayrıca MCP akışı yapılabilir HTTP taşımasını destekler. Şununla başlatın:

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

HTTP taşımasıyla, kimlik bilgileri ortam değişkenleri yerine istek başına iletilir:

Kimlik BilgisiNasıl iletileceği
Web Scraper APIAuthorization: Basic <base64(username:password)> (standart HTTP Temel kimlik doğrulaması)
Web Scraper API (alternatif)X-Oxylabs-Username ve X-Oxylabs-Password başlıkları
AI StudioX-Oxylabs-AI-Studio-Api-Key başlığı

Örnek istemci yapılandırması:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Sağlanan kimlik bilgilerinden bağımsız olarak tüm araçlar her zaman listelenir; gereken kimlik bilgileri olmadan bir aracı çağırmak, tam olarak neyin yapılandırılacağını açıklayan bir hata mesajı döndürür.

Claude Desktop ile kurulum

Claude → Ayarlar → Geliştirici → Yapılandırmayı Düzenle seçeneğine gidin ve yukarıdaki yapılandırmalardan birini claude_desktop_config.json dosyasına ekleyin.

Cursor AI ile kurulum

Cursor → Ayarlar → Cursor Ayarları → MCP seçeneğine gidin. Yeni genel MCP sunucusu ekle'ye tıklayın ve yukarıdaki yapılandırmalardan birini ekleyin.

📝 Günlük Kaydı

Sunucu, notification/message olaylarında araç çağrıları hakkında ek bilgi sağlar:

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ Temel Özellikler

Herhangi bir siteden içerik kazıyın
  • Karmaşık tek sayfa uygulamaları dahil herhangi bir URL'den veri çıkarın
  • Başsız tarayıcı desteğiyle dinamik web sitelerini tamamen işleyin
  • Tam JavaScript işleme, yalnızca HTML veya hiçbiri arasında seçim yapın
  • Gerçekçi işleme için Mobil ve Masaüstü görünüm alanlarını taklit edin
Otomatik olarak yapay zekaya hazır veri alın
  • Okunabilirliği artırmak için HTML'yi otomatik olarak temizleyin ve Markdown'a dönüştürün
  • Google, Amazon ve daha fazlası gibi popüler hedefler için otomatik ayrıştırıcılar kullanın
CAPTCHA ve coğrafi kısıtlamaları yönetin
  • Yüksek başarı oranıyla gelişmiş otomatik istek yönetim sistemlerinde gezinin
  • En karmaşık web sitelerini bile güvenilir şekilde kazıyın
  • 195'ten fazla ülkeyi kapsayan bir proxy havuzundan otomatik dönen IP'ler alın
Esnek kurulum ve çapraz platform desteği
  • Gerekirse işleme ve ayrıştırma seçeneklerini ayarlayın
  • Verileri doğrudan yapay zeka modellerine veya analitik araçlarına besleyin
  • macOS, Windows ve Linux üzerinde çalışır
Yerleşik hata işleme ve istek yönetimi
  • Kapsamlı hata işleme ve raporlama
  • Akıllı hız sınırlama ve istek yönetimi

Neden Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

LLM'nize "GPT‑5 hakkındaki en son Hacker News tartışmasını özetle" dediğinizi hayal edin – ve sadece yanıtlasın. Oxylabs MCP sunucusu, sıkıcı kısımları sizin için yaparak bunu gerçekleştirir:

Oxylabs MCP'nin yaptığıSizin için neden önemli
Otomatik istek duvarlarını Oxylabs global proxy ağıyla yönetirWeb sitesi erişimi ve anonimlik sağlar
JavaScript'i başsız Chrome'da işlerTek sayfa uygulamalar, çözüldü
HTML → Markdown temizlerDoğrudan vektör DB'lerine veya istemlere bırakın
İsteğe bağlı yapılandırılmış ayrıştırıcılar (Google, Amazon, vb.)Popüler hedeflere tek satırda erişim

🛡️ Lisans

MIT Lisansı altında dağıtılır – ayrıntılar için LICENSE bölümüne bakın.


Oxylabs Hakkında

2015 yılında kurulan Oxylabs, en yüksek iş, etik ve uyumluluk standartlarıyla yönlendirilen, dünya çapındaki şirketlerin veri odaklı içgörüler elde etmesini sağlayan, pazarda lider bir web istihbarat toplama platformudur.

image

Oxylabs tarafından ☕ ile yapıldı. MCP size bir hafta sonu kazandırdıysa bize bir ⭐ vermekten çekinmeyin.

mcp-name: io.oxylabs/oxylabs-mcp

Bu MCP'ye dayalı çözümler:

Michelin Detour