Oxylabs

resmi

Oxylabs Web API ile web sitelerini kazıyın, dinamik işleme ve yapılandırılmış veri çıkarma için ayrıştırmayı destekler.

Oxylabs MCP ile neler yapabilirsiniz?

Yapay zeka asistanınıza Oxylabs'ın kazıma ve yapay zeka araçlarını kullanarak yapılandırılmış web verilerini kazımasını, aramasını ve çıkarmasını isteyin.

  • Herhangi bir URL'yi kazıyın — İsteğe bağlı JavaScript oluşturma ve coğrafi hedefleme ile bir sayfayı getirmek için universal_scraper kullanın; Markdown, HTML veya bağlantılar döndürür.
  • Google sonuçlarını çıkarın — Arama sonuçlarını çekmek ve bunları yapılandırılmış JSON'a ayrıştırmak için google_search_scraper kullanın.
  • Yapay zeka destekli çıkarma — Herhangi bir URL'den içeriği JSON, CSV, Markdown veya TOON formatına çıkarmak için ai_scraper kullanın.
  • Bir web sitesini tarayın — Bir başlangıç URL'sinden bir istem temelinde tarama yapmak ve birden fazla sayfada veri toplamak için ai_crawler kullanın.
  • Bir tarayıcıyı kontrol edin — Bir istem temelinde gerçek bir tarayıcıda gezinmek, tıklamak ve formları doldurmak için ai_browser_agent kullanın.

Dokümantasyon

Oxylabs + MCP

Oxylabs MCP Sunucusu

Yapay zeka modelleri ile gerçek dünya web'i arasındaki eksik halka: herhangi bir siteden temiz, yapılandırılmış veri sunan tek bir API.


📖 Genel Bakış

Oxylabs MCP sunucusu, yapay zeka modelleri ile web arasında bir köprü sağlar. Herhangi bir URL'yi kazımayı, JavaScript ağırlıklı sayfaları render etmeyi, içeriği yapay zeka kullanımı için çıkarmayı ve biçimlendirmeyi, CAPTCHA'yı yönetmeyi ve 195'ten fazla ülkeden coğrafi kısıtlamalı web verilerine erişmeyi mümkün kılar.

Yapay zeka asistanlarını harici araçlara ve verilere bağlamak için açık standart olan Model Context Protocol (MCP) üzerine inşa edilmiştir.

🛠️ MCP Araçları

Oxylabs MCP, birlikte veya bağımsız olarak kullanılabilen iki araç seti sağlar:

Oxylabs Web Scraper API araçları

  1. universal_scraper: isteğe bağlı JavaScript render etme, coğrafi hedefleme ve Markdown/HTML/bağlantı çıktısı ile herhangi bir URL'yi kazır;
  2. google_search_scraper: Google Arama'dan sonuçları çıkarır, isteğe bağlı olarak yapılandırılmış JSON'a ayrıştırır;
  3. amazon_search_scraper: Amazon arama sonucu sayfalarını kazır, isteğe bağlı olarak yapılandırılmış JSON'a ayrıştırır;
  4. amazon_product_scraper: Tek tek Amazon ürün sayfalarından veri çıkarır.

Oxylabs AI Studio araçları

  1. ai_scraper: yapay zeka destekli çıkarma ile herhangi bir URL'den içerik kazır; JSON, CSV, Markdown veya TOON formatında;
  2. ai_crawler: bir istem temelinde başlangıç URL'sinden bir web sitesini tarar ve birden çok sayfada veri toplar;
  3. ai_browser_agent: bir isteme dayalı olarak gerçek bir tarayıcıyı kontrol eder — gezinir, tıklar, formları doldurur — ve sonucu döndürür;
  4. ai_search: web'de arama yapar ve isteğe bağlı olarak her sonucun Markdown içeriğini döndürür;
  5. ai_map: anahtar kelimeler veya bir istemle filtrelenmiş bir web sitesinin URL'lerini haritalar;
  6. generate_schema: yukarıdaki yapay zeka araçlarıyla yapılandırılmış çıkarma için OpenAPI formatında bir JSON şeması oluşturur.

✅ Ön Koşullar

Başlamadan önce aşağıdakilerden en az birine sahip olduğunuzdan emin olun:

  • Oxylabs Web Scraper API hesabı: kullanıcı adınızı ve şifrenizi Oxylabs adresinden edinin (1 haftalık ücretsiz deneme mevcuttur);
  • Oxylabs AI Studio API anahtarı: API anahtarınızı Oxylabs AI Studio adresinden edinin (1000 kredi ücretsiz).

Sunucuyu çalıştırmak için ayrıca uv paket yöneticisine ihtiyacınız olacak:

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 Yapılandırma

Ortam değişkenleri

Oxylabs MCP sunucusu aşağıdaki ortam değişkenlerini destekler:

AdAçıklamaVarsayılan
OXYLABS_USERNAMEOxylabs Web Scraper API kullanıcı adınız
OXYLABS_PASSWORDOxylabs Web Scraper API şifreniz
OXYLABS_AI_STUDIO_API_KEYOxylabs AI Studio API anahtarınız
LOG_LEVELİstemciye döndürülen günlükler için günlük düzeyiINFO

Sağlanan kimlik bilgilerine bağlı olarak, sunucu ilgili araçları otomatik olarak kullanıma sunar:

  • Yalnızca OXYLABS_USERNAME ve OXYLABS_PASSWORD sağlanırsa, sunucu Web Scraper API araçlarını kullanıma sunar;
  • Yalnızca OXYLABS_AI_STUDIO_API_KEY sağlanırsa, sunucu AI Studio araçlarını kullanıma sunar;
  • Üçü de sağlanırsa, sunucu tüm araçları kullanıma sunar.

Önemli: yalnızca gerçek kimlik bilgilerine sahip olduğunuz ortam değişkenlerini ayarlayın. Yer tutucu değerler bırakmak, çalışmayan araçların kullanıma sunulmasına neden olur.

uvx ile yapılandırma

PyPI paketini kurar ve otomatik olarak çalıştırır:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Yerel bir kopya ile yapılandırma

Geliştirme için kullanışlıdır — sunucuyu bu deponun yerel bir kopyasından çalıştırır:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Uzak HTTP sunucusu olarak çalıştırma (kendi kendine barındırma)

Sunucu ayrıca MCP akışı yapılabilir HTTP taşımasını destekler. Şununla başlatın:

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

HTTP taşımasında, kimlik bilgileri ortam değişkenleri yerine her istekte iletilir:

Kimlik BilgisiNasıl İletilir
Web Scraper APIAuthorization: Basic <base64(username:password)> (standart HTTP Temel kimlik doğrulaması)
Web Scraper API (alternatif)X-Oxylabs-Username ve X-Oxylabs-Password başlıkları
AI StudioX-Oxylabs-AI-Studio-Api-Key başlığı

Örnek istemci yapılandırması:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Sağlanan kimlik bilgilerinden bağımsız olarak tüm araçlar her zaman listelenir; ihtiyaç duyduğu kimlik bilgileri olmadan bir aracı çağırmak, tam olarak ne yapılandırılacağını açıklayan bir hata mesajı döndürür.

Claude Desktop ile Kurulum

Claude → Settings → Developer → Edit Config bölümüne gidin ve yukarıdaki yapılandırmalardan birini claude_desktop_config.json dosyasına ekleyin.

Cursor AI ile Kurulum

Cursor → Settings → Cursor Settings → MCP bölümüne gidin. Add new global MCP server seçeneğine tıklayın ve yukarıdaki yapılandırmalardan birini ekleyin.

📝 Günlük Kaydı

Sunucu, notification/message olaylarında araç çağrıları hakkında ek bilgi sağlar:

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ Temel Özellikler

Herhangi bir siteden içerik kazıyın
  • Karmaşık tek sayfalık uygulamalar dahil herhangi bir URL'den veri çıkarın
  • Başsız tarayıcı desteğiyle dinamik web sitelerini tamamen render edin
  • Tam JavaScript render etme, yalnızca HTML veya hiçbiri arasından seçim yapın
  • Gerçekçi render için Mobil ve Masaüstü görünüm alanlarını öykünün
Otomatik olarak yapay zekaya hazır veri alın
  • Okunabilirliği artırmak için HTML'i otomatik olarak temizleyin ve Markdown'a dönüştürün
  • Google, Amazon ve daha fazlası gibi popüler hedefler için otomatik ayrıştırıcılar kullanın
CAPTCHA ve coğrafi kısıtlamaları yönetin
  • Yüksek başarı oranıyla gelişmiş otomatik istek yönetimi sistemlerinde gezinin
  • En karmaşık web sitelerini bile güvenilir şekilde kazıyın
  • 195'ten fazla ülkeyi kapsayan bir proxy havuzundan otomatik dönen IP'ler edinin
Esnek kurulum ve platformlar arası destek
  • Gerekirse render ve ayrıştırma seçeneklerini ayarlayın
  • Verileri doğrudan yapay zeka modellerine veya analitik araçlarına besleyin
  • macOS, Windows ve Linux'ta çalışır
Yerleşik hata işleme ve istek yönetimi
  • Kapsamlı hata işleme ve raporlama
  • Akıllı hız sınırlama ve istek yönetimi

Neden Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

LLM'nize "GPT‑5 hakkındaki en son Hacker News tartışmasını özetle" dediğinizi hayal edin – ve o basitçe cevap verir. Oxylabs MCP sunucusu, sizin için sıkıcı kısımları yaparak bunu gerçekleştirir:

Oxylabs MCP ne yaparNeden sizin için önemli
Otomatik istek duvarlarını yönetir Oxylabs global proxy ağı ileWeb sitesi erişimi ve anonimlik sağlar
JavaScript'i render eder başsız Chrome'daTek sayfalık uygulamalar, halledildi
HTML'i temizler → MarkdownDoğrudan vektör veritabanlarına veya istemlere bırakın
İsteğe bağlı yapılandırılmış ayrıştırıcılar (Google, Amazon, vb.)Popüler hedeflere tek satır erişim

🛡️ Lisans

MIT Lisansı altında dağıtılmaktadır – ayrıntılar için LICENSE bölümüne bakın.


Oxylabs Hakkında

2015 yılında kurulan Oxylabs, en yüksek iş, etik ve uyumluluk standartlarıyla yönlendirilen, dünya çapındaki şirketlerin veri odaklı içgörüler elde etmesini sağlayan, pazarda lider bir web istihbaratı toplama platformudur.

image

☕ ile Oxylabs tarafından yapıldı. MCP size bir hafta sonu kazandırdıysa bize ⭐ vermekten çekinmeyin.

mcp-name: io.oxylabs/oxylabs-mcp