Oxylabs

resmi

Oxylabs Web API ile web sitelerini kazıyın, dinamik işleme ve yapılandırılmış veri çıkarma için ayrıştırmayı destekler.

Oxylabs MCP ile neler yapabilirsiniz?

  • Herhangi bir URL’yi kazıyın — İsteğe bağlı JavaScript işleme, coğrafi hedefleme ve Markdown, HTML veya bağlantı çıktısıyla bir sayfayı alın.
  • Google ve Amazon’da arama yapın — Google Arama, Amazon arama ve Amazon ürün sayfası sonuçlarını alın; isteğe bağlı olarak yapılandırılmış JSON’a dönüştürün.
  • Yapay zekâ ile veri çıkarma — Yapay zekâ destekli veri çıkarma ile bir URL’yi kazıyın ve verileri JSON, CSV, Markdown veya TOON olarak döndürün.
  • Bir siteyi tarayın — Bir başlangıç URL’sinden isteme göre tarama yapın ve birden fazla sayfadaki verileri toplayın.
  • Bir tarayıcıyı yönetin — Gerçek bir tarayıcının isteme göre gezinmesini, tıklamasını ve formları doldurmasını sağlayın, ardından sonucu alın.
  • Haritalama ve arama — Bir sitenin URL’lerini anahtar kelimeye veya isteme göre filtreleyerek haritalayın ya da web’de arama yapıp her sonucun Markdown çıktısını alın.

Dokümantasyon

Oxylabs + MCP

Oxylabs MCP Server

Yapay zekâ modelleri ile gerçek dünya web’i arasındaki eksik bağlantı: Herhangi bir siteden temiz ve yapılandırılmış veriler sunan tek bir API.


Sorumluluk Reddi

Bu depo hâlâ tam olarak desteklenmektedir; ancak Oxylabs Web API kullanıyorsanız lütfen Web API MCP deposuna başvurun: Web API MCP

📖 Genel Bakış

Oxylabs MCP sunucusu, yapay zekâ modelleri ile web arasında bir köprü sağlar. Modellerin herhangi bir URL’yi taramasına, JavaScript ağırlıklı sayfaları görüntülemesine, içeriği yapay zekâ kullanımına uygun biçimde çıkarmasına ve biçimlendirmesine, CAPTCHA işlemlerini yönetmesine ve 195’ten fazla ülkedeki coğrafi kısıtlamalı web verilerine erişmesine olanak tanır.

Yapay zekâ asistanlarını harici araçlara ve verilere bağlamak için kullanılan açık standart Model Context Protocol (MCP) üzerine kurulmuştur.

mcp-name: io.oxylabs/oxylabs-mcp

🛠️ MCP Araçları

Oxylabs MCP, birlikte veya bağımsız olarak kullanılabilen iki araç grubu sunar:

Oxylabs Web Scraper API araçları

  1. universal_scraper: İsteğe bağlı JavaScript görüntüleme, coğrafi hedefleme ve Markdown/HTML/bağlantı çıktısıyla herhangi bir URL’yi tarar;
  2. google_search_scraper: Google Arama sonuçlarını çıkarır ve isteğe bağlı olarak yapılandırılmış JSON’a ayrıştırır;
  3. amazon_search_scraper: Amazon arama sonuçları sayfalarını tarar ve isteğe bağlı olarak yapılandırılmış JSON’a ayrıştırır;
  4. amazon_product_scraper: Tek tek Amazon ürün sayfalarından veri çıkarır.

Oxylabs AI Studio araçları

  1. ai_scraper: Herhangi bir URL’deki içeriği yapay zekâ destekli çıkarımla JSON, CSV, Markdown veya TOON biçiminde tarar;
  2. ai_crawler: Bir başlangıç URL’sinden hareketle bir web sitesini isteme göre tarar ve birden fazla sayfadaki verileri toplar;
  3. ai_browser_agent: Gerçek bir tarayıcıyı isteme göre kontrol eder — sayfalarda gezinir, tıklar, formları doldurur ve sonucu döndürür;
  4. ai_search: Web’de arama yapar ve isteğe bağlı olarak her sonucun Markdown içeriğini döndürür;
  5. ai_map: Bir web sitesinin URL’lerini anahtar kelimelere veya bir isteme göre filtreleyerek haritalandırır;
  6. generate_schema: Yukarıdaki yapay zekâ araçlarıyla yapılandırılmış veri çıkarımı için OpenAPI biçiminde bir JSON şeması oluşturur.

✅ Ön Koşullar

Başlamadan önce aşağıdakilerden en az birine sahip olduğunuzdan emin olun:

  • Oxylabs Web Scraper API hesabı: Oxylabs kontrol panelinden bir API belirteci (veya kullanıcı adınız ile parolanızı) alın (1 haftalık ücretsiz deneme mevcuttur);
  • Oxylabs AI Studio API anahtarı: API anahtarınızı Oxylabs AI Studio üzerinden alın (1000 ücretsiz kredi).

Sunucuyu yerel olarak çalıştırmak için (aşağıdaki 2. Seçenek) uv paket yöneticisine de ihtiyacınız olacaktır:

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 Yapılandırma

Sunucuyu kullanmanın iki yolu vardır: barındırılan örneğe bağlanmak (kurulum gerekmez) veya kimlik bilgilerini ortam değişkenlerinde belirterek yerel olarak çalıştırmak.

Seçenek 1: Barındırılan sunucu (kurulum gerekmez)

Oxylabs, aşağıdaki adreste barındırılan bir MCP sunucusu çalıştırır:

https://mcp.oxylabs.io/mcp

Kimlik bilgileri istek başlıklarıyla iletilir:

Kimlik bilgisiBaşlık
Web Scraper API belirteci (önerilen)Authorization: Bearer <token>
Web Scraper API belirteci (alternatif)X-Oxylabs-Api-Token
Web Scraper API kullanıcı adı ve parolasıAuthorization: Basic <base64(username:password)>
Web Scraper API kullanıcı adı ve parolası (alternatif)X-Oxylabs-Username ve X-Oxylabs-Password
AI StudioX-Oxylabs-AI-Studio-Api-Key

Hem API belirteci hem de kullanıcı adı ve parola iletilirse belirteç kullanılır.

Claude Code ile kurulum:

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Bearer YOUR_API_TOKEN" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

Cursor veya özel başlıklarla uzak MCP sunucularını destekleyen herhangi bir istemciyle kurulum:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_TOKEN",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Sunucu ayrıca Smithery üzerinde de listelenmiştir.

Not: Uzak sunucular için yalnızca OAuth’u destekleyen istemciler (örneğin, claude.ai web arayüzüne özel bir bağlayıcı eklemek) henüz başlık iletemez — OAuth ile oturum açma yol haritamızda yer alıyor. Bu istemcilerle şimdilik aşağıdaki yerel kurulumu kullanın.

Seçenek 2: Yerel olarak çalıştırma

Ortam değişkenleri

Oxylabs MCP sunucusu aşağıdaki ortam değişkenlerini destekler:

AdAçıklamaVarsayılan
OXYLABS_API_TOKENOxylabs Web Scraper API belirteciniz
OXYLABS_USERNAMEOxylabs Web Scraper API kullanıcı adınız
OXYLABS_PASSWORDOxylabs Web Scraper API parolanız
OXYLABS_AI_STUDIO_API_KEYOxylabs AI Studio API anahtarınız
LOG_LEVELİstemciye döndürülen günlükler için günlük düzeyiINFO

Web Scraper API araçları için OXYLABS_API_TOKEN değişkenini veya hem OXYLABS_USERNAME hem de OXYLABS_PASSWORD değişkenlerini ayarlayın. İkisi de ayarlanırsa belirteç kullanılır. AI Studio araçları için OXYLABS_AI_STUDIO_API_KEY değişkenini ayarlayın.

Tüm araçlar her zaman listelenir; ihtiyaç duyduğu kimlik bilgileri olmadan bir araç çağrıldığında, neyin yapılandırılması gerektiğini açıklayan bir hata mesajı döndürülür.

❗ Önemli: Yalnızca gerçek kimlik bilgilerine sahip olduğunuz ortam değişkenlerini ayarlayın. Yer tutucu değerler araç çağrılarının başarısız olmasına neden olur.

uvx ile yapılandırma

PyPI paketini yükler ve otomatik olarak çalıştırır:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Yerel bir kopyayla yapılandırma

Geliştirme için kullanışlıdır — sunucuyu bu deponun yerel bir klonundan çalıştırır:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_API_TOKEN": "YOUR_API_TOKEN",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Uzak HTTP sunucusu olarak çalıştırma (kendi sunucunuzu barındırma)

Sunucu, MCP streamable-HTTP aktarımını da destekler. Şu komutla başlatın:

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

HTTP aktarımında kimlik bilgileri ortam değişkenleri yerine her istekle birlikte iletilir:

Kimlik bilgisiİletme yöntemi
Web Scraper API belirteci (önerilen)Authorization: Bearer <token>
Web Scraper API belirteci (alternatif)X-Oxylabs-Api-Token başlığı
Web Scraper API kullanıcı adı ve parolasıAuthorization: Basic <base64(username:password)> (HTTP Basic kimlik doğrulaması)
Web Scraper API kullanıcı adı ve parolası (alternatif)X-Oxylabs-Username ve X-Oxylabs-Password başlıkları
AI StudioX-Oxylabs-AI-Studio-Api-Key başlığı

Örnek istemci yapılandırması:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_TOKEN",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Sağlanan kimlik bilgilerinden bağımsız olarak tüm araçlar her zaman listelenir; ihtiyaç duyduğu kimlik bilgileri olmadan bir araç çağrıldığında, tam olarak neyin yapılandırılması gerektiğini açıklayan bir hata mesajı döndürülür.

Claude Desktop ile kurulum

Claude → Settings → Developer → Edit Config bölümüne gidin ve yukarıdaki yapılandırmalardan birini claude_desktop_config.json dosyasına ekleyin.

Cursor AI ile kurulum

Cursor → Settings → Cursor Settings → MCP bölümüne gidin. Add new global MCP server seçeneğine tıklayın ve yukarıdaki yapılandırmalardan birini ekleyin.

📝 Günlük Kaydı

Sunucu, notification/message olaylarında araç çağrıları hakkında ek bilgiler sağlar:

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ Temel Özellikler

Herhangi bir siteden içerik tarayın
  • Karmaşık tek sayfalı uygulamalar da dahil olmak üzere herhangi bir URL’den veri çıkarın
  • Başsız tarayıcı desteğiyle dinamik web sitelerini tamamen görüntüleyin
  • Tam JavaScript görüntüleme, yalnızca HTML veya hiçbiri seçeneklerinden birini belirleyin
  • Gerçekçi görüntüleme için mobil ve masaüstü görünümlerini taklit edin
Yapay zekâya hazır verileri otomatik olarak alın
  • Daha iyi okunabilirlik için HTML’yi otomatik olarak temizleyip Markdown’a dönüştürün
  • Google, Amazon ve diğer popüler hedefler için otomatik ayrıştırıcıları kullanın
CAPTCHA ve coğrafi kısıtlamaları yönetin
  • Gelişmiş otomatik istek yönetimi sistemlerinde yüksek başarı oranıyla gezinin
  • En karmaşık web sitelerini bile güvenilir biçimde tarayın
  • 195’ten fazla ülkeyi kapsayan bir proxy havuzundan otomatik olarak değişen IP’ler edinin
Esnek kurulum ve platformlar arası destek
  • Gerekirse görüntüleme ve ayrıştırma seçeneklerini ayarlayın
  • Verileri doğrudan yapay zekâ modellerine veya analiz araçlarına aktarın
  • macOS, Windows ve Linux’ta çalışır
Yerleşik hata işleme ve istek yönetimi
  • Kapsamlı hata işleme ve raporlama
  • Akıllı hız sınırlama ve istek yönetimi

Neden Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

LLM’nize "GPT‑5 hakkındaki en son Hacker News tartışmasını özetle" dediğinizi ve onun da yanıt verdiğini hayal edin. Oxylabs MCP sunucusu, sıkıcı işleri sizin yerinize yaparak bunu mümkün kılar:

Oxylabs MCP ne yaparSize neden fayda sağlar
Oxylabs’ın küresel proxy ağıyla otomatik istek engellerini yönetirWeb sitelerine erişim ve anonimlik sağlar
Başsız Chrome’da JavaScript’i görüntülerTek sayfalı uygulamalar artık sorun değil
HTML’yi Markdown’a dönüştürerek temizlerDoğrudan vektör veritabanlarına veya istemlere aktarın
İsteğe bağlı yapılandırılmış ayrıştırıcılar (Google, Amazon vb.)Popüler hedeflere tek satırda erişim

🛡️ Lisans

MIT Lisansı kapsamında dağıtılır – ayrıntılar için LICENSE dosyasına bakın.


Oxylabs Hakkında

2015 yılında kurulan Oxylabs, en yüksek iş, etik ve uyumluluk standartlarıyla çalışan, dünya çapındaki şirketlerin veriye dayalı içgörüler elde etmesini sağlayan pazar lideri bir web istihbaratı toplama platformudur.

image

Oxylabs tarafından ☕ ile hazırlandı. MCP’miz hafta sonunuzu kurtardıysa bize ⭐ verip takip etmekten çekinmeyin.

Bu MCP temel alınarak geliştirilen çözümler:

Michelin Detour