Oxylabs
resmiOxylabs Web API ile web sitelerini kazıyın, dinamik işleme ve yapılandırılmış veri çıkarma için ayrıştırmayı destekler.
Oxylabs MCP ile neler yapabilirsiniz?
- Herhangi bir URL'yi kazıyın — Asistanınızdan
universal_scraperkullanarak herhangi bir web sayfasından içerik getirmesini ve çıkarmasını isteyin; isteğe bağlı JavaScript oluşturma ve coğrafi hedefleme desteğiyle. - Google ve Amazon'da arama yapın — Bu platformlardan yapılandırılmış sonuçlar almak için
google_search_scraper,amazon_search_scraperveyaamazon_product_scraperkullanın. - Yapay zeka destekli çıkarma — Herhangi bir URL'yi kazımak ve verileri JSON, CSV, Markdown veya TOON formatlarında döndürmek için
ai_scraperkullanın. - Web sitelerini tarayın ve haritalayın — Bir başlangıç URL'sinden birden fazla sayfada veri toplamak için
ai_crawlerveya anahtar kelimelere göre filtrelenmiş site URL'lerini listelemek içinai_mapkullanın. - Tarayıcı görevlerini otomatikleştirin — Gezinme, tıklama ve form doldurma işlemlerini, bir istem temelinde gerçek bir tarayıcıyı kontrol eden
ai_browser_agent'a devredin. - Çıkarma şemaları oluşturun — AI araçlarıyla veri çıkarmayı yapılandırmak için
generate_schemaaracılığıyla OpenAPI formatında bir JSON şeması isteyin.
Dokümantasyon
Oxylabs MCP Sunucusu
Yapay zeka modelleri ile gerçek dünya web'i arasındaki eksik halka: herhangi bir siteden temiz, yapılandırılmış veri sunan tek bir API.
📖 Genel Bakış
Oxylabs MCP sunucusu, yapay zeka modelleri ile web arasında bir köprü sağlar. Herhangi bir URL'yi kazımayı, JavaScript ağırlıklı sayfaları işlemeyi, yapay zeka kullanımı için içerik çıkarmayı ve biçimlendirmeyi, CAPTCHA yönetimini ve 195'ten fazla ülkeden coğrafi kısıtlı web verilerine erişimi mümkün kılar.
Yapay zeka asistanlarını harici araçlara ve verilere bağlamak için açık standart olan Model Context Protocol (MCP) üzerine inşa edilmiştir.
🛠️ MCP Araçları
Oxylabs MCP, birlikte veya bağımsız olarak kullanılabilen iki araç seti sağlar:
Oxylabs Web Scraper API araçları
- universal_scraper: isteğe bağlı JavaScript işleme, coğrafi hedefleme ve Markdown/HTML/bağlantı çıktısı ile herhangi bir URL'yi kazır;
- google_search_scraper: isteğe bağlı olarak yapılandırılmış JSON'a ayrıştırma ile Google Arama sonuçlarını çıkarır;
- amazon_search_scraper: isteğe bağlı olarak yapılandırılmış JSON'a ayrıştırma ile Amazon arama sonuç sayfalarını kazır;
- amazon_product_scraper: bireysel Amazon ürün sayfalarından veri çıkarır.
Oxylabs AI Studio araçları
- ai_scraper: JSON, CSV, Markdown veya TOON formatında yapay zeka destekli çıkarma ile herhangi bir URL'den içerik kazır;
- ai_crawler: bir başlangıç URL'sinden bir istem temelinde bir web sitesini tarar ve birden çok sayfada veri toplar;
- ai_browser_agent: bir istem temelinde gerçek bir tarayıcıyı kontrol eder — gezinir, tıklar, formları doldurur — ve sonucu döndürür;
- ai_search: web'de arama yapar ve isteğe bağlı olarak her sonucun Markdown içeriğini döndürür;
- ai_map: anahtar kelimelere veya bir isteme göre filtrelenmiş bir web sitesinin URL'lerini haritalar;
- generate_schema: yukarıdaki yapay zeka araçlarıyla yapılandırılmış çıkarma için OpenAPI formatında bir JSON şeması oluşturur.
✅ Ön Koşullar
Başlamadan önce aşağıdakilerden en az birine sahip olduğunuzdan emin olun:
- Oxylabs Web Scraper API hesabı: kullanıcı adınızı ve şifrenizi Oxylabs adresinden edinin (1 haftalık ücretsiz deneme mevcuttur);
- Oxylabs AI Studio API anahtarı: API anahtarınızı Oxylabs AI Studio adresinden edinin (1000 kredi ücretsiz).
Sunucuyu yerel olarak çalıştırmak için (aşağıdaki Seçenek 2) ayrıca uv paket yöneticisine ihtiyacınız olacaktır:
# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
📦 Yapılandırma
Sunucuyu kullanmanın iki yolu vardır: barındırılan örneğe bağlanın (kurulum gerekmez) veya ortam değişkenlerinde kimlik bilgileriyle yerel olarak çalıştırın.
Seçenek 1: Barındırılan sunucu (kurulum gerekmez)
Oxylabs, aşağıdaki adreste barındırılan bir MCP sunucusu çalıştırır:
https://mcp.oxylabs.io/mcp
Kimlik bilgileri istek başlıklarıyla iletilir:
| Kimlik Bilgisi | Başlık |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)> |
| Web Scraper API (alternatif) | X-Oxylabs-Username ve X-Oxylabs-Password |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key |
Claude Code ile kurulum:
claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
--header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
--header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"
Cursor veya özel başlıkları destekleyen herhangi bir uzak MCP sunucusu istemcisi ile kurulum:
{
"mcpServers": {
"oxylabs": {
"url": "https://mcp.oxylabs.io/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
Sunucu ayrıca Smithery üzerinde listelenmiştir.
Not: uzak sunucular için yalnızca OAuth'u destekleyen istemciler (örneğin, claude.ai web arayüzüne özel bir bağlayıcı ekleme) henüz başlık iletemez — OAuth oturum açma yol haritamızda. Bu arada bu istemcilerle aşağıdaki yerel kurulumu kullanın.
Seçenek 2: Yerel olarak çalıştırın
Ortam değişkenleri
Oxylabs MCP sunucusu aşağıdaki ortam değişkenlerini destekler:
| Ad | Açıklama | Varsayılan |
|---|---|---|
OXYLABS_USERNAME | Oxylabs Web Scraper API kullanıcı adınız | |
OXYLABS_PASSWORD | Oxylabs Web Scraper API şifreniz | |
OXYLABS_AI_STUDIO_API_KEY | Oxylabs AI Studio API anahtarınız | |
LOG_LEVEL | İstemciye döndürülen günlükler için günlük düzeyi | INFO |
Sağlanan kimlik bilgilerine bağlı olarak, sunucu ilgili araçları otomatik olarak kullanıma sunar:
- Yalnızca
OXYLABS_USERNAMEveOXYLABS_PASSWORDsağlanırsa, sunucu Web Scraper API araçlarını kullanıma sunar; - Yalnızca
OXYLABS_AI_STUDIO_API_KEYsağlanırsa, sunucu AI Studio araçlarını kullanıma sunar; - Üçü de sağlanırsa, sunucu tüm araçları kullanıma sunar.
❗ Önemli: yalnızca gerçek kimlik bilgilerine sahip olduğunuz ortam değişkenlerini ayarlayın. Yer tutucu değerler bırakmak, çalışmayan araçların kullanıma sunulmasına neden olur.
uvx ile yapılandırın
PyPI paketini yükler ve otomatik olarak çalıştırır:
{
"mcpServers": {
"oxylabs": {
"command": "uvx",
"args": ["oxylabs-mcp"],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
Yerel bir kopya ile yapılandırın
Geliştirme için kullanışlıdır — sunucuyu bu deponun yerel bir kopyasından çalıştırır:
{
"mcpServers": {
"oxylabs": {
"command": "uv",
"args": [
"--directory",
"/<absolute-path-to-folder>/oxylabs-mcp",
"run",
"oxylabs-mcp"
],
"env": {
"OXYLABS_USERNAME": "YOUR_USERNAME",
"OXYLABS_PASSWORD": "YOUR_PASSWORD",
"OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
}
}
}
}
Uzak bir HTTP sunucusu olarak çalıştırma (kendi kendine barındırma)
Sunucu ayrıca MCP akışı yapılabilir HTTP taşımasını destekler. Şununla başlatın:
MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp
HTTP taşımasıyla, kimlik bilgileri ortam değişkenleri yerine istek başına iletilir:
| Kimlik Bilgisi | Nasıl iletileceği |
|---|---|
| Web Scraper API | Authorization: Basic <base64(username:password)> (standart HTTP Temel kimlik doğrulaması) |
| Web Scraper API (alternatif) | X-Oxylabs-Username ve X-Oxylabs-Password başlıkları |
| AI Studio | X-Oxylabs-AI-Studio-Api-Key başlığı |
Örnek istemci yapılandırması:
{
"mcpServers": {
"oxylabs": {
"url": "https://your-host:8000/mcp",
"headers": {
"Authorization": "Basic <base64 of username:password>",
"X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
}
}
}
}
Sağlanan kimlik bilgilerinden bağımsız olarak tüm araçlar her zaman listelenir; gereken kimlik bilgileri olmadan bir aracı çağırmak, tam olarak neyin yapılandırılacağını açıklayan bir hata mesajı döndürür.
Claude Desktop ile kurulum
Claude → Ayarlar → Geliştirici → Yapılandırmayı Düzenle seçeneğine gidin ve yukarıdaki yapılandırmalardan birini claude_desktop_config.json dosyasına ekleyin.
Cursor AI ile kurulum
Cursor → Ayarlar → Cursor Ayarları → MCP seçeneğine gidin. Yeni genel MCP sunucusu ekle'ye tıklayın ve yukarıdaki yapılandırmalardan birini ekleyin.
📝 Günlük Kaydı
Sunucu, notification/message olaylarında araç çağrıları hakkında ek bilgi sağlar:
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
}
}
{
"method": "notifications/message",
"params": {
"level": "info",
"data": "Job info: job_id=7333113830223918081 job_status=done"
}
}
{
"method": "notifications/message",
"params": {
"level": "error",
"data": "Error: request to Oxylabs API failed"
}
}
✨ Temel Özellikler
Herhangi bir siteden içerik kazıyın
- Karmaşık tek sayfa uygulamaları dahil herhangi bir URL'den veri çıkarın
- Başsız tarayıcı desteğiyle dinamik web sitelerini tamamen işleyin
- Tam JavaScript işleme, yalnızca HTML veya hiçbiri arasında seçim yapın
- Gerçekçi işleme için Mobil ve Masaüstü görünüm alanlarını taklit edin
Otomatik olarak yapay zekaya hazır veri alın
- Okunabilirliği artırmak için HTML'yi otomatik olarak temizleyin ve Markdown'a dönüştürün
- Google, Amazon ve daha fazlası gibi popüler hedefler için otomatik ayrıştırıcılar kullanın
CAPTCHA ve coğrafi kısıtlamaları yönetin
- Yüksek başarı oranıyla gelişmiş otomatik istek yönetim sistemlerinde gezinin
- En karmaşık web sitelerini bile güvenilir şekilde kazıyın
- 195'ten fazla ülkeyi kapsayan bir proxy havuzundan otomatik dönen IP'ler alın
Esnek kurulum ve çapraz platform desteği
- Gerekirse işleme ve ayrıştırma seçeneklerini ayarlayın
- Verileri doğrudan yapay zeka modellerine veya analitik araçlarına besleyin
- macOS, Windows ve Linux üzerinde çalışır
Yerleşik hata işleme ve istek yönetimi
- Kapsamlı hata işleme ve raporlama
- Akıllı hız sınırlama ve istek yönetimi
Neden Oxylabs MCP? 🕸️ ➜ 📦 ➜ 🤖
LLM'nize "GPT‑5 hakkındaki en son Hacker News tartışmasını özetle" dediğinizi hayal edin – ve sadece yanıtlasın. Oxylabs MCP sunucusu, sıkıcı kısımları sizin için yaparak bunu gerçekleştirir:
| Oxylabs MCP'nin yaptığı | Sizin için neden önemli |
|---|---|
| Otomatik istek duvarlarını Oxylabs global proxy ağıyla yönetir | Web sitesi erişimi ve anonimlik sağlar |
| JavaScript'i başsız Chrome'da işler | Tek sayfa uygulamalar, çözüldü |
| HTML → Markdown temizler | Doğrudan vektör DB'lerine veya istemlere bırakın |
| İsteğe bağlı yapılandırılmış ayrıştırıcılar (Google, Amazon, vb.) | Popüler hedeflere tek satırda erişim |
🛡️ Lisans
MIT Lisansı altında dağıtılır – ayrıntılar için LICENSE bölümüne bakın.
Oxylabs Hakkında
2015 yılında kurulan Oxylabs, en yüksek iş, etik ve uyumluluk standartlarıyla yönlendirilen, dünya çapındaki şirketlerin veri odaklı içgörüler elde etmesini sağlayan, pazarda lider bir web istihbarat toplama platformudur.
mcp-name: io.oxylabs/oxylabs-mcp
