Agent Evals by Galileo
resmiGalileo'nun yeni MCP sunucusu ile ajan değerlendirmelerini, gözlemlenebilirliği ve sentetik test seti oluşturmayı ücretsiz olarak doğrudan IDE'nize getirin.
Agent Evals By Galileo MCP ile neler yapabilirsiniz?
- Sentetik veri kümeleri oluşturun — Asistanınızdan istem enjeksiyonu, konu dışı veya zararlı içerik senaryolarını içeren sorgu veri kümeleri oluşturmasını isteyin.
- Veri kümesi durumunu kontrol edin — Veri kümesi oluşturma sürecini takip edin ve oluşturulan verilerin ilk 10 satırını önizleyin.
- İstem şablonları oluşturun — Tutarlı davranış için model yapılandırmaları ve sıcaklık ayarları içeren yeniden kullanılabilir istem şablonları oluşturun.
- Deneyler için rehberlik alın — Veri kümesi hazırlığı ve metrik yapılandırması da dahil olmak üzere Galileo deneylerinin nasıl ayarlanıp çalıştırılacağını sorun.
- Günlük akışı sinyallerini analiz edin —
Log streamsüzerinden en son sinyalleri alın ve bulunan sorunlar için önerilen düzeltmeleri öğrenin. - Entegrasyon desteği alın — Galileo gözlemlenebilirliğini OpenAI veya LangChain uygulamalarına eklemek için adım adım kılavuzlar isteyin.
Dokümantasyon
Galileo MCP Server
Galileo'nun Model Context Protocol (MCP) sunucusunu Cursor ve VS Code gibi yapay zekâ özellikli IDE'lerle nasıl entegre edeceğinizi öğrenin
Galileo Model Context Protocol (MCP) sunucusu; Cursor veya GitHub Copilot içeren VS Code gibi yapay zekâ destekli IDE'lerle Galileo'nun değerlendirme ve gözlemlenebilirlik platformu arasında sorunsuz entegrasyon sağlar.
MCP ile Galileo'nun özelliklerine doğrudan geliştirme ortamınızdan erişebilirsiniz. Bunlar arasında şunlar yer alır:
- Veri kümeleri oluşturma ve yönetme
- Deneyler çalıştırma
- İstem şablonları ayarlama
- Log akışları hakkında sinyaller alma
- Galileo'yu kodunuzla entegre etme
Ön koşullar
Başlamadan önce aşağıdakilere sahip olduğunuzdan emin olun:
1. Yapay zekâ özellikli IDE
Cursor veya yapay zekâ özelliklerine sahip VS Code gibi bir yapay zekâ özellikli IDE yükleyin
2. API anahtarı
Galileo API anahtarınızı API keys page üzerinden oluşturun
IDE'nizi yapılandırın
Galileo MCP sunucusu hem Cursor hem de VS Code ile çalışır. IDE'niz için aşağıdaki adımları izleyin:
[tab] VS Code
1. GitHub Copilot'ı yükleyin
Henüz yüklemediyseniz GitHub Copilot uzantısını yükleyin
2. MCP ayarlarını açın
Komut Paleti'ni (Windows/Linux'ta
Ctrl + Shift + P, Mac'teCmd + Shift + P) açın ve "MCP: Open User Configuration" seçeneğini arayın3. Galileo MCP sunucusu yapılandırmasını ekleyin
Aşağıdaki yapılandırmayı kopyalayıp yapıştırın.
YOUR-API-KEYyerine gerçek Galileo API anahtarınızı yazın.{ "servers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } }, "inputs": [] }Bu yapılandırma, app.galileo.ai kullandığınızı varsayar.
Galileo'yu kendi sunucunuzda barındırıyorsanız,
https://api.galileo.ai/mcp/http/mcpurl değerini dağıtım URL'nizle değiştirin. Bu URL'nin biçimi, konsol URL'nizi temel alır;consoleyerineapiyazılır ve sonuna/mcp/http/mcpeklenir.Örneğin:
- konsol URL'niz
https://console.galileo.example.comise MCP url değerihttps://api.galileo.example.com/mcp/http/mcpolur- konsol URL'niz
https://console-galileo.apps.mycompany.comise MCP url değerihttps://api-galileo.apps.mycompany.com/mcp/http/mcpolur4. VS Code'u yeniden yükleyin
Değişikliklerin etkili olması için Komut Paleti'ni açıp "Developer: Reload Window" komutunu çalıştırarak VS Code'u yeniden yükleyin
[tab] Cursor
1. Tools & MCP ayarlarını açın
Cursor komut paletini (Windows/Linux'ta
Ctrl + Shift + P, Mac'teCmd + Shift + P) açın ve ardından "Open MCP Settings" seçeneğini belirleyin.2. MCP sunucusu yapılandırma dosyasını açın
mcp.jsonMCP yapılandırma dosyasını açmak için Add Custom MCP seçeneğine tıklayın. Başka MCP sunucularını zaten yapılandırdıysanız New MCP Server seçeneğine tıklayın.3. Galileo MCP sunucusu yapılandırmasını ekleyin
Aşağıdaki yapılandırmayı kopyalayıp yapıştırın.
YOUR-API-KEYyerine gerçek Galileo API anahtarınızı yazın.{ "mcpServers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } } }Bu yapılandırma, app.galileo.ai kullandığınızı varsayar.
Galileo'yu kendi sunucunuzda barındırıyorsanız,
https://api.galileo.ai/mcp/http/mcpurl değerini dağıtım URL'nizle değiştirin. Bu URL'nin biçimi, konsol URL'nizi temel alır;consoleyerineapiyazılır ve sonuna/mcp/http/mcpeklenir.Örneğin:
- konsol URL'niz
https://console.galileo.example.comise MCP url değerihttps://api.galileo.example.com/mcp/http/mcpolur- konsol URL'niz
https://console-galileo.apps.mycompany.comise MCP url değerihttps://api-galileo.apps.mycompany.com/mcp/http/mcpolur4. Kaydedip yeniden başlatın
Değişikliklerin etkili olması için yapılandırmayı kaydedin ve Cursor'ı yeniden başlatın
[!TIP]
Cursor ve VS Code için yapılandırma aynıdır.
YOUR-API-KEYyerine API keys page üzerinden aldığınız gerçek Galileo API anahtarınızı yazdığınızdan emin olun.
Kurulumunuzu doğrulayın
Yapılandırma tamamlandıktan sonra IDE'nizdeki yapay zekâ asistanınıza şunları sorarak MCP kurulumunuzu doğrulayabilirsiniz:
Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Yapay zekâ asistanınız artık Galileo'nun özelliklerine erişebilmeli ve Galileo hesabınızdaki bilgilerle yanıt verebilmelidir.
Araçlar
Galileo MCP sunucusu, yapay zekâ asistanınızla doğal bir konuşma üzerinden erişebileceğiniz güçlü araçlar sunar. Sorularınızı veya isteklerinizi iletin; yapay zekâ size yardımcı olmak için bu araçları kullanır.
[accordion] Veri kümeleri oluşturma
Yapay zekâ uygulamalarınızı test etmek ve değerlendirmek için sentetik veri kümeleri oluşturun veya kendi verilerinizi yükleyin. Araç; genel sorgular, istem enjeksiyonları, konu dışı içerikler ve zararlı içerik senaryoları gibi çeşitli sorgu türlerini içeren veri kümeleri oluşturmayı destekler.
Sorabilecekleriniz:
Faturalandırma sorunları hakkında 50 müşteri hizmetleri sorgusu içeren bir veri kümesi oluşturBazı istem enjeksiyonu girişimlerini de içeren 30 sohbet robotu sorgusundan oluşan bir veri kümesi oluşturÜrün önerisi sorguları içeren ve konu dışı sorular da barındıran bir veri kümesi oluştur
[accordion] Veri kümesi durumunu kontrol etme
Veri kümesi oluşturma sürecinin ilerleyişini takip edin ve oluşturulan içeriği önizleyin. Oluşturma durumu ve ilerleme güncellemeleriyle birlikte verilerin ilk 10 satırını görebilirsiniz.
Sorabilecekleriniz:
Şu anda oluşturulmakta olan veri kümemin durumunu kontrol etabc-123 veri kümesinin önizlemesini gösterMüşteri hizmetleri veri kümem hazır mı?
[accordion] İstem şablonları oluşturma
Tüm projelerinizde kullanabileceğiniz yeniden kullanılabilir istem şablonları oluşturun. Tutarlı istem davranışı için model yapılandırmalarını, sıcaklık ayarlarını ve diğer parametreleri belirleyin.
Sorabilecekleriniz:
Müşteri desteği yanıtları için "Friendly Assistant" adlı bir istem şablonu oluşturTeknik belgeleri daha düşük sıcaklıkla özetlemek için bir istem şablonu oluşturKod inceleme asistanı için bir sohbet şablonu ayarla
[accordion] Deneyleri ayarlama
Veri kümesi hazırlama, metrik yapılandırması ve mevcut kodunuzla entegrasyon dahil olmak üzere Galileo deneylerini ayarlama ve çalıştırma konusunda kapsamlı rehberlik alın. Python ve desteklenen diğer diller için kullanılabilir.
Sorabilecekleriniz:
Python'da Galileo deneyi nasıl ayarlarım?RAG uygulamamla nasıl deney çalıştıracağımı gösterAgentic iş akışım için deney oluşturma sürecinde bana rehberlik et
[accordion] Sinyalleri alma
Sorunları, örüntüleri ve iyileştirme fırsatlarını belirlemek için uygulamanızın Log akışlarını analiz edin. Günlüğe kaydedilen verilerinize göre belirli öneriler alın.
Sorabilecekleriniz:
Üretim Log akışımda hangi sorunları görüyorsun?Galileo'dan en son sinyalleri al ve kodumda bunları düzeltmek için öneriler sunSohbet robotumun Log akışı hakkında içgörüler edin ve iyileştirme önerileri al
[accordion] OpenAI ile entegrasyon
OpenAI uygulamalarınıza Galileo gözlemlenebilirliği eklemek için adım adım entegrasyon kılavuzları alın. Çok az kod değişikliğiyle istemleri, yanıtları, model parametrelerini ve token kullanımını otomatik olarak günlüğe kaydedin.
Sorabilecekleriniz:
OpenAI uygulamama Galileo günlük kaydını nasıl eklerim?TypeScript'te Galileo'yu OpenAI ile nasıl entegre edeceğimi gösterGPT-4 sohbet robotum için Galileo gözlemlenebilirliğini ayarlamama yardım et
[accordion] LangChain ile entegrasyon
LangChain uygulamalarınıza Galileo eklemek için kapsamlı entegrasyon talimatları alın. Zincirlerinizin, ajanlarınızın ve araçlarınızın tüm izlerini otomatik günlük kaydıyla yakalayın.
Sorabilecekleriniz:
Galileo'yu LangChain uygulamamla nasıl entegre ederim?LangChain ajanıma Galileo izlemeyi nasıl ekleyeceğimi gösterLangChain RAG işlem hattımı Galileo ile günlüğe kaydetmeme yardım et
[accordion] Belgelerde arama
Tüm Galileo belgelerinde ilgili bilgileri, kod örneklerini, API başvurularını ve uygulama kılavuzlarını bulun. İhtiyacınız olan sayfalara doğrudan bağlantılar alın.
Sorabilecekleriniz:
Galileo'da veri günlüğünü nasıl ayarlarım?Özel metriklerle ilgili belgeleri bulAgentic yapay zekâ değerlendirmesi örneklerini ara
Örnek kullanım senaryoları
Sentetik veri kümesi oluşturma
Yapay zekâ asistanınıza şunu sorun:
Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.
MCP sunucusu, veri kümesi oluşturma sürecinde size rehberlik eder ve ilerlemeyi takip edebilmeniz için bir veri kümesi kimliği sağlar.
Entegrasyon yardımı alma
Yapay zekâ asistanınıza şunu sorun:
How do I integrate Galileo with my LangChain application in Python?
MCP sunucusu, eksiksiz entegrasyon kodu örnekleri ve kurulum talimatları sağlar.
Sinyalleri alma
Yapay zekâ asistanınıza şunu sorun:
Fetch the most recent signals from Galileo and propose fixes for them in my code
MCP sunucusu Log akışınızı analiz eder ve iyileştirme önerileri sunar.
Sorun giderme
[accordion] Galileo MCP Server'a bağlanırken hata oluştu
- MCP sunucusu URL'sinin
https://api.galileo.ai/mcp/http/mcpolarak ayarlandığını kontrol edinAcceptbaşlığınıntext/event-streamolarak ayarlandığından emin olun- Yapılandırma değişikliklerini yaptıktan sonra IDE'nizin MCP bağlantısını yeniden başlatın
[accordion] API anahtarı hataları
- API anahtarınızın yapılandırmada doğru ayarlandığını doğrulayın
- API anahtarınızın süresinin dolmadığını kontrol edin
- API keys page üzerinden yeni bir API anahtarı oluşturun
Sonraki adımlar
[card] İlk izinizi günlüğe kaydedin
Galileo ile ilk izinizi günlüğe kaydetmeyi öğrenin
[card] İlk deneyinizi çalıştırın
Yapay zekâ uygulamalarınızı değerlendirmek için deneyler ayarlayın ve çalıştırın
[card] Entegrasyonları keşfedin
Galileo'nun üçüncü taraf çerçevelerle entegrasyonları hakkında bilgi edinin