Agent Evals by Galileo

resmi

Galileo'nun yeni MCP sunucusu ile ajan değerlendirmelerini, gözlemlenebilirliği ve sentetik test seti oluşturmayı ücretsiz olarak doğrudan IDE'nize getirin.

Agent Evals By Galileo MCP ile neler yapabilirsiniz?

  • Sentetik veri kümeleri oluşturun — Asistanınızdan istem enjeksiyonu, konu dışı veya zararlı içerik senaryolarını içeren sorgu veri kümeleri oluşturmasını isteyin.
  • Veri kümesi durumunu kontrol edin — Veri kümesi oluşturma sürecini takip edin ve oluşturulan verilerin ilk 10 satırını önizleyin.
  • İstem şablonları oluşturun — Tutarlı davranış için model yapılandırmaları ve sıcaklık ayarları içeren yeniden kullanılabilir istem şablonları oluşturun.
  • Deneyler için rehberlik alın — Veri kümesi hazırlığı ve metrik yapılandırması da dahil olmak üzere Galileo deneylerinin nasıl ayarlanıp çalıştırılacağını sorun.
  • Günlük akışı sinyallerini analiz edin — Log streams üzerinden en son sinyalleri alın ve bulunan sorunlar için önerilen düzeltmeleri öğrenin.
  • Entegrasyon desteği alın — Galileo gözlemlenebilirliğini OpenAI veya LangChain uygulamalarına eklemek için adım adım kılavuzlar isteyin.

Dokümantasyon

Galileo MCP Server

Galileo'nun Model Context Protocol (MCP) sunucusunu Cursor ve VS Code gibi yapay zekâ özellikli IDE'lerle nasıl entegre edeceğinizi öğrenin

Galileo Model Context Protocol (MCP) sunucusu; Cursor veya GitHub Copilot içeren VS Code gibi yapay zekâ destekli IDE'lerle Galileo'nun değerlendirme ve gözlemlenebilirlik platformu arasında sorunsuz entegrasyon sağlar.

MCP ile Galileo'nun özelliklerine doğrudan geliştirme ortamınızdan erişebilirsiniz. Bunlar arasında şunlar yer alır:

  • Veri kümeleri oluşturma ve yönetme
  • Deneyler çalıştırma
  • İstem şablonları ayarlama
  • Log akışları hakkında sinyaller alma
  • Galileo'yu kodunuzla entegre etme

Ön koşullar

Başlamadan önce aşağıdakilere sahip olduğunuzdan emin olun:

1. Yapay zekâ özellikli IDE

Cursor veya yapay zekâ özelliklerine sahip VS Code gibi bir yapay zekâ özellikli IDE yükleyin

2. API anahtarı

Galileo API anahtarınızı API keys page üzerinden oluşturun

IDE'nizi yapılandırın

Galileo MCP sunucusu hem Cursor hem de VS Code ile çalışır. IDE'niz için aşağıdaki adımları izleyin:

[tab] VS Code

1. GitHub Copilot'ı yükleyin

Henüz yüklemediyseniz GitHub Copilot uzantısını yükleyin

2. MCP ayarlarını açın

Komut Paleti'ni (Windows/Linux'ta Ctrl + Shift + P, Mac'te Cmd + Shift + P) açın ve "MCP: Open User Configuration" seçeneğini arayın

3. Galileo MCP sunucusu yapılandırmasını ekleyin

Aşağıdaki yapılandırmayı kopyalayıp yapıştırın. YOUR-API-KEY yerine gerçek Galileo API anahtarınızı yazın.

{
  "servers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  },
  "inputs": []
}

Bu yapılandırma, app.galileo.ai kullandığınızı varsayar.

Galileo'yu kendi sunucunuzda barındırıyorsanız, https://api.galileo.ai/mcp/http/mcp url değerini dağıtım URL'nizle değiştirin. Bu URL'nin biçimi, konsol URL'nizi temel alır; console yerine api yazılır ve sonuna /mcp/http/mcp eklenir.

Örneğin:

  • konsol URL'niz https://console.galileo.example.com ise MCP url değeri https://api.galileo.example.com/mcp/http/mcp olur
  • konsol URL'niz https://console-galileo.apps.mycompany.com ise MCP url değeri https://api-galileo.apps.mycompany.com/mcp/http/mcp olur

4. VS Code'u yeniden yükleyin

Değişikliklerin etkili olması için Komut Paleti'ni açıp "Developer: Reload Window" komutunu çalıştırarak VS Code'u yeniden yükleyin

[tab] Cursor

1. Tools & MCP ayarlarını açın

Cursor komut paletini (Windows/Linux'ta Ctrl + Shift + P, Mac'te Cmd + Shift + P) açın ve ardından "Open MCP Settings" seçeneğini belirleyin.

2. MCP sunucusu yapılandırma dosyasını açın

mcp.json MCP yapılandırma dosyasını açmak için Add Custom MCP seçeneğine tıklayın. Başka MCP sunucularını zaten yapılandırdıysanız New MCP Server seçeneğine tıklayın.

3. Galileo MCP sunucusu yapılandırmasını ekleyin

Aşağıdaki yapılandırmayı kopyalayıp yapıştırın. YOUR-API-KEY yerine gerçek Galileo API anahtarınızı yazın.

{
  "mcpServers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  }
}

Bu yapılandırma, app.galileo.ai kullandığınızı varsayar.

Galileo'yu kendi sunucunuzda barındırıyorsanız, https://api.galileo.ai/mcp/http/mcp url değerini dağıtım URL'nizle değiştirin. Bu URL'nin biçimi, konsol URL'nizi temel alır; console yerine api yazılır ve sonuna /mcp/http/mcp eklenir.

Örneğin:

  • konsol URL'niz https://console.galileo.example.com ise MCP url değeri https://api.galileo.example.com/mcp/http/mcp olur
  • konsol URL'niz https://console-galileo.apps.mycompany.com ise MCP url değeri https://api-galileo.apps.mycompany.com/mcp/http/mcp olur

4. Kaydedip yeniden başlatın

Değişikliklerin etkili olması için yapılandırmayı kaydedin ve Cursor'ı yeniden başlatın

[!TIP]

Cursor ve VS Code için yapılandırma aynıdır. YOUR-API-KEY yerine API keys page üzerinden aldığınız gerçek Galileo API anahtarınızı yazdığınızdan emin olun.

Kurulumunuzu doğrulayın

Yapılandırma tamamlandıktan sonra IDE'nizdeki yapay zekâ asistanınıza şunları sorarak MCP kurulumunuzu doğrulayabilirsiniz:

Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?

Yapay zekâ asistanınız artık Galileo'nun özelliklerine erişebilmeli ve Galileo hesabınızdaki bilgilerle yanıt verebilmelidir.

Araçlar

Galileo MCP sunucusu, yapay zekâ asistanınızla doğal bir konuşma üzerinden erişebileceğiniz güçlü araçlar sunar. Sorularınızı veya isteklerinizi iletin; yapay zekâ size yardımcı olmak için bu araçları kullanır.

[accordion] Veri kümeleri oluşturma

Yapay zekâ uygulamalarınızı test etmek ve değerlendirmek için sentetik veri kümeleri oluşturun veya kendi verilerinizi yükleyin. Araç; genel sorgular, istem enjeksiyonları, konu dışı içerikler ve zararlı içerik senaryoları gibi çeşitli sorgu türlerini içeren veri kümeleri oluşturmayı destekler.

Sorabilecekleriniz:

Faturalandırma sorunları hakkında 50 müşteri hizmetleri sorgusu içeren bir veri kümesi oluştur
Bazı istem enjeksiyonu girişimlerini de içeren 30 sohbet robotu sorgusundan oluşan bir veri kümesi oluştur
Ürün önerisi sorguları içeren ve konu dışı sorular da barındıran bir veri kümesi oluştur

[accordion] Veri kümesi durumunu kontrol etme

Veri kümesi oluşturma sürecinin ilerleyişini takip edin ve oluşturulan içeriği önizleyin. Oluşturma durumu ve ilerleme güncellemeleriyle birlikte verilerin ilk 10 satırını görebilirsiniz.

Sorabilecekleriniz:

Şu anda oluşturulmakta olan veri kümemin durumunu kontrol et
abc-123 veri kümesinin önizlemesini göster
Müşteri hizmetleri veri kümem hazır mı?

[accordion] İstem şablonları oluşturma

Tüm projelerinizde kullanabileceğiniz yeniden kullanılabilir istem şablonları oluşturun. Tutarlı istem davranışı için model yapılandırmalarını, sıcaklık ayarlarını ve diğer parametreleri belirleyin.

Sorabilecekleriniz:

Müşteri desteği yanıtları için "Friendly Assistant" adlı bir istem şablonu oluştur
Teknik belgeleri daha düşük sıcaklıkla özetlemek için bir istem şablonu oluştur
Kod inceleme asistanı için bir sohbet şablonu ayarla

[accordion] Deneyleri ayarlama

Veri kümesi hazırlama, metrik yapılandırması ve mevcut kodunuzla entegrasyon dahil olmak üzere Galileo deneylerini ayarlama ve çalıştırma konusunda kapsamlı rehberlik alın. Python ve desteklenen diğer diller için kullanılabilir.

Sorabilecekleriniz:

Python'da Galileo deneyi nasıl ayarlarım?
RAG uygulamamla nasıl deney çalıştıracağımı göster
Agentic iş akışım için deney oluşturma sürecinde bana rehberlik et

[accordion] Sinyalleri alma

Sorunları, örüntüleri ve iyileştirme fırsatlarını belirlemek için uygulamanızın Log akışlarını analiz edin. Günlüğe kaydedilen verilerinize göre belirli öneriler alın.

Sorabilecekleriniz:

Üretim Log akışımda hangi sorunları görüyorsun?
Galileo'dan en son sinyalleri al ve kodumda bunları düzeltmek için öneriler sun
Sohbet robotumun Log akışı hakkında içgörüler edin ve iyileştirme önerileri al

[accordion] OpenAI ile entegrasyon

OpenAI uygulamalarınıza Galileo gözlemlenebilirliği eklemek için adım adım entegrasyon kılavuzları alın. Çok az kod değişikliğiyle istemleri, yanıtları, model parametrelerini ve token kullanımını otomatik olarak günlüğe kaydedin.

Sorabilecekleriniz:

OpenAI uygulamama Galileo günlük kaydını nasıl eklerim?
TypeScript'te Galileo'yu OpenAI ile nasıl entegre edeceğimi göster
GPT-4 sohbet robotum için Galileo gözlemlenebilirliğini ayarlamama yardım et

[accordion] LangChain ile entegrasyon

LangChain uygulamalarınıza Galileo eklemek için kapsamlı entegrasyon talimatları alın. Zincirlerinizin, ajanlarınızın ve araçlarınızın tüm izlerini otomatik günlük kaydıyla yakalayın.

Sorabilecekleriniz:

Galileo'yu LangChain uygulamamla nasıl entegre ederim?
LangChain ajanıma Galileo izlemeyi nasıl ekleyeceğimi göster
LangChain RAG işlem hattımı Galileo ile günlüğe kaydetmeme yardım et

[accordion] Belgelerde arama

Tüm Galileo belgelerinde ilgili bilgileri, kod örneklerini, API başvurularını ve uygulama kılavuzlarını bulun. İhtiyacınız olan sayfalara doğrudan bağlantılar alın.

Sorabilecekleriniz:

Galileo'da veri günlüğünü nasıl ayarlarım?
Özel metriklerle ilgili belgeleri bul
Agentic yapay zekâ değerlendirmesi örneklerini ara

Örnek kullanım senaryoları

Sentetik veri kümesi oluşturma

Yapay zekâ asistanınıza şunu sorun:

Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.

MCP sunucusu, veri kümesi oluşturma sürecinde size rehberlik eder ve ilerlemeyi takip edebilmeniz için bir veri kümesi kimliği sağlar.

Entegrasyon yardımı alma

Yapay zekâ asistanınıza şunu sorun:

How do I integrate Galileo with my LangChain application in Python?

MCP sunucusu, eksiksiz entegrasyon kodu örnekleri ve kurulum talimatları sağlar.

Sinyalleri alma

Yapay zekâ asistanınıza şunu sorun:

Fetch the most recent signals from Galileo and propose fixes for them in my code

MCP sunucusu Log akışınızı analiz eder ve iyileştirme önerileri sunar.

Sorun giderme

[accordion] Galileo MCP Server'a bağlanırken hata oluştu

  • MCP sunucusu URL'sinin https://api.galileo.ai/mcp/http/mcp olarak ayarlandığını kontrol edin
  • Accept başlığının text/event-stream olarak ayarlandığından emin olun
  • Yapılandırma değişikliklerini yaptıktan sonra IDE'nizin MCP bağlantısını yeniden başlatın

[accordion] API anahtarı hataları

  • API anahtarınızın yapılandırmada doğru ayarlandığını doğrulayın
  • API anahtarınızın süresinin dolmadığını kontrol edin
  • API keys page üzerinden yeni bir API anahtarı oluşturun

Sonraki adımlar

[card] İlk izinizi günlüğe kaydedin

Galileo ile ilk izinizi günlüğe kaydetmeyi öğrenin

[card] İlk deneyinizi çalıştırın

Yapay zekâ uygulamalarınızı değerlendirmek için deneyler ayarlayın ve çalıştırın

[card] Entegrasyonları keşfedin

Galileo'nun üçüncü taraf çerçevelerle entegrasyonları hakkında bilgi edinin