Agent Evals by Galileo
resmiGalileo'nun yeni MCP sunucusu ile ajan değerlendirmelerini, gözlemlenebilirliği ve sentetik test seti oluşturmayı ücretsiz olarak doğrudan IDE'nize getirin.
Agent Evals By Galileo MCP ile neler yapabilirsiniz?
- Sentetik veri kümeleri oluşturun — Asistanın, fatura sorunları veya prompt enjeksiyonları gibi özel sorgu türlerine sahip bir veri kümesi oluşturmasını isteyin.
- Veri kümesi oluşturma durumunu kontrol edin — Bir veri kümesi oluşturulurken ilerlemesini takip edin ve ilk satırlarını önizleyin.
- Yeniden kullanılabilir prompt şablonları oluşturun — Projeler arasında model parametreleri ve sıcaklık ayarlarıyla adlandırılmış prompt şablonları kurun.
- Deney kurulum rehberliği alın — RAG veya aracı iş akışlarınızda Python ile Galileo deneyleri çalıştırmak için adım adım talimatlar edinin.
- Sinyaller için log akışlarını analiz edin — Bir üretim log akışından yakın zamandaki sinyalleri alın ve önerilen kod düzeltmelerini görün.
- Galileo belgelerini arayın — Dokümanlardan doğrudan API referanslarına, kod örneklerine ve uygulama kılavuzlarına ulaşın.
Dokümantasyon
Galileo MCP Sunucusu
Galileo'nun Model Bağlam Protokolü (MCP) sunucusunu Cursor ve VS Code gibi yapay zeka destekli IDE'lere nasıl entegre edeceğinizi öğrenin
Galileo Model Bağlam Protokolü (MCP) sunucusu, Cursor veya GitHub Copilot'lu VS Code gibi yapay zeka destekli IDE'ler ile Galileo'nun değerlendirme ve gözlemlenebilirlik platformu arasında sorunsuz entegrasyon sağlar.
MCP ile, geliştirme ortamınızdan doğrudan Galileo'nun yeteneklerine erişebilirsiniz:
- Veri kümeleri oluşturma ve yönetme
- Deneyler çalıştırma
- İstem şablonları ayarlama
- Günlük akışlarından sinyaller alma
- Galileo'yu kodunuzla entegre etme
Ön Koşullar
Başlamadan önce aşağıdakilere sahip olduğunuzdan emin olun:
[Cursor](https://cursor.sh) veya [VS Code](https://code.visualstudio.com) gibi yapay zeka yeteneklerine sahip bir IDE yükleyin [API anahtarları sayfasından](https://app.galileo.ai/settings/api-keys) Galileo API anahtarınızı oluşturunIDE'nizi Yapılandırın
Galileo MCP sunucusu hem Cursor hem de VS Code ile çalışır. IDE'niz için aşağıdaki adımları izleyin:
Henüz yapmadıysanız [GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot) uzantısını yükleyin <Step title="Open MCP settings">
Komut Paletini açın (Windows/Linux'ta `Ctrl + Shift + P`, Mac'te `Cmd + Shift + P`) ve **"MCP: Kullanıcı Yapılandırmasını Aç"** ifadesini arayın
</Step>
<Step title="Add the Galileo MCP server configuration">
Aşağıdaki yapılandırmayı kopyalayıp yapıştırın. `YOUR-API-KEY` kısmını gerçek Galileo API anahtarınızla değiştirin.
```json VSCode MCP Configuration highlight={3-9} theme={null}
{
"servers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
},
"inputs": []
}
```
Bu, [app.galileo.ai](https://app.galileo.ai) kullandığınızı varsayar.
Kendi barındırdığınız bir Galileo dağıtımı kullanıyorsanız, `https://api.galileo.ai/mcp/http/mcp` URL'sini dağıtım URL'nizle değiştirin. Bu URL'nin biçimi, konsol URL'nize dayanır; `console` kısmını `api` ile değiştirip `/mcp/http/mcp` ekleyin.
Örneğin:
* konsol URL'niz `https://console.galileo.example.com` ise, MCP URL'si `https://api.galileo.example.com/mcp/http/mcp` olur
* konsol URL'niz `https://console-galileo.apps.mycompany.com` ise, MCP URL'si `https://api-galileo.apps.mycompany.com/mcp/http/mcp` olur
</Step>
<Step title="Reload VS Code">
Değişikliklerin etkili olması için Komut Paletini açıp **"Geliştirici: Pencereyi Yeniden Yükle"** komutunu çalıştırarak VS Code'u yeniden yükleyin
</Step>
</Steps>
<Step title="Open the MCP server configuration file">
`mcp.json` MCP yapılandırma dosyasını açmak için **Özel MCP Ekle**'ye tıklayın veya zaten başka MCP sunucularınız yapılandırılmışsa **Yeni MCP Sunucusu**'na tıklayın.
</Step>
<Step title="Add the Galileo MCP server configuration">
Aşağıdaki yapılandırmayı kopyalayıp yapıştırın. `YOUR-API-KEY` kısmını gerçek Galileo API anahtarınızla değiştirin.
```json Cursor MCP Configuration highlight={3-9} theme={null}
{
"mcpServers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
}
}
```
Bu, [app.galileo.ai](https://app.galileo.ai) kullandığınızı varsayar.
Kendi barındırdığınız bir Galileo dağıtımı kullanıyorsanız, `https://api.galileo.ai/mcp/http/mcp` URL'sini dağıtım URL'nizle değiştirin. Bu URL'nin biçimi, konsol URL'nize dayanır; `console` kısmını `api` ile değiştirip `/mcp/http/mcp` ekleyin.
Örneğin:
* konsol URL'niz `https://console.galileo.example.com` ise, MCP URL'si `https://api.galileo.example.com/mcp/http/mcp` olur
* konsol URL'niz `https://console-galileo.apps.mycompany.com` ise, MCP URL'si `https://api-galileo.apps.mycompany.com/mcp/http/mcp` olur
</Step>
<Step title="Save and restart">
Yapılandırmayı kaydedin ve değişikliklerin etkili olması için Cursor'u yeniden başlatın
</Step>
</Steps>
Kurulumunuzu Doğrulayın
Yapılandırıldıktan sonra, IDE'nizdeki yapay zeka asistanınıza sorarak MCP kurulumunuzu doğrulayabilirsiniz:
```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ```Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Yapay zeka asistanınız artık Galileo'nun yeteneklerine erişebilmeli ve Galileo hesabınızdaki bilgilerle yanıt verebilmelidir.
Araçlar
Galileo MCP sunucusu, yapay zeka asistanınızla doğal konuşma yoluyla erişebileceğiniz güçlü araçlar sağlar. Sadece sorular sorun veya isteklerde bulunun; yapay zeka size yardımcı olmak için bu araçları kullanacaktır.
Yapay zeka uygulamalarınızı test etmek ve değerlendirmek için sentetik veri kümeleri oluşturun veya kendi verilerinizi yükleyin. Araç, genel sorgular, istem enjeksiyonları, konu dışı içerik ve toksik içerik senaryoları dahil olmak üzere çeşitli sorgu türleriyle veri kümeleri oluşturmayı destekler.**Sorabilecekleriniz:**
<CodeGroup>
```text Query wrap theme={null}
Create a dataset with 50 customer service queries about billing issues
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a dataset with product recommendation queries and include off-topic questions
```
</CodeGroup>
**Sorabilecekleriniz:**
<CodeGroup>
```text Query wrap theme={null}
Check the status of my dataset that's currently generating
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me the preview of dataset abc-123
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Is my customer service dataset ready yet?
```
</CodeGroup>
**Sorabilecekleriniz:**
<CodeGroup>
```text Query wrap theme={null}
Create a prompt template called "Friendly Assistant" for customer support responses
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a prompt template for summarizing technical documentation with lower temperature
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Set up a chat template for a code review assistant
```
</CodeGroup>
**Sorabilecekleriniz:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up a Galileo experiment in Python?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to run an experiment with my RAG application
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Guide me through creating an experiment for my agentic workflow
```
</CodeGroup>
**Sorabilecekleriniz:**
<CodeGroup>
```text Query wrap theme={null}
What issues do you see in my production log stream?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Fetch the most recent signals from Galileo and propose fixes for them in my code
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Get insights about my chatbot log stream and suggest improvements
```
</CodeGroup>
**Sorabilecekleriniz:**
<CodeGroup>
```text Query wrap theme={null}
How do I add Galileo logging to my OpenAI application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to integrate Galileo with OpenAI in TypeScript
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me set up Galileo observability for my GPT-4 chatbot
```
</CodeGroup>
**Sorabilecekleriniz:**
<CodeGroup>
```text Query wrap theme={null}
How do I integrate Galileo with my LangChain application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to add Galileo tracing to my LangChain agent
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me log my LangChain RAG pipeline with Galileo
```
</CodeGroup>
**Sorabilecekleriniz:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up data logging in Galileo?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Find documentation about custom metrics
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Search for examples of agentic AI evaluation
```
</CodeGroup>
Örnek Kullanım Durumları
Sentetik Veri Kümesi Oluşturma
Yapay zeka asistanınıza sorun:
```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```MCP sunucusu, veri kümesi oluşturma sürecinde size rehberlik edecek ve ilerlemeyi takip etmek için bir veri kümesi kimliği sağlayacaktır.
Entegrasyon Yardımı Alma
Yapay zeka asistanınıza sorun:
```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```MCP sunucusu, eksiksiz entegrasyon kodu örnekleri ve kurulum talimatları sağlayacaktır.
Sinyal Alma
Yapay zeka asistanınıza sorun:
```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```MCP sunucusu, Günlük akışınızı analiz edecek ve iyileştirmeler önerecektir.