Agent Evals by Galileo
officielApportez les évaluations d’agents, l’observabilité et la génération d’ensembles de tests synthétiques directement dans votre IDE gratuitement avec le nouveau serveur MCP de Galileo.
Que pouvez-vous faire avec Agent Evals By Galileo MCP ?
- Créer des jeux de données synthétiques — Demandez à l'assistant de générer un jeu de données avec des types de requêtes personnalisés, comme des problèmes de facturation ou des injections d'invites.
- Vérifier l'état de génération du jeu de données — Suivez la progression et prévisualisez les premières lignes d'un jeu de données pendant sa création.
- Construire des modèles d'invite réutilisables — Configurez des modèles d'invite nommés avec des paramètres de modèle et des réglages de température dans différents projets.
- Obtenir des conseils pour la configuration d'expériences — Recevez des instructions étape par étape pour exécuter des expériences Galileo en Python sur vos workflows RAG ou agents.
- Analyser les flux de logs pour détecter des signaux — Récupérez les signaux récents d'un flux de logs de production et obtenez des suggestions de corrections de code.
- Rechercher dans la documentation Galileo — Trouvez des références API, des exemples de code et des guides d'implémentation directement depuis la documentation.
Documentation
Serveur MCP Galileo
Apprenez à intégrer le serveur Model Context Protocol (MCP) de Galileo avec des IDE compatibles IA comme Cursor et VS Code
Le serveur Model Context Protocol (MCP) de Galileo permet une intégration transparente entre les IDE dotés d'IA, tels que Cursor ou VS Code avec GitHub Copilot, et la plateforme d'évaluation et d'observabilité de Galileo.
Avec MCP, vous pouvez accéder aux capacités de Galileo directement depuis votre environnement de développement, notamment :
- Créer et gérer des jeux de données
- Exécuter des expériences
- Configurer des modèles de prompt
- Obtenir des signaux sur les flux de logs
- Intégrer Galileo à votre code
Prérequis
Avant de commencer, assurez-vous de disposer des éléments suivants :
Installez un IDE compatible IA tel que [Cursor](https://cursor.sh) ou [VS Code](https://code.visualstudio.com) avec des capacités d'IA Générez votre clé API Galileo depuis la [page des clés API](https://app.galileo.ai/settings/api-keys)Configurer votre IDE
Le serveur MCP Galileo fonctionne à la fois avec Cursor et VS Code. Suivez les étapes ci-dessous pour votre IDE :
Installez l'extension [GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot) si ce n'est pas déjà fait <Step title="Open MCP settings">
Ouvrez la palette de commandes (`Ctrl + Shift + P` sous Windows/Linux, ou `Cmd + Shift + P` sous Mac) et recherchez **"MCP: Open User Configuration"**
</Step>
<Step title="Add the Galileo MCP server configuration">
Copiez et collez la configuration ci-dessous. Remplacez `YOUR-API-KEY` par votre véritable clé API Galileo.
```json VSCode MCP Configuration highlight={3-9} theme={null}
{
"servers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
},
"inputs": []
}
```
Ceci suppose que vous utilisez [app.galileo.ai](https://app.galileo.ai).
Si vous utilisez un déploiement Galileo auto-hébergé, remplacez l'URL `https://api.galileo.ai/mcp/http/mcp` par l'URL de votre déploiement. Le format de cette URL est basé sur l'URL de votre console, en remplaçant `console` par `api` et en ajoutant `/mcp/http/mcp`.
Par exemple :
* si l'URL de votre console est `https://console.galileo.example.com`, l'URL MCP serait `https://api.galileo.example.com/mcp/http/mcp`
* si l'URL de votre console est `https://console-galileo.apps.mycompany.com`, l'URL MCP serait `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Reload VS Code">
Rechargez VS Code en ouvrant la palette de commandes et en exécutant **"Developer: Reload Window"** pour que les modifications prennent effet
</Step>
</Steps>
<Step title="Open the MCP server configuration file">
Cliquez sur **Add Custom MCP** pour ouvrir le fichier de configuration MCP `mcp.json`, ou **New MCP Server** si vous avez déjà d'autres serveurs MCP configurés.
</Step>
<Step title="Add the Galileo MCP server configuration">
Copiez et collez la configuration ci-dessous. Remplacez `YOUR-API-KEY` par votre véritable clé API Galileo.
```json Cursor MCP Configuration highlight={3-9} theme={null}
{
"mcpServers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
}
}
```
Ceci suppose que vous utilisez [app.galileo.ai](https://app.galileo.ai).
Si vous utilisez un déploiement Galileo auto-hébergé, remplacez l'URL `https://api.galileo.ai/mcp/http/mcp` par l'URL de votre déploiement. Le format de cette URL est basé sur l'URL de votre console, en remplaçant `console` par `api` et en ajoutant `/mcp/http/mcp`.
Par exemple :
* si l'URL de votre console est `https://console.galileo.example.com`, l'URL MCP serait `https://api.galileo.example.com/mcp/http/mcp`
* si l'URL de votre console est `https://console-galileo.apps.mycompany.com`, l'URL MCP serait `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Save and restart">
Sauvegardez la configuration et redémarrez Cursor pour que les modifications prennent effet
</Step>
</Steps>
Vérifier votre configuration
Une fois configuré, vous pouvez vérifier votre configuration MCP en demandant à votre assistant IA dans votre IDE :
```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ```Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Votre assistant IA devrait maintenant pouvoir accéder aux capacités de Galileo et répondre avec des informations de votre compte Galileo.
Outils
Le serveur MCP Galileo fournit des outils puissants auxquels vous pouvez accéder via une conversation naturelle avec votre assistant IA. Posez simplement des questions ou faites des demandes, et l'IA utilisera ces outils pour vous aider.
Générez des jeux de données synthétiques ou téléchargez vos propres données pour tester et évaluer vos applications d'IA. L'outil prend en charge la création de jeux de données avec divers types de requêtes, y compris des requêtes générales, des injections de prompt, du contenu hors sujet et des scénarios de contenu toxique.**Ce que vous pouvez demander :**
<CodeGroup>
```text Query wrap theme={null}
Create a dataset with 50 customer service queries about billing issues
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a dataset with product recommendation queries and include off-topic questions
```
</CodeGroup>
**Ce que vous pouvez demander :**
<CodeGroup>
```text Query wrap theme={null}
Check the status of my dataset that's currently generating
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me the preview of dataset abc-123
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Is my customer service dataset ready yet?
```
</CodeGroup>
**Ce que vous pouvez demander :**
<CodeGroup>
```text Query wrap theme={null}
Create a prompt template called "Friendly Assistant" for customer support responses
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a prompt template for summarizing technical documentation with lower temperature
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Set up a chat template for a code review assistant
```
</CodeGroup>
**Ce que vous pouvez demander :**
<CodeGroup>
```text Query wrap theme={null}
How do I set up a Galileo experiment in Python?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to run an experiment with my RAG application
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Guide me through creating an experiment for my agentic workflow
```
</CodeGroup>
**Ce que vous pouvez demander :**
<CodeGroup>
```text Query wrap theme={null}
What issues do you see in my production log stream?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Fetch the most recent signals from Galileo and propose fixes for them in my code
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Get insights about my chatbot log stream and suggest improvements
```
</CodeGroup>
**Ce que vous pouvez demander :**
<CodeGroup>
```text Query wrap theme={null}
How do I add Galileo logging to my OpenAI application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to integrate Galileo with OpenAI in TypeScript
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me set up Galileo observability for my GPT-4 chatbot
```
</CodeGroup>
**Ce que vous pouvez demander :**
<CodeGroup>
```text Query wrap theme={null}
How do I integrate Galileo with my LangChain application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to add Galileo tracing to my LangChain agent
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me log my LangChain RAG pipeline with Galileo
```
</CodeGroup>
**Ce que vous pouvez demander :**
<CodeGroup>
```text Query wrap theme={null}
How do I set up data logging in Galileo?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Find documentation about custom metrics
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Search for examples of agentic AI evaluation
```
</CodeGroup>
Exemples de cas d'utilisation
Créer un jeu de données synthétique
Demandez à votre assistant IA :
```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```Le serveur MCP vous guidera tout au long du processus de création du jeu de données et fournira un ID de jeu de données pour suivre la progression.
Obtenir de l'aide à l'intégration
Demandez à votre assistant IA :
```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```Le serveur MCP fournira des exemples de code d'intégration complets et des instructions de configuration.
Obtenir des signaux
Demandez à votre assistant IA :
```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```Le serveur MCP analysera votre flux de logs et suggérera des améliorations.