Agent Evals by Galileo

officiel

Apportez les évaluations d’agents, l’observabilité et la génération d’ensembles de tests synthétiques directement dans votre IDE gratuitement avec le nouveau serveur MCP de Galileo.

Que pouvez-vous faire avec Agent Evals By Galileo MCP ?

  • Créer des jeux de données synthétiques — Demandez à votre assistant de générer des jeux de données de requêtes, incluant des scénarios d’injection de prompt, hors sujet ou contenant du contenu toxique.
  • Vérifier l’état du jeu de données — Suivez la progression de la génération du jeu de données et prévisualisez les 10 premières lignes des données générées.
  • Créer des modèles de prompt — Créez des modèles de prompt réutilisables avec des configurations de modèle et des paramètres de température pour garantir un comportement cohérent.
  • Obtenir des conseils sur les expériences — Demandez comment configurer et exécuter des expériences Galileo, notamment la préparation des jeux de données et la configuration des métriques.
  • Analyser les signaux des flux de logs — Récupérez les signaux récents de vos flux de logs et obtenez des correctifs suggérés pour les problèmes détectés.
  • Obtenir de l’aide pour les intégrations — Demandez des guides étape par étape pour ajouter l’observabilité Galileo aux applications OpenAI ou LangChain.

Documentation

Serveur MCP Galileo

Découvrez comment intégrer le serveur Model Context Protocol (MCP) de Galileo aux IDE dotés de fonctionnalités d’IA, comme Cursor et VS Code

Le serveur Model Context Protocol (MCP) de Galileo permet une intégration fluide entre les IDE alimentés par l’IA, tels que Cursor ou VS Code avec GitHub Copilot, et la plateforme d’évaluation et d’observabilité de Galileo.

Avec MCP, vous pouvez accéder aux fonctionnalités de Galileo directement depuis votre environnement de développement, notamment :

  • Créer et gérer des jeux de données
  • Exécuter des expériences
  • Configurer des modèles de prompts
  • Obtenir des signaux sur les flux de logs
  • Intégrer Galileo à votre code

Prérequis

Avant de commencer, assurez-vous de disposer des éléments suivants :

1. IDE doté de fonctionnalités d’IA

Installez un IDE doté de fonctionnalités d’IA, comme Cursor ou VS Code, avec des capacités d’IA

2. Clé API

Générez votre clé API Galileo depuis la page des clés API

Configurer votre IDE

Le serveur MCP Galileo fonctionne avec Cursor et VS Code. Suivez les étapes correspondant à votre IDE :

[tab] VS Code

1. Installer GitHub Copilot

Installez l’extension GitHub Copilot si ce n’est pas déjà fait

2. Ouvrir les paramètres MCP

Ouvrez la palette de commandes (Ctrl + Shift + P sous Windows/Linux ou Cmd + Shift + P sur Mac) et recherchez "MCP: Open User Configuration"

3. Ajouter la configuration du serveur MCP Galileo

Copiez et collez la configuration ci-dessous. Remplacez YOUR-API-KEY par votre véritable clé API Galileo.

{
  "servers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  },
  "inputs": []
}

Ces instructions supposent que vous utilisez app.galileo.ai.

Si vous utilisez un déploiement Galileo auto-hébergé, remplacez l’URL https://api.galileo.ai/mcp/http/mcp par l’URL de votre déploiement. Le format de cette URL est basé sur l’URL de votre console : remplacez console par api, puis ajoutez /mcp/http/mcp.

Par exemple :

  • si l’URL de votre console est https://console.galileo.example.com, l’URL MCP sera https://api.galileo.example.com/mcp/http/mcp
  • si l’URL de votre console est https://console-galileo.apps.mycompany.com, l’URL MCP sera https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Recharger VS Code

Pour appliquer les modifications, rechargez VS Code en ouvrant la palette de commandes et en exécutant "Developer: Reload Window"

[tab] Cursor

1. Ouvrir les paramètres Tools & MCP

Ouvrez la palette de commandes de Cursor (Ctrl + Shift + P sous Windows/Linux ou Cmd + Shift + P sur Mac), puis choisissez "Open MCP Settings".

2. Ouvrir le fichier de configuration du serveur MCP

Cliquez sur Add Custom MCP pour ouvrir le fichier de configuration MCP mcp.json, ou sur New MCP Server si d’autres serveurs MCP sont déjà configurés.

3. Ajouter la configuration du serveur MCP Galileo

Copiez et collez la configuration ci-dessous. Remplacez YOUR-API-KEY par votre véritable clé API Galileo.

{
  "mcpServers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  }
}

Ces instructions supposent que vous utilisez app.galileo.ai.

Si vous utilisez un déploiement Galileo auto-hébergé, remplacez l’URL https://api.galileo.ai/mcp/http/mcp par l’URL de votre déploiement. Le format de cette URL est basé sur l’URL de votre console : remplacez console par api, puis ajoutez /mcp/http/mcp.

Par exemple :

  • si l’URL de votre console est https://console.galileo.example.com, l’URL MCP sera https://api.galileo.example.com/mcp/http/mcp
  • si l’URL de votre console est https://console-galileo.apps.mycompany.com, l’URL MCP sera https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Enregistrer et redémarrer

Enregistrez la configuration et redémarrez Cursor pour appliquer les modifications

[!TIP]

La configuration est identique pour Cursor et VS Code. Veillez à remplacer YOUR-API-KEY par votre véritable clé API Galileo, disponible sur la page des clés API.

Vérifier votre configuration

Une fois la configuration terminée, vous pouvez vérifier votre configuration MCP en posant les questions suivantes à votre assistant IA dans votre IDE :

Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?

Votre assistant IA devrait maintenant pouvoir accéder aux fonctionnalités de Galileo et répondre en s’appuyant sur les informations de votre compte Galileo.

Outils

Le serveur MCP Galileo fournit des outils puissants auxquels vous pouvez accéder en conversant naturellement avec votre assistant IA. Posez simplement des questions ou faites des demandes, et l’IA utilisera ces outils pour vous aider.

[accordion] Créer des jeux de données

Générez des jeux de données synthétiques ou importez vos propres données pour tester et évaluer vos applications d’IA. L’outil permet de créer des jeux de données contenant différents types de requêtes, notamment des requêtes générales, des injections de prompt, du contenu hors sujet et des scénarios de contenu toxique.

Exemples de demandes :

Crée un jeu de données de 50 requêtes de service client sur des problèmes de facturation
Génère un jeu de données de 30 requêtes pour chatbot, dont certaines tentatives d’injection de prompt
Crée un jeu de données de requêtes de recommandation de produits et ajoute des questions hors sujet

[accordion] Vérifier l’état d’un jeu de données

Suivez la progression de la génération de votre jeu de données et prévisualisez le contenu généré. Vous verrez les 10 premières lignes de données, ainsi que l’état de la génération et les mises à jour de progression.

Exemples de demandes :

Vérifie l’état du jeu de données en cours de génération
Affiche-moi l’aperçu du jeu de données abc-123
Mon jeu de données de service client est-il prêt ?

[accordion] Créer des modèles de prompts

Créez des modèles de prompts réutilisables dans tous vos projets. Configurez les modèles, la température et d’autres paramètres pour obtenir un comportement cohérent des prompts.

Exemples de demandes :

Crée un modèle de prompt appelé "Friendly Assistant" pour les réponses du service client
Crée un modèle de prompt pour résumer de la documentation technique avec une température plus basse
Configure un modèle de chat pour un assistant de révision de code

[accordion] Configurer des expériences

Obtenez des instructions complètes pour configurer et exécuter des expériences Galileo, notamment sur la préparation des jeux de données, la configuration des métriques et l’intégration à votre code existant. Disponible pour Python et d’autres langages pris en charge.

Exemples de demandes :

Comment configurer une expérience Galileo en Python ?
Montre-moi comment exécuter une expérience avec mon application RAG
Guide-moi dans la création d’une expérience pour mon workflow agentique

[accordion] Obtenir des signaux

Analysez les flux de logs de votre application pour repérer les problèmes, les tendances et les possibilités d’amélioration. Obtenez des recommandations précises à partir des données enregistrées.

Exemples de demandes :

Quels problèmes vois-tu dans mon flux de logs de production ?
Récupère les signaux les plus récents de Galileo et propose des correctifs dans mon code
Analyse le flux de logs de mon chatbot et suggère des améliorations

[accordion] Intégrer OpenAI

Obtenez des guides d’intégration détaillés pour ajouter l’observabilité Galileo à vos applications OpenAI. Enregistrez automatiquement les prompts, les réponses, les paramètres des modèles et l’utilisation des tokens avec un minimum de modifications du code.

Exemples de demandes :

Comment ajouter la journalisation Galileo à mon application OpenAI ?
Montre-moi comment intégrer Galileo à OpenAI en TypeScript
Aide-moi à configurer l’observabilité Galileo pour mon chatbot GPT-4

[accordion] Intégrer LangChain

Obtenez des instructions complètes pour intégrer Galileo à vos applications LangChain. Capturez des traces complètes de vos chaînes, agents et outils grâce à la journalisation automatique.

Exemples de demandes :

Comment intégrer Galileo à mon application LangChain ?
Montre-moi comment ajouter le traçage Galileo à mon agent LangChain
Aide-moi à journaliser mon pipeline RAG LangChain avec Galileo

[accordion] Rechercher dans la documentation

Trouvez des informations pertinentes, des exemples de code, des références d’API et des guides d’implémentation dans toute la documentation Galileo. Obtenez des liens directs vers les pages dont vous avez besoin.

Exemples de demandes :

Comment configurer la journalisation des données dans Galileo ?
Trouve la documentation sur les métriques personnalisées
Recherche des exemples d’évaluation de l’IA agentique

Exemples de cas d’utilisation

Créer un jeu de données synthétique

Demandez à votre assistant IA :

Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.

Le serveur MCP vous guidera tout au long du processus de création du jeu de données et vous fournira un ID de jeu de données pour suivre sa progression.

Obtenir de l’aide pour l’intégration

Demandez à votre assistant IA :

How do I integrate Galileo with my LangChain application in Python?

Le serveur MCP fournira des exemples complets de code d’intégration et des instructions de configuration.

Obtenir des signaux

Demandez à votre assistant IA :

Fetch the most recent signals from Galileo and propose fixes for them in my code

Le serveur MCP analysera votre flux de logs et suggérera des améliorations.

Dépannage

[accordion] Erreur de connexion au serveur MCP Galileo

  • Vérifiez que l’URL du serveur MCP est définie sur https://api.galileo.ai/mcp/http/mcp
  • Vérifiez que l’en-tête Accept est défini sur text/event-stream
  • Redémarrez la connexion MCP de votre IDE après toute modification de la configuration

[accordion] Erreurs de clé API

  • Vérifiez que votre clé API est correctement définie dans la configuration
  • Vérifiez que votre clé API n’a pas expiré
  • Générez une nouvelle clé API depuis la page des clés API

Étapes suivantes

[card] Enregistrer votre première trace

Découvrez comment enregistrer votre première trace avec Galileo

[card] Exécuter votre première expérience

Configurez et exécutez des expériences pour évaluer vos applications d’IA

[card] Découvrir les intégrations

Découvrez les intégrations Galileo avec des frameworks tiers