Agent Evals by Galileo
oficialLleva las evaluaciones de agentes, la observabilidad y la generación de conjuntos de pruebas sintéticas directamente a tu IDE de forma gratuita con el nuevo servidor MCP de Galileo.
¿Qué puedes hacer con Agent Evals By Galileo MCP?
- Crear conjuntos de datos sintéticos — Pida al asistente que genere un conjunto de datos con tipos de consulta personalizados, como problemas de facturación o inyecciones de prompt.
- Verificar el estado de generación del conjunto de datos — Realice un seguimiento del progreso y obtenga una vista previa de las primeras filas de un conjunto de datos mientras se crea.
- Crear plantillas de prompt reutilizables — Configure plantillas de prompt con nombre, con parámetros de modelo y ajustes de temperatura en todos los proyectos.
- Obtener orientación para la configuración de experimentos — Reciba instrucciones paso a paso para ejecutar experimentos de Galileo en Python en sus flujos de trabajo RAG o de agente.
- Analizar flujos de registros en busca de señales — Obtenga señales recientes de un flujo de registros de producción y reciba sugerencias de correcciones de código.
- Buscar en la documentación de Galileo — Encuentre referencias de API, ejemplos de código y guías de implementación directamente desde la documentación.
Documentación
Servidor MCP de Galileo
Aprende a integrar el servidor Model Context Protocol (MCP) de Galileo con IDEs con IA como Cursor y VS Code
El servidor Model Context Protocol (MCP) de Galileo permite una integración perfecta entre IDEs con IA, como Cursor o VS Code con GitHub Copilot, y la plataforma de evaluación y observabilidad de Galileo.
Con MCP, puedes acceder a las capacidades de Galileo directamente desde tu entorno de desarrollo, incluyendo:
- Crear y gestionar conjuntos de datos
- Ejecutar experimentos
- Configurar plantillas de prompts
- Obtener señales en flujos de Log
- Integrar Galileo con tu código
Requisitos previos
Antes de empezar, asegúrate de tener lo siguiente:
Instala un IDE con IA como [Cursor](https://cursor.sh) o [VS Code](https://code.visualstudio.com) con capacidades de IA Genera tu clave API de Galileo desde la [página de claves API](https://app.galileo.ai/settings/api-keys)Configura tu IDE
El servidor MCP de Galileo funciona tanto con Cursor como con VS Code. Sigue los pasos a continuación para tu IDE:
Instala la extensión [GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot) si aún no lo has hecho <Step title="Open MCP settings">
Abre la Paleta de Comandos (`Ctrl + Shift + P` en Windows/Linux, o `Cmd + Shift + P` en Mac) y busca **"MCP: Open User Configuration"**
</Step>
<Step title="Add the Galileo MCP server configuration">
Copia y pega la configuración de abajo. Sustituye `YOUR-API-KEY` por tu clave API real de Galileo.
```json VSCode MCP Configuration highlight={3-9} theme={null}
{
"servers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
},
"inputs": []
}
```
Esto asume que estás usando [app.galileo.ai](https://app.galileo.ai).
Si estás usando un despliegue autogestionado de Galileo, sustituye la url `https://api.galileo.ai/mcp/http/mcp` por la URL de tu despliegue. El formato de esta URL se basa en la URL de tu consola, reemplazando `console` por `api` y añadiendo `/mcp/http/mcp`.
Por ejemplo:
* si la URL de tu consola es `https://console.galileo.example.com`, la URL MCP sería `https://api.galileo.example.com/mcp/http/mcp`
* si la URL de tu consola es `https://console-galileo.apps.mycompany.com`, la URL MCP sería `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Reload VS Code">
Recarga VS Code abriendo la Paleta de Comandos y ejecutando **"Developer: Reload Window"** para que los cambios surtan efecto
</Step>
</Steps>
<Step title="Open the MCP server configuration file">
Haz clic en **Add Custom MCP** para abrir el archivo de configuración MCP `mcp.json`, o **New MCP Server** si ya tienes otros servidores MCP configurados.
</Step>
<Step title="Add the Galileo MCP server configuration">
Copia y pega la configuración de abajo. Sustituye `YOUR-API-KEY` por tu clave API real de Galileo.
```json Cursor MCP Configuration highlight={3-9} theme={null}
{
"mcpServers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
}
}
```
Esto asume que estás usando [app.galileo.ai](https://app.galileo.ai).
Si estás usando un despliegue autogestionado de Galileo, sustituye la url `https://api.galileo.ai/mcp/http/mcp` por la URL de tu despliegue. El formato de esta URL se basa en la URL de tu consola, reemplazando `console` por `api` y añadiendo `/mcp/http/mcp`.
Por ejemplo:
* si la URL de tu consola es `https://console.galileo.example.com`, la URL MCP sería `https://api.galileo.example.com/mcp/http/mcp`
* si la URL de tu consola es `https://console-galileo.apps.mycompany.com`, la URL MCP sería `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Save and restart">
Guarda la configuración y reinicia Cursor para que los cambios surtan efecto
</Step>
</Steps>
Verifica tu configuración
Una vez configurado, puedes verificar tu configuración MCP preguntándole a tu asistente de IA en tu IDE:
```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ```Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Tu asistente de IA ahora debería poder acceder a las capacidades de Galileo y responder con información de tu cuenta de Galileo.
Herramientas
El servidor MCP de Galileo proporciona potentes herramientas a las que puedes acceder mediante conversación natural con tu asistente de IA. Simplemente haz preguntas o peticiones, y la IA usará estas herramientas para ayudarte.
Genera conjuntos de datos sintéticos o sube tus propios datos para probar y evaluar tus aplicaciones de IA. La herramienta permite crear conjuntos de datos con varios tipos de consultas, incluyendo consultas generales, inyecciones de prompts, contenido fuera de tema y escenarios de contenido tóxico.**Lo que puedes preguntar:**
<CodeGroup>
```text Query wrap theme={null}
Create a dataset with 50 customer service queries about billing issues
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a dataset with product recommendation queries and include off-topic questions
```
</CodeGroup>
**Lo que puedes preguntar:**
<CodeGroup>
```text Query wrap theme={null}
Check the status of my dataset that's currently generating
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me the preview of dataset abc-123
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Is my customer service dataset ready yet?
```
</CodeGroup>
**Lo que puedes preguntar:**
<CodeGroup>
```text Query wrap theme={null}
Create a prompt template called "Friendly Assistant" for customer support responses
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a prompt template for summarizing technical documentation with lower temperature
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Set up a chat template for a code review assistant
```
</CodeGroup>
**Lo que puedes preguntar:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up a Galileo experiment in Python?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to run an experiment with my RAG application
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Guide me through creating an experiment for my agentic workflow
```
</CodeGroup>
**Lo que puedes preguntar:**
<CodeGroup>
```text Query wrap theme={null}
What issues do you see in my production log stream?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Fetch the most recent signals from Galileo and propose fixes for them in my code
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Get insights about my chatbot log stream and suggest improvements
```
</CodeGroup>
**Lo que puedes preguntar:**
<CodeGroup>
```text Query wrap theme={null}
How do I add Galileo logging to my OpenAI application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to integrate Galileo with OpenAI in TypeScript
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me set up Galileo observability for my GPT-4 chatbot
```
</CodeGroup>
**Lo que puedes preguntar:**
<CodeGroup>
```text Query wrap theme={null}
How do I integrate Galileo with my LangChain application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to add Galileo tracing to my LangChain agent
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me log my LangChain RAG pipeline with Galileo
```
</CodeGroup>
**Lo que puedes preguntar:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up data logging in Galileo?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Find documentation about custom metrics
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Search for examples of agentic AI evaluation
```
</CodeGroup>
Casos de uso de ejemplo
Crear un conjunto de datos sintético
Pregunta a tu asistente de IA:
```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```El servidor MCP te guiará a través del proceso de creación del conjunto de datos y proporcionará un ID de conjunto de datos para seguir el progreso.
Obtener ayuda de integración
Pregunta a tu asistente de IA:
```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```El servidor MCP proporcionará ejemplos completos de código de integración e instrucciones de configuración.
Obtener Señales
Pregunta a tu asistente de IA:
```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```El servidor MCP analizará tu flujo de Log y sugerirá mejoras.