Agent Evals by Galileo
oficialLleva las evaluaciones de agentes, la observabilidad y la generación de conjuntos de pruebas sintéticas directamente a tu IDE de forma gratuita con el nuevo servidor MCP de Galileo.
¿Qué puedes hacer con Agent Evals By Galileo MCP?
- Crear conjuntos de datos sintéticos — Pide a tu asistente que genere conjuntos de datos de consultas, incluidos escenarios con inyección de prompts, contenido fuera de tema o tóxico.
- Comprobar el estado del conjunto de datos — Haz un seguimiento del progreso de la generación del conjunto de datos y previsualiza las primeras 10 filas de los datos generados.
- Crear plantillas de prompts — Crea plantillas de prompts reutilizables con configuraciones de modelos y ajustes de temperatura para obtener un comportamiento coherente.
- Obtener orientación sobre experimentos — Pregunta cómo configurar y ejecutar experimentos de Galileo, incluida la preparación de conjuntos de datos y la configuración de métricas.
- Analizar señales del flujo de registros — Obtén señales recientes de tus flujos de registros y sugerencias para solucionar los problemas detectados.
- Obtener ayuda con la integración — Solicita guías paso a paso para añadir la observabilidad de Galileo a aplicaciones de OpenAI o LangChain.
Documentación
Galileo MCP Server
Aprende a integrar el servidor Model Context Protocol (MCP) de Galileo con IDE habilitados para IA, como Cursor y VS Code
El servidor Model Context Protocol (MCP) de Galileo permite una integración fluida entre los IDE con tecnología de IA, como Cursor o VS Code con GitHub Copilot, y la plataforma de evaluación y observabilidad de Galileo.
Con MCP, puedes acceder a las capacidades de Galileo directamente desde tu entorno de desarrollo, entre ellas:
- Crear y administrar conjuntos de datos
- Ejecutar experimentos
- Configurar plantillas de prompts
- Obtener señales de los flujos de Log
- Integrar Galileo con tu código
Requisitos previos
Antes de comenzar, asegúrate de tener lo siguiente:
1. IDE con IA
Instala un IDE con IA, como Cursor o VS Code, con capacidades de IA
2. Clave de API
Genera tu clave de API de Galileo desde la página de claves de API
Configura tu IDE
El servidor MCP de Galileo funciona tanto con Cursor como con VS Code. Sigue los pasos correspondientes a tu IDE:
[tab] VS Code
1. Instala GitHub Copilot
Instala la extensión GitHub Copilot si aún no lo has hecho
2. Abre la configuración de MCP
Abre la paleta de comandos (
Ctrl + Shift + Pen Windows/Linux oCmd + Shift + Pen Mac) y busca "MCP: Open User Configuration"3. Añade la configuración del servidor MCP de Galileo
Copia y pega la configuración siguiente. Sustituye
YOUR-API-KEYpor tu clave de API de Galileo.{ "servers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } }, "inputs": [] }Se supone que estás usando app.galileo.ai.
Si usas una implementación autohospedada de Galileo, sustituye la URL
https://api.galileo.ai/mcp/http/mcppor la URL de tu implementación. El formato de esta URL se basa en la URL de tu consola: sustituyeconsoleporapiy añade/mcp/http/mcpal final.Por ejemplo:
- si la URL de tu consola es
https://console.galileo.example.com, la URL de MCP seríahttps://api.galileo.example.com/mcp/http/mcp- si la URL de tu consola es
https://console-galileo.apps.mycompany.com, la URL de MCP seríahttps://api-galileo.apps.mycompany.com/mcp/http/mcp4. Recarga VS Code
Para que los cambios surtan efecto, recarga VS Code abriendo la paleta de comandos y ejecutando "Developer: Reload Window"
[tab] Cursor
1. Abre la configuración de Tools & MCP
Abre la paleta de comandos de Cursor (
Ctrl + Shift + Pen Windows/Linux oCmd + Shift + Pen Mac) y selecciona "Open MCP Settings".2. Abre el archivo de configuración del servidor MCP
Haz clic en Add Custom MCP para abrir el archivo de configuración MCP
mcp.json, o en New MCP Server si ya tienes otros servidores MCP configurados.3. Añade la configuración del servidor MCP de Galileo
Copia y pega la configuración siguiente. Sustituye
YOUR-API-KEYpor tu clave de API de Galileo.{ "mcpServers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } } }Se supone que estás usando app.galileo.ai.
Si usas una implementación autohospedada de Galileo, sustituye la URL
https://api.galileo.ai/mcp/http/mcppor la URL de tu implementación. El formato de esta URL se basa en la URL de tu consola: sustituyeconsoleporapiy añade/mcp/http/mcpal final.Por ejemplo:
- si la URL de tu consola es
https://console.galileo.example.com, la URL de MCP seríahttps://api.galileo.example.com/mcp/http/mcp- si la URL de tu consola es
https://console-galileo.apps.mycompany.com, la URL de MCP seríahttps://api-galileo.apps.mycompany.com/mcp/http/mcp4. Guarda y reinicia
Guarda la configuración y reinicia Cursor para que los cambios surtan efecto
[!TIP]
La configuración es la misma para Cursor y VS Code. Asegúrate de sustituir
YOUR-API-KEYpor tu clave de API de Galileo, que puedes obtener en la página de claves de API.
Verifica tu configuración
Una vez configurado, puedes verificar la configuración de MCP preguntándole a tu asistente de IA en el IDE:
Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Tu asistente de IA ya debería poder acceder a las capacidades de Galileo y responder con información de tu cuenta de Galileo.
Herramientas
El servidor MCP de Galileo ofrece herramientas potentes a las que puedes acceder mediante una conversación natural con tu asistente de IA. Solo tienes que hacer preguntas o solicitudes, y la IA usará estas herramientas para ayudarte.
[accordion] Crear conjuntos de datos
Genera conjuntos de datos sintéticos o carga tus propios datos para probar y evaluar tus aplicaciones de IA. La herramienta permite crear conjuntos de datos con varios tipos de consultas, incluidas consultas generales, intentos de inyección de prompts, contenido fuera de tema y escenarios con contenido tóxico.
Qué puedes pedir:
Crea un conjunto de datos con 50 consultas de atención al cliente sobre problemas de facturaciónGenera un conjunto de datos de 30 consultas para un chatbot, incluidas algunas tentativas de inyección de promptsCrea un conjunto de datos con consultas de recomendación de productos e incluye preguntas fuera de tema
[accordion] Consultar el estado de un conjunto de datos
Haz un seguimiento del progreso de la generación de tu conjunto de datos y previsualiza el contenido generado. Verás las primeras 10 filas de datos, junto con el estado de generación y las actualizaciones de progreso.
Qué puedes pedir:
Consulta el estado del conjunto de datos que se está generandoMuéstrame la vista previa del conjunto de datos abc-123¿Ya está listo mi conjunto de datos de atención al cliente?
[accordion] Crear plantillas de prompts
Crea plantillas de prompts reutilizables que puedas usar en todos tus proyectos. Configura modelos, ajustes de temperatura y otros parámetros para obtener un comportamiento uniforme de los prompts.
Qué puedes pedir:
Crea una plantilla de prompt llamada "Friendly Assistant" para respuestas de atención al clienteCrea una plantilla de prompt para resumir documentación técnica con una temperatura más bajaConfigura una plantilla de chat para un asistente de revisión de código
[accordion] Configurar experimentos
Obtén instrucciones completas para configurar y ejecutar experimentos de Galileo, incluida la preparación de conjuntos de datos, la configuración de métricas y la integración con tu código existente. Disponible para Python y otros lenguajes compatibles.
Qué puedes pedir:
¿Cómo configuro un experimento de Galileo en Python?Muéstrame cómo ejecutar un experimento con mi aplicación RAGGuíame para crear un experimento para mi flujo de trabajo agéntico
[accordion] Obtener señales
Analiza los flujos de Log de tu aplicación para identificar problemas, patrones y oportunidades de mejora. Obtén recomendaciones específicas basadas en los datos registrados.
Qué puedes pedir:
¿Qué problemas ves en mi flujo de Log de producción?Obtén las señales más recientes de Galileo y propón soluciones para ellas en mi códigoObtén información sobre el flujo de Log de mi chatbot y sugiere mejoras
[accordion] Integrar con OpenAI
Obtén guías de integración paso a paso para añadir observabilidad de Galileo a tus aplicaciones de OpenAI. Registra automáticamente prompts, respuestas, parámetros del modelo y uso de tokens con cambios mínimos en el código.
Qué puedes pedir:
¿Cómo añado el registro de Galileo a mi aplicación de OpenAI?Muéstrame cómo integrar Galileo con OpenAI en TypeScriptAyúdame a configurar la observabilidad de Galileo para mi chatbot GPT-4
[accordion] Integrar con LangChain
Obtén instrucciones completas para integrar Galileo en tus aplicaciones de LangChain. Captura trazas completas de tus cadenas, agentes y herramientas con registro automático.
Qué puedes pedir:
¿Cómo integro Galileo con mi aplicación de LangChain?Muéstrame cómo añadir trazas de Galileo a mi agente de LangChainAyúdame a registrar mi canalización RAG de LangChain con Galileo
[accordion] Buscar en la documentación
Encuentra información relevante, ejemplos de código, referencias de API y guías de implementación en toda la documentación de Galileo. Obtén enlaces directos a las páginas que necesitas.
Qué puedes pedir:
¿Cómo configuro el registro de datos en Galileo?Encuentra documentación sobre métricas personalizadasBusca ejemplos de evaluación de IA agéntica
Ejemplos de casos de uso
Crear un conjunto de datos sintético
Pregúntale a tu asistente de IA:
Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.
El servidor MCP te guiará durante el proceso de creación del conjunto de datos y te proporcionará un ID para hacer un seguimiento del progreso.
Obtener ayuda con la integración
Pregúntale a tu asistente de IA:
How do I integrate Galileo with my LangChain application in Python?
El servidor MCP proporcionará ejemplos completos de código de integración e instrucciones de configuración.
Obtener señales
Pregúntale a tu asistente de IA:
Fetch the most recent signals from Galileo and propose fixes for them in my code
El servidor MCP analizará tu flujo de Log y sugerirá mejoras.
Solución de problemas
[accordion] Error al conectar con Galileo MCP Server
- Comprueba que la URL del servidor MCP esté configurada como
https://api.galileo.ai/mcp/http/mcp- Asegúrate de que el encabezado
Acceptesté configurado comotext/event-stream- Reinicia la conexión MCP de tu IDE después de realizar cambios en la configuración
[accordion] Errores de clave de API
- Confirma que la clave de API esté configurada correctamente
- Comprueba que la clave de API no haya caducado
- Genera una nueva clave de API desde la página de claves de API
Próximos pasos
[card] Registra tu primera traza
Aprende a registrar tu primera traza con Galileo
[card] Ejecuta tu primer experimento
Configura y ejecuta experimentos para evaluar tus aplicaciones de IA
[card] Explora las integraciones
Aprende sobre las integraciones de Galileo con frameworks de terceros