Agent Evals by Galileo

oficial

Lleva las evaluaciones de agentes, la observabilidad y la generación de conjuntos de pruebas sintéticas directamente a tu IDE de forma gratuita con el nuevo servidor MCP de Galileo.

¿Qué puedes hacer con Agent Evals By Galileo MCP?

  • Crear conjuntos de datos sintéticos — Pide a tu asistente que genere conjuntos de datos de consultas, incluidos escenarios con inyección de prompts, contenido fuera de tema o tóxico.
  • Comprobar el estado del conjunto de datos — Haz un seguimiento del progreso de la generación del conjunto de datos y previsualiza las primeras 10 filas de los datos generados.
  • Crear plantillas de prompts — Crea plantillas de prompts reutilizables con configuraciones de modelos y ajustes de temperatura para obtener un comportamiento coherente.
  • Obtener orientación sobre experimentos — Pregunta cómo configurar y ejecutar experimentos de Galileo, incluida la preparación de conjuntos de datos y la configuración de métricas.
  • Analizar señales del flujo de registros — Obtén señales recientes de tus flujos de registros y sugerencias para solucionar los problemas detectados.
  • Obtener ayuda con la integración — Solicita guías paso a paso para añadir la observabilidad de Galileo a aplicaciones de OpenAI o LangChain.

Documentación

Galileo MCP Server

Aprende a integrar el servidor Model Context Protocol (MCP) de Galileo con IDE habilitados para IA, como Cursor y VS Code

El servidor Model Context Protocol (MCP) de Galileo permite una integración fluida entre los IDE con tecnología de IA, como Cursor o VS Code con GitHub Copilot, y la plataforma de evaluación y observabilidad de Galileo.

Con MCP, puedes acceder a las capacidades de Galileo directamente desde tu entorno de desarrollo, entre ellas:

  • Crear y administrar conjuntos de datos
  • Ejecutar experimentos
  • Configurar plantillas de prompts
  • Obtener señales de los flujos de Log
  • Integrar Galileo con tu código

Requisitos previos

Antes de comenzar, asegúrate de tener lo siguiente:

1. IDE con IA

Instala un IDE con IA, como Cursor o VS Code, con capacidades de IA

2. Clave de API

Genera tu clave de API de Galileo desde la página de claves de API

Configura tu IDE

El servidor MCP de Galileo funciona tanto con Cursor como con VS Code. Sigue los pasos correspondientes a tu IDE:

[tab] VS Code

1. Instala GitHub Copilot

Instala la extensión GitHub Copilot si aún no lo has hecho

2. Abre la configuración de MCP

Abre la paleta de comandos (Ctrl + Shift + P en Windows/Linux o Cmd + Shift + P en Mac) y busca "MCP: Open User Configuration"

3. Añade la configuración del servidor MCP de Galileo

Copia y pega la configuración siguiente. Sustituye YOUR-API-KEY por tu clave de API de Galileo.

{
  "servers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  },
  "inputs": []
}

Se supone que estás usando app.galileo.ai.

Si usas una implementación autohospedada de Galileo, sustituye la URL https://api.galileo.ai/mcp/http/mcp por la URL de tu implementación. El formato de esta URL se basa en la URL de tu consola: sustituye console por api y añade /mcp/http/mcp al final.

Por ejemplo:

  • si la URL de tu consola es https://console.galileo.example.com, la URL de MCP sería https://api.galileo.example.com/mcp/http/mcp
  • si la URL de tu consola es https://console-galileo.apps.mycompany.com, la URL de MCP sería https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Recarga VS Code

Para que los cambios surtan efecto, recarga VS Code abriendo la paleta de comandos y ejecutando "Developer: Reload Window"

[tab] Cursor

1. Abre la configuración de Tools & MCP

Abre la paleta de comandos de Cursor (Ctrl + Shift + P en Windows/Linux o Cmd + Shift + P en Mac) y selecciona "Open MCP Settings".

2. Abre el archivo de configuración del servidor MCP

Haz clic en Add Custom MCP para abrir el archivo de configuración MCP mcp.json, o en New MCP Server si ya tienes otros servidores MCP configurados.

3. Añade la configuración del servidor MCP de Galileo

Copia y pega la configuración siguiente. Sustituye YOUR-API-KEY por tu clave de API de Galileo.

{
  "mcpServers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  }
}

Se supone que estás usando app.galileo.ai.

Si usas una implementación autohospedada de Galileo, sustituye la URL https://api.galileo.ai/mcp/http/mcp por la URL de tu implementación. El formato de esta URL se basa en la URL de tu consola: sustituye console por api y añade /mcp/http/mcp al final.

Por ejemplo:

  • si la URL de tu consola es https://console.galileo.example.com, la URL de MCP sería https://api.galileo.example.com/mcp/http/mcp
  • si la URL de tu consola es https://console-galileo.apps.mycompany.com, la URL de MCP sería https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Guarda y reinicia

Guarda la configuración y reinicia Cursor para que los cambios surtan efecto

[!TIP]

La configuración es la misma para Cursor y VS Code. Asegúrate de sustituir YOUR-API-KEY por tu clave de API de Galileo, que puedes obtener en la página de claves de API.

Verifica tu configuración

Una vez configurado, puedes verificar la configuración de MCP preguntándole a tu asistente de IA en el IDE:

Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?

Tu asistente de IA ya debería poder acceder a las capacidades de Galileo y responder con información de tu cuenta de Galileo.

Herramientas

El servidor MCP de Galileo ofrece herramientas potentes a las que puedes acceder mediante una conversación natural con tu asistente de IA. Solo tienes que hacer preguntas o solicitudes, y la IA usará estas herramientas para ayudarte.

[accordion] Crear conjuntos de datos

Genera conjuntos de datos sintéticos o carga tus propios datos para probar y evaluar tus aplicaciones de IA. La herramienta permite crear conjuntos de datos con varios tipos de consultas, incluidas consultas generales, intentos de inyección de prompts, contenido fuera de tema y escenarios con contenido tóxico.

Qué puedes pedir:

Crea un conjunto de datos con 50 consultas de atención al cliente sobre problemas de facturación
Genera un conjunto de datos de 30 consultas para un chatbot, incluidas algunas tentativas de inyección de prompts
Crea un conjunto de datos con consultas de recomendación de productos e incluye preguntas fuera de tema

[accordion] Consultar el estado de un conjunto de datos

Haz un seguimiento del progreso de la generación de tu conjunto de datos y previsualiza el contenido generado. Verás las primeras 10 filas de datos, junto con el estado de generación y las actualizaciones de progreso.

Qué puedes pedir:

Consulta el estado del conjunto de datos que se está generando
Muéstrame la vista previa del conjunto de datos abc-123
¿Ya está listo mi conjunto de datos de atención al cliente?

[accordion] Crear plantillas de prompts

Crea plantillas de prompts reutilizables que puedas usar en todos tus proyectos. Configura modelos, ajustes de temperatura y otros parámetros para obtener un comportamiento uniforme de los prompts.

Qué puedes pedir:

Crea una plantilla de prompt llamada "Friendly Assistant" para respuestas de atención al cliente
Crea una plantilla de prompt para resumir documentación técnica con una temperatura más baja
Configura una plantilla de chat para un asistente de revisión de código

[accordion] Configurar experimentos

Obtén instrucciones completas para configurar y ejecutar experimentos de Galileo, incluida la preparación de conjuntos de datos, la configuración de métricas y la integración con tu código existente. Disponible para Python y otros lenguajes compatibles.

Qué puedes pedir:

¿Cómo configuro un experimento de Galileo en Python?
Muéstrame cómo ejecutar un experimento con mi aplicación RAG
Guíame para crear un experimento para mi flujo de trabajo agéntico

[accordion] Obtener señales

Analiza los flujos de Log de tu aplicación para identificar problemas, patrones y oportunidades de mejora. Obtén recomendaciones específicas basadas en los datos registrados.

Qué puedes pedir:

¿Qué problemas ves en mi flujo de Log de producción?
Obtén las señales más recientes de Galileo y propón soluciones para ellas en mi código
Obtén información sobre el flujo de Log de mi chatbot y sugiere mejoras

[accordion] Integrar con OpenAI

Obtén guías de integración paso a paso para añadir observabilidad de Galileo a tus aplicaciones de OpenAI. Registra automáticamente prompts, respuestas, parámetros del modelo y uso de tokens con cambios mínimos en el código.

Qué puedes pedir:

¿Cómo añado el registro de Galileo a mi aplicación de OpenAI?
Muéstrame cómo integrar Galileo con OpenAI en TypeScript
Ayúdame a configurar la observabilidad de Galileo para mi chatbot GPT-4

[accordion] Integrar con LangChain

Obtén instrucciones completas para integrar Galileo en tus aplicaciones de LangChain. Captura trazas completas de tus cadenas, agentes y herramientas con registro automático.

Qué puedes pedir:

¿Cómo integro Galileo con mi aplicación de LangChain?
Muéstrame cómo añadir trazas de Galileo a mi agente de LangChain
Ayúdame a registrar mi canalización RAG de LangChain con Galileo

[accordion] Buscar en la documentación

Encuentra información relevante, ejemplos de código, referencias de API y guías de implementación en toda la documentación de Galileo. Obtén enlaces directos a las páginas que necesitas.

Qué puedes pedir:

¿Cómo configuro el registro de datos en Galileo?
Encuentra documentación sobre métricas personalizadas
Busca ejemplos de evaluación de IA agéntica

Ejemplos de casos de uso

Crear un conjunto de datos sintético

Pregúntale a tu asistente de IA:

Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.

El servidor MCP te guiará durante el proceso de creación del conjunto de datos y te proporcionará un ID para hacer un seguimiento del progreso.

Obtener ayuda con la integración

Pregúntale a tu asistente de IA:

How do I integrate Galileo with my LangChain application in Python?

El servidor MCP proporcionará ejemplos completos de código de integración e instrucciones de configuración.

Obtener señales

Pregúntale a tu asistente de IA:

Fetch the most recent signals from Galileo and propose fixes for them in my code

El servidor MCP analizará tu flujo de Log y sugerirá mejoras.

Solución de problemas

[accordion] Error al conectar con Galileo MCP Server

  • Comprueba que la URL del servidor MCP esté configurada como https://api.galileo.ai/mcp/http/mcp
  • Asegúrate de que el encabezado Accept esté configurado como text/event-stream
  • Reinicia la conexión MCP de tu IDE después de realizar cambios en la configuración

[accordion] Errores de clave de API

  • Confirma que la clave de API esté configurada correctamente
  • Comprueba que la clave de API no haya caducado
  • Genera una nueva clave de API desde la página de claves de API

Próximos pasos

[card] Registra tu primera traza

Aprende a registrar tu primera traza con Galileo

[card] Ejecuta tu primer experimento

Configura y ejecuta experimentos para evaluar tus aplicaciones de IA

[card] Explora las integraciones

Aprende sobre las integraciones de Galileo con frameworks de terceros