Agent Evals by Galileo

oficial

Traga avaliações de agentes, observabilidade e geração de conjuntos de testes sintéticos diretamente para sua IDE gratuitamente com o novo servidor MCP da Galileo.

O que você pode fazer com Agent Evals By Galileo MCP?

  • Criar conjuntos de dados sintéticos — Peça ao seu assistente para gerar conjuntos de dados de consultas, incluindo cenários de injeção de prompt, conteúdo fora do tópico ou tóxico.
  • Verificar o status do conjunto de dados — Acompanhe o progresso da geração do conjunto de dados e visualize as primeiras 10 linhas dos dados gerados.
  • Criar modelos de prompt — Crie modelos de prompt reutilizáveis com configurações de modelo e de temperatura para garantir um comportamento consistente.
  • Obter orientações sobre experimentos — Pergunte como configurar e executar experimentos do Galileo, incluindo a preparação de conjuntos de dados e a configuração de métricas.
  • Analisar sinais do fluxo de logs — Busque sinais recentes dos seus fluxos de logs e obtenha sugestões de correção para os problemas encontrados.
  • Obter ajuda com integrações — Solicite guias passo a passo para adicionar a observabilidade do Galileo a aplicações OpenAI ou LangChain.

Documentação

Galileo MCP Server

Saiba como integrar o servidor Model Context Protocol (MCP) do Galileo a IDEs com IA, como Cursor e VS Code

O servidor Model Context Protocol (MCP) do Galileo permite a integração perfeita entre IDEs com tecnologia de IA, como Cursor ou VS Code com GitHub Copilot, e a plataforma de avaliação e observabilidade do Galileo.

Com o MCP, você pode acessar os recursos do Galileo diretamente do seu ambiente de desenvolvimento, incluindo:

  • Criar e gerenciar conjuntos de dados
  • Executar experimentos
  • Configurar modelos de prompt
  • Obter sinais em fluxos de Log
  • Integrar o Galileo ao seu código

Pré-requisitos

Antes de começar, verifique se você tem o seguinte:

1. IDE com IA

Instale uma IDE com IA, como Cursor ou VS Code, com recursos de IA

2. Chave de API

Gere sua chave de API do Galileo na página de chaves de API

Configure sua IDE

O servidor MCP do Galileo funciona com Cursor e VS Code. Siga as etapas abaixo para sua IDE:

[tab] VS Code

1. Instale o GitHub Copilot

Instale a extensão GitHub Copilot se ainda não tiver feito isso

2. Abra as configurações do MCP

Abra a Paleta de Comandos (Ctrl + Shift + P no Windows/Linux ou Cmd + Shift + P no Mac) e pesquise "MCP: Open User Configuration"

3. Adicione a configuração do servidor MCP do Galileo

Copie e cole a configuração abaixo. Substitua YOUR-API-KEY pela sua chave de API do Galileo.

{
  "servers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  },
  "inputs": []
}

Estas instruções pressupõem que você está usando app.galileo.ai.

Se estiver usando uma implantação autogerenciada do Galileo, substitua a URL https://api.galileo.ai/mcp/http/mcp pela URL da sua implantação. O formato dessa URL é baseado na URL do seu console: substitua console por api e acrescente /mcp/http/mcp.

Por exemplo:

  • se a URL do seu console for https://console.galileo.example.com, a URL do MCP será https://api.galileo.example.com/mcp/http/mcp
  • se a URL do seu console for https://console-galileo.apps.mycompany.com, a URL do MCP será https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Recarregue o VS Code

Recarregue o VS Code abrindo a Paleta de Comandos e executando "Developer: Reload Window" para que as alterações entrem em vigor

[tab] Cursor

1. Abra as configurações de Tools & MCP

Abra a paleta de comandos do Cursor (Ctrl + Shift + P no Windows/Linux ou Cmd + Shift + P no Mac) e selecione "Open MCP Settings".

2. Abra o arquivo de configuração do servidor MCP

Clique em Add Custom MCP para abrir o arquivo de configuração MCP mcp.json ou em New MCP Server se você já tiver outros servidores MCP configurados.

3. Adicione a configuração do servidor MCP do Galileo

Copie e cole a configuração abaixo. Substitua YOUR-API-KEY pela sua chave de API do Galileo.

{
  "mcpServers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  }
}

Estas instruções pressupõem que você está usando app.galileo.ai.

Se estiver usando uma implantação autogerenciada do Galileo, substitua a URL https://api.galileo.ai/mcp/http/mcp pela URL da sua implantação. O formato dessa URL é baseado na URL do seu console: substitua console por api e acrescente /mcp/http/mcp.

Por exemplo:

  • se a URL do seu console for https://console.galileo.example.com, a URL do MCP será https://api.galileo.example.com/mcp/http/mcp
  • se a URL do seu console for https://console-galileo.apps.mycompany.com, a URL do MCP será https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Salve e reinicie

Salve a configuração e reinicie o Cursor para que as alterações entrem em vigor

[!TIP]

A configuração é a mesma para Cursor e VS Code. Lembre-se de substituir YOUR-API-KEY pela sua chave de API do Galileo, disponível na página de chaves de API.

Verifique sua configuração

Depois de configurar tudo, você pode verificar a configuração do MCP fazendo uma pergunta ao seu assistente de IA na IDE:

Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?

Agora, seu assistente de IA deve conseguir acessar os recursos do Galileo e responder com informações da sua conta do Galileo.

Ferramentas

O servidor MCP do Galileo oferece ferramentas poderosas que você pode acessar por meio de conversas naturais com seu assistente de IA. Basta fazer perguntas ou solicitações, e a IA usará essas ferramentas para ajudar você.

[accordion] Criar conjuntos de dados

Gere conjuntos de dados sintéticos ou carregue seus próprios dados para testar e avaliar seus aplicativos de IA. A ferramenta permite criar conjuntos de dados com vários tipos de consultas, incluindo consultas gerais, tentativas de injeção de prompt, conteúdo fora do tópico e cenários com conteúdo tóxico.

O que você pode perguntar:

Crie um conjunto de dados com 50 consultas de atendimento ao cliente sobre problemas de cobrança
Gere um conjunto de dados com 30 consultas para chatbot, incluindo algumas tentativas de injeção de prompt
Crie um conjunto de dados com consultas de recomendação de produtos e inclua perguntas fora do tópico

[accordion] Verificar o status do conjunto de dados

Acompanhe o progresso da geração do conjunto de dados e visualize o conteúdo gerado. Você verá as 10 primeiras linhas de dados, além do status da geração e das atualizações de progresso.

O que você pode perguntar:

Verifique o status do conjunto de dados que está sendo gerado
Mostre uma prévia do conjunto de dados abc-123
Meu conjunto de dados de atendimento ao cliente já está pronto?

[accordion] Criar modelos de prompt

Crie modelos de prompt reutilizáveis para usar em todos os seus projetos. Configure modelos, parâmetros de temperatura e outros parâmetros para manter um comportamento consistente dos prompts.

O que você pode perguntar:

Crie um modelo de prompt chamado "Friendly Assistant" para respostas de suporte ao cliente
Crie um modelo de prompt para resumir documentação técnica com uma temperatura mais baixa
Configure um modelo de chat para um assistente de revisão de código

[accordion] Configurar experimentos

Receba orientações completas para configurar e executar experimentos do Galileo, incluindo preparação de conjuntos de dados, configuração de métricas e integração com seu código existente. Disponível para Python e outras linguagens compatíveis.

O que você pode perguntar:

Como configuro um experimento do Galileo em Python?
Mostre como executar um experimento com meu aplicativo RAG
Oriente-me na criação de um experimento para meu fluxo de trabalho agêntico

[accordion] Obter sinais

Analise os fluxos de Log do seu aplicativo para identificar problemas, padrões e oportunidades de melhoria. Receba recomendações específicas com base nos dados registrados.

O que você pode perguntar:

Que problemas você identifica no meu fluxo de Log de produção?
Busque os sinais mais recentes do Galileo e proponha correções para eles no meu código
Obtenha insights sobre o fluxo de Log do meu chatbot e sugira melhorias

[accordion] Integrar com OpenAI

Receba guias de integração passo a passo para adicionar observabilidade do Galileo aos seus aplicativos OpenAI. Registre automaticamente prompts, respostas, parâmetros do modelo e uso de tokens com o mínimo de alterações no código.

O que você pode perguntar:

Como adiciono o registro do Galileo ao meu aplicativo OpenAI?
Mostre como integrar o Galileo com OpenAI em TypeScript
Ajude-me a configurar a observabilidade do Galileo para meu chatbot GPT-4

[accordion] Integrar com LangChain

Receba instruções completas de integração para adicionar o Galileo aos seus aplicativos LangChain. Capture rastreamentos completos das suas cadeias, agentes e ferramentas com registro automático.

O que você pode perguntar:

Como integro o Galileo ao meu aplicativo LangChain?
Mostre como adicionar rastreamento do Galileo ao meu agente LangChain
Ajude-me a registrar meu pipeline RAG do LangChain com o Galileo

[accordion] Pesquisar a documentação

Encontre informações relevantes, exemplos de código, referências de API e guias de implementação em toda a documentação do Galileo. Obtenha links diretos para as páginas de que você precisa.

O que você pode perguntar:

Como configuro o registro de dados no Galileo?
Encontre a documentação sobre métricas personalizadas
Pesquise exemplos de avaliação de IA agêntica

Exemplos de casos de uso

Criar um conjunto de dados sintético

Pergunte ao seu assistente de IA:

Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.

O servidor MCP orientará você no processo de criação do conjunto de dados e fornecerá um ID para acompanhar o progresso.

Obter ajuda com a integração

Pergunte ao seu assistente de IA:

How do I integrate Galileo with my LangChain application in Python?

O servidor MCP fornecerá exemplos completos de código de integração e instruções de configuração.

Obter sinais

Pergunte ao seu assistente de IA:

Fetch the most recent signals from Galileo and propose fixes for them in my code

O servidor MCP analisará seu fluxo de Log e sugerirá melhorias.

Solução de problemas

[accordion] Erro ao conectar ao servidor MCP do Galileo

  • Verifique se a URL do servidor MCP está definida como https://api.galileo.ai/mcp/http/mcp
  • Verifique se o cabeçalho Accept está definido como text/event-stream
  • Reinicie a conexão MCP da sua IDE depois de fazer alterações na configuração

[accordion] Erros de chave de API

  • Confirme se sua chave de API está definida corretamente na configuração
  • Verifique se sua chave de API não expirou
  • Gere uma nova chave de API na página de chaves de API

Próximas etapas

[card] Registre seu primeiro rastreamento

Saiba como registrar seu primeiro rastreamento com o Galileo

[card] Execute seu primeiro experimento

Configure e execute experimentos para avaliar seus aplicativos de IA

[card] Explore as integrações

Saiba mais sobre as integrações do Galileo com frameworks de terceiros