Agent Evals by Galileo
oficialTraga avaliações de agentes, observabilidade e geração de conjuntos de testes sintéticos diretamente para sua IDE gratuitamente com o novo servidor MCP da Galileo.
O que você pode fazer com Agent Evals By Galileo MCP?
- Criar conjuntos de dados sintéticos — Peça ao assistente para gerar um conjunto de dados com tipos de consulta personalizados, como problemas de faturamento ou injeções de prompt.
- Verificar o status da geração do conjunto de dados — Acompanhe o progresso e visualize as primeiras linhas de um conjunto de dados enquanto ele está sendo criado.
- Criar modelos de prompt reutilizáveis — Configure modelos de prompt nomeados com parâmetros de modelo e configurações de temperatura entre projetos.
- Obter orientação para configuração de experimentos — Receba instruções passo a passo para executar experimentos Galileo em Python nos seus fluxos de trabalho RAG ou de agente.
- Analisar fluxos de log em busca de sinais — Busque sinais recentes de um fluxo de log de produção e obtenha sugestões de correção de código.
- Pesquisar na documentação do Galileo — Encontre referências de API, exemplos de código e guias de implementação diretamente na documentação.
Documentação
Servidor MCP Galileo
Aprenda a integrar o servidor Model Context Protocol (MCP) da Galileo com IDEs habilitadas para IA, como Cursor e VS Code
O servidor Model Context Protocol (MCP) da Galileo permite a integração perfeita entre IDEs com tecnologia de IA, como Cursor ou VS Code com GitHub Copilot, e a plataforma de avaliação e observabilidade da Galileo.
Com o MCP, você pode acessar os recursos da Galileo diretamente do seu ambiente de desenvolvimento, incluindo:
- Criar e gerenciar conjuntos de dados
- Executar experimentos
- Configurar modelos de prompt
- Obter sinais em fluxos de Log
- Integrar a Galileo ao seu código
Pré-requisitos
Antes de começar, certifique-se de ter o seguinte:
Instale uma IDE habilitada para IA, como [Cursor](https://cursor.sh) ou [VS Code](https://code.visualstudio.com) com capacidades de IA Gere sua chave de API da Galileo na [página de chaves de API](https://app.galileo.ai/settings/api-keys)Configure sua IDE
O servidor MCP da Galileo funciona tanto com o Cursor quanto com o VS Code. Siga os passos abaixo para sua IDE:
Instale a extensão [GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot) se ainda não a tiver <Step title="Open MCP settings">
Abra a Paleta de Comandos (`Ctrl + Shift + P` no Windows/Linux ou `Cmd + Shift + P` no Mac) e procure por **"MCP: Open User Configuration"**
</Step>
<Step title="Add the Galileo MCP server configuration">
Copie e cole a configuração abaixo. Substitua `YOUR-API-KEY` pela sua chave de API real da Galileo.
```json VSCode MCP Configuration highlight={3-9} theme={null}
{
"servers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
},
"inputs": []
}
```
Isso pressupõe que você está usando [app.galileo.ai](https://app.galileo.ai).
Se você estiver usando uma implantação auto-hospedada da Galileo, substitua a URL `https://api.galileo.ai/mcp/http/mcp` pela URL da sua implantação. O formato desta URL é baseado na URL do seu console, substituindo `console` por `api` e anexando `/mcp/http/mcp`.
Por exemplo:
* se a URL do seu console for `https://console.galileo.example.com`, a URL do MCP seria `https://api.galileo.example.com/mcp/http/mcp`
* se a URL do seu console for `https://console-galileo.apps.mycompany.com`, a URL do MCP seria `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Reload VS Code">
Recarregue o VS Code abrindo a Paleta de Comandos e executando **"Developer: Reload Window"** para que as alterações tenham efeito
</Step>
</Steps>
<Step title="Open the MCP server configuration file">
Clique em **Add Custom MCP** para abrir o arquivo de configuração MCP `mcp.json`, ou **New MCP Server** se você já tiver outros servidores MCP configurados.
</Step>
<Step title="Add the Galileo MCP server configuration">
Copie e cole a configuração abaixo. Substitua `YOUR-API-KEY` pela sua chave de API real da Galileo.
```json Cursor MCP Configuration highlight={3-9} theme={null}
{
"mcpServers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
}
}
```
Isso pressupõe que você está usando [app.galileo.ai](https://app.galileo.ai).
Se você estiver usando uma implantação auto-hospedada da Galileo, substitua a URL `https://api.galileo.ai/mcp/http/mcp` pela URL da sua implantação. O formato desta URL é baseado na URL do seu console, substituindo `console` por `api` e anexando `/mcp/http/mcp`.
Por exemplo:
* se a URL do seu console for `https://console.galileo.example.com`, a URL do MCP seria `https://api.galileo.example.com/mcp/http/mcp`
* se a URL do seu console for `https://console-galileo.apps.mycompany.com`, a URL do MCP seria `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Save and restart">
Salve a configuração e reinicie o Cursor para que as alterações tenham efeito
</Step>
</Steps>
Verifique sua configuração
Uma vez configurado, você pode verificar sua configuração MCP perguntando ao seu assistente de IA na sua IDE:
```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ```Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Seu assistente de IA agora deve ser capaz de acessar os recursos da Galileo e responder com informações da sua conta Galileo.
Ferramentas
O servidor MCP da Galileo fornece ferramentas poderosas que você pode acessar através de conversas naturais com seu assistente de IA. Basta fazer perguntas ou solicitações, e a IA usará essas ferramentas para ajudá-lo.
Gere conjuntos de dados sintéticos ou carregue seus próprios dados para testar e avaliar suas aplicações de IA. A ferramenta suporta a criação de conjuntos de dados com vários tipos de consultas, incluindo consultas gerais, injeções de prompt, conteúdo fora do tópico e cenários de conteúdo tóxico.**O que você pode perguntar:**
<CodeGroup>
```text Query wrap theme={null}
Create a dataset with 50 customer service queries about billing issues
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a dataset with product recommendation queries and include off-topic questions
```
</CodeGroup>
**O que você pode perguntar:**
<CodeGroup>
```text Query wrap theme={null}
Check the status of my dataset that's currently generating
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me the preview of dataset abc-123
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Is my customer service dataset ready yet?
```
</CodeGroup>
**O que você pode perguntar:**
<CodeGroup>
```text Query wrap theme={null}
Create a prompt template called "Friendly Assistant" for customer support responses
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a prompt template for summarizing technical documentation with lower temperature
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Set up a chat template for a code review assistant
```
</CodeGroup>
**O que você pode perguntar:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up a Galileo experiment in Python?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to run an experiment with my RAG application
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Guide me through creating an experiment for my agentic workflow
```
</CodeGroup>
**O que você pode perguntar:**
<CodeGroup>
```text Query wrap theme={null}
What issues do you see in my production log stream?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Fetch the most recent signals from Galileo and propose fixes for them in my code
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Get insights about my chatbot log stream and suggest improvements
```
</CodeGroup>
**O que você pode perguntar:**
<CodeGroup>
```text Query wrap theme={null}
How do I add Galileo logging to my OpenAI application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to integrate Galileo with OpenAI in TypeScript
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me set up Galileo observability for my GPT-4 chatbot
```
</CodeGroup>
**O que você pode perguntar:**
<CodeGroup>
```text Query wrap theme={null}
How do I integrate Galileo with my LangChain application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to add Galileo tracing to my LangChain agent
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me log my LangChain RAG pipeline with Galileo
```
</CodeGroup>
**O que você pode perguntar:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up data logging in Galileo?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Find documentation about custom metrics
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Search for examples of agentic AI evaluation
```
</CodeGroup>
Exemplos de casos de uso
Criar um conjunto de dados sintético
Pergunte ao seu assistente de IA:
```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```O servidor MCP irá guiá-lo pelo processo de criação do conjunto de dados e fornecer um ID de conjunto de dados para acompanhar o progresso.
Obter ajuda de integração
Pergunte ao seu assistente de IA:
```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```O servidor MCP fornecerá exemplos completos de código de integração e instruções de configuração.
Obter Sinais
Pergunte ao seu assistente de IA:
```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```O servidor MCP analisará seu fluxo de Log e sugerirá melhorias.