Agent Evals by Galileo
官方通过Galileo的新MCP服务器，直接在您的IDE中免费使用代理评估、可观测性和合成测试集生成功能
你可以用 Agent Evals By Galileo MCP 做什么？
- 创建合成数据集 — 让助手生成包含自定义查询类型（如账单问题或提示注入）的数据集。
- 检查数据集生成状态 — 跟踪进度并在数据集创建过程中预览前几行数据。
- 构建可复用的提示模板 — 跨项目设置带有模型参数和温度设置的命名提示模板。
- 获取实验设置指导 — 接收在 Python 中对 RAG 或代理工作流运行 Galileo 实验的分步说明。
- 分析日志流以获取信号 — 从生产日志流中获取最近的信号，并获得建议的代码修复。
- 搜索 Galileo 文档 — 直接从文档中查找 API 参考、代码示例和实现指南。
文档
Galileo MCP 服务器
了解如何将 Galileo 的模型上下文协议 (MCP) 服务器与 Cursor 和 VS Code 等支持 AI 的 IDE 集成
Galileo 模型上下文协议 (MCP) 服务器可在支持 AI 的 IDE（例如 Cursor，或带有 GitHub Copilot 的 VS Code）与 Galileo 的评估和可观测性平台之间实现无缝集成。
借助 MCP，您可以直接从开发环境中访问 Galileo 的功能，包括：
- 创建和管理数据集
- 运行实验
- 设置提示模板
- 获取日志流的信号
- 将 Galileo 与您的代码集成
前提条件
开始之前，请确保您具备以下条件：
安装支持 AI 的 IDE，例如 [Cursor](https://cursor.sh) 或具有 AI 功能的 [VS Code](https://code.visualstudio.com) 从 [API 密钥页面](https://app.galileo.ai/settings/api-keys) 生成您的 Galileo API 密钥配置您的 IDE
Galileo MCP 服务器适用于 Cursor 和 VS Code。请按照以下步骤为您的 IDE 进行配置：
如果尚未安装，请安装 [GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot) 扩展 <Step title="Open MCP settings">
打开命令面板（Windows/Linux 上为 `Ctrl + Shift + P`，Mac 上为 `Cmd + Shift + P`），然后搜索 **"MCP: Open User Configuration"**
</Step>
<Step title="Add the Galileo MCP server configuration">
复制并粘贴下面的配置。将 `YOUR-API-KEY` 替换为您实际的 Galileo API 密钥。
```json VSCode MCP Configuration highlight={3-9} theme={null}
{
"servers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
},
"inputs": []
}
```
此配置假定您使用的是 [app.galileo.ai](https://app.galileo.ai)。
如果您使用的是自托管 Galileo 部署，请将 `https://api.galileo.ai/mcp/http/mcp` URL 替换为您的部署 URL。此 URL 的格式基于您的控制台 URL，将 `console` 替换为 `api` 并附加 `/mcp/http/mcp`。
例如：
* 如果您的控制台 URL 是 `https://console.galileo.example.com`，则 MCP URL 将是 `https://api.galileo.example.com/mcp/http/mcp`
* 如果您的控制台 URL 是 `https://console-galileo.apps.mycompany.com`，则 MCP URL 将是 `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Reload VS Code">
通过打开命令面板并运行 **"Developer: Reload Window"** 来重新加载 VS Code，以使更改生效
</Step>
</Steps>
<Step title="Open the MCP server configuration file">
点击 **Add Custom MCP** 以打开 `mcp.json` MCP 配置文件，或者如果您已配置其他 MCP 服务器，则点击 **New MCP Server**。
</Step>
<Step title="Add the Galileo MCP server configuration">
复制并粘贴下面的配置。将 `YOUR-API-KEY` 替换为您实际的 Galileo API 密钥。
```json Cursor MCP Configuration highlight={3-9} theme={null}
{
"mcpServers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
}
}
```
此配置假定您使用的是 [app.galileo.ai](https://app.galileo.ai)。
如果您使用的是自托管 Galileo 部署，请将 `https://api.galileo.ai/mcp/http/mcp` URL 替换为您的部署 URL。此 URL 的格式基于您的控制台 URL，将 `console` 替换为 `api` 并附加 `/mcp/http/mcp`。
例如：
* 如果您的控制台 URL 是 `https://console.galileo.example.com`，则 MCP URL 将是 `https://api.galileo.example.com/mcp/http/mcp`
* 如果您的控制台 URL 是 `https://console-galileo.apps.mycompany.com`，则 MCP URL 将是 `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Save and restart">
保存配置并重启 Cursor 以使更改生效
</Step>
</Steps>
验证您的设置
配置完成后，您可以通过在 IDE 中询问 AI 助手来验证 MCP 设置：
```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ```Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
您的 AI 助手现在应该能够访问 Galileo 的功能，并使用您 Galileo 账户中的信息进行响应。
工具
Galileo MCP 服务器提供了强大的工具，您可以通过与 AI 助手自然对话来访问这些工具。只需提出问题或发出请求，AI 就会使用这些工具来帮助您。
生成合成数据集或上传您自己的数据，以测试和评估您的 AI 应用程序。该工具支持创建包含各种查询类型的数据集，包括通用查询、提示注入、离题内容和有毒内容场景。**您可以询问：**
<CodeGroup>
```text Query wrap theme={null}
Create a dataset with 50 customer service queries about billing issues
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a dataset with product recommendation queries and include off-topic questions
```
</CodeGroup>
**您可以询问：**
<CodeGroup>
```text Query wrap theme={null}
Check the status of my dataset that's currently generating
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me the preview of dataset abc-123
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Is my customer service dataset ready yet?
```
</CodeGroup>
**您可以询问：**
<CodeGroup>
```text Query wrap theme={null}
Create a prompt template called "Friendly Assistant" for customer support responses
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a prompt template for summarizing technical documentation with lower temperature
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Set up a chat template for a code review assistant
```
</CodeGroup>
**您可以询问：**
<CodeGroup>
```text Query wrap theme={null}
How do I set up a Galileo experiment in Python?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to run an experiment with my RAG application
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Guide me through creating an experiment for my agentic workflow
```
</CodeGroup>
**您可以询问：**
<CodeGroup>
```text Query wrap theme={null}
What issues do you see in my production log stream?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Fetch the most recent signals from Galileo and propose fixes for them in my code
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Get insights about my chatbot log stream and suggest improvements
```
</CodeGroup>
**您可以询问：**
<CodeGroup>
```text Query wrap theme={null}
How do I add Galileo logging to my OpenAI application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to integrate Galileo with OpenAI in TypeScript
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me set up Galileo observability for my GPT-4 chatbot
```
</CodeGroup>
**您可以询问：**
<CodeGroup>
```text Query wrap theme={null}
How do I integrate Galileo with my LangChain application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to add Galileo tracing to my LangChain agent
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me log my LangChain RAG pipeline with Galileo
```
</CodeGroup>
**您可以询问：**
<CodeGroup>
```text Query wrap theme={null}
How do I set up data logging in Galileo?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Find documentation about custom metrics
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Search for examples of agentic AI evaluation
```
</CodeGroup>
示例用例
创建合成数据集
询问您的 AI 助手：
```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```MCP 服务器将引导您完成数据集创建过程，并提供一个数据集 ID 以跟踪进度。
获取集成帮助
询问您的 AI 助手：
```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```MCP 服务器将提供完整的集成代码示例和设置说明。
获取信号
询问您的 AI 助手：
```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```MCP 服务器将分析您的日志流并提出改进建议。