Agent Evals by Galileo
官方通过Galileo的新MCP服务器,直接在您的IDE中免费使用代理评估、可观测性和合成测试集生成功能
你可以用 Agent Evals By Galileo MCP 做什么?
- 创建合成数据集 — 请助手生成查询数据集,其中包含提示注入、偏离主题或有害内容等场景。
- 检查数据集状态 — 跟踪数据集生成进度,并预览生成数据的前 10 行。
- 构建提示模板 — 创建可复用的提示模板,并配置模型和温度设置,以确保行为一致。
- 获取实验指导 — 询问如何设置和运行 Galileo 实验,包括数据集准备和指标配置。
- 分析日志流信号 — 获取 Log streams 中的最新信号,并获取针对所发现问题的修复建议。
- 获取集成帮助 — 请求分步指南,了解如何为 OpenAI 或 LangChain 应用添加 Galileo 可观测性。
文档
Galileo MCP Server
了解如何将 Galileo 的 Model Context Protocol (MCP) 服务器与 Cursor 和 VS Code 等 AI IDE 集成
Galileo Model Context Protocol (MCP) 服务器可让 Cursor 等 AI 驱动的 IDE,或搭配 GitHub Copilot 的 VS Code,与 Galileo 的评估和可观测性平台无缝集成。
借助 MCP,您可以直接在开发环境中使用 Galileo 的功能,包括:
- 创建和管理数据集
- 运行实验
- 设置提示模板
- 获取 Log 流中的信号
- 将 Galileo 集成到您的代码中
先决条件
开始之前,请确保您具备以下条件:
1. 支持 AI 的 IDE
安装支持 AI 功能的 IDE,例如 Cursor 或 VS Code
2. API 密钥
从 API keys page 生成 Galileo API 密钥
配置 IDE
Galileo MCP 服务器同时支持 Cursor 和 VS Code。请按照适用于您 IDE 的步骤操作:
[tab] VS Code
1. 安装 GitHub Copilot
如果尚未安装,请安装 GitHub Copilot 扩展
2. 打开 MCP 设置
打开命令面板(Windows/Linux 上按
Ctrl + Shift + P,Mac 上按Cmd + Shift + P),然后搜索 "MCP: Open User Configuration"3. 添加 Galileo MCP 服务器配置
复制并粘贴以下配置。将
YOUR-API-KEY替换为您的实际 Galileo API 密钥。{ "servers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } }, "inputs": [] }此配置假设您使用的是 app.galileo.ai。
如果您使用的是自托管 Galileo 部署,请将
https://api.galileo.ai/mcp/http/mcpurl 替换为您的部署 URL。此 URL 的格式基于您的控制台 URL:将console替换为api,并在末尾附加/mcp/http/mcp。例如:
- 如果您的控制台 URL 是
https://console.galileo.example.com,则 MCP url 为https://api.galileo.example.com/mcp/http/mcp- 如果您的控制台 URL 是
https://console-galileo.apps.mycompany.com,则 MCP url 为https://api-galileo.apps.mycompany.com/mcp/http/mcp4. 重新加载 VS Code
打开命令面板并运行 "Developer: Reload Window",重新加载 VS Code 以使更改生效
[tab] Cursor
1. 打开 Tools & MCP 设置
打开 Cursor 命令面板(Windows/Linux 上按
Ctrl + Shift + P,Mac 上按Cmd + Shift + P),然后选择 "Open MCP Settings"。2. 打开 MCP 服务器配置文件
点击 Add Custom MCP 打开
mcp.jsonMCP 配置文件;如果您已配置其他 MCP 服务器,则点击 New MCP Server。3. 添加 Galileo MCP 服务器配置
复制并粘贴以下配置。将
YOUR-API-KEY替换为您的实际 Galileo API 密钥。{ "mcpServers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } } }此配置假设您使用的是 app.galileo.ai。
如果您使用的是自托管 Galileo 部署,请将
https://api.galileo.ai/mcp/http/mcpurl 替换为您的部署 URL。此 URL 的格式基于您的控制台 URL:将console替换为api,并在末尾附加/mcp/http/mcp。例如:
- 如果您的控制台 URL 是
https://console.galileo.example.com,则 MCP url 为https://api.galileo.example.com/mcp/http/mcp- 如果您的控制台 URL 是
https://console-galileo.apps.mycompany.com,则 MCP url 为https://api-galileo.apps.mycompany.com/mcp/http/mcp4. 保存并重启
保存配置并重启 Cursor,以使更改生效
[!TIP]
Cursor 和 VS Code 的配置相同。请务必将
YOUR-API-KEY替换为您从 API keys page 获取的实际 Galileo API 密钥。
验证设置
配置完成后,您可以在 IDE 中向 AI 助手提问,以验证 MCP 设置:
Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
现在,您的 AI 助手应该能够访问 Galileo 的功能,并根据您的 Galileo 账户信息作出回应。
工具
Galileo MCP 服务器提供了强大的工具,您可以通过与 AI 助手自然对话来使用。只需提问或提出请求,AI 就会使用这些工具为您提供帮助。
[accordion] 创建数据集
生成合成数据集,或上传您自己的数据,以测试和评估 AI 应用。此工具支持创建包含多种查询类型的数据集,包括一般查询、提示注入、偏离主题内容和有害内容场景。
您可以这样提问:
创建一个包含 50 条关于账单问题的客户服务查询的数据集生成一个包含 30 条聊天机器人查询的数据集,其中包括一些提示注入尝试创建一个包含产品推荐查询的数据集,并加入偏离主题的问题
[accordion] 检查数据集状态
跟踪数据集生成进度并预览生成的内容。您将看到前 10 行数据,以及生成状态和进度更新。
您可以这样提问:
检查当前正在生成的数据集的状态显示数据集 abc-123 的预览我的客户服务数据集准备好了吗?
[accordion] 创建提示模板
构建可在所有项目中重复使用的提示模板。设置模型配置、温度参数和其他参数,以确保提示行为一致。
您可以这样提问:
创建一个名为 "Friendly Assistant" 的提示模板,用于生成客户支持回复创建一个用于总结技术文档的提示模板,并设置较低的温度为代码审查助手设置一个聊天模板
[accordion] 设置实验
获取设置和运行 Galileo 实验的完整指导,包括数据集准备、指标配置,以及与现有代码的集成。支持 Python 和其他受支持的语言。
您可以这样提问:
如何在 Python 中设置 Galileo 实验?演示如何使用我的 RAG 应用运行实验指导我为智能体工作流创建实验
[accordion] 获取信号
分析应用的 Log 流,以识别问题、模式和改进机会。根据记录的数据获取具体建议。
您可以这样提问:
你在我的生产日志流中发现了哪些问题?获取 Galileo 中最新的信号,并针对这些信号提出代码修复建议获取有关我的聊天机器人日志流的见解,并提出改进建议
[accordion] 与 OpenAI 集成
获取分步集成指南,将 Galileo 可观测性添加到您的 OpenAI 应用中。只需进行少量代码更改,即可自动记录提示、响应、模型参数和令牌用量。
您可以这样提问:
如何将 Galileo 日志记录添加到我的 OpenAI 应用中?演示如何在 TypeScript 中将 Galileo 与 OpenAI 集成帮我为 GPT-4 聊天机器人设置 Galileo 可观测性
[accordion] 与 LangChain 集成
获取将 Galileo 添加到 LangChain 应用的完整集成说明。通过自动日志记录,捕获链、智能体和工具的完整跟踪记录。
您可以这样提问:
如何将 Galileo 集成到我的 LangChain 应用中?演示如何将 Galileo 跟踪功能添加到我的 LangChain 智能体帮我使用 Galileo 记录 LangChain RAG 流水线
[accordion] 搜索文档
在所有 Galileo 文档中查找相关信息、代码示例、API 参考和实施指南。获取所需页面的直接链接。
您可以这样提问:
如何在 Galileo 中设置数据日志记录?查找有关自定义指标的文档搜索智能体 AI 评估示例
示例用例
创建合成数据集
向 AI 助手提问:
Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.
MCP 服务器将引导您完成数据集创建流程,并提供数据集 ID 以便跟踪进度。
获取集成帮助
向 AI 助手提问:
How do I integrate Galileo with my LangChain application in Python?
MCP 服务器将提供完整的集成代码示例和设置说明。
获取信号
向 AI 助手提问:
Fetch the most recent signals from Galileo and propose fixes for them in my code
MCP 服务器将分析您的 Log 流并提出改进建议。
故障排除
[accordion] 连接 Galileo MCP Server 时出错
- 检查 MCP 服务器 URL 是否设置为
https://api.galileo.ai/mcp/http/mcp- 确保
Accept标头设置为text/event-stream- 更改配置后,重启 IDE 的 MCP 连接
[accordion] API 密钥错误
- 确认配置中已正确设置 API 密钥
- 检查 API 密钥是否已过期
- 从 API keys page 生成新的 API 密钥
后续步骤
[card] 记录您的第一个跟踪记录
了解如何使用 Galileo 记录您的第一个跟踪记录
[card] 运行您的第一个实验
设置并运行实验,以评估您的 AI 应用
[card] 探索集成
了解 Galileo 与第三方框架的集成方式