Agent Evals by Galileo

官方

通过Galileo的新MCP服务器,直接在您的IDE中免费使用代理评估、可观测性和合成测试集生成功能

你可以用 Agent Evals By Galileo MCP 做什么?

  • 创建合成数据集 — 请助手生成查询数据集,其中包含提示注入、偏离主题或有害内容等场景。
  • 检查数据集状态 — 跟踪数据集生成进度,并预览生成数据的前 10 行。
  • 构建提示模板 — 创建可复用的提示模板,并配置模型和温度设置,以确保行为一致。
  • 获取实验指导 — 询问如何设置和运行 Galileo 实验,包括数据集准备和指标配置。
  • 分析日志流信号 — 获取 Log streams 中的最新信号,并获取针对所发现问题的修复建议。
  • 获取集成帮助 — 请求分步指南,了解如何为 OpenAI 或 LangChain 应用添加 Galileo 可观测性。

文档

Galileo MCP Server

了解如何将 Galileo 的 Model Context Protocol (MCP) 服务器与 Cursor 和 VS Code 等 AI IDE 集成

Galileo Model Context Protocol (MCP) 服务器可让 Cursor 等 AI 驱动的 IDE,或搭配 GitHub Copilot 的 VS Code,与 Galileo 的评估和可观测性平台无缝集成。

借助 MCP,您可以直接在开发环境中使用 Galileo 的功能,包括:

  • 创建和管理数据集
  • 运行实验
  • 设置提示模板
  • 获取 Log 流中的信号
  • 将 Galileo 集成到您的代码中

先决条件

开始之前,请确保您具备以下条件:

1. 支持 AI 的 IDE

安装支持 AI 功能的 IDE,例如 Cursor 或 VS Code

2. API 密钥

从 API keys page 生成 Galileo API 密钥

配置 IDE

Galileo MCP 服务器同时支持 Cursor 和 VS Code。请按照适用于您 IDE 的步骤操作:

[tab] VS Code

1. 安装 GitHub Copilot

如果尚未安装,请安装 GitHub Copilot 扩展

2. 打开 MCP 设置

打开命令面板(Windows/Linux 上按 Ctrl + Shift + P,Mac 上按 Cmd + Shift + P),然后搜索 "MCP: Open User Configuration"

3. 添加 Galileo MCP 服务器配置

复制并粘贴以下配置。将 YOUR-API-KEY 替换为您的实际 Galileo API 密钥。

{
  "servers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  },
  "inputs": []
}

此配置假设您使用的是 app.galileo.ai。

如果您使用的是自托管 Galileo 部署,请将 https://api.galileo.ai/mcp/http/mcp url 替换为您的部署 URL。此 URL 的格式基于您的控制台 URL:将 console 替换为 api,并在末尾附加 /mcp/http/mcp。

例如:

  • 如果您的控制台 URL 是 https://console.galileo.example.com,则 MCP url 为 https://api.galileo.example.com/mcp/http/mcp
  • 如果您的控制台 URL 是 https://console-galileo.apps.mycompany.com,则 MCP url 为 https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. 重新加载 VS Code

打开命令面板并运行 "Developer: Reload Window",重新加载 VS Code 以使更改生效

[tab] Cursor

1. 打开 Tools & MCP 设置

打开 Cursor 命令面板(Windows/Linux 上按 Ctrl + Shift + P,Mac 上按 Cmd + Shift + P),然后选择 "Open MCP Settings"。

2. 打开 MCP 服务器配置文件

点击 Add Custom MCP 打开 mcp.json MCP 配置文件;如果您已配置其他 MCP 服务器,则点击 New MCP Server。

3. 添加 Galileo MCP 服务器配置

复制并粘贴以下配置。将 YOUR-API-KEY 替换为您的实际 Galileo API 密钥。

{
  "mcpServers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  }
}

此配置假设您使用的是 app.galileo.ai。

如果您使用的是自托管 Galileo 部署,请将 https://api.galileo.ai/mcp/http/mcp url 替换为您的部署 URL。此 URL 的格式基于您的控制台 URL:将 console 替换为 api,并在末尾附加 /mcp/http/mcp。

例如:

  • 如果您的控制台 URL 是 https://console.galileo.example.com,则 MCP url 为 https://api.galileo.example.com/mcp/http/mcp
  • 如果您的控制台 URL 是 https://console-galileo.apps.mycompany.com,则 MCP url 为 https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. 保存并重启

保存配置并重启 Cursor,以使更改生效

[!TIP]

Cursor 和 VS Code 的配置相同。请务必将 YOUR-API-KEY 替换为您从 API keys page 获取的实际 Galileo API 密钥。

验证设置

配置完成后,您可以在 IDE 中向 AI 助手提问,以验证 MCP 设置:

Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?

现在,您的 AI 助手应该能够访问 Galileo 的功能,并根据您的 Galileo 账户信息作出回应。

工具

Galileo MCP 服务器提供了强大的工具,您可以通过与 AI 助手自然对话来使用。只需提问或提出请求,AI 就会使用这些工具为您提供帮助。

[accordion] 创建数据集

生成合成数据集,或上传您自己的数据,以测试和评估 AI 应用。此工具支持创建包含多种查询类型的数据集,包括一般查询、提示注入、偏离主题内容和有害内容场景。

您可以这样提问:

创建一个包含 50 条关于账单问题的客户服务查询的数据集
生成一个包含 30 条聊天机器人查询的数据集,其中包括一些提示注入尝试
创建一个包含产品推荐查询的数据集,并加入偏离主题的问题

[accordion] 检查数据集状态

跟踪数据集生成进度并预览生成的内容。您将看到前 10 行数据,以及生成状态和进度更新。

您可以这样提问:

检查当前正在生成的数据集的状态
显示数据集 abc-123 的预览
我的客户服务数据集准备好了吗?

[accordion] 创建提示模板

构建可在所有项目中重复使用的提示模板。设置模型配置、温度参数和其他参数,以确保提示行为一致。

您可以这样提问:

创建一个名为 "Friendly Assistant" 的提示模板,用于生成客户支持回复
创建一个用于总结技术文档的提示模板,并设置较低的温度
为代码审查助手设置一个聊天模板

[accordion] 设置实验

获取设置和运行 Galileo 实验的完整指导,包括数据集准备、指标配置,以及与现有代码的集成。支持 Python 和其他受支持的语言。

您可以这样提问:

如何在 Python 中设置 Galileo 实验?
演示如何使用我的 RAG 应用运行实验
指导我为智能体工作流创建实验

[accordion] 获取信号

分析应用的 Log 流,以识别问题、模式和改进机会。根据记录的数据获取具体建议。

您可以这样提问:

你在我的生产日志流中发现了哪些问题?
获取 Galileo 中最新的信号,并针对这些信号提出代码修复建议
获取有关我的聊天机器人日志流的见解,并提出改进建议

[accordion] 与 OpenAI 集成

获取分步集成指南,将 Galileo 可观测性添加到您的 OpenAI 应用中。只需进行少量代码更改,即可自动记录提示、响应、模型参数和令牌用量。

您可以这样提问:

如何将 Galileo 日志记录添加到我的 OpenAI 应用中?
演示如何在 TypeScript 中将 Galileo 与 OpenAI 集成
帮我为 GPT-4 聊天机器人设置 Galileo 可观测性

[accordion] 与 LangChain 集成

获取将 Galileo 添加到 LangChain 应用的完整集成说明。通过自动日志记录,捕获链、智能体和工具的完整跟踪记录。

您可以这样提问:

如何将 Galileo 集成到我的 LangChain 应用中?
演示如何将 Galileo 跟踪功能添加到我的 LangChain 智能体
帮我使用 Galileo 记录 LangChain RAG 流水线

[accordion] 搜索文档

在所有 Galileo 文档中查找相关信息、代码示例、API 参考和实施指南。获取所需页面的直接链接。

您可以这样提问:

如何在 Galileo 中设置数据日志记录?
查找有关自定义指标的文档
搜索智能体 AI 评估示例

示例用例

创建合成数据集

向 AI 助手提问:

Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.

MCP 服务器将引导您完成数据集创建流程,并提供数据集 ID 以便跟踪进度。

获取集成帮助

向 AI 助手提问:

How do I integrate Galileo with my LangChain application in Python?

MCP 服务器将提供完整的集成代码示例和设置说明。

获取信号

向 AI 助手提问:

Fetch the most recent signals from Galileo and propose fixes for them in my code

MCP 服务器将分析您的 Log 流并提出改进建议。

故障排除

[accordion] 连接 Galileo MCP Server 时出错

  • 检查 MCP 服务器 URL 是否设置为 https://api.galileo.ai/mcp/http/mcp
  • 确保 Accept 标头设置为 text/event-stream
  • 更改配置后,重启 IDE 的 MCP 连接

[accordion] API 密钥错误

  • 确认配置中已正确设置 API 密钥
  • 检查 API 密钥是否已过期
  • 从 API keys page 生成新的 API 密钥

后续步骤

[card] 记录您的第一个跟踪记录

了解如何使用 Galileo 记录您的第一个跟踪记录

[card] 运行您的第一个实验

设置并运行实验,以评估您的 AI 应用

[card] 探索集成

了解 Galileo 与第三方框架的集成方式