Agent Evals by Galileo

官方

透過 Galileo 的全新 MCP 伺服器,直接在您的 IDE 中免費使用代理評估、可觀測性與合成測試集生成功能。

你可以用 Agent Evals By Galileo MCP 做什麼?

  • 建立合成資料集 — 請助理產生查詢資料集,包含提示注入、離題或有害內容等情境。
  • 檢查資料集狀態 — 追蹤資料集產生進度,並預覽產生資料的前 10 列。
  • 建立提示範本 — 建立可重複使用的提示範本,並設定模型配置與溫度,以確保行為一致。
  • 取得實驗指引 — 詢問如何設定及執行 Galileo 實驗,包括資料集準備與指標配置。
  • 分析日誌串流訊號 — 從您的 Log streams 擷取近期訊號,並取得針對所發現問題的建議修正方式。
  • 取得整合協助 — 索取逐步指南,了解如何將 Galileo 可觀測性功能新增至 OpenAI 或 LangChain 應用程式。

文件

Galileo MCP Server

了解如何將 Galileo 的 Model Context Protocol (MCP) 伺服器與 Cursor、VS Code 等支援 AI 的 IDE 整合

Galileo Model Context Protocol (MCP) 伺服器可讓 Cursor 等 AI 驅動的 IDE,或搭配 GitHub Copilot 的 VS Code,與 Galileo 的評估和可觀測性平台無縫整合。

透過 MCP,您可以直接在開發環境中使用 Galileo 的功能,包括:

  • 建立和管理資料集
  • 執行實驗
  • 設定提示範本
  • 取得 Log 串流的訊號
  • 將 Galileo 整合至您的程式碼

先決條件

開始之前,請確認您具備以下項目:

1. 支援 AI 的 IDE

安裝支援 AI 的 IDE,例如 Cursor 或具備 AI 功能的 VS Code

2. API 金鑰

從 API keys page 產生 Galileo API 金鑰

設定 IDE

Galileo MCP 伺服器同時支援 Cursor 和 VS Code。請依照下方適用於您 IDE 的步驟操作:

[tab] VS Code

1. 安裝 GitHub Copilot

如果尚未安裝,請安裝 GitHub Copilot 擴充功能

2. 開啟 MCP 設定

開啟命令選擇區(Windows/Linux 上按 Ctrl + Shift + P,或 Mac 上按 Cmd + Shift + P),並搜尋 "MCP: Open User Configuration"

3. 新增 Galileo MCP 伺服器設定

複製並貼上下方的設定。將 YOUR-API-KEY 替換為您的 Galileo API 金鑰。

{
  "servers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  },
  "inputs": []
}

此設定假設您使用的是 app.galileo.ai。

如果您使用自架的 Galileo 部署,請將 https://api.galileo.ai/mcp/http/mcp url 替換為您的部署 URL。此 URL 的格式以您的主控台 URL 為基礎,將 console 替換為 api,並附加 /mcp/http/mcp。

例如:

  • 如果您的主控台 URL 是 https://console.galileo.example.com,MCP url 會是 https://api.galileo.example.com/mcp/http/mcp
  • 如果您的主控台 URL 是 https://console-galileo.apps.mycompany.com,MCP url 會是 https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. 重新載入 VS Code

開啟命令選擇區並執行 "Developer: Reload Window",重新載入 VS Code,讓變更生效

[tab] Cursor

1. 開啟 Tools & MCP 設定

開啟 Cursor 命令選擇區(Windows/Linux 上按 Ctrl + Shift + P,或 Mac 上按 Cmd + Shift + P),然後選擇 "Open MCP Settings"。

2. 開啟 MCP 伺服器設定檔

點選 Add Custom MCP 以開啟 mcp.json MCP 設定檔;如果您已設定其他 MCP 伺服器,則點選 New MCP Server。

3. 新增 Galileo MCP 伺服器設定

複製並貼上下方的設定。將 YOUR-API-KEY 替換為您的 Galileo API 金鑰。

{
  "mcpServers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  }
}

此設定假設您使用的是 app.galileo.ai。

如果您使用自架的 Galileo 部署,請將 https://api.galileo.ai/mcp/http/mcp url 替換為您的部署 URL。此 URL 的格式以您的主控台 URL 為基礎,將 console 替換為 api,並附加 /mcp/http/mcp。

例如:

  • 如果您的主控台 URL 是 https://console.galileo.example.com,MCP url 會是 https://api.galileo.example.com/mcp/http/mcp
  • 如果您的主控台 URL 是 https://console-galileo.apps.mycompany.com,MCP url 會是 https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. 儲存並重新啟動

儲存設定並重新啟動 Cursor,讓變更生效

[!TIP]

Cursor 和 VS Code 使用相同的設定。請務必將 YOUR-API-KEY 替換為您從 API keys page 取得的 Galileo API 金鑰。

驗證設定

完成設定後,您可以在 IDE 中向 AI 助理提出以下問題, 以驗證 MCP 設定:

Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?

現在,您的 AI 助理應該能夠存取 Galileo 的功能,並 提供您 Galileo 帳戶中的資訊。

工具

Galileo MCP 伺服器提供強大的工具,您可以透過與 AI 助理 自然對話來使用。只要提出問題或要求,AI 就會使用這些工具協助您。

[accordion] 建立資料集

產生合成資料集,或上傳您自己的資料,以測試和評估 AI 應用程式。此工具支援建立包含各種查詢類型的資料集,例如一般查詢、提示注入、離題內容和有害內容情境。

您可以提出的要求:

建立包含 50 個關於帳單問題的客戶服務查詢的資料集
產生包含 30 個聊天機器人查詢的資料集,其中包括一些提示注入嘗試
建立包含產品推薦查詢的資料集,並加入離題問題

[accordion] 檢查資料集狀態

追蹤資料集產生進度並預覽產生的內容。您會看到前 10 列資料,以及產生狀態和進度更新。

您可以提出的要求:

檢查目前正在產生的資料集狀態
顯示資料集 abc-123 的預覽
我的客戶服務資料集準備好了嗎?

[accordion] 建立提示範本

建立可在所有專案中重複使用的提示範本。設定模型組態、溫度設定和其他參數,確保提示行為一致。

您可以提出的要求:

建立名為 "Friendly Assistant" 的客戶支援回覆提示範本
建立用於摘要技術文件的提示範本,並設定較低的溫度
為程式碼審查助理設定聊天範本

[accordion] 設定實驗

取得設定和執行 Galileo 實驗的完整指引,包括資料集準備、指標設定,以及與現有程式碼的整合。適用於 Python 和其他支援的語言。

您可以提出的要求:

如何在 Python 中設定 Galileo 實驗?
示範如何使用我的 RAG 應用程式執行實驗
引導我為代理式工作流程建立實驗

[accordion] 取得訊號

分析應用程式的 Log 串流,以找出問題、模式和改善機會。根據記錄的資料取得具體建議。

您可以提出的要求:

您在我的正式環境 Log 串流中發現了哪些問題?
從 Galileo 擷取最新訊號,並建議如何在我的程式碼中修正
深入分析我的聊天機器人 Log 串流並提出改善建議

[accordion] 與 OpenAI 整合

取得逐步整合指南,將 Galileo 可觀測性功能新增至 OpenAI 應用程式。只需最少的程式碼變更,即可自動記錄提示、回應、模型參數和 token 使用量。

您可以提出的要求:

如何將 Galileo 記錄功能新增至我的 OpenAI 應用程式?
示範如何使用 TypeScript 將 Galileo 與 OpenAI 整合
協助我為 GPT-4 聊天機器人設定 Galileo 可觀測性

[accordion] 與 LangChain 整合

取得將 Galileo 新增至 LangChain 應用程式的完整整合指示。透過自動記錄,擷取鏈、代理和工具的完整追蹤記錄。

您可以提出的要求:

如何將 Galileo 整合至我的 LangChain 應用程式?
示範如何將 Galileo 追蹤功能新增至我的 LangChain 代理
協助我使用 Galileo 記錄 LangChain RAG 管線

[accordion] 搜尋文件

搜尋所有 Galileo 文件,尋找相關資訊、程式碼範例、API 參考資料和實作指南。取得所需頁面的直接連結。

您可以提出的要求:

如何在 Galileo 中設定資料記錄?
尋找自訂指標相關文件
搜尋代理式 AI 評估範例

使用案例範例

建立合成資料集

向 AI 助理提出要求:

Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.

MCP 伺服器會引導您完成資料集建立流程,並 提供資料集 ID 以追蹤進度。

取得整合協助

向 AI 助理提出要求:

How do I integrate Galileo with my LangChain application in Python?

MCP 伺服器會提供完整的整合程式碼範例和設定 指示。

取得訊號

向 AI 助理提出要求:

Fetch the most recent signals from Galileo and propose fixes for them in my code

MCP 伺服器會分析您的 Log 串流並提出改善建議。

疑難排解

[accordion] 連線至 Galileo MCP Server 時發生錯誤

  • 確認 MCP 伺服器 URL 設定為 https://api.galileo.ai/mcp/http/mcp
  • 確認 Accept 標頭已設定為 text/event-stream
  • 變更設定後,重新啟動 IDE 的 MCP 連線

[accordion] API 金鑰錯誤

  • 確認已在設定中正確設定 API 金鑰
  • 確認 API 金鑰尚未過期
  • 從 API keys page 產生新的 API 金鑰

後續步驟

[card] 記錄您的第一筆追蹤

了解如何使用 Galileo 記錄您的第一筆追蹤

[card] 執行您的第一個實驗

設定並執行實驗,以評估您的 AI 應用程式

[card] 探索整合

了解 Galileo 與第三方架構的整合方式