Agent Evals by Galileo
官方透過 Galileo 的全新 MCP 伺服器,直接在您的 IDE 中免費使用代理評估、可觀測性與合成測試集生成功能。
你可以用 Agent Evals By Galileo MCP 做什麼?
- 建立合成資料集 — 請助理產生查詢資料集,包含提示注入、離題或有害內容等情境。
- 檢查資料集狀態 — 追蹤資料集產生進度,並預覽產生資料的前 10 列。
- 建立提示範本 — 建立可重複使用的提示範本,並設定模型配置與溫度,以確保行為一致。
- 取得實驗指引 — 詢問如何設定及執行 Galileo 實驗,包括資料集準備與指標配置。
- 分析日誌串流訊號 — 從您的 Log streams 擷取近期訊號,並取得針對所發現問題的建議修正方式。
- 取得整合協助 — 索取逐步指南,了解如何將 Galileo 可觀測性功能新增至 OpenAI 或 LangChain 應用程式。
文件
Galileo MCP Server
了解如何將 Galileo 的 Model Context Protocol (MCP) 伺服器與 Cursor、VS Code 等支援 AI 的 IDE 整合
Galileo Model Context Protocol (MCP) 伺服器可讓 Cursor 等 AI 驅動的 IDE,或搭配 GitHub Copilot 的 VS Code,與 Galileo 的評估和可觀測性平台無縫整合。
透過 MCP,您可以直接在開發環境中使用 Galileo 的功能,包括:
- 建立和管理資料集
- 執行實驗
- 設定提示範本
- 取得 Log 串流的訊號
- 將 Galileo 整合至您的程式碼
先決條件
開始之前,請確認您具備以下項目:
1. 支援 AI 的 IDE
安裝支援 AI 的 IDE,例如 Cursor 或具備 AI 功能的 VS Code
2. API 金鑰
從 API keys page 產生 Galileo API 金鑰
設定 IDE
Galileo MCP 伺服器同時支援 Cursor 和 VS Code。請依照下方適用於您 IDE 的步驟操作:
[tab] VS Code
1. 安裝 GitHub Copilot
如果尚未安裝,請安裝 GitHub Copilot 擴充功能
2. 開啟 MCP 設定
開啟命令選擇區(Windows/Linux 上按
Ctrl + Shift + P,或 Mac 上按Cmd + Shift + P),並搜尋 "MCP: Open User Configuration"3. 新增 Galileo MCP 伺服器設定
複製並貼上下方的設定。將
YOUR-API-KEY替換為您的 Galileo API 金鑰。{ "servers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } }, "inputs": [] }此設定假設您使用的是 app.galileo.ai。
如果您使用自架的 Galileo 部署,請將
https://api.galileo.ai/mcp/http/mcpurl 替換為您的部署 URL。此 URL 的格式以您的主控台 URL 為基礎,將console替換為api,並附加/mcp/http/mcp。例如:
- 如果您的主控台 URL 是
https://console.galileo.example.com,MCP url 會是https://api.galileo.example.com/mcp/http/mcp- 如果您的主控台 URL 是
https://console-galileo.apps.mycompany.com,MCP url 會是https://api-galileo.apps.mycompany.com/mcp/http/mcp4. 重新載入 VS Code
開啟命令選擇區並執行 "Developer: Reload Window",重新載入 VS Code,讓變更生效
[tab] Cursor
1. 開啟 Tools & MCP 設定
開啟 Cursor 命令選擇區(Windows/Linux 上按
Ctrl + Shift + P,或 Mac 上按Cmd + Shift + P),然後選擇 "Open MCP Settings"。2. 開啟 MCP 伺服器設定檔
點選 Add Custom MCP 以開啟
mcp.jsonMCP 設定檔;如果您已設定其他 MCP 伺服器,則點選 New MCP Server。3. 新增 Galileo MCP 伺服器設定
複製並貼上下方的設定。將
YOUR-API-KEY替換為您的 Galileo API 金鑰。{ "mcpServers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } } }此設定假設您使用的是 app.galileo.ai。
如果您使用自架的 Galileo 部署,請將
https://api.galileo.ai/mcp/http/mcpurl 替換為您的部署 URL。此 URL 的格式以您的主控台 URL 為基礎,將console替換為api,並附加/mcp/http/mcp。例如:
- 如果您的主控台 URL 是
https://console.galileo.example.com,MCP url 會是https://api.galileo.example.com/mcp/http/mcp- 如果您的主控台 URL 是
https://console-galileo.apps.mycompany.com,MCP url 會是https://api-galileo.apps.mycompany.com/mcp/http/mcp4. 儲存並重新啟動
儲存設定並重新啟動 Cursor,讓變更生效
[!TIP]
Cursor 和 VS Code 使用相同的設定。請務必將
YOUR-API-KEY替換為您從 API keys page 取得的 Galileo API 金鑰。
驗證設定
完成設定後,您可以在 IDE 中向 AI 助理提出以下問題, 以驗證 MCP 設定:
Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
現在,您的 AI 助理應該能夠存取 Galileo 的功能,並 提供您 Galileo 帳戶中的資訊。
工具
Galileo MCP 伺服器提供強大的工具,您可以透過與 AI 助理 自然對話來使用。只要提出問題或要求,AI 就會使用這些工具協助您。
[accordion] 建立資料集
產生合成資料集,或上傳您自己的資料,以測試和評估 AI 應用程式。此工具支援建立包含各種查詢類型的資料集,例如一般查詢、提示注入、離題內容和有害內容情境。
您可以提出的要求:
建立包含 50 個關於帳單問題的客戶服務查詢的資料集產生包含 30 個聊天機器人查詢的資料集,其中包括一些提示注入嘗試建立包含產品推薦查詢的資料集,並加入離題問題
[accordion] 檢查資料集狀態
追蹤資料集產生進度並預覽產生的內容。您會看到前 10 列資料,以及產生狀態和進度更新。
您可以提出的要求:
檢查目前正在產生的資料集狀態顯示資料集 abc-123 的預覽我的客戶服務資料集準備好了嗎?
[accordion] 建立提示範本
建立可在所有專案中重複使用的提示範本。設定模型組態、溫度設定和其他參數,確保提示行為一致。
您可以提出的要求:
建立名為 "Friendly Assistant" 的客戶支援回覆提示範本建立用於摘要技術文件的提示範本,並設定較低的溫度為程式碼審查助理設定聊天範本
[accordion] 設定實驗
取得設定和執行 Galileo 實驗的完整指引,包括資料集準備、指標設定,以及與現有程式碼的整合。適用於 Python 和其他支援的語言。
您可以提出的要求:
如何在 Python 中設定 Galileo 實驗?示範如何使用我的 RAG 應用程式執行實驗引導我為代理式工作流程建立實驗
[accordion] 取得訊號
分析應用程式的 Log 串流,以找出問題、模式和改善機會。根據記錄的資料取得具體建議。
您可以提出的要求:
您在我的正式環境 Log 串流中發現了哪些問題?從 Galileo 擷取最新訊號,並建議如何在我的程式碼中修正深入分析我的聊天機器人 Log 串流並提出改善建議
[accordion] 與 OpenAI 整合
取得逐步整合指南,將 Galileo 可觀測性功能新增至 OpenAI 應用程式。只需最少的程式碼變更,即可自動記錄提示、回應、模型參數和 token 使用量。
您可以提出的要求:
如何將 Galileo 記錄功能新增至我的 OpenAI 應用程式?示範如何使用 TypeScript 將 Galileo 與 OpenAI 整合協助我為 GPT-4 聊天機器人設定 Galileo 可觀測性
[accordion] 與 LangChain 整合
取得將 Galileo 新增至 LangChain 應用程式的完整整合指示。透過自動記錄,擷取鏈、代理和工具的完整追蹤記錄。
您可以提出的要求:
如何將 Galileo 整合至我的 LangChain 應用程式?示範如何將 Galileo 追蹤功能新增至我的 LangChain 代理協助我使用 Galileo 記錄 LangChain RAG 管線
[accordion] 搜尋文件
搜尋所有 Galileo 文件,尋找相關資訊、程式碼範例、API 參考資料和實作指南。取得所需頁面的直接連結。
您可以提出的要求:
如何在 Galileo 中設定資料記錄?尋找自訂指標相關文件搜尋代理式 AI 評估範例
使用案例範例
建立合成資料集
向 AI 助理提出要求:
Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.
MCP 伺服器會引導您完成資料集建立流程,並 提供資料集 ID 以追蹤進度。
取得整合協助
向 AI 助理提出要求:
How do I integrate Galileo with my LangChain application in Python?
MCP 伺服器會提供完整的整合程式碼範例和設定 指示。
取得訊號
向 AI 助理提出要求:
Fetch the most recent signals from Galileo and propose fixes for them in my code
MCP 伺服器會分析您的 Log 串流並提出改善建議。
疑難排解
[accordion] 連線至 Galileo MCP Server 時發生錯誤
- 確認 MCP 伺服器 URL 設定為
https://api.galileo.ai/mcp/http/mcp- 確認
Accept標頭已設定為text/event-stream- 變更設定後,重新啟動 IDE 的 MCP 連線
[accordion] API 金鑰錯誤
- 確認已在設定中正確設定 API 金鑰
- 確認 API 金鑰尚未過期
- 從 API keys page 產生新的 API 金鑰
後續步驟
[card] 記錄您的第一筆追蹤
了解如何使用 Galileo 記錄您的第一筆追蹤
[card] 執行您的第一個實驗
設定並執行實驗,以評估您的 AI 應用程式
[card] 探索整合
了解 Galileo 與第三方架構的整合方式