Agent Evals by Galileo
chính thứcMang khả năng đánh giá tác nhân, quan sát và tạo bộ kiểm thử tổng hợp trực tiếp vào IDE của bạn miễn phí với máy chủ MCP mới của Galileo.
Bạn có thể làm gì với Agent Evals By Galileo MCP?
- Tạo tập dữ liệu tổng hợp — Yêu cầu trợ lý tạo một tập dữ liệu với các loại truy vấn tùy chỉnh như vấn đề thanh toán hoặc tiêm prompt.
- Kiểm tra trạng thái tạo tập dữ liệu — Theo dõi tiến trình và xem trước các hàng đầu tiên của tập dữ liệu trong khi nó đang được tạo.
- Xây dựng các mẫu prompt có thể tái sử dụng — Thiết lập các mẫu prompt có tên với các tham số mô hình và cài đặt nhiệt độ trên các dự án.
- Nhận hướng dẫn thiết lập thí nghiệm — Nhận hướng dẫn từng bước để chạy các thí nghiệm Galileo trong Python trên các quy trình RAG hoặc tác nhân của bạn.
- Phân tích luồng nhật ký để tìm tín hiệu — Lấy các tín hiệu gần đây từ luồng nhật ký sản xuất và nhận các đề xuất sửa mã.
- Tìm kiếm tài liệu Galileo — Tìm các tham chiếu API, ví dụ mã và hướng dẫn triển khai trực tiếp từ tài liệu.
Tài liệu
Máy chủ Galileo MCP
Tìm hiểu cách tích hợp máy chủ Model Context Protocol (MCP) của Galileo với các IDE hỗ trợ AI như Cursor và VS Code
Máy chủ Model Context Protocol (MCP) của Galileo cho phép tích hợp liền mạch giữa các IDE hỗ trợ AI, chẳng hạn như Cursor, hoặc VS Code với GitHub Copilot, và nền tảng đánh giá và quan sát của Galileo.
Với MCP, bạn có thể truy cập các khả năng của Galileo trực tiếp từ môi trường phát triển của mình, bao gồm:
- Tạo và quản lý tập dữ liệu
- Chạy thử nghiệm
- Thiết lập mẫu prompt
- Nhận tín hiệu trên luồng Nhật ký
- Tích hợp Galileo với mã của bạn
Điều kiện tiên quyết
Trước khi bắt đầu, hãy đảm bảo bạn có những điều sau:
Cài đặt một IDE hỗ trợ AI như [Cursor](https://cursor.sh) hoặc [VS Code](https://code.visualstudio.com) với các khả năng AI Tạo khóa API Galileo của bạn từ [trang khóa API](https://app.galileo.ai/settings/api-keys)Cấu hình IDE của bạn
Máy chủ Galileo MCP hoạt động với cả Cursor và VS Code. Làm theo các bước dưới đây cho IDE của bạn:
Cài đặt tiện ích mở rộng [GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot) nếu bạn chưa có <Step title="Open MCP settings">
Mở Bảng lệnh (`Ctrl + Shift + P` trên Windows/Linux, hoặc `Cmd + Shift + P` trên Mac) và tìm kiếm **"MCP: Open User Configuration"**
</Step>
<Step title="Add the Galileo MCP server configuration">
Sao chép và dán cấu hình bên dưới. Thay thế `YOUR-API-KEY` bằng khóa API Galileo thực tế của bạn.
```json VSCode MCP Configuration highlight={3-9} theme={null}
{
"servers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
},
"inputs": []
}
```
Điều này giả định bạn đang sử dụng [app.galileo.ai](https://app.galileo.ai).
Nếu bạn đang sử dụng triển khai Galileo tự lưu trữ, hãy thay thế url `https://api.galileo.ai/mcp/http/mcp` bằng URL triển khai của bạn. Định dạng của URL này dựa trên URL bảng điều khiển của bạn, thay thế `console` bằng `api` và thêm `/mcp/http/mcp`.
Ví dụ:
* nếu URL bảng điều khiển của bạn là `https://console.galileo.example.com`, url MCP sẽ là `https://api.galileo.example.com/mcp/http/mcp`
* nếu URL bảng điều khiển của bạn là `https://console-galileo.apps.mycompany.com`, url MCP sẽ là `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Reload VS Code">
Tải lại VS Code bằng cách mở Bảng lệnh và chạy **"Developer: Reload Window"** để các thay đổi có hiệu lực
</Step>
</Steps>
<Step title="Open the MCP server configuration file">
Nhấp vào **Add Custom MCP** để mở tệp cấu hình MCP `mcp.json`, hoặc **New MCP Server** nếu bạn đã có các máy chủ MCP khác được cấu hình.
</Step>
<Step title="Add the Galileo MCP server configuration">
Sao chép và dán cấu hình bên dưới. Thay thế `YOUR-API-KEY` bằng khóa API Galileo thực tế của bạn.
```json Cursor MCP Configuration highlight={3-9} theme={null}
{
"mcpServers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
}
}
```
Điều này giả định bạn đang sử dụng [app.galileo.ai](https://app.galileo.ai).
Nếu bạn đang sử dụng triển khai Galileo tự lưu trữ, hãy thay thế url `https://api.galileo.ai/mcp/http/mcp` bằng URL triển khai của bạn. Định dạng của URL này dựa trên URL bảng điều khiển của bạn, thay thế `console` bằng `api` và thêm `/mcp/http/mcp`.
Ví dụ:
* nếu URL bảng điều khiển của bạn là `https://console.galileo.example.com`, url MCP sẽ là `https://api.galileo.example.com/mcp/http/mcp`
* nếu URL bảng điều khiển của bạn là `https://console-galileo.apps.mycompany.com`, url MCP sẽ là `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Save and restart">
Lưu cấu hình và khởi động lại Cursor để các thay đổi có hiệu lực
</Step>
</Steps>
Xác minh thiết lập của bạn
Sau khi cấu hình, bạn có thể xác minh thiết lập MCP của mình bằng cách hỏi trợ lý AI trong IDE của bạn:
```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ```Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Trợ lý AI của bạn bây giờ sẽ có thể truy cập các khả năng của Galileo và phản hồi với thông tin từ tài khoản Galileo của bạn.
Công cụ
Máy chủ Galileo MCP cung cấp các công cụ mạnh mẽ mà bạn có thể truy cập thông qua trò chuyện tự nhiên với trợ lý AI của mình. Chỉ cần đặt câu hỏi hoặc đưa ra yêu cầu, và AI sẽ sử dụng các công cụ này để giúp bạn.
Tạo tập dữ liệu tổng hợp hoặc tải lên dữ liệu của riêng bạn để kiểm tra và đánh giá các ứng dụng AI của bạn. Công cụ hỗ trợ tạo tập dữ liệu với nhiều loại truy vấn khác nhau bao gồm truy vấn chung, tiêm prompt, nội dung lạc đề và các kịch bản nội dung độc hại.**Những gì bạn có thể hỏi:**
<CodeGroup>
```text Query wrap theme={null}
Create a dataset with 50 customer service queries about billing issues
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a dataset with product recommendation queries and include off-topic questions
```
</CodeGroup>
**Những gì bạn có thể hỏi:**
<CodeGroup>
```text Query wrap theme={null}
Check the status of my dataset that's currently generating
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me the preview of dataset abc-123
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Is my customer service dataset ready yet?
```
</CodeGroup>
**Những gì bạn có thể hỏi:**
<CodeGroup>
```text Query wrap theme={null}
Create a prompt template called "Friendly Assistant" for customer support responses
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a prompt template for summarizing technical documentation with lower temperature
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Set up a chat template for a code review assistant
```
</CodeGroup>
**Những gì bạn có thể hỏi:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up a Galileo experiment in Python?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to run an experiment with my RAG application
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Guide me through creating an experiment for my agentic workflow
```
</CodeGroup>
**Những gì bạn có thể hỏi:**
<CodeGroup>
```text Query wrap theme={null}
What issues do you see in my production log stream?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Fetch the most recent signals from Galileo and propose fixes for them in my code
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Get insights about my chatbot log stream and suggest improvements
```
</CodeGroup>
**Những gì bạn có thể hỏi:**
<CodeGroup>
```text Query wrap theme={null}
How do I add Galileo logging to my OpenAI application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to integrate Galileo with OpenAI in TypeScript
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me set up Galileo observability for my GPT-4 chatbot
```
</CodeGroup>
**Những gì bạn có thể hỏi:**
<CodeGroup>
```text Query wrap theme={null}
How do I integrate Galileo with my LangChain application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to add Galileo tracing to my LangChain agent
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me log my LangChain RAG pipeline with Galileo
```
</CodeGroup>
**Những gì bạn có thể hỏi:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up data logging in Galileo?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Find documentation about custom metrics
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Search for examples of agentic AI evaluation
```
</CodeGroup>
Các trường hợp sử dụng ví dụ
Tạo tập dữ liệu tổng hợp
Hỏi trợ lý AI của bạn:
```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```Máy chủ MCP sẽ hướng dẫn bạn qua quá trình tạo tập dữ liệu và cung cấp ID tập dữ liệu để theo dõi tiến độ.
Nhận trợ giúp tích hợp
Hỏi trợ lý AI của bạn:
```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```Máy chủ MCP sẽ cung cấp các ví dụ mã tích hợp đầy đủ và hướng dẫn thiết lập.
Nhận Tín hiệu
Hỏi trợ lý AI của bạn:
```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```Máy chủ MCP sẽ phân tích luồng Nhật ký của bạn và đề xuất cải thiện.