Agent Evals by Galileo

chính thức

Mang khả năng đánh giá tác nhân, quan sát và tạo bộ kiểm thử tổng hợp trực tiếp vào IDE của bạn miễn phí với máy chủ MCP mới của Galileo.

Bạn có thể làm gì với Agent Evals By Galileo MCP?

  • Tạo bộ dữ liệu tổng hợp — Yêu cầu trợ lý tạo bộ dữ liệu truy vấn, bao gồm các tình huống chèn lệnh vào prompt, nội dung lạc đề hoặc độc hại.
  • Kiểm tra trạng thái bộ dữ liệu — Theo dõi tiến độ tạo bộ dữ liệu và xem trước 10 hàng đầu tiên của dữ liệu đã tạo.
  • Xây dựng mẫu prompt — Tạo các mẫu prompt có thể tái sử dụng, kèm cấu hình mô hình và cài đặt nhiệt độ để đảm bảo hành vi nhất quán.
  • Nhận hướng dẫn về thử nghiệm — Hỏi cách thiết lập và chạy các thử nghiệm Galileo, bao gồm chuẩn bị bộ dữ liệu và cấu hình chỉ số.
  • Phân tích tín hiệu luồng nhật ký — Lấy các tín hiệu gần đây từ luồng nhật ký của bạn và nhận đề xuất khắc phục các vấn đề được phát hiện.
  • Nhận trợ giúp tích hợp — Yêu cầu hướng dẫn từng bước để thêm khả năng quan sát Galileo vào các ứng dụng OpenAI hoặc LangChain.

Tài liệu

Galileo MCP Server

Tìm hiểu cách tích hợp máy chủ Model Context Protocol (MCP) của Galileo với các IDE hỗ trợ AI như Cursor và VS Code

Máy chủ Model Context Protocol (MCP) của Galileo cho phép tích hợp liền mạch giữa các IDE hỗ trợ AI, chẳng hạn như Cursor hoặc VS Code với GitHub Copilot, và nền tảng đánh giá và khả năng quan sát của Galileo.

Với MCP, bạn có thể truy cập trực tiếp các khả năng của Galileo từ môi trường phát triển, bao gồm:

  • Tạo và quản lý tập dữ liệu
  • Chạy thử nghiệm
  • Thiết lập mẫu lời nhắc
  • Nhận tín hiệu từ các luồng Log
  • Tích hợp Galileo với mã của bạn

Điều kiện tiên quyết

Trước khi bắt đầu, hãy đảm bảo bạn có những thứ sau:

1. IDE hỗ trợ AI

Cài đặt một IDE hỗ trợ AI như Cursor hoặc VS Code có các khả năng AI

2. Khóa API

Tạo khóa API Galileo của bạn từ trang khóa API

Cấu hình IDE

Máy chủ MCP của Galileo hoạt động với cả Cursor và VS Code. Hãy làm theo các bước bên dưới dành cho IDE của bạn:

[tab] VS Code

1. Cài đặt GitHub Copilot

Cài đặt tiện ích mở rộng GitHub Copilot nếu bạn chưa cài

2. Mở cài đặt MCP

Mở Command Palette (Ctrl + Shift + P trên Windows/Linux hoặc Cmd + Shift + P trên Mac) và tìm "MCP: Open User Configuration"

3. Thêm cấu hình máy chủ MCP của Galileo

Sao chép và dán cấu hình bên dưới. Thay YOUR-API-KEY bằng khóa API Galileo thực tế của bạn.

{
  "servers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  },
  "inputs": []
}

Hướng dẫn này giả định bạn đang sử dụng app.galileo.ai.

Nếu bạn đang sử dụng bản triển khai Galileo tự lưu trữ, hãy thay URL https://api.galileo.ai/mcp/http/mcp bằng URL triển khai của bạn. Định dạng URL này dựa trên URL bảng điều khiển của bạn, thay console bằng api rồi thêm /mcp/http/mcp vào cuối.

Ví dụ:

  • nếu URL bảng điều khiển của bạn là https://console.galileo.example.com, URL MCP sẽ là https://api.galileo.example.com/mcp/http/mcp
  • nếu URL bảng điều khiển của bạn là https://console-galileo.apps.mycompany.com, URL MCP sẽ là https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Tải lại VS Code

Tải lại VS Code bằng cách mở Command Palette và chạy "Developer: Reload Window" để các thay đổi có hiệu lực

[tab] Cursor

1. Mở cài đặt Tools & MCP

Mở command palette của Cursor (Ctrl + Shift + P trên Windows/Linux hoặc Cmd + Shift + P trên Mac), sau đó chọn "Open MCP Settings".

2. Mở tệp cấu hình máy chủ MCP

Nhấp vào Add Custom MCP để mở tệp cấu hình MCP mcp.json, hoặc chọn New MCP Server nếu bạn đã cấu hình các máy chủ MCP khác.

3. Thêm cấu hình máy chủ MCP của Galileo

Sao chép và dán cấu hình bên dưới. Thay YOUR-API-KEY bằng khóa API Galileo thực tế của bạn.

{
  "mcpServers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  }
}

Hướng dẫn này giả định bạn đang sử dụng app.galileo.ai.

Nếu bạn đang sử dụng bản triển khai Galileo tự lưu trữ, hãy thay URL https://api.galileo.ai/mcp/http/mcp bằng URL triển khai của bạn. Định dạng URL này dựa trên URL bảng điều khiển của bạn, thay console bằng api rồi thêm /mcp/http/mcp vào cuối.

Ví dụ:

  • nếu URL bảng điều khiển của bạn là https://console.galileo.example.com, URL MCP sẽ là https://api.galileo.example.com/mcp/http/mcp
  • nếu URL bảng điều khiển của bạn là https://console-galileo.apps.mycompany.com, URL MCP sẽ là https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Lưu và khởi động lại

Lưu cấu hình và khởi động lại Cursor để các thay đổi có hiệu lực

[!TIP]

Cấu hình giống nhau cho cả Cursor và VS Code. Hãy nhớ thay YOUR-API-KEY bằng khóa API Galileo thực tế của bạn từ trang khóa API.

Xác minh thiết lập

Sau khi cấu hình, bạn có thể xác minh thiết lập MCP bằng cách hỏi trợ lý AI trong IDE của mình:

Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?

Giờ đây, trợ lý AI của bạn có thể truy cập các khả năng của Galileo và trả lời bằng thông tin từ tài khoản Galileo của bạn.

Công cụ

Máy chủ MCP của Galileo cung cấp các công cụ mạnh mẽ mà bạn có thể sử dụng thông qua cuộc trò chuyện tự nhiên với trợ lý AI. Chỉ cần đặt câu hỏi hoặc đưa ra yêu cầu, AI sẽ sử dụng các công cụ này để hỗ trợ bạn.

[accordion] Tạo tập dữ liệu

Tạo tập dữ liệu tổng hợp hoặc tải dữ liệu của riêng bạn lên để kiểm thử và đánh giá các ứng dụng AI. Công cụ hỗ trợ tạo tập dữ liệu với nhiều loại truy vấn, bao gồm truy vấn tổng quát, tấn công chèn lời nhắc, nội dung lạc đề và các tình huống có nội dung độc hại.

Bạn có thể yêu cầu:

Tạo tập dữ liệu gồm 50 truy vấn dịch vụ khách hàng về các vấn đề thanh toán
Tạo tập dữ liệu gồm 30 truy vấn chatbot, trong đó có một số lần thử chèn lời nhắc
Tạo tập dữ liệu gồm các truy vấn đề xuất sản phẩm và thêm câu hỏi lạc đề

[accordion] Kiểm tra trạng thái tập dữ liệu

Theo dõi tiến trình tạo tập dữ liệu và xem trước nội dung đã tạo. Bạn sẽ thấy 10 hàng dữ liệu đầu tiên cùng với trạng thái tạo và thông tin cập nhật tiến độ.

Bạn có thể yêu cầu:

Kiểm tra trạng thái tập dữ liệu của tôi hiện đang được tạo
Cho tôi xem bản xem trước của tập dữ liệu abc-123
Tập dữ liệu dịch vụ khách hàng của tôi đã sẵn sàng chưa?

[accordion] Tạo mẫu lời nhắc

Tạo các mẫu lời nhắc có thể tái sử dụng trong tất cả dự án của bạn. Thiết lập cấu hình mô hình, cài đặt nhiệt độ và các tham số khác để đảm bảo lời nhắc hoạt động nhất quán.

Bạn có thể yêu cầu:

Tạo mẫu lời nhắc có tên "Friendly Assistant" để trả lời yêu cầu hỗ trợ khách hàng
Tạo mẫu lời nhắc để tóm tắt tài liệu kỹ thuật với nhiệt độ thấp hơn
Thiết lập mẫu trò chuyện cho trợ lý đánh giá mã

[accordion] Thiết lập thử nghiệm

Nhận hướng dẫn đầy đủ về cách thiết lập và chạy thử nghiệm Galileo, bao gồm chuẩn bị tập dữ liệu, cấu hình chỉ số và tích hợp với mã hiện có. Hỗ trợ Python và các ngôn ngữ khác.

Bạn có thể yêu cầu:

Làm thế nào để thiết lập thử nghiệm Galileo bằng Python?
Chỉ cho tôi cách chạy thử nghiệm với ứng dụng RAG của mình
Hướng dẫn tôi tạo thử nghiệm cho quy trình làm việc agentic

[accordion] Nhận tín hiệu

Phân tích các luồng Log của ứng dụng để xác định vấn đề, xu hướng và cơ hội cải thiện. Nhận đề xuất cụ thể dựa trên dữ liệu đã ghi nhật ký.

Bạn có thể yêu cầu:

Bạn thấy vấn đề gì trong luồng nhật ký production của tôi?
Lấy các tín hiệu gần đây nhất từ Galileo và đề xuất cách khắc phục trong mã của tôi
Nhận thông tin chuyên sâu về luồng nhật ký chatbot của tôi và đề xuất cải tiến

[accordion] Tích hợp với OpenAI

Nhận hướng dẫn tích hợp từng bước để thêm khả năng quan sát của Galileo vào các ứng dụng OpenAI. Tự động ghi nhật ký lời nhắc, phản hồi, tham số mô hình và mức sử dụng token với rất ít thay đổi mã.

Bạn có thể yêu cầu:

Làm thế nào để thêm tính năng ghi nhật ký Galileo vào ứng dụng OpenAI của tôi?
Chỉ tôi cách tích hợp Galileo với OpenAI bằng TypeScript
Giúp tôi thiết lập khả năng quan sát của Galileo cho chatbot GPT-4

[accordion] Tích hợp với LangChain

Nhận hướng dẫn tích hợp đầy đủ để thêm Galileo vào các ứng dụng LangChain. Ghi lại toàn bộ dấu vết của chuỗi, tác tử và công cụ bằng tính năng ghi nhật ký tự động.

Bạn có thể yêu cầu:

Làm thế nào để tích hợp Galileo với ứng dụng LangChain của tôi?
Chỉ tôi cách thêm tính năng theo dõi Galileo vào tác tử LangChain
Giúp tôi ghi nhật ký quy trình RAG LangChain bằng Galileo

[accordion] Tìm kiếm tài liệu

Tìm thông tin liên quan, ví dụ mã, tài liệu tham khảo API và hướng dẫn triển khai trong toàn bộ tài liệu Galileo. Nhận liên kết trực tiếp đến các trang bạn cần.

Bạn có thể yêu cầu:

Làm thế nào để thiết lập ghi nhật ký dữ liệu trong Galileo?
Tìm tài liệu về chỉ số tùy chỉnh
Tìm ví dụ về đánh giá AI agentic

Các trường hợp sử dụng ví dụ

Tạo tập dữ liệu tổng hợp

Hỏi trợ lý AI của bạn:

Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.

Máy chủ MCP sẽ hướng dẫn bạn trong quá trình tạo tập dữ liệu và cung cấp ID tập dữ liệu để theo dõi tiến độ.

Nhận trợ giúp tích hợp

Hỏi trợ lý AI của bạn:

How do I integrate Galileo with my LangChain application in Python?

Máy chủ MCP sẽ cung cấp các ví dụ mã tích hợp đầy đủ và hướng dẫn thiết lập.

Nhận tín hiệu

Hỏi trợ lý AI của bạn:

Fetch the most recent signals from Galileo and propose fixes for them in my code

Máy chủ MCP sẽ phân tích luồng Log của bạn và đề xuất cải tiến.

Khắc phục sự cố

[accordion] Lỗi kết nối với Galileo MCP Server

  • Kiểm tra xem URL máy chủ MCP đã được đặt thành https://api.galileo.ai/mcp/http/mcp chưa
  • Đảm bảo tiêu đề Accept được đặt thành text/event-stream
  • Khởi động lại kết nối MCP của IDE sau khi thay đổi cấu hình

[accordion] Lỗi khóa API

  • Xác nhận khóa API đã được đặt đúng trong cấu hình
  • Kiểm tra xem khóa API đã hết hạn chưa
  • Tạo khóa API mới từ trang khóa API

Các bước tiếp theo

[card] Ghi dấu vết đầu tiên của bạn

Tìm hiểu cách ghi dấu vết đầu tiên bằng Galileo

[card] Chạy thử nghiệm đầu tiên của bạn

Thiết lập và chạy thử nghiệm để đánh giá các ứng dụng AI

[card] Khám phá các tích hợp

Tìm hiểu về các tích hợp Galileo với những framework của bên thứ ba