Agent Evals by Galileo

resmi

Bawa evaluasi agen, observabilitas, dan pembuatan set uji sintetis langsung ke IDE Anda secara gratis dengan server MCP baru Galileo

Apa yang bisa Anda lakukan dengan Agent Evals By Galileo MCP?

  • Buat dataset sintetis — Minta asisten Anda membuat dataset kueri, termasuk skenario injeksi prompt, konten di luar topik, atau konten toksik.
  • Periksa status dataset — Pantau progres pembuatan dataset dan pratinjau 10 baris pertama dari data yang dihasilkan.
  • Buat templat prompt — Buat templat prompt yang dapat digunakan kembali dengan konfigurasi model dan pengaturan suhu untuk perilaku yang konsisten.
  • Dapatkan panduan eksperimen — Tanyakan cara menyiapkan dan menjalankan eksperimen Galileo, termasuk persiapan dataset dan konfigurasi metrik.
  • Analisis sinyal aliran log — Ambil sinyal terbaru dari aliran Log Anda dan dapatkan saran perbaikan untuk masalah yang ditemukan.
  • Dapatkan bantuan integrasi — Minta panduan langkah demi langkah untuk menambahkan observabilitas Galileo ke aplikasi OpenAI atau LangChain.

Dokumentasi

Galileo MCP Server

Pelajari cara mengintegrasikan server Model Context Protocol (MCP) Galileo dengan IDE berkemampuan AI seperti Cursor dan VS Code

Server Model Context Protocol (MCP) Galileo memungkinkan integrasi yang lancar antara IDE bertenaga AI, seperti Cursor atau VS Code dengan GitHub Copilot, dan platform evaluasi serta observabilitas Galileo.

Dengan MCP, Anda dapat mengakses kemampuan Galileo langsung dari lingkungan pengembangan, termasuk:

  • Membuat dan mengelola dataset
  • Menjalankan eksperimen
  • Menyiapkan templat prompt
  • Mendapatkan sinyal dari aliran Log
  • Mengintegrasikan Galileo dengan kode Anda

Prasyarat

Sebelum memulai, pastikan Anda memiliki hal-hal berikut:

1. IDE berkemampuan AI

Instal IDE berkemampuan AI seperti Cursor atau VS Code dengan kemampuan AI

2. Kunci API

Buat kunci API Galileo Anda dari halaman kunci API

Konfigurasikan IDE Anda

Server MCP Galileo berfungsi dengan Cursor maupun VS Code. Ikuti langkah-langkah di bawah untuk IDE Anda:

[tab] VS Code

1. Instal GitHub Copilot

Instal ekstensi GitHub Copilot jika Anda belum melakukannya

2. Buka pengaturan MCP

Buka Command Palette (Ctrl + Shift + P di Windows/Linux, atau Cmd + Shift + P di Mac) dan cari "MCP: Open User Configuration"

3. Tambahkan konfigurasi server MCP Galileo

Salin dan tempel konfigurasi di bawah. Ganti YOUR-API-KEY dengan kunci API Galileo Anda yang sebenarnya.

{
  "servers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  },
  "inputs": []
}

Petunjuk ini mengasumsikan Anda menggunakan app.galileo.ai.

Jika Anda menggunakan deployment Galileo yang di-host sendiri, ganti url https://api.galileo.ai/mcp/http/mcp dengan URL deployment Anda. Format URL ini didasarkan pada URL konsol Anda, dengan mengganti console menjadi api dan menambahkan /mcp/http/mcp di bagian akhir.

Contoh:

  • jika URL konsol Anda adalah https://console.galileo.example.com, URL MCP-nya adalah https://api.galileo.example.com/mcp/http/mcp
  • jika URL konsol Anda adalah https://console-galileo.apps.mycompany.com, URL MCP-nya adalah https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Muat ulang VS Code

Muat ulang VS Code dengan membuka Command Palette dan menjalankan "Developer: Reload Window" agar perubahan diterapkan

[tab] Cursor

1. Buka pengaturan Tools & MCP

Buka command palette Cursor (Ctrl + Shift + P di Windows/Linux, atau Cmd + Shift + P di Mac), lalu pilih "Open MCP Settings".

2. Buka file konfigurasi server MCP

Klik Add Custom MCP untuk membuka file konfigurasi MCP mcp.json, atau New MCP Server jika Anda sudah mengonfigurasi server MCP lainnya.

3. Tambahkan konfigurasi server MCP Galileo

Salin dan tempel konfigurasi di bawah. Ganti YOUR-API-KEY dengan kunci API Galileo Anda yang sebenarnya.

{
  "mcpServers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  }
}

Petunjuk ini mengasumsikan Anda menggunakan app.galileo.ai.

Jika Anda menggunakan deployment Galileo yang di-host sendiri, ganti url https://api.galileo.ai/mcp/http/mcp dengan URL deployment Anda. Format URL ini didasarkan pada URL konsol Anda, dengan mengganti console menjadi api dan menambahkan /mcp/http/mcp di bagian akhir.

Contoh:

  • jika URL konsol Anda adalah https://console.galileo.example.com, URL MCP-nya adalah https://api.galileo.example.com/mcp/http/mcp
  • jika URL konsol Anda adalah https://console-galileo.apps.mycompany.com, URL MCP-nya adalah https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Simpan dan mulai ulang

Simpan konfigurasi dan mulai ulang Cursor agar perubahan diterapkan

[!TIP]

Konfigurasinya sama untuk Cursor dan VS Code. Pastikan untuk mengganti YOUR-API-KEY dengan kunci API Galileo Anda yang sebenarnya dari halaman kunci API.

Verifikasi penyiapan Anda

Setelah dikonfigurasi, Anda dapat memverifikasi penyiapan MCP dengan bertanya kepada asisten AI di IDE Anda:

Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?

Asisten AI Anda kini seharusnya dapat mengakses kemampuan Galileo dan memberikan informasi dari akun Galileo Anda.

Tools

Server MCP Galileo menyediakan tools canggih yang dapat Anda akses melalui percakapan alami dengan asisten AI Anda. Cukup ajukan pertanyaan atau buat permintaan, dan AI akan menggunakan tools ini untuk membantu Anda.

[accordion] Buat Dataset

Buat dataset sintetis atau unggah data Anda sendiri untuk menguji dan mengevaluasi aplikasi AI Anda. Tool ini mendukung pembuatan dataset dengan berbagai jenis kueri, termasuk kueri umum, injeksi prompt, konten di luar topik, dan skenario konten toksik.

Yang dapat Anda tanyakan:

Buat dataset berisi 50 kueri layanan pelanggan tentang masalah penagihan
Buat dataset berisi 30 kueri chatbot, termasuk beberapa upaya injeksi prompt
Buat dataset berisi kueri rekomendasi produk dan sertakan pertanyaan di luar topik

[accordion] Periksa Status Dataset

Pantau progres pembuatan dataset dan pratinjau konten yang dihasilkan. Anda akan melihat 10 baris data pertama beserta status pembuatan dan pembaruan progres.

Yang dapat Anda tanyakan:

Periksa status dataset saya yang sedang dibuat
Tampilkan pratinjau dataset abc-123
Apakah dataset layanan pelanggan saya sudah siap?

[accordion] Buat Templat Prompt

Buat templat prompt yang dapat digunakan kembali di semua proyek Anda. Siapkan konfigurasi model, pengaturan temperatur, dan parameter lainnya agar perilaku prompt tetap konsisten.

Yang dapat Anda tanyakan:

Buat templat prompt bernama "Asisten Ramah" untuk respons dukungan pelanggan
Buat templat prompt untuk merangkum dokumentasi teknis dengan temperatur lebih rendah
Siapkan templat chat untuk asisten peninjau kode

[accordion] Siapkan Eksperimen

Dapatkan panduan lengkap untuk menyiapkan dan menjalankan eksperimen Galileo, termasuk persiapan dataset, konfigurasi metrik, dan integrasi dengan kode yang sudah ada. Tersedia untuk Python dan bahasa lain yang didukung.

Yang dapat Anda tanyakan:

Bagaimana cara menyiapkan eksperimen Galileo di Python?
Tunjukkan cara menjalankan eksperimen dengan aplikasi RAG saya
Pandu saya membuat eksperimen untuk alur kerja agentik saya

[accordion] Dapatkan Sinyal

Analisis aliran Log aplikasi Anda untuk mengidentifikasi masalah, pola, dan peluang peningkatan. Dapatkan rekomendasi spesifik berdasarkan data yang dicatat.

Yang dapat Anda tanyakan:

Masalah apa yang Anda lihat di aliran log produksi saya?
Ambil sinyal terbaru dari Galileo dan usulkan perbaikannya di kode saya
Dapatkan wawasan tentang aliran log chatbot saya dan sarankan peningkatan

[accordion] Integrasikan dengan OpenAI

Dapatkan panduan integrasi langkah demi langkah untuk menambahkan observabilitas Galileo ke aplikasi OpenAI Anda. Catat prompt, respons, parameter model, dan penggunaan token secara otomatis dengan perubahan kode minimal.

Yang dapat Anda tanyakan:

Bagaimana cara menambahkan pencatatan Galileo ke aplikasi OpenAI saya?
Tunjukkan cara mengintegrasikan Galileo dengan OpenAI di TypeScript
Bantu saya menyiapkan observabilitas Galileo untuk chatbot GPT-4 saya

[accordion] Integrasikan dengan LangChain

Dapatkan petunjuk integrasi lengkap untuk menambahkan Galileo ke aplikasi LangChain Anda. Rekam jejak lengkap chain, agen, dan tools Anda dengan pencatatan otomatis.

Yang dapat Anda tanyakan:

Bagaimana cara mengintegrasikan Galileo dengan aplikasi LangChain saya?
Tunjukkan cara menambahkan pelacakan Galileo ke agen LangChain saya
Bantu saya mencatat pipeline RAG LangChain dengan Galileo

[accordion] Cari Dokumentasi

Temukan informasi yang relevan, contoh kode, referensi API, dan panduan implementasi di seluruh dokumentasi Galileo. Dapatkan tautan langsung ke halaman yang Anda perlukan.

Yang dapat Anda tanyakan:

Bagaimana cara menyiapkan pencatatan data di Galileo?
Temukan dokumentasi tentang metrik kustom
Cari contoh evaluasi AI agentik

Contoh kasus penggunaan

Buat dataset sintetis

Tanyakan kepada asisten AI Anda:

Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.

Server MCP akan memandu Anda melalui proses pembuatan dataset dan memberikan ID dataset untuk melacak progres.

Dapatkan bantuan integrasi

Tanyakan kepada asisten AI Anda:

How do I integrate Galileo with my LangChain application in Python?

Server MCP akan memberikan contoh kode integrasi lengkap dan petunjuk penyiapan.

Dapatkan Sinyal

Tanyakan kepada asisten AI Anda:

Fetch the most recent signals from Galileo and propose fixes for them in my code

Server MCP akan menganalisis aliran Log Anda dan menyarankan peningkatan.

Pemecahan masalah

[accordion] Kesalahan saat menghubungkan ke Galileo MCP Server

  • Periksa apakah URL server MCP diatur ke https://api.galileo.ai/mcp/http/mcp
  • Pastikan header Accept diatur ke text/event-stream
  • Mulai ulang koneksi MCP IDE setelah mengubah konfigurasi

[accordion] Kesalahan kunci API

  • Pastikan kunci API Anda diatur dengan benar dalam konfigurasi
  • Periksa apakah kunci API Anda belum kedaluwarsa
  • Buat kunci API baru dari halaman kunci API

Langkah berikutnya

[card] Catat trace pertama Anda

Pelajari cara mencatat trace pertama Anda dengan Galileo

[card] Jalankan eksperimen pertama Anda

Siapkan dan jalankan eksperimen untuk mengevaluasi aplikasi AI Anda

[card] Jelajahi integrasi

Pelajari integrasi Galileo dengan framework pihak ketiga