Agent Evals by Galileo
resmiBawa evaluasi agen, observabilitas, dan pembuatan set uji sintetis langsung ke IDE Anda secara gratis dengan server MCP baru Galileo
Apa yang bisa Anda lakukan dengan Agent Evals By Galileo MCP?
- Buat dataset sintetis — Minta asisten Anda membuat dataset kueri, termasuk skenario injeksi prompt, konten di luar topik, atau konten toksik.
- Periksa status dataset — Pantau progres pembuatan dataset dan pratinjau 10 baris pertama dari data yang dihasilkan.
- Buat templat prompt — Buat templat prompt yang dapat digunakan kembali dengan konfigurasi model dan pengaturan suhu untuk perilaku yang konsisten.
- Dapatkan panduan eksperimen — Tanyakan cara menyiapkan dan menjalankan eksperimen Galileo, termasuk persiapan dataset dan konfigurasi metrik.
- Analisis sinyal aliran log — Ambil sinyal terbaru dari aliran Log Anda dan dapatkan saran perbaikan untuk masalah yang ditemukan.
- Dapatkan bantuan integrasi — Minta panduan langkah demi langkah untuk menambahkan observabilitas Galileo ke aplikasi OpenAI atau LangChain.
Dokumentasi
Galileo MCP Server
Pelajari cara mengintegrasikan server Model Context Protocol (MCP) Galileo dengan IDE berkemampuan AI seperti Cursor dan VS Code
Server Model Context Protocol (MCP) Galileo memungkinkan integrasi yang lancar antara IDE bertenaga AI, seperti Cursor atau VS Code dengan GitHub Copilot, dan platform evaluasi serta observabilitas Galileo.
Dengan MCP, Anda dapat mengakses kemampuan Galileo langsung dari lingkungan pengembangan, termasuk:
- Membuat dan mengelola dataset
- Menjalankan eksperimen
- Menyiapkan templat prompt
- Mendapatkan sinyal dari aliran Log
- Mengintegrasikan Galileo dengan kode Anda
Prasyarat
Sebelum memulai, pastikan Anda memiliki hal-hal berikut:
1. IDE berkemampuan AI
Instal IDE berkemampuan AI seperti Cursor atau VS Code dengan kemampuan AI
2. Kunci API
Buat kunci API Galileo Anda dari halaman kunci API
Konfigurasikan IDE Anda
Server MCP Galileo berfungsi dengan Cursor maupun VS Code. Ikuti langkah-langkah di bawah untuk IDE Anda:
[tab] VS Code
1. Instal GitHub Copilot
Instal ekstensi GitHub Copilot jika Anda belum melakukannya
2. Buka pengaturan MCP
Buka Command Palette (
Ctrl + Shift + Pdi Windows/Linux, atauCmd + Shift + Pdi Mac) dan cari "MCP: Open User Configuration"3. Tambahkan konfigurasi server MCP Galileo
Salin dan tempel konfigurasi di bawah. Ganti
YOUR-API-KEYdengan kunci API Galileo Anda yang sebenarnya.{ "servers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } }, "inputs": [] }Petunjuk ini mengasumsikan Anda menggunakan app.galileo.ai.
Jika Anda menggunakan deployment Galileo yang di-host sendiri, ganti url
https://api.galileo.ai/mcp/http/mcpdengan URL deployment Anda. Format URL ini didasarkan pada URL konsol Anda, dengan mengganticonsolemenjadiapidan menambahkan/mcp/http/mcpdi bagian akhir.Contoh:
- jika URL konsol Anda adalah
https://console.galileo.example.com, URL MCP-nya adalahhttps://api.galileo.example.com/mcp/http/mcp- jika URL konsol Anda adalah
https://console-galileo.apps.mycompany.com, URL MCP-nya adalahhttps://api-galileo.apps.mycompany.com/mcp/http/mcp4. Muat ulang VS Code
Muat ulang VS Code dengan membuka Command Palette dan menjalankan "Developer: Reload Window" agar perubahan diterapkan
[tab] Cursor
1. Buka pengaturan Tools & MCP
Buka command palette Cursor (
Ctrl + Shift + Pdi Windows/Linux, atauCmd + Shift + Pdi Mac), lalu pilih "Open MCP Settings".2. Buka file konfigurasi server MCP
Klik Add Custom MCP untuk membuka file konfigurasi MCP
mcp.json, atau New MCP Server jika Anda sudah mengonfigurasi server MCP lainnya.3. Tambahkan konfigurasi server MCP Galileo
Salin dan tempel konfigurasi di bawah. Ganti
YOUR-API-KEYdengan kunci API Galileo Anda yang sebenarnya.{ "mcpServers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } } }Petunjuk ini mengasumsikan Anda menggunakan app.galileo.ai.
Jika Anda menggunakan deployment Galileo yang di-host sendiri, ganti url
https://api.galileo.ai/mcp/http/mcpdengan URL deployment Anda. Format URL ini didasarkan pada URL konsol Anda, dengan mengganticonsolemenjadiapidan menambahkan/mcp/http/mcpdi bagian akhir.Contoh:
- jika URL konsol Anda adalah
https://console.galileo.example.com, URL MCP-nya adalahhttps://api.galileo.example.com/mcp/http/mcp- jika URL konsol Anda adalah
https://console-galileo.apps.mycompany.com, URL MCP-nya adalahhttps://api-galileo.apps.mycompany.com/mcp/http/mcp4. Simpan dan mulai ulang
Simpan konfigurasi dan mulai ulang Cursor agar perubahan diterapkan
[!TIP]
Konfigurasinya sama untuk Cursor dan VS Code. Pastikan untuk mengganti
YOUR-API-KEYdengan kunci API Galileo Anda yang sebenarnya dari halaman kunci API.
Verifikasi penyiapan Anda
Setelah dikonfigurasi, Anda dapat memverifikasi penyiapan MCP dengan bertanya kepada asisten AI di IDE Anda:
Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Asisten AI Anda kini seharusnya dapat mengakses kemampuan Galileo dan memberikan informasi dari akun Galileo Anda.
Tools
Server MCP Galileo menyediakan tools canggih yang dapat Anda akses melalui percakapan alami dengan asisten AI Anda. Cukup ajukan pertanyaan atau buat permintaan, dan AI akan menggunakan tools ini untuk membantu Anda.
[accordion] Buat Dataset
Buat dataset sintetis atau unggah data Anda sendiri untuk menguji dan mengevaluasi aplikasi AI Anda. Tool ini mendukung pembuatan dataset dengan berbagai jenis kueri, termasuk kueri umum, injeksi prompt, konten di luar topik, dan skenario konten toksik.
Yang dapat Anda tanyakan:
Buat dataset berisi 50 kueri layanan pelanggan tentang masalah penagihanBuat dataset berisi 30 kueri chatbot, termasuk beberapa upaya injeksi promptBuat dataset berisi kueri rekomendasi produk dan sertakan pertanyaan di luar topik
[accordion] Periksa Status Dataset
Pantau progres pembuatan dataset dan pratinjau konten yang dihasilkan. Anda akan melihat 10 baris data pertama beserta status pembuatan dan pembaruan progres.
Yang dapat Anda tanyakan:
Periksa status dataset saya yang sedang dibuatTampilkan pratinjau dataset abc-123Apakah dataset layanan pelanggan saya sudah siap?
[accordion] Buat Templat Prompt
Buat templat prompt yang dapat digunakan kembali di semua proyek Anda. Siapkan konfigurasi model, pengaturan temperatur, dan parameter lainnya agar perilaku prompt tetap konsisten.
Yang dapat Anda tanyakan:
Buat templat prompt bernama "Asisten Ramah" untuk respons dukungan pelangganBuat templat prompt untuk merangkum dokumentasi teknis dengan temperatur lebih rendahSiapkan templat chat untuk asisten peninjau kode
[accordion] Siapkan Eksperimen
Dapatkan panduan lengkap untuk menyiapkan dan menjalankan eksperimen Galileo, termasuk persiapan dataset, konfigurasi metrik, dan integrasi dengan kode yang sudah ada. Tersedia untuk Python dan bahasa lain yang didukung.
Yang dapat Anda tanyakan:
Bagaimana cara menyiapkan eksperimen Galileo di Python?Tunjukkan cara menjalankan eksperimen dengan aplikasi RAG sayaPandu saya membuat eksperimen untuk alur kerja agentik saya
[accordion] Dapatkan Sinyal
Analisis aliran Log aplikasi Anda untuk mengidentifikasi masalah, pola, dan peluang peningkatan. Dapatkan rekomendasi spesifik berdasarkan data yang dicatat.
Yang dapat Anda tanyakan:
Masalah apa yang Anda lihat di aliran log produksi saya?Ambil sinyal terbaru dari Galileo dan usulkan perbaikannya di kode sayaDapatkan wawasan tentang aliran log chatbot saya dan sarankan peningkatan
[accordion] Integrasikan dengan OpenAI
Dapatkan panduan integrasi langkah demi langkah untuk menambahkan observabilitas Galileo ke aplikasi OpenAI Anda. Catat prompt, respons, parameter model, dan penggunaan token secara otomatis dengan perubahan kode minimal.
Yang dapat Anda tanyakan:
Bagaimana cara menambahkan pencatatan Galileo ke aplikasi OpenAI saya?Tunjukkan cara mengintegrasikan Galileo dengan OpenAI di TypeScriptBantu saya menyiapkan observabilitas Galileo untuk chatbot GPT-4 saya
[accordion] Integrasikan dengan LangChain
Dapatkan petunjuk integrasi lengkap untuk menambahkan Galileo ke aplikasi LangChain Anda. Rekam jejak lengkap chain, agen, dan tools Anda dengan pencatatan otomatis.
Yang dapat Anda tanyakan:
Bagaimana cara mengintegrasikan Galileo dengan aplikasi LangChain saya?Tunjukkan cara menambahkan pelacakan Galileo ke agen LangChain sayaBantu saya mencatat pipeline RAG LangChain dengan Galileo
[accordion] Cari Dokumentasi
Temukan informasi yang relevan, contoh kode, referensi API, dan panduan implementasi di seluruh dokumentasi Galileo. Dapatkan tautan langsung ke halaman yang Anda perlukan.
Yang dapat Anda tanyakan:
Bagaimana cara menyiapkan pencatatan data di Galileo?Temukan dokumentasi tentang metrik kustomCari contoh evaluasi AI agentik
Contoh kasus penggunaan
Buat dataset sintetis
Tanyakan kepada asisten AI Anda:
Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.
Server MCP akan memandu Anda melalui proses pembuatan dataset dan memberikan ID dataset untuk melacak progres.
Dapatkan bantuan integrasi
Tanyakan kepada asisten AI Anda:
How do I integrate Galileo with my LangChain application in Python?
Server MCP akan memberikan contoh kode integrasi lengkap dan petunjuk penyiapan.
Dapatkan Sinyal
Tanyakan kepada asisten AI Anda:
Fetch the most recent signals from Galileo and propose fixes for them in my code
Server MCP akan menganalisis aliran Log Anda dan menyarankan peningkatan.
Pemecahan masalah
[accordion] Kesalahan saat menghubungkan ke Galileo MCP Server
- Periksa apakah URL server MCP diatur ke
https://api.galileo.ai/mcp/http/mcp- Pastikan header
Acceptdiatur ketext/event-stream- Mulai ulang koneksi MCP IDE setelah mengubah konfigurasi
[accordion] Kesalahan kunci API
- Pastikan kunci API Anda diatur dengan benar dalam konfigurasi
- Periksa apakah kunci API Anda belum kedaluwarsa
- Buat kunci API baru dari halaman kunci API
Langkah berikutnya
[card] Catat trace pertama Anda
Pelajari cara mencatat trace pertama Anda dengan Galileo
[card] Jalankan eksperimen pertama Anda
Siapkan dan jalankan eksperimen untuk mengevaluasi aplikasi AI Anda
[card] Jelajahi integrasi
Pelajari integrasi Galileo dengan framework pihak ketiga