Agent Evals by Galileo
resmiBawa evaluasi agen, observabilitas, dan pembuatan set uji sintetis langsung ke IDE Anda secara gratis dengan server MCP baru Galileo
Apa yang bisa Anda lakukan dengan Agent Evals By Galileo MCP?
- Buat dataset sintetis — Minta asisten untuk menghasilkan dataset dengan jenis kueri kustom seperti masalah penagihan atau injeksi prompt.
- Periksa status pembuatan dataset — Lacak kemajuan dan pratinjau baris pertama dataset saat sedang dibuat.
- Buat templat prompt yang dapat digunakan kembali — Siapkan templat prompt bernama dengan parameter model dan pengaturan suhu di seluruh proyek.
- Dapatkan panduan pengaturan eksperimen — Terima instruksi langkah demi langkah untuk menjalankan eksperimen Galileo di Python pada alur kerja RAG atau agen Anda.
- Analisis aliran log untuk sinyal — Ambil sinyal terbaru dari aliran log produksi dan dapatkan saran perbaikan kode.
- Cari dokumentasi Galileo — Temukan referensi API, contoh kode, dan panduan implementasi langsung dari dokumen.
Dokumentasi
Server MCP Galileo
Pelajari cara mengintegrasikan server Model Context Protocol (MCP) Galileo dengan IDE berkemampuan AI seperti Cursor dan VS Code
Server Model Context Protocol (MCP) Galileo memungkinkan integrasi mulus antara IDE bertenaga AI, seperti Cursor, atau VS Code dengan GitHub Copilot, dan platform evaluasi serta observabilitas Galileo.
Dengan MCP, Anda dapat mengakses kemampuan Galileo langsung dari lingkungan pengembangan Anda, termasuk:
- Membuat dan mengelola dataset
- Menjalankan eksperimen
- Menyiapkan templat prompt
- Mendapatkan sinyal pada aliran Log
- Mengintegrasikan Galileo dengan kode Anda
Prasyarat
Sebelum memulai, pastikan Anda memiliki hal berikut:
Instal IDE berkemampuan AI seperti [Cursor](https://cursor.sh) atau [VS Code](https://code.visualstudio.com) dengan kemampuan AI Buat kunci API Galileo Anda dari [halaman kunci API](https://app.galileo.ai/settings/api-keys)Konfigurasikan IDE Anda
Server MCP Galileo bekerja dengan Cursor dan VS Code. Ikuti langkah-langkah di bawah ini untuk IDE Anda:
Instal ekstensi [GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot) jika Anda belum melakukannya <Step title="Open MCP settings">
Buka Command Palette (`Ctrl + Shift + P` di Windows/Linux, atau `Cmd + Shift + P` di Mac) dan cari **"MCP: Open User Configuration"**
</Step>
<Step title="Add the Galileo MCP server configuration">
Salin dan tempel konfigurasi di bawah ini. Ganti `YOUR-API-KEY` dengan kunci API Galileo Anda yang sebenarnya.
```json VSCode MCP Configuration highlight={3-9} theme={null}
{
"servers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
},
"inputs": []
}
```
Ini mengasumsikan Anda menggunakan [app.galileo.ai](https://app.galileo.ai).
Jika Anda menggunakan deployment Galileo self-hosted, ganti url `https://api.galileo.ai/mcp/http/mcp` dengan URL deployment Anda. Format URL ini didasarkan pada URL konsol Anda, mengganti `console` dengan `api` dan menambahkan `/mcp/http/mcp`.
Contoh:
* jika URL konsol Anda adalah `https://console.galileo.example.com`, url MCP-nya adalah `https://api.galileo.example.com/mcp/http/mcp`
* jika URL konsol Anda adalah `https://console-galileo.apps.mycompany.com`, url MCP-nya adalah `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Reload VS Code">
Muat ulang VS Code dengan membuka Command Palette dan menjalankan **"Developer: Reload Window"** agar perubahan diterapkan
</Step>
</Steps>
<Step title="Open the MCP server configuration file">
Klik **Add Custom MCP** untuk membuka file konfigurasi MCP `mcp.json`, atau **New MCP Server** jika Anda sudah memiliki server MCP lain yang dikonfigurasi.
</Step>
<Step title="Add the Galileo MCP server configuration">
Salin dan tempel konfigurasi di bawah ini. Ganti `YOUR-API-KEY` dengan kunci API Galileo Anda yang sebenarnya.
```json Cursor MCP Configuration highlight={3-9} theme={null}
{
"mcpServers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
}
}
```
Ini mengasumsikan Anda menggunakan [app.galileo.ai](https://app.galileo.ai).
Jika Anda menggunakan deployment Galileo self-hosted, ganti url `https://api.galileo.ai/mcp/http/mcp` dengan URL deployment Anda. Format URL ini didasarkan pada URL konsol Anda, mengganti `console` dengan `api` dan menambahkan `/mcp/http/mcp`.
Contoh:
* jika URL konsol Anda adalah `https://console.galileo.example.com`, url MCP-nya adalah `https://api.galileo.example.com/mcp/http/mcp`
* jika URL konsol Anda adalah `https://console-galileo.apps.mycompany.com`, url MCP-nya adalah `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Save and restart">
Simpan konfigurasi dan mulai ulang Cursor agar perubahan diterapkan
</Step>
</Steps>
Verifikasi pengaturan Anda
Setelah dikonfigurasi, Anda dapat memverifikasi pengaturan MCP Anda dengan bertanya kepada asisten AI di IDE Anda:
```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ```Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Asisten AI Anda sekarang seharusnya dapat mengakses kemampuan Galileo dan merespons dengan informasi dari akun Galileo Anda.
Alat
Server MCP Galileo menyediakan alat canggih yang dapat Anda akses melalui percakapan alami dengan asisten AI Anda. Cukup ajukan pertanyaan atau buat permintaan, dan AI akan menggunakan alat ini untuk membantu Anda.
Hasilkan dataset sintetis atau unggah data Anda sendiri untuk menguji dan mengevaluasi aplikasi AI Anda. Alat ini mendukung pembuatan dataset dengan berbagai jenis kueri termasuk kueri umum, injeksi prompt, konten di luar topik, dan skenario konten beracun.**Apa yang dapat Anda tanyakan:**
<CodeGroup>
```text Query wrap theme={null}
Create a dataset with 50 customer service queries about billing issues
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a dataset with product recommendation queries and include off-topic questions
```
</CodeGroup>
**Apa yang dapat Anda tanyakan:**
<CodeGroup>
```text Query wrap theme={null}
Check the status of my dataset that's currently generating
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me the preview of dataset abc-123
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Is my customer service dataset ready yet?
```
</CodeGroup>
**Apa yang dapat Anda tanyakan:**
<CodeGroup>
```text Query wrap theme={null}
Create a prompt template called "Friendly Assistant" for customer support responses
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a prompt template for summarizing technical documentation with lower temperature
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Set up a chat template for a code review assistant
```
</CodeGroup>
**Apa yang dapat Anda tanyakan:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up a Galileo experiment in Python?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to run an experiment with my RAG application
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Guide me through creating an experiment for my agentic workflow
```
</CodeGroup>
**Apa yang dapat Anda tanyakan:**
<CodeGroup>
```text Query wrap theme={null}
What issues do you see in my production log stream?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Fetch the most recent signals from Galileo and propose fixes for them in my code
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Get insights about my chatbot log stream and suggest improvements
```
</CodeGroup>
**Apa yang dapat Anda tanyakan:**
<CodeGroup>
```text Query wrap theme={null}
How do I add Galileo logging to my OpenAI application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to integrate Galileo with OpenAI in TypeScript
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me set up Galileo observability for my GPT-4 chatbot
```
</CodeGroup>
**Apa yang dapat Anda tanyakan:**
<CodeGroup>
```text Query wrap theme={null}
How do I integrate Galileo with my LangChain application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to add Galileo tracing to my LangChain agent
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me log my LangChain RAG pipeline with Galileo
```
</CodeGroup>
**Apa yang dapat Anda tanyakan:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up data logging in Galileo?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Find documentation about custom metrics
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Search for examples of agentic AI evaluation
```
</CodeGroup>
Contoh kasus penggunaan
Buat dataset sintetis
Tanyakan kepada asisten AI Anda:
```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```Server MCP akan memandu Anda melalui proses pembuatan dataset dan memberikan ID dataset untuk melacak kemajuan.
Dapatkan bantuan integrasi
Tanyakan kepada asisten AI Anda:
```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```Server MCP akan memberikan contoh kode integrasi lengkap dan instruksi pengaturan.
Dapatkan Sinyal
Tanyakan kepada asisten AI Anda:
```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```Server MCP akan menganalisis aliran Log Anda dan menyarankan peningkatan.