Agent Evals by Galileo
официальныйПолучите возможность оценки агентов, наблюдения и генерации синтетических тестовых наборов прямо в вашей IDE бесплатно с новым MCP-сервером Galileo
Что можно делать с Agent Evals By Galileo MCP?
- Создание синтетических наборов данных — Попросите ассистента сгенерировать набор данных с пользовательскими типами запросов, такими как проблемы с выставлением счетов или внедрение промптов.
- Проверка статуса генерации набора данных — Отслеживайте прогресс и просматривайте первые строки набора данных в процессе его создания.
- Создание повторно используемых шаблонов промптов — Настройте именованные шаблоны промптов с параметрами модели и настройками температуры в рамках проектов.
- Получение рекомендаций по настройке экспериментов — Получайте пошаговые инструкции для запуска экспериментов Galileo на Python в ваших RAG или агентных рабочих процессах.
- Анализ потоков логов на наличие сигналов — Извлекайте последние сигналы из производственного потока логов и получайте предлагаемые исправления кода.
- Поиск по документации Galileo — Находите ссылки на API, примеры кода и руководства по внедрению непосредственно из документации.
Документация
Galileo MCP Server
Узнайте, как интегрировать сервер Model Context Protocol (MCP) от Galileo с IDE с поддержкой ИИ, такими как Cursor и VS Code
Сервер Model Context Protocol (MCP) от Galileo обеспечивает бесшовную интеграцию между IDE с поддержкой ИИ, такими как Cursor или VS Code с GitHub Copilot, и платформой оценки и наблюдаемости Galileo.
С помощью MCP вы можете получить доступ к возможностям Galileo прямо из вашей среды разработки, включая:
- Создание и управление наборами данных
- Запуск экспериментов
- Настройку шаблонов промптов
- Получение сигналов по потокам логов
- Интеграцию Galileo с вашим кодом
Предварительные требования
Перед началом работы убедитесь, что у вас есть следующее:
Установите IDE с поддержкой ИИ, например [Cursor](https://cursor.sh) или [VS Code](https://code.visualstudio.com) с возможностями ИИ Сгенерируйте ваш API-ключ Galileo на [странице API-ключей](https://app.galileo.ai/settings/api-keys)Настройка вашей IDE
Сервер Galileo MCP работает как с Cursor, так и с VS Code. Следуйте инструкциям ниже для вашей IDE:
Установите расширение [GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot), если вы еще этого не сделали <Step title="Open MCP settings">
Откройте палитру команд (`Ctrl + Shift + P` в Windows/Linux или `Cmd + Shift + P` на Mac) и найдите **"MCP: Open User Configuration"**
</Step>
<Step title="Add the Galileo MCP server configuration">
Скопируйте и вставьте конфигурацию ниже. Замените `YOUR-API-KEY` на ваш фактический API-ключ Galileo.
```json VSCode MCP Configuration highlight={3-9} theme={null}
{
"servers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
},
"inputs": []
}
```
Предполагается, что вы используете [app.galileo.ai](https://app.galileo.ai).
Если вы используете локально развернутую версию Galileo, замените URL `https://api.galileo.ai/mcp/http/mcp` на URL вашего развертывания. Формат этого URL основан на URL вашей консоли: замените `console` на `api` и добавьте `/mcp/http/mcp`.
Например:
* если URL вашей консоли `https://console.galileo.example.com`, то URL MCP будет `https://api.galileo.example.com/mcp/http/mcp`
* если URL вашей консоли `https://console-galileo.apps.mycompany.com`, то URL MCP будет `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Reload VS Code">
Перезагрузите VS Code, открыв палитру команд и выполнив **"Developer: Reload Window"**, чтобы изменения вступили в силу
</Step>
</Steps>
<Step title="Open the MCP server configuration file">
Нажмите **Add Custom MCP**, чтобы открыть файл конфигурации MCP `mcp.json`, или **New MCP Server**, если у вас уже настроены другие серверы MCP.
</Step>
<Step title="Add the Galileo MCP server configuration">
Скопируйте и вставьте конфигурацию ниже. Замените `YOUR-API-KEY` на ваш фактический API-ключ Galileo.
```json Cursor MCP Configuration highlight={3-9} theme={null}
{
"mcpServers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
}
}
```
Предполагается, что вы используете [app.galileo.ai](https://app.galileo.ai).
Если вы используете локально развернутую версию Galileo, замените URL `https://api.galileo.ai/mcp/http/mcp` на URL вашего развертывания. Формат этого URL основан на URL вашей консоли: замените `console` на `api` и добавьте `/mcp/http/mcp`.
Например:
* если URL вашей консоли `https://console.galileo.example.com`, то URL MCP будет `https://api.galileo.example.com/mcp/http/mcp`
* если URL вашей консоли `https://console-galileo.apps.mycompany.com`, то URL MCP будет `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Save and restart">
Сохраните конфигурацию и перезапустите Cursor, чтобы изменения вступили в силу
</Step>
</Steps>
Проверка настройки
После настройки вы можете проверить вашу конфигурацию MCP, спросив вашего ИИ-ассистента в IDE:
```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ```Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Теперь ваш ИИ-ассистент должен иметь доступ к возможностям Galileo и отвечать информацией из вашего аккаунта Galileo.
Инструменты
Сервер Galileo MCP предоставляет мощные инструменты, к которым вы можете получить доступ через естественный диалог с вашим ИИ-ассистентом. Просто задавайте вопросы или делайте запросы, и ИИ будет использовать эти инструменты, чтобы помочь вам.
Генерируйте синтетические наборы данных или загружайте собственные данные для тестирования и оценки ваших ИИ-приложений. Инструмент поддерживает создание наборов данных с различными типами запросов, включая общие запросы, инъекции промптов, нерелевантный контент и сценарии токсичного контента.**О чем можно спросить:**
<CodeGroup>
```text Query wrap theme={null}
Create a dataset with 50 customer service queries about billing issues
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a dataset with product recommendation queries and include off-topic questions
```
</CodeGroup>
**О чем можно спросить:**
<CodeGroup>
```text Query wrap theme={null}
Check the status of my dataset that's currently generating
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me the preview of dataset abc-123
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Is my customer service dataset ready yet?
```
</CodeGroup>
**О чем можно спросить:**
<CodeGroup>
```text Query wrap theme={null}
Create a prompt template called "Friendly Assistant" for customer support responses
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a prompt template for summarizing technical documentation with lower temperature
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Set up a chat template for a code review assistant
```
</CodeGroup>
**О чем можно спросить:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up a Galileo experiment in Python?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to run an experiment with my RAG application
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Guide me through creating an experiment for my agentic workflow
```
</CodeGroup>
**О чем можно спросить:**
<CodeGroup>
```text Query wrap theme={null}
What issues do you see in my production log stream?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Fetch the most recent signals from Galileo and propose fixes for them in my code
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Get insights about my chatbot log stream and suggest improvements
```
</CodeGroup>
**О чем можно спросить:**
<CodeGroup>
```text Query wrap theme={null}
How do I add Galileo logging to my OpenAI application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to integrate Galileo with OpenAI in TypeScript
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me set up Galileo observability for my GPT-4 chatbot
```
</CodeGroup>
**О чем можно спросить:**
<CodeGroup>
```text Query wrap theme={null}
How do I integrate Galileo with my LangChain application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to add Galileo tracing to my LangChain agent
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me log my LangChain RAG pipeline with Galileo
```
</CodeGroup>
**О чем можно спросить:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up data logging in Galileo?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Find documentation about custom metrics
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Search for examples of agentic AI evaluation
```
</CodeGroup>
Примеры использования
Создание синтетического набора данных
Спросите вашего ИИ-ассистента:
```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```Сервер MCP проведет вас через процесс создания набора данных и предоставит ID набора данных для отслеживания прогресса.
Получение помощи по интеграции
Спросите вашего ИИ-ассистента:
```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```Сервер MCP предоставит полные примеры кода интеграции и инструкции по настройке.
Получение сигналов
Спросите вашего ИИ-ассистента:
```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```Сервер MCP проанализирует ваш поток логов и предложит улучшения.