Agent Evals by Galileo
официальныйПолучите возможность оценки агентов, наблюдения и генерации синтетических тестовых наборов прямо в вашей IDE бесплатно с новым MCP-сервером Galileo
Что можно делать с Agent Evals By Galileo MCP?
- Создавайте синтетические наборы данных — Попросите ассистента сгенерировать наборы данных с запросами, включая сценарии с внедрением промптов, не относящимся к теме или токсичным контентом.
- Проверяйте статус набора данных — Отслеживайте ход генерации набора данных и просматривайте первые 10 строк сгенерированных данных.
- Создавайте шаблоны промптов — Создавайте повторно используемые шаблоны промптов с настройками моделей и температуры для обеспечения единообразного поведения.
- Получайте рекомендации по экспериментам — Узнавайте, как настраивать и запускать эксперименты Galileo, включая подготовку наборов данных и настройку метрик.
- Анализируйте сигналы потока логов — Получайте последние сигналы из потоков логов и рекомендации по устранению обнаруженных проблем.
- Получайте помощь с интеграцией — Запрашивайте пошаговые инструкции по добавлению наблюдаемости Galileo в приложения OpenAI или LangChain.
Документация
Сервер Galileo MCP
Узнайте, как интегрировать сервер Model Context Protocol (MCP) Galileo с IDE с поддержкой ИИ, например Cursor и VS Code
Сервер Model Context Protocol (MCP) Galileo обеспечивает бесшовную интеграцию IDE с поддержкой ИИ, таких как Cursor или VS Code с GitHub Copilot, с платформой оценки и наблюдаемости Galileo.
С помощью MCP вы можете получать доступ к возможностям Galileo прямо из среды разработки, в том числе:
- Создавать наборы данных и управлять ими
- Запускать эксперименты
- Настраивать шаблоны промптов
- Получать сигналы из потоков Log
- Интегрировать Galileo в свой код
Предварительные требования
Перед началом убедитесь, что у вас есть следующее:
1. IDE с поддержкой ИИ
Установите IDE с поддержкой ИИ, например Cursor или VS Code, с возможностями ИИ
2. API-ключ
Создайте API-ключ Galileo на странице API-ключей
Настройка IDE
Сервер Galileo MCP работает и с Cursor, и с VS Code. Выполните инструкции для своей IDE:
[tab] VS Code
1. Установите GitHub Copilot
Если расширение GitHub Copilot ещё не установлено, установите его
2. Откройте настройки MCP
Откройте палитру команд (
Ctrl + Shift + Pв Windows/Linux илиCmd + Shift + Pв Mac) и найдите "MCP: Open User Configuration"3. Добавьте конфигурацию сервера Galileo MCP
Скопируйте и вставьте конфигурацию ниже. Замените
YOUR-API-KEYсвоим API-ключом Galileo.{ "servers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } }, "inputs": [] }Предполагается, что вы используете app.galileo.ai.
Если вы используете самостоятельно размещённое развертывание Galileo, замените URL
https://api.galileo.ai/mcp/http/mcpна URL своего развертывания. Формат этого URL основан на URL консоли: заменитеconsoleнаapiи добавьте в конец/mcp/http/mcp.Например:
- если URL вашей консоли —
https://console.galileo.example.com, URL MCP будетhttps://api.galileo.example.com/mcp/http/mcp- если URL вашей консоли —
https://console-galileo.apps.mycompany.com, URL MCP будетhttps://api-galileo.apps.mycompany.com/mcp/http/mcp4. Перезагрузите VS Code
Чтобы изменения вступили в силу, перезагрузите VS Code: откройте палитру команд и выполните "Developer: Reload Window"
[tab] Cursor
1. Откройте настройки Tools & MCP
Откройте палитру команд Cursor (
Ctrl + Shift + Pв Windows/Linux илиCmd + Shift + Pв Mac), затем выберите "Open MCP Settings".2. Откройте файл конфигурации сервера MCP
Нажмите Add Custom MCP, чтобы открыть файл конфигурации MCP
mcp.json, или New MCP Server, если у вас уже настроены другие серверы MCP.3. Добавьте конфигурацию сервера Galileo MCP
Скопируйте и вставьте конфигурацию ниже. Замените
YOUR-API-KEYсвоим API-ключом Galileo.{ "mcpServers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } } }Предполагается, что вы используете app.galileo.ai.
Если вы используете самостоятельно размещённое развертывание Galileo, замените URL
https://api.galileo.ai/mcp/http/mcpна URL своего развертывания. Формат этого URL основан на URL консоли: заменитеconsoleнаapiи добавьте в конец/mcp/http/mcp.Например:
- если URL вашей консоли —
https://console.galileo.example.com, URL MCP будетhttps://api.galileo.example.com/mcp/http/mcp- если URL вашей консоли —
https://console-galileo.apps.mycompany.com, URL MCP будетhttps://api-galileo.apps.mycompany.com/mcp/http/mcp4. Сохраните изменения и перезапустите Cursor
Сохраните конфигурацию и перезапустите Cursor, чтобы изменения вступили в силу
[!TIP]
Конфигурация для Cursor и VS Code одинакова. Не забудьте заменить
YOUR-API-KEYсвоим API-ключом Galileo со страницы API-ключей.
Проверка настройки
После настройки проверьте работу MCP, задав вопрос ИИ-ассистенту в своей IDE:
Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Теперь ИИ-ассистент должен получить доступ к возможностям Galileo и предоставлять информацию из вашей учётной записи Galileo.
Инструменты
Сервер Galileo MCP предоставляет мощные инструменты, доступные в ходе обычного общения с ИИ-ассистентом. Просто задавайте вопросы или отправляйте запросы, и ИИ воспользуется этими инструментами, чтобы помочь вам.
[accordion] Создание наборов данных
Создавайте синтетические наборы данных или загружайте собственные данные для тестирования и оценки приложений ИИ. Инструмент позволяет создавать наборы данных с разными типами запросов, включая обычные запросы, попытки внедрения промптов, не относящийся к теме контент и сценарии с токсичным контентом.
Что можно спросить:
Create a dataset with 50 customer service queries about billing issuesGenerate a dataset of 30 chatbot queries, including some prompt injection attemptsMake a dataset with product recommendation queries and include off-topic questions
[accordion] Проверка состояния набора данных
Отслеживайте ход создания набора данных и просматривайте сгенерированное содержимое. Вы увидите первые 10 строк данных, состояние генерации и обновления о ходе выполнения.
Что можно спросить:
Check the status of my dataset that's currently generatingShow me the preview of dataset abc-123Is my customer service dataset ready yet?
[accordion] Создание шаблонов промптов
Создавайте повторно используемые шаблоны промптов для всех своих проектов. Настраивайте модели, температуру и другие параметры, чтобы обеспечить единообразное поведение промптов.
Что можно спросить:
Create a prompt template called "Friendly Assistant" for customer support responsesMake a prompt template for summarizing technical documentation with lower temperatureSet up a chat template for a code review assistant
[accordion] Настройка экспериментов
Получите подробные инструкции по настройке и запуску экспериментов Galileo, включая подготовку наборов данных, настройку метрик и интеграцию с существующим кодом. Поддерживаются Python и другие языки.
Что можно спросить:
How do I set up a Galileo experiment in Python?Show me how to run an experiment with my RAG applicationGuide me through creating an experiment for my agentic workflow
[accordion] Получение сигналов
Анализируйте потоки Log своего приложения, чтобы выявлять проблемы, закономерности и возможности для улучшения. Получайте конкретные рекомендации на основе зарегистрированных данных.
Что можно спросить:
What issues do you see in my production log stream?Fetch the most recent signals from Galileo and propose fixes for them in my codeGet insights about my chatbot log stream and suggest improvements
[accordion] Интеграция с OpenAI
Получите пошаговые инструкции по добавлению наблюдаемости Galileo в приложения OpenAI. Автоматически регистрируйте промпты, ответы, параметры модели и использование токенов, внося минимум изменений в код.
Что можно спросить:
How do I add Galileo logging to my OpenAI application?Show me how to integrate Galileo with OpenAI in TypeScriptHelp me set up Galileo observability for my GPT-4 chatbot
[accordion] Интеграция с LangChain
Получите подробные инструкции по интеграции Galileo в приложения LangChain. Автоматически регистрируйте полные трассировки цепочек, агентов и инструментов.
Что можно спросить:
How do I integrate Galileo with my LangChain application?Show me how to add Galileo tracing to my LangChain agentHelp me log my LangChain RAG pipeline with Galileo
[accordion] Поиск в документации
Находите нужную информацию, примеры кода, справочные материалы по API и руководства по реализации во всей документации Galileo. Получайте прямые ссылки на нужные страницы.
Что можно спросить:
How do I set up data logging in Galileo?Find documentation about custom metricsSearch for examples of agentic AI evaluation
Примеры использования
Создание синтетического набора данных
Спросите ИИ-ассистента:
Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.
Сервер MCP проведёт вас через процесс создания набора данных и предоставит его идентификатор для отслеживания хода выполнения.
Получение помощи по интеграции
Спросите ИИ-ассистента:
How do I integrate Galileo with my LangChain application in Python?
Сервер MCP предоставит полные примеры кода для интеграции и инструкции по настройке.
Получение сигналов
Спросите ИИ-ассистента:
Fetch the most recent signals from Galileo and propose fixes for them in my code
Сервер MCP проанализирует ваш поток Log и предложит улучшения.
Устранение неполадок
[accordion] Ошибка подключения к серверу Galileo MCP
- Убедитесь, что URL сервера MCP задан как
https://api.galileo.ai/mcp/http/mcp- Убедитесь, что заголовок
Acceptзадан какtext/event-stream- После изменения конфигурации перезапустите подключение MCP в IDE
[accordion] Ошибки API-ключа
- Убедитесь, что API-ключ правильно указан в конфигурации
- Проверьте, не истёк ли срок действия API-ключа
- Создайте новый API-ключ на странице API-ключей
Дальнейшие шаги
[card] Запишите первую трассировку
Узнайте, как записать первую трассировку с помощью Galileo
[card] Запустите первый эксперимент
Настройте и запустите эксперименты для оценки приложений ИИ
[card] Изучите интеграции
Узнайте об интеграциях Galileo со сторонними фреймворками