Agent Evals by Galileo

официальный

Получите возможность оценки агентов, наблюдения и генерации синтетических тестовых наборов прямо в вашей IDE бесплатно с новым MCP-сервером Galileo

Что можно делать с Agent Evals By Galileo MCP?

  • Создавайте синтетические наборы данных — Попросите ассистента сгенерировать наборы данных с запросами, включая сценарии с внедрением промптов, не относящимся к теме или токсичным контентом.
  • Проверяйте статус набора данных — Отслеживайте ход генерации набора данных и просматривайте первые 10 строк сгенерированных данных.
  • Создавайте шаблоны промптов — Создавайте повторно используемые шаблоны промптов с настройками моделей и температуры для обеспечения единообразного поведения.
  • Получайте рекомендации по экспериментам — Узнавайте, как настраивать и запускать эксперименты Galileo, включая подготовку наборов данных и настройку метрик.
  • Анализируйте сигналы потока логов — Получайте последние сигналы из потоков логов и рекомендации по устранению обнаруженных проблем.
  • Получайте помощь с интеграцией — Запрашивайте пошаговые инструкции по добавлению наблюдаемости Galileo в приложения OpenAI или LangChain.

Документация

Сервер Galileo MCP

Узнайте, как интегрировать сервер Model Context Protocol (MCP) Galileo с IDE с поддержкой ИИ, например Cursor и VS Code

Сервер Model Context Protocol (MCP) Galileo обеспечивает бесшовную интеграцию IDE с поддержкой ИИ, таких как Cursor или VS Code с GitHub Copilot, с платформой оценки и наблюдаемости Galileo.

С помощью MCP вы можете получать доступ к возможностям Galileo прямо из среды разработки, в том числе:

  • Создавать наборы данных и управлять ими
  • Запускать эксперименты
  • Настраивать шаблоны промптов
  • Получать сигналы из потоков Log
  • Интегрировать Galileo в свой код

Предварительные требования

Перед началом убедитесь, что у вас есть следующее:

1. IDE с поддержкой ИИ

Установите IDE с поддержкой ИИ, например Cursor или VS Code, с возможностями ИИ

2. API-ключ

Создайте API-ключ Galileo на странице API-ключей

Настройка IDE

Сервер Galileo MCP работает и с Cursor, и с VS Code. Выполните инструкции для своей IDE:

[tab] VS Code

1. Установите GitHub Copilot

Если расширение GitHub Copilot ещё не установлено, установите его

2. Откройте настройки MCP

Откройте палитру команд (Ctrl + Shift + P в Windows/Linux или Cmd + Shift + P в Mac) и найдите "MCP: Open User Configuration"

3. Добавьте конфигурацию сервера Galileo MCP

Скопируйте и вставьте конфигурацию ниже. Замените YOUR-API-KEY своим API-ключом Galileo.

{
  "servers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  },
  "inputs": []
}

Предполагается, что вы используете app.galileo.ai.

Если вы используете самостоятельно размещённое развертывание Galileo, замените URL https://api.galileo.ai/mcp/http/mcp на URL своего развертывания. Формат этого URL основан на URL консоли: замените console на api и добавьте в конец /mcp/http/mcp.

Например:

  • если URL вашей консоли — https://console.galileo.example.com, URL MCP будет https://api.galileo.example.com/mcp/http/mcp
  • если URL вашей консоли — https://console-galileo.apps.mycompany.com, URL MCP будет https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Перезагрузите VS Code

Чтобы изменения вступили в силу, перезагрузите VS Code: откройте палитру команд и выполните "Developer: Reload Window"

[tab] Cursor

1. Откройте настройки Tools & MCP

Откройте палитру команд Cursor (Ctrl + Shift + P в Windows/Linux или Cmd + Shift + P в Mac), затем выберите "Open MCP Settings".

2. Откройте файл конфигурации сервера MCP

Нажмите Add Custom MCP, чтобы открыть файл конфигурации MCP mcp.json, или New MCP Server, если у вас уже настроены другие серверы MCP.

3. Добавьте конфигурацию сервера Galileo MCP

Скопируйте и вставьте конфигурацию ниже. Замените YOUR-API-KEY своим API-ключом Galileo.

{
  "mcpServers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  }
}

Предполагается, что вы используете app.galileo.ai.

Если вы используете самостоятельно размещённое развертывание Galileo, замените URL https://api.galileo.ai/mcp/http/mcp на URL своего развертывания. Формат этого URL основан на URL консоли: замените console на api и добавьте в конец /mcp/http/mcp.

Например:

  • если URL вашей консоли — https://console.galileo.example.com, URL MCP будет https://api.galileo.example.com/mcp/http/mcp
  • если URL вашей консоли — https://console-galileo.apps.mycompany.com, URL MCP будет https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Сохраните изменения и перезапустите Cursor

Сохраните конфигурацию и перезапустите Cursor, чтобы изменения вступили в силу

[!TIP]

Конфигурация для Cursor и VS Code одинакова. Не забудьте заменить YOUR-API-KEY своим API-ключом Galileo со страницы API-ключей.

Проверка настройки

После настройки проверьте работу MCP, задав вопрос ИИ-ассистенту в своей IDE:

Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?

Теперь ИИ-ассистент должен получить доступ к возможностям Galileo и предоставлять информацию из вашей учётной записи Galileo.

Инструменты

Сервер Galileo MCP предоставляет мощные инструменты, доступные в ходе обычного общения с ИИ-ассистентом. Просто задавайте вопросы или отправляйте запросы, и ИИ воспользуется этими инструментами, чтобы помочь вам.

[accordion] Создание наборов данных

Создавайте синтетические наборы данных или загружайте собственные данные для тестирования и оценки приложений ИИ. Инструмент позволяет создавать наборы данных с разными типами запросов, включая обычные запросы, попытки внедрения промптов, не относящийся к теме контент и сценарии с токсичным контентом.

Что можно спросить:

Create a dataset with 50 customer service queries about billing issues
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
Make a dataset with product recommendation queries and include off-topic questions

[accordion] Проверка состояния набора данных

Отслеживайте ход создания набора данных и просматривайте сгенерированное содержимое. Вы увидите первые 10 строк данных, состояние генерации и обновления о ходе выполнения.

Что можно спросить:

Check the status of my dataset that's currently generating
Show me the preview of dataset abc-123
Is my customer service dataset ready yet?

[accordion] Создание шаблонов промптов

Создавайте повторно используемые шаблоны промптов для всех своих проектов. Настраивайте модели, температуру и другие параметры, чтобы обеспечить единообразное поведение промптов.

Что можно спросить:

Create a prompt template called "Friendly Assistant" for customer support responses
Make a prompt template for summarizing technical documentation with lower temperature
Set up a chat template for a code review assistant

[accordion] Настройка экспериментов

Получите подробные инструкции по настройке и запуску экспериментов Galileo, включая подготовку наборов данных, настройку метрик и интеграцию с существующим кодом. Поддерживаются Python и другие языки.

Что можно спросить:

How do I set up a Galileo experiment in Python?
Show me how to run an experiment with my RAG application
Guide me through creating an experiment for my agentic workflow

[accordion] Получение сигналов

Анализируйте потоки Log своего приложения, чтобы выявлять проблемы, закономерности и возможности для улучшения. Получайте конкретные рекомендации на основе зарегистрированных данных.

Что можно спросить:

What issues do you see in my production log stream?
Fetch the most recent signals from Galileo and propose fixes for them in my code
Get insights about my chatbot log stream and suggest improvements

[accordion] Интеграция с OpenAI

Получите пошаговые инструкции по добавлению наблюдаемости Galileo в приложения OpenAI. Автоматически регистрируйте промпты, ответы, параметры модели и использование токенов, внося минимум изменений в код.

Что можно спросить:

How do I add Galileo logging to my OpenAI application?
Show me how to integrate Galileo with OpenAI in TypeScript
Help me set up Galileo observability for my GPT-4 chatbot

[accordion] Интеграция с LangChain

Получите подробные инструкции по интеграции Galileo в приложения LangChain. Автоматически регистрируйте полные трассировки цепочек, агентов и инструментов.

Что можно спросить:

How do I integrate Galileo with my LangChain application?
Show me how to add Galileo tracing to my LangChain agent
Help me log my LangChain RAG pipeline with Galileo

[accordion] Поиск в документации

Находите нужную информацию, примеры кода, справочные материалы по API и руководства по реализации во всей документации Galileo. Получайте прямые ссылки на нужные страницы.

Что можно спросить:

How do I set up data logging in Galileo?
Find documentation about custom metrics
Search for examples of agentic AI evaluation

Примеры использования

Создание синтетического набора данных

Спросите ИИ-ассистента:

Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.

Сервер MCP проведёт вас через процесс создания набора данных и предоставит его идентификатор для отслеживания хода выполнения.

Получение помощи по интеграции

Спросите ИИ-ассистента:

How do I integrate Galileo with my LangChain application in Python?

Сервер MCP предоставит полные примеры кода для интеграции и инструкции по настройке.

Получение сигналов

Спросите ИИ-ассистента:

Fetch the most recent signals from Galileo and propose fixes for them in my code

Сервер MCP проанализирует ваш поток Log и предложит улучшения.

Устранение неполадок

[accordion] Ошибка подключения к серверу Galileo MCP

  • Убедитесь, что URL сервера MCP задан как https://api.galileo.ai/mcp/http/mcp
  • Убедитесь, что заголовок Accept задан как text/event-stream
  • После изменения конфигурации перезапустите подключение MCP в IDE

[accordion] Ошибки API-ключа

  • Убедитесь, что API-ключ правильно указан в конфигурации
  • Проверьте, не истёк ли срок действия API-ключа
  • Создайте новый API-ключ на странице API-ключей

Дальнейшие шаги

[card] Запишите первую трассировку

Узнайте, как записать первую трассировку с помощью Galileo

[card] Запустите первый эксперимент

Настройте и запустите эксперименты для оценки приложений ИИ

[card] Изучите интеграции

Узнайте об интеграциях Galileo со сторонними фреймворками