Agent Evals by Galileo

公式

Galileoの新しいMCPサーバーを使用して、エージェント評価、可観測性、および合成テストセット生成をIDEに直接無料で導入できます。

Agent Evals By Galileo MCPで何ができますか?

  • 合成データセットを作成 — アシスタントに依頼して、プロンプトインジェクション、話題から逸れた内容、有害なコンテンツなどのシナリオを含むクエリのデータセットを生成します。
  • データセットのステータスを確認 — データセットの生成状況を追跡し、生成されたデータの最初の10行をプレビューします。
  • プロンプトテンプレートを作成 — 一貫した動作を実現するため、モデル設定や温度設定を含む再利用可能なプロンプトテンプレートを作成します。
  • 実験のガイダンスを取得 — データセットの準備やメトリクスの設定など、Galileoの実験のセットアップ方法と実行方法を尋ねます。
  • ログストリームのシグナルを分析 — Log streamsから最近のシグナルを取得し、見つかった問題に対する修正案を確認します。
  • インテグレーションのサポートを受ける — OpenAIまたはLangChainのアプリケーションにGalileoのオブザーバビリティを追加するための手順を、ステップごとに確認します。

ドキュメント

Galileo MCP Server

Cursor や VS Code などの AI 対応 IDE と Galileo の Model Context Protocol (MCP) サーバーを統合する方法を学びます

Galileo Model Context Protocol (MCP) サーバーを使用すると、Cursor や GitHub Copilot を搭載した VS Code などの AI 搭載 IDE と、Galileo の評価・可観測性プラットフォームをシームレスに統合できます。

MCP を使用すると、開発環境から Galileo の機能に直接アクセスできます。たとえば、次のような操作が可能です。

  • データセットの作成と管理
  • 実験の実行
  • プロンプトテンプレートの設定
  • Log ストリームのシグナルの取得
  • Galileo とコードの統合

前提条件

開始する前に、次のものを用意してください。

1. AI 対応 IDE

Cursor や、AI 機能を備えた VS Code などの AI 対応 IDE をインストールします

2. API キー

API keys page から Galileo API キーを生成します

IDE の設定

Galileo MCP サーバーは Cursor と VS Code の両方で動作します。お使いの IDE に応じて、以下の手順に従ってください。

[tab] VS Code

1. GitHub Copilot をインストールする

まだインストールしていない場合は、GitHub Copilot 拡張機能をインストールします

2. MCP の設定を開く

コマンドパレット(Windows/Linux では Ctrl + Shift + P、Mac では Cmd + Shift + P)を開き、"MCP: Open User Configuration" を検索します

3. Galileo MCP サーバーの設定を追加する

以下の設定をコピーして貼り付けます。YOUR-API-KEY を実際の Galileo API キーに置き換えてください。

{
  "servers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  },
  "inputs": []
}

ここでは app.galileo.ai を使用していることを前提としています。

Galileo をセルフホスト環境で使用している場合は、https://api.galileo.ai/mcp/http/mcp の url をデプロイ先の URL に置き換えてください。この URL の形式はコンソール URL に基づいており、console を api に置き換え、/mcp/http/mcp を末尾に追加します。

例:

  • コンソール URL が https://console.galileo.example.com の場合、MCP url は https://api.galileo.example.com/mcp/http/mcp になります
  • コンソール URL が https://console-galileo.apps.mycompany.com の場合、MCP url は https://api-galileo.apps.mycompany.com/mcp/http/mcp になります

4. VS Code を再読み込みする

コマンドパレットを開き、"Developer: Reload Window" を実行して VS Code を再読み込みすると、変更が反映されます

[tab] Cursor

1. Tools & MCP の設定を開く

Cursor のコマンドパレット(Windows/Linux では Ctrl + Shift + P、Mac では Cmd + Shift + P)を開き、"Open MCP Settings" を選択します。

2. MCP サーバーの設定ファイルを開く

Add Custom MCP をクリックして mcp.json MCP 設定ファイルを開きます。ほかの MCP サーバーをすでに設定している場合は、New MCP Server をクリックします。

3. Galileo MCP サーバーの設定を追加する

以下の設定をコピーして貼り付けます。YOUR-API-KEY を実際の Galileo API キーに置き換えてください。

{
  "mcpServers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  }
}

ここでは app.galileo.ai を使用していることを前提としています。

Galileo をセルフホスト環境で使用している場合は、https://api.galileo.ai/mcp/http/mcp の url をデプロイ先の URL に置き換えてください。この URL の形式はコンソール URL に基づいており、console を api に置き換え、/mcp/http/mcp を末尾に追加します。

例:

  • コンソール URL が https://console.galileo.example.com の場合、MCP url は https://api.galileo.example.com/mcp/http/mcp になります
  • コンソール URL が https://console-galileo.apps.mycompany.com の場合、MCP url は https://api-galileo.apps.mycompany.com/mcp/http/mcp になります

4. 保存して再起動する

設定を保存し、Cursor を再起動すると変更が反映されます

[!TIP]

Cursor と VS Code の設定は同じです。YOUR-API-KEY を API keys page で取得した実際の Galileo API キーに置き換えてください。

設定を確認する

設定が完了したら、IDE で AI アシスタントに次のように尋ねて、MCP の設定を確認できます。

Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?

これで AI アシスタントが Galileo の機能にアクセスし、Galileo アカウントの情報を使って応答できるようになります。

ツール

Galileo MCP サーバーには、AI アシスタントとの自然な会話を通じて利用できる強力なツールが用意されています。質問や依頼をするだけで、AI がこれらのツールを使ってサポートします。

[accordion] データセットの作成

合成データセットを生成するか、独自のデータをアップロードして、AI アプリケーションをテスト・評価できます。このツールでは、一般的なクエリ、プロンプトインジェクション、話題から外れたコンテンツ、有害なコンテンツのシナリオなど、さまざまな種類のクエリを含むデータセットを作成できます。

質問の例:

請求に関するカスタマーサービスのクエリを50件含むデータセットを作成して
プロンプトインジェクションの試みをいくつか含む、チャットボットのクエリ30件のデータセットを生成して
製品のおすすめに関するクエリを含み、話題から外れた質問も含むデータセットを作成して

[accordion] データセットのステータス確認

データセット生成の進行状況を追跡し、生成された内容をプレビューできます。生成ステータスや進捗状況の更新とともに、データの最初の10行が表示されます。

質問の例:

現在生成中のデータセットのステータスを確認して
abc-123 データセットのプレビューを表示して
カスタマーサービスのデータセットはもう準備できた?

[accordion] プロンプトテンプレートの作成

すべてのプロジェクトで再利用できるプロンプトテンプレートを作成します。モデル設定、temperature 設定、その他のパラメーターを設定して、プロンプトの動作を一貫させることができます。

質問の例:

カスタマーサポートの応答用に「Friendly Assistant」というプロンプトテンプレートを作成して
temperature を低めに設定した、技術ドキュメント要約用のプロンプトテンプレートを作成して
コードレビューアシスタント用のチャットテンプレートを設定して

[accordion] 実験の設定

データセットの準備、メトリクスの設定、既存コードとの統合など、Galileo の実験の設定と実行に関する包括的なガイダンスを提供します。Python およびその他の対応言語で利用できます。

質問の例:

Python で Galileo の実験を設定するにはどうすればいい?
RAG アプリケーションで実験を実行する方法を教えて
エージェント型ワークフローの実験を作成する手順を教えて

[accordion] シグナルの取得

アプリケーションの Log ストリームを分析して、問題、パターン、改善の機会を特定します。ログデータに基づいた具体的な推奨事項を取得できます。

質問の例:

本番環境のログストリームにどのような問題が見られる?
Galileo から最新のシグナルを取得して、コードでの修正案を提案して
チャットボットのログストリームに関するインサイトを取得して、改善案を提案して

[accordion] OpenAI との統合

OpenAI アプリケーションに Galileo の可観測性を追加するための、手順に沿った統合ガイドを提供します。コードの変更を最小限に抑えながら、プロンプト、応答、モデルパラメーター、トークン使用量を自動的にログに記録できます。

質問の例:

OpenAI アプリケーションに Galileo のロギングを追加するにはどうすればいい?
TypeScript で Galileo を OpenAI と統合する方法を教えて
GPT-4 チャットボットの Galileo 可観測性を設定するのを手伝って

[accordion] LangChain との統合

LangChain アプリケーションに Galileo を追加するための包括的な統合手順を提供します。自動ロギングにより、チェーン、エージェント、ツールの完全なトレースを記録できます。

質問の例:

LangChain アプリケーションに Galileo を統合するにはどうすればいい?
LangChain エージェントに Galileo のトレーシングを追加する方法を教えて
LangChain の RAG パイプラインを Galileo でログに記録するのを手伝って

[accordion] ドキュメントの検索

Galileo のドキュメント全体から、関連情報、コード例、API リファレンス、実装ガイドを検索できます。必要なページへの直接リンクを取得できます。

質問の例:

Galileo でデータロギングを設定するにはどうすればいい?
カスタムメトリクスに関するドキュメントを探して
エージェント型 AI の評価例を検索して

使用例

合成データセットを作成する

AI アシスタントに次のように尋ねます。

Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.

MCP サーバーがデータセットの作成手順を案内し、進捗を追跡するためのデータセット ID を提供します。

統合に関するサポートを受ける

AI アシスタントに次のように尋ねます。

How do I integrate Galileo with my LangChain application in Python?

MCP サーバーが、統合用のコード例と設定手順をすべて提供します。

シグナルを取得する

AI アシスタントに次のように尋ねます。

Fetch the most recent signals from Galileo and propose fixes for them in my code

MCP サーバーが Log ストリームを分析し、改善案を提案します。

トラブルシューティング

[accordion] Galileo MCP Server への接続エラー

  • MCP サーバーの URL が https://api.galileo.ai/mcp/http/mcp に設定されていることを確認します
  • Accept ヘッダーが text/event-stream に設定されていることを確認します
  • 設定を変更した後、IDE の MCP 接続を再起動します

[accordion] API キーのエラー

  • 設定に API キーが正しく設定されていることを確認します
  • API キーの有効期限が切れていないことを確認します
  • API keys page から新しい API キーを生成します

次のステップ

[card] 最初のトレースをログに記録する

Galileo で最初のトレースをログに記録する方法を学びます

[card] 最初の実験を実行する

AI アプリケーションを評価するための実験を設定して実行します

[card] 統合を確認する

Galileo とサードパーティ製フレームワークとの統合について学びます