Agent Evals by Galileo
公式Galileoの新しいMCPサーバーを使用して、エージェント評価、可観測性、および合成テストセット生成をIDEに直接無料で導入できます。
Agent Evals By Galileo MCPで何ができますか？
- 合成データセットを作成する — アシスタントに、請求問題やプロンプトインジェクションなどのカスタムクエリタイプを含むデータセットを生成するよう依頼します。
- データセット生成状況を確認する — 作成中のデータセットの進捗を追跡し、最初の数行をプレビューします。
- 再利用可能なプロンプトテンプレートを構築する — プロジェクト全体でモデルパラメータや温度設定を含む名前付きプロンプトテンプレートを設定します。
- 実験セットアップのガイダンスを得る — RAGやエージェントワークフロー上でPythonを使用してGalileo実験を実行するためのステップバイステップの指示を受け取ります。
- ログストリームを分析してシグナルを取得する — 本番ログストリームから最近のシグナルを取得し、コード修正の提案を受け取ります。
- Galileoドキュメントを検索する — ドキュメントから直接APIリファレンス、コード例、実装ガイドを見つけます。
ドキュメント
Galileo MCP サーバー
Galileo の Model Context Protocol (MCP) サーバーを Cursor や VS Code などの AI 対応 IDE と統合する方法を学びます
Galileo Model Context Protocol (MCP) サーバーは、Cursor や GitHub Copilot を備えた VS Code などの AI 搭載 IDE と、Galileo の評価および可観測性プラットフォームとのシームレスな統合を可能にします。
MCP を使用すると、開発環境から直接 Galileo の機能にアクセスできます。以下が可能です。
- データセットの作成と管理
- 実験の実行
- プロンプトテンプレートの設定
- ログストリームのシグナル取得
- Galileo とコードの統合
前提条件
始める前に、以下を確認してください。
[Cursor](https://cursor.sh) や [VS Code](https://code.visualstudio.com) などの AI 対応 IDE を AI 機能とともにインストールします [API キーページ](https://app.galileo.ai/settings/api-keys) から Galileo API キーを生成しますIDE の設定
Galileo MCP サーバーは Cursor と VS Code の両方で動作します。お使いの IDE に応じて以下の手順に従ってください。
まだインストールしていない場合は、[GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot) 拡張機能をインストールします <Step title="Open MCP settings">
コマンドパレットを開き（Windows/Linux では `Ctrl + Shift + P`、Mac では `Cmd + Shift + P`）、**"MCP: Open User Configuration"** を検索します
</Step>
<Step title="Add the Galileo MCP server configuration">
以下の設定をコピーして貼り付けます。`YOUR-API-KEY` を実際の Galileo API キーに置き換えてください。
```json VSCode MCP Configuration highlight={3-9} theme={null}
{
"servers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
},
"inputs": []
}
```
これは [app.galileo.ai](https://app.galileo.ai) を使用していることを前提としています。
セルフホストの Galileo デプロイメントを使用している場合は、`https://api.galileo.ai/mcp/http/mcp` URL をデプロイメント URL に置き換えてください。この URL の形式はコンソール URL に基づき、`console` を `api` に置き換え、`/mcp/http/mcp` を追加します。
例:
* コンソール URL が `https://console.galileo.example.com` の場合、MCP URL は `https://api.galileo.example.com/mcp/http/mcp` になります
* コンソール URL が `https://console-galileo.apps.mycompany.com` の場合、MCP URL は `https://api-galileo.apps.mycompany.com/mcp/http/mcp` になります
</Step>
<Step title="Reload VS Code">
コマンドパレットを開き、**"Developer: Reload Window"** を実行して VS Code をリロードし、変更を反映させます
</Step>
</Steps>
<Step title="Open the MCP server configuration file">
**Add Custom MCP** をクリックして `mcp.json` MCP 設定ファイルを開くか、既に他の MCP サーバーが設定されている場合は **New MCP Server** をクリックします。
</Step>
<Step title="Add the Galileo MCP server configuration">
以下の設定をコピーして貼り付けます。`YOUR-API-KEY` を実際の Galileo API キーに置き換えてください。
```json Cursor MCP Configuration highlight={3-9} theme={null}
{
"mcpServers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
}
}
```
これは [app.galileo.ai](https://app.galileo.ai) を使用していることを前提としています。
セルフホストの Galileo デプロイメントを使用している場合は、`https://api.galileo.ai/mcp/http/mcp` URL をデプロイメント URL に置き換えてください。この URL の形式はコンソール URL に基づき、`console` を `api` に置き換え、`/mcp/http/mcp` を追加します。
例:
* コンソール URL が `https://console.galileo.example.com` の場合、MCP URL は `https://api.galileo.example.com/mcp/http/mcp` になります
* コンソール URL が `https://console-galileo.apps.mycompany.com` の場合、MCP URL は `https://api-galileo.apps.mycompany.com/mcp/http/mcp` になります
</Step>
<Step title="Save and restart">
設定を保存し、Cursor を再起動して変更を反映させます
</Step>
</Steps>
セットアップの確認
設定が完了したら、IDE で AI アシスタントに以下のように尋ねて MCP セットアップを確認できます。
```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ```Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
AI アシスタントが Galileo の機能にアクセスし、Galileo アカウントからの情報で応答できるようになります。
ツール
Galileo MCP サーバーは、AI アシスタントとの自然な会話を通じてアクセスできる強力なツールを提供します。質問やリクエストを行うだけで、AI がこれらのツールを使用して支援します。
合成データセットを生成したり、独自のデータをアップロードして AI アプリケーションをテスト・評価します。このツールは、一般的なクエリ、プロンプトインジェクション、トピック外のコンテンツ、有害コンテンツシナリオなど、さまざまなタイプのクエリを含むデータセットの作成をサポートします。**質問できること:**
<CodeGroup>
```text Query wrap theme={null}
Create a dataset with 50 customer service queries about billing issues
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a dataset with product recommendation queries and include off-topic questions
```
</CodeGroup>
**質問できること:**
<CodeGroup>
```text Query wrap theme={null}
Check the status of my dataset that's currently generating
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me the preview of dataset abc-123
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Is my customer service dataset ready yet?
```
</CodeGroup>
**質問できること:**
<CodeGroup>
```text Query wrap theme={null}
Create a prompt template called "Friendly Assistant" for customer support responses
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a prompt template for summarizing technical documentation with lower temperature
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Set up a chat template for a code review assistant
```
</CodeGroup>
**質問できること:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up a Galileo experiment in Python?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to run an experiment with my RAG application
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Guide me through creating an experiment for my agentic workflow
```
</CodeGroup>
**質問できること:**
<CodeGroup>
```text Query wrap theme={null}
What issues do you see in my production log stream?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Fetch the most recent signals from Galileo and propose fixes for them in my code
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Get insights about my chatbot log stream and suggest improvements
```
</CodeGroup>
**質問できること:**
<CodeGroup>
```text Query wrap theme={null}
How do I add Galileo logging to my OpenAI application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to integrate Galileo with OpenAI in TypeScript
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me set up Galileo observability for my GPT-4 chatbot
```
</CodeGroup>
**質問できること:**
<CodeGroup>
```text Query wrap theme={null}
How do I integrate Galileo with my LangChain application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to add Galileo tracing to my LangChain agent
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me log my LangChain RAG pipeline with Galileo
```
</CodeGroup>
**質問できること:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up data logging in Galileo?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Find documentation about custom metrics
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Search for examples of agentic AI evaluation
```
</CodeGroup>
ユースケース例
合成データセットの作成
AI アシスタントに尋ねます:
```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```MCP サーバーがデータセット作成プロセスをガイドし、進捗を追跡するためのデータセット ID を提供します。
統合ヘルプの取得
AI アシスタントに尋ねます:
```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```MCP サーバーが完全な統合コード例とセットアップ手順を提供します。
シグナルの取得
AI アシスタントに尋ねます:
```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```MCP サーバーがログストリームを分析し、改善点を提案します。