Agent Evals by Galileo
offiziellBringen Sie Agentenbewertungen, Beobachtbarkeit und synthetische Testset-Generierung direkt und kostenlos in Ihre IDE mit Galileos neuem MCP-Server
Was kann man mit Agent Evals By Galileo MCP machen?
- Synthetische Datensätze erstellen — Bitten Sie den Assistenten, einen Datensatz mit benutzerdefinierten Abfragetypen wie Abrechnungsproblemen oder Prompt-Injektionen zu generieren.
- Status der Datensatzerstellung prüfen — Verfolgen Sie den Fortschritt und sehen Sie sich die ersten Zeilen eines Datensatzes während der Erstellung an.
- Wiederverwendbare Prompt-Vorlagen erstellen — Richten Sie benannte Prompt-Vorlagen mit Modellparametern und Temperatureinstellungen projektübergreifend ein.
- Anleitung zur Experimenteinrichtung erhalten — Erhalten Sie Schritt-für-Schritt-Anweisungen zur Durchführung von Galileo-Experimenten in Python für Ihre RAG- oder Agent-Workflows.
- Log-Streams auf Signale analysieren — Rufen Sie aktuelle Signale aus einem Produktions-Log-Stream ab und erhalten Sie vorgeschlagene Code-Korrekturen.
- Galileo-Dokumentation durchsuchen — Finden Sie API-Referenzen, Codebeispiele und Implementierungsleitfäden direkt aus der Dokumentation.
Dokumentation
Galileo MCP Server
Erfahren Sie, wie Sie den Model Context Protocol (MCP)-Server von Galileo in KI-fähige IDEs wie Cursor und VS Code integrieren
Der Galileo Model Context Protocol (MCP)-Server ermöglicht die nahtlose Integration zwischen KI-gestützten IDEs wie Cursor oder VS Code mit GitHub Copilot und der Evaluierungs- und Observability-Plattform von Galileo.
Mit MCP können Sie direkt aus Ihrer Entwicklungsumgebung auf die Funktionen von Galileo zugreifen, darunter:
- Erstellen und Verwalten von Datensätzen
- Ausführen von Experimenten
- Einrichten von Prompt-Vorlagen
- Erhalten von Signalen zu Log-Streams
- Integration von Galileo in Ihren Code
Voraussetzungen
Bevor Sie beginnen, stellen Sie sicher, dass Sie über Folgendes verfügen:
Installieren Sie eine KI-fähige IDE wie [Cursor](https://cursor.sh) oder [VS Code](https://code.visualstudio.com) mit KI-Funktionen Generieren Sie Ihren Galileo-API-Schlüssel auf der [API-Schlüssel-Seite](https://app.galileo.ai/settings/api-keys)Konfigurieren Ihrer IDE
Der Galileo MCP-Server funktioniert sowohl mit Cursor als auch mit VS Code. Befolgen Sie die nachstehenden Schritte für Ihre IDE:
Installieren Sie die [GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot)-Erweiterung, falls noch nicht geschehen <Step title="Open MCP settings">
Öffnen Sie die Befehlspalette (`Ctrl + Shift + P` unter Windows/Linux oder `Cmd + Shift + P` auf dem Mac) und suchen Sie nach **"MCP: Open User Configuration"**
</Step>
<Step title="Add the Galileo MCP server configuration">
Kopieren Sie die folgende Konfiguration und fügen Sie sie ein. Ersetzen Sie `YOUR-API-KEY` durch Ihren tatsächlichen Galileo-API-Schlüssel.
```json VSCode MCP Configuration highlight={3-9} theme={null}
{
"servers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
},
"inputs": []
}
```
Dies setzt voraus, dass Sie [app.galileo.ai](https://app.galileo.ai) verwenden.
Wenn Sie eine selbst gehostete Galileo-Installation nutzen, ersetzen Sie die `https://api.galileo.ai/mcp/http/mcp`-URL durch Ihre Bereitstellungs-URL. Das Format dieser URL basiert auf Ihrer Konsolen-URL, wobei `console` durch `api` ersetzt und `/mcp/http/mcp` angehängt wird.
Zum Beispiel:
* Wenn Ihre Konsolen-URL `https://console.galileo.example.com` lautet, wäre die MCP-URL `https://api.galileo.example.com/mcp/http/mcp`
* Wenn Ihre Konsolen-URL `https://console-galileo.apps.mycompany.com` lautet, wäre die MCP-URL `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Reload VS Code">
Laden Sie VS Code neu, indem Sie die Befehlspalette öffnen und **"Developer: Reload Window"** ausführen, damit die Änderungen wirksam werden
</Step>
</Steps>
<Step title="Open the MCP server configuration file">
Klicken Sie auf **Add Custom MCP**, um die `mcp.json` MCP-Konfigurationsdatei zu öffnen, oder auf **New MCP Server**, falls Sie bereits andere MCP-Server konfiguriert haben.
</Step>
<Step title="Add the Galileo MCP server configuration">
Kopieren Sie die folgende Konfiguration und fügen Sie sie ein. Ersetzen Sie `YOUR-API-KEY` durch Ihren tatsächlichen Galileo-API-Schlüssel.
```json Cursor MCP Configuration highlight={3-9} theme={null}
{
"mcpServers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
}
}
```
Dies setzt voraus, dass Sie [app.galileo.ai](https://app.galileo.ai) verwenden.
Wenn Sie eine selbst gehostete Galileo-Installation nutzen, ersetzen Sie die `https://api.galileo.ai/mcp/http/mcp`-URL durch Ihre Bereitstellungs-URL. Das Format dieser URL basiert auf Ihrer Konsolen-URL, wobei `console` durch `api` ersetzt und `/mcp/http/mcp` angehängt wird.
Zum Beispiel:
* Wenn Ihre Konsolen-URL `https://console.galileo.example.com` lautet, wäre die MCP-URL `https://api.galileo.example.com/mcp/http/mcp`
* Wenn Ihre Konsolen-URL `https://console-galileo.apps.mycompany.com` lautet, wäre die MCP-URL `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
</Step>
<Step title="Save and restart">
Speichern Sie die Konfiguration und starten Sie Cursor neu, damit die Änderungen wirksam werden
</Step>
</Steps>
Überprüfen Ihrer Einrichtung
Sobald die Konfiguration abgeschlossen ist, können Sie Ihre MCP-Einrichtung überprüfen, indem Sie Ihren KI-Assistenten in Ihrer IDE fragen:
```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ```Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Ihr KI-Assistent sollte nun in der Lage sein, auf die Funktionen von Galileo zuzugreifen und mit Informationen aus Ihrem Galileo-Konto zu antworten.
Werkzeuge
Der Galileo MCP-Server bietet leistungsstarke Werkzeuge, auf die Sie durch natürliche Konversation mit Ihrem KI-Assistenten zugreifen können. Stellen Sie einfach Fragen oder formulieren Sie Anfragen, und die KI wird diese Werkzeuge nutzen, um Ihnen zu helfen.
Generieren Sie synthetische Datensätze oder laden Sie Ihre eigenen Daten hoch, um Ihre KI-Anwendungen zu testen und zu evaluieren. Das Werkzeug unterstützt die Erstellung von Datensätzen mit verschiedenen Abfragetypen, einschließlich allgemeiner Abfragen, Prompt-Injections, themenfremder Inhalte und toxischer Inhaltsszenarien.**Was Sie fragen können:**
<CodeGroup>
```text Query wrap theme={null}
Create a dataset with 50 customer service queries about billing issues
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a dataset with product recommendation queries and include off-topic questions
```
</CodeGroup>
**Was Sie fragen können:**
<CodeGroup>
```text Query wrap theme={null}
Check the status of my dataset that's currently generating
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me the preview of dataset abc-123
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Is my customer service dataset ready yet?
```
</CodeGroup>
**Was Sie fragen können:**
<CodeGroup>
```text Query wrap theme={null}
Create a prompt template called "Friendly Assistant" for customer support responses
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a prompt template for summarizing technical documentation with lower temperature
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Set up a chat template for a code review assistant
```
</CodeGroup>
**Was Sie fragen können:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up a Galileo experiment in Python?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to run an experiment with my RAG application
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Guide me through creating an experiment for my agentic workflow
```
</CodeGroup>
**Was Sie fragen können:**
<CodeGroup>
```text Query wrap theme={null}
What issues do you see in my production log stream?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Fetch the most recent signals from Galileo and propose fixes for them in my code
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Get insights about my chatbot log stream and suggest improvements
```
</CodeGroup>
**Was Sie fragen können:**
<CodeGroup>
```text Query wrap theme={null}
How do I add Galileo logging to my OpenAI application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to integrate Galileo with OpenAI in TypeScript
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me set up Galileo observability for my GPT-4 chatbot
```
</CodeGroup>
**Was Sie fragen können:**
<CodeGroup>
```text Query wrap theme={null}
How do I integrate Galileo with my LangChain application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to add Galileo tracing to my LangChain agent
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me log my LangChain RAG pipeline with Galileo
```
</CodeGroup>
**Was Sie fragen können:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up data logging in Galileo?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Find documentation about custom metrics
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Search for examples of agentic AI evaluation
```
</CodeGroup>
Beispielanwendungsfälle
Erstellen eines synthetischen Datensatzes
Fragen Sie Ihren KI-Assistenten:
```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```Der MCP-Server führt Sie durch den Datensatzerstellungsprozess und stellt eine Datensatz-ID zur Fortschrittsverfolgung bereit.
Hilfe bei der Integration erhalten
Fragen Sie Ihren KI-Assistenten:
```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```Der MCP-Server stellt vollständige Integrationscodebeispiele und Einrichtungsanweisungen bereit.
Signale erhalten
Fragen Sie Ihren KI-Assistenten:
```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```Der MCP-Server analysiert Ihren Log-Stream und schlägt Verbesserungen vor.