Agent Evals by Galileo
offiziellBringen Sie Agentenbewertungen, Beobachtbarkeit und synthetische Testset-Generierung direkt und kostenlos in Ihre IDE mit Galileos neuem MCP-Server
Was kann man mit Agent Evals By Galileo MCP machen?
- Synthetische Datensätze erstellen — Bitte deinen Assistenten, Datensätze mit Abfragen zu generieren, darunter Szenarien mit Prompt-Injection, themenfremden oder toxischen Inhalten.
- Datensatzstatus prüfen — Verfolge den Fortschritt der Datensatzerstellung und zeige eine Vorschau der ersten 10 Zeilen der generierten Daten an.
- Prompt-Vorlagen erstellen — Erstelle wiederverwendbare Prompt-Vorlagen mit Modellkonfigurationen und Temperatureinstellungen für ein konsistentes Verhalten.
- Anleitung zu Experimenten erhalten — Frage, wie Galileo-Experimente eingerichtet und ausgeführt werden, einschließlich der Vorbereitung von Datensätzen und der Konfiguration von Metriken.
- Signale aus Log-Streams analysieren — Rufe aktuelle Signale aus deinen Log-Streams ab und erhalte Lösungsvorschläge für gefundene Probleme.
- Hilfe zur Integration erhalten — Bitte um Schritt-für-Schritt-Anleitungen, um Galileo-Observability zu OpenAI- oder LangChain-Anwendungen hinzuzufügen.
Dokumentation
Galileo MCP Server
Erfahre, wie du den Model Context Protocol (MCP)-Server von Galileo in KI-fähige IDEs wie Cursor und VS Code integrierst
Der Galileo Model Context Protocol (MCP)-Server ermöglicht die nahtlose Integration von KI-gestützten IDEs wie Cursor oder VS Code mit GitHub Copilot in die Evaluierungs- und Observability-Plattform von Galileo.
Mit MCP kannst du direkt in deiner Entwicklungsumgebung auf die Funktionen von Galileo zugreifen, darunter:
- Datensätze erstellen und verwalten
- Experimente ausführen
- Prompt-Vorlagen einrichten
- Signale zu Log-Streams abrufen
- Galileo in deinen Code integrieren
Voraussetzungen
Stelle vor dem Beginn sicher, dass Folgendes vorhanden ist:
1. KI-fähige IDE
Installiere eine KI-fähige IDE wie Cursor oder VS Code mit KI-Funktionen
2. API-Schlüssel
Erstelle deinen Galileo-API-Schlüssel auf der API keys page
IDE konfigurieren
Der Galileo MCP-Server funktioniert sowohl mit Cursor als auch mit VS Code. Folge den nachstehenden Schritten für deine IDE:
[tab] VS Code
1. GitHub Copilot installieren
Installiere die Erweiterung GitHub Copilot, falls du das noch nicht getan hast
2. MCP-Einstellungen öffnen
Öffne die Befehlspalette (
Ctrl + Shift + Punter Windows/Linux oderCmd + Shift + Pauf dem Mac) und suche nach "MCP: Open User Configuration"3. Galileo-MCP-Serverkonfiguration hinzufügen
Kopiere die folgende Konfiguration und füge sie ein. Ersetze
YOUR-API-KEYdurch deinen tatsächlichen Galileo-API-Schlüssel.{ "servers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } }, "inputs": [] }Dabei wird davon ausgegangen, dass du app.galileo.ai verwendest.
Wenn du eine selbst gehostete Galileo-Bereitstellung verwendest, ersetze die URL
https://api.galileo.ai/mcp/http/mcpdurch die URL deiner Bereitstellung. Das Format dieser URL basiert auf deiner Konsolen-URL: Ersetzeconsoledurchapiund hänge/mcp/http/mcpan.Zum Beispiel:
- Wenn deine Konsolen-URL
https://console.galileo.example.comlautet, wäre die MCP-URLhttps://api.galileo.example.com/mcp/http/mcp- Wenn deine Konsolen-URL
https://console-galileo.apps.mycompany.comlautet, wäre die MCP-URLhttps://api-galileo.apps.mycompany.com/mcp/http/mcp4. VS Code neu laden
Lade VS Code neu, indem du die Befehlspalette öffnest und "Developer: Reload Window" ausführst, damit die Änderungen wirksam werden
[tab] Cursor
1. Einstellungen für Tools und MCP öffnen
Öffne die Cursor-Befehlspalette (
Ctrl + Shift + Punter Windows/Linux oderCmd + Shift + Pauf dem Mac) und wähle dann "Open MCP Settings".2. Konfigurationsdatei des MCP-Servers öffnen
Klicke auf Add Custom MCP, um die MCP-Konfigurationsdatei
mcp.jsonzu öffnen, oder auf New MCP Server, wenn du bereits andere MCP-Server konfiguriert hast.3. Galileo-MCP-Serverkonfiguration hinzufügen
Kopiere die folgende Konfiguration und füge sie ein. Ersetze
YOUR-API-KEYdurch deinen tatsächlichen Galileo-API-Schlüssel.{ "mcpServers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } } }Dabei wird davon ausgegangen, dass du app.galileo.ai verwendest.
Wenn du eine selbst gehostete Galileo-Bereitstellung verwendest, ersetze die URL
https://api.galileo.ai/mcp/http/mcpdurch die URL deiner Bereitstellung. Das Format dieser URL basiert auf deiner Konsolen-URL: Ersetzeconsoledurchapiund hänge/mcp/http/mcpan.Zum Beispiel:
- Wenn deine Konsolen-URL
https://console.galileo.example.comlautet, wäre die MCP-URLhttps://api.galileo.example.com/mcp/http/mcp- Wenn deine Konsolen-URL
https://console-galileo.apps.mycompany.comlautet, wäre die MCP-URLhttps://api-galileo.apps.mycompany.com/mcp/http/mcp4. Speichern und neu starten
Speichere die Konfiguration und starte Cursor neu, damit die Änderungen wirksam werden
[!TIP]
Die Konfiguration ist für Cursor und VS Code identisch. Ersetze
YOUR-API-KEYdurch deinen tatsächlichen Galileo-API-Schlüssel von der API keys page.
Einrichtung überprüfen
Nach der Konfiguration kannst du deine MCP-Einrichtung überprüfen, indem du deinem KI-Assistenten in deiner IDE folgende Fragen stellst:
Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
Dein KI-Assistent sollte nun auf die Funktionen von Galileo zugreifen und Informationen aus deinem Galileo-Konto bereitstellen können.
Tools
Der Galileo MCP-Server bietet leistungsstarke Tools, auf die du dich in einem natürlichen Gespräch mit deinem KI-Assistenten beziehen kannst. Stelle einfach Fragen oder formuliere Anfragen, und die KI verwendet diese Tools, um dir zu helfen.
[accordion] Datensätze erstellen
Erstelle synthetische Datensätze oder lade eigene Daten hoch, um deine KI-Anwendungen zu testen und zu evaluieren. Mit diesem Tool kannst du Datensätze mit verschiedenen Arten von Abfragen erstellen, darunter allgemeine Abfragen, Prompt-Injections, themenfremde Inhalte und Szenarien mit toxischen Inhalten.
Mögliche Fragen:
Erstelle einen Datensatz mit 50 Kundenservice-Anfragen zu AbrechnungsproblemenErstelle einen Datensatz mit 30 Chatbot-Anfragen, darunter einige Prompt-Injection-VersucheErstelle einen Datensatz mit Produktberatung-Anfragen und füge themenfremde Fragen hinzu
[accordion] Datensatzstatus prüfen
Verfolge den Fortschritt der Datensatzerstellung und sieh dir eine Vorschau der generierten Inhalte an. Du siehst die ersten 10 Datenzeilen sowie den Generierungsstatus und Fortschrittsaktualisierungen.
Mögliche Fragen:
Prüfe den Status meines Datensatzes, der gerade erstellt wirdZeige mir die Vorschau des Datensatzes abc-123Ist mein Kundenservice-Datensatz schon fertig?
[accordion] Prompt-Vorlagen erstellen
Erstelle wiederverwendbare Prompt-Vorlagen, die du in all deinen Projekten verwenden kannst. Richte Modellkonfigurationen, Temperatureinstellungen und weitere Parameter ein, damit sich Prompts konsistent verhalten.
Mögliche Fragen:
Erstelle eine Prompt-Vorlage namens "Friendly Assistant" für Antworten des KundensupportsErstelle eine Prompt-Vorlage zum Zusammenfassen technischer Dokumentation mit niedrigerer TemperatureinstellungRichte eine Chat-Vorlage für einen Code-Review-Assistenten ein
[accordion] Experimente einrichten
Erhalte umfassende Anleitungen zum Einrichten und Ausführen von Galileo-Experimenten, einschließlich der Vorbereitung von Datensätzen, der Konfiguration von Metriken und der Integration in deinen bestehenden Code. Verfügbar für Python und andere unterstützte Sprachen.
Mögliche Fragen:
Wie richte ich ein Galileo-Experiment in Python ein?Zeige mir, wie ich ein Experiment mit meiner RAG-Anwendung ausführeFühre mich durch die Erstellung eines Experiments für meinen agentischen Workflow
[accordion] Signale abrufen
Analysiere die Log-Streams deiner Anwendung, um Probleme, Muster und Verbesserungsmöglichkeiten zu erkennen. Erhalte konkrete Empfehlungen auf Grundlage deiner protokollierten Daten.
Mögliche Fragen:
Welche Probleme erkennst du in meinem Produktions-Log-Stream?Rufe die neuesten Signale von Galileo ab und schlage dafür Korrekturen in meinem Code vorErmittle Erkenntnisse zu meinem Chatbot-Log-Stream und schlage Verbesserungen vor
[accordion] Mit OpenAI integrieren
Erhalte Schritt-für-Schritt-Anleitungen, um Galileo-Observability in deine OpenAI-Anwendungen zu integrieren. Protokolliere Prompts, Antworten, Modellparameter und Token-Nutzung automatisch und mit minimalen Codeänderungen.
Mögliche Fragen:
Wie füge ich Galileo-Logging zu meiner OpenAI-Anwendung hinzu?Zeige mir, wie ich Galileo mit OpenAI in TypeScript integriereHilf mir, Galileo-Observability für meinen GPT-4-Chatbot einzurichten
[accordion] Mit LangChain integrieren
Erhalte vollständige Integrationsanweisungen, um Galileo in deine LangChain-Anwendungen einzubinden. Erfasse vollständige Traces deiner Chains, Agents und Tools mit automatischer Protokollierung.
Mögliche Fragen:
Wie integriere ich Galileo in meine LangChain-Anwendung?Zeige mir, wie ich Galileo-Tracing zu meinem LangChain-Agent hinzufügeHilf mir, meine LangChain-RAG-Pipeline mit Galileo zu protokollieren
[accordion] Dokumentation durchsuchen
Finde relevante Informationen, Codebeispiele, API-Referenzen und Implementierungsanleitungen in der gesamten Galileo-Dokumentation. Erhalte direkte Links zu den benötigten Seiten.
Mögliche Fragen:
Wie richte ich die Datenprotokollierung in Galileo ein?Finde Dokumentation zu benutzerdefinierten MetrikenSuche nach Beispielen für die Evaluierung agentischer KI
Anwendungsbeispiele
Synthetischen Datensatz erstellen
Frage deinen KI-Assistenten:
Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.
Der MCP-Server führt dich durch die Erstellung des Datensatzes und stellt eine Datensatz-ID bereit, mit der du den Fortschritt verfolgen kannst.
Hilfe zur Integration erhalten
Frage deinen KI-Assistenten:
How do I integrate Galileo with my LangChain application in Python?
Der MCP-Server stellt vollständige Codebeispiele und Einrichtungsanweisungen für die Integration bereit.
Signale abrufen
Frage deinen KI-Assistenten:
Fetch the most recent signals from Galileo and propose fixes for them in my code
Der MCP-Server analysiert deinen Log-Stream und schlägt Verbesserungen vor.
Fehlerbehebung
[accordion] Fehler beim Verbinden mit dem Galileo MCP Server
- Prüfe, ob die URL des MCP-Servers auf
https://api.galileo.ai/mcp/http/mcpgesetzt ist- Stelle sicher, dass der Header
Acceptauftext/event-streamgesetzt ist- Starte die MCP-Verbindung deiner IDE neu, nachdem du Konfigurationsänderungen vorgenommen hast
[accordion] API-Schlüsselfehler
- Vergewissere dich, dass dein API-Schlüssel korrekt in der Konfiguration eingetragen ist
- Prüfe, ob dein API-Schlüssel abgelaufen ist
- Erstelle auf der API keys page einen neuen API-Schlüssel
Nächste Schritte
[card] Deinen ersten Trace protokollieren
Erfahre, wie du deinen ersten Trace mit Galileo protokollierst
[card] Dein erstes Experiment ausführen
Richte Experimente ein und führe sie aus, um deine KI-Anwendungen zu evaluieren
[card] Integrationen erkunden
Erfahre mehr über Galileo-Integrationen mit Frameworks von Drittanbietern