Agent Evals by Galileo

offiziell

Bringen Sie Agentenbewertungen, Beobachtbarkeit und synthetische Testset-Generierung direkt und kostenlos in Ihre IDE mit Galileos neuem MCP-Server

Was kann man mit Agent Evals By Galileo MCP machen?

  • Synthetische Datensätze erstellen — Bitte deinen Assistenten, Datensätze mit Abfragen zu generieren, darunter Szenarien mit Prompt-Injection, themenfremden oder toxischen Inhalten.
  • Datensatzstatus prüfen — Verfolge den Fortschritt der Datensatzerstellung und zeige eine Vorschau der ersten 10 Zeilen der generierten Daten an.
  • Prompt-Vorlagen erstellen — Erstelle wiederverwendbare Prompt-Vorlagen mit Modellkonfigurationen und Temperatureinstellungen für ein konsistentes Verhalten.
  • Anleitung zu Experimenten erhalten — Frage, wie Galileo-Experimente eingerichtet und ausgeführt werden, einschließlich der Vorbereitung von Datensätzen und der Konfiguration von Metriken.
  • Signale aus Log-Streams analysieren — Rufe aktuelle Signale aus deinen Log-Streams ab und erhalte Lösungsvorschläge für gefundene Probleme.
  • Hilfe zur Integration erhalten — Bitte um Schritt-für-Schritt-Anleitungen, um Galileo-Observability zu OpenAI- oder LangChain-Anwendungen hinzuzufügen.

Dokumentation

Galileo MCP Server

Erfahre, wie du den Model Context Protocol (MCP)-Server von Galileo in KI-fähige IDEs wie Cursor und VS Code integrierst

Der Galileo Model Context Protocol (MCP)-Server ermöglicht die nahtlose Integration von KI-gestützten IDEs wie Cursor oder VS Code mit GitHub Copilot in die Evaluierungs- und Observability-Plattform von Galileo.

Mit MCP kannst du direkt in deiner Entwicklungsumgebung auf die Funktionen von Galileo zugreifen, darunter:

  • Datensätze erstellen und verwalten
  • Experimente ausführen
  • Prompt-Vorlagen einrichten
  • Signale zu Log-Streams abrufen
  • Galileo in deinen Code integrieren

Voraussetzungen

Stelle vor dem Beginn sicher, dass Folgendes vorhanden ist:

1. KI-fähige IDE

Installiere eine KI-fähige IDE wie Cursor oder VS Code mit KI-Funktionen

2. API-Schlüssel

Erstelle deinen Galileo-API-Schlüssel auf der API keys page

IDE konfigurieren

Der Galileo MCP-Server funktioniert sowohl mit Cursor als auch mit VS Code. Folge den nachstehenden Schritten für deine IDE:

[tab] VS Code

1. GitHub Copilot installieren

Installiere die Erweiterung GitHub Copilot, falls du das noch nicht getan hast

2. MCP-Einstellungen öffnen

Öffne die Befehlspalette (Ctrl + Shift + P unter Windows/Linux oder Cmd + Shift + P auf dem Mac) und suche nach "MCP: Open User Configuration"

3. Galileo-MCP-Serverkonfiguration hinzufügen

Kopiere die folgende Konfiguration und füge sie ein. Ersetze YOUR-API-KEY durch deinen tatsächlichen Galileo-API-Schlüssel.

{
  "servers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  },
  "inputs": []
}

Dabei wird davon ausgegangen, dass du app.galileo.ai verwendest.

Wenn du eine selbst gehostete Galileo-Bereitstellung verwendest, ersetze die URL https://api.galileo.ai/mcp/http/mcp durch die URL deiner Bereitstellung. Das Format dieser URL basiert auf deiner Konsolen-URL: Ersetze console durch api und hänge /mcp/http/mcp an.

Zum Beispiel:

  • Wenn deine Konsolen-URL https://console.galileo.example.com lautet, wäre die MCP-URL https://api.galileo.example.com/mcp/http/mcp
  • Wenn deine Konsolen-URL https://console-galileo.apps.mycompany.com lautet, wäre die MCP-URL https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. VS Code neu laden

Lade VS Code neu, indem du die Befehlspalette öffnest und "Developer: Reload Window" ausführst, damit die Änderungen wirksam werden

[tab] Cursor

1. Einstellungen für Tools und MCP öffnen

Öffne die Cursor-Befehlspalette (Ctrl + Shift + P unter Windows/Linux oder Cmd + Shift + P auf dem Mac) und wähle dann "Open MCP Settings".

2. Konfigurationsdatei des MCP-Servers öffnen

Klicke auf Add Custom MCP, um die MCP-Konfigurationsdatei mcp.json zu öffnen, oder auf New MCP Server, wenn du bereits andere MCP-Server konfiguriert hast.

3. Galileo-MCP-Serverkonfiguration hinzufügen

Kopiere die folgende Konfiguration und füge sie ein. Ersetze YOUR-API-KEY durch deinen tatsächlichen Galileo-API-Schlüssel.

{
  "mcpServers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  }
}

Dabei wird davon ausgegangen, dass du app.galileo.ai verwendest.

Wenn du eine selbst gehostete Galileo-Bereitstellung verwendest, ersetze die URL https://api.galileo.ai/mcp/http/mcp durch die URL deiner Bereitstellung. Das Format dieser URL basiert auf deiner Konsolen-URL: Ersetze console durch api und hänge /mcp/http/mcp an.

Zum Beispiel:

  • Wenn deine Konsolen-URL https://console.galileo.example.com lautet, wäre die MCP-URL https://api.galileo.example.com/mcp/http/mcp
  • Wenn deine Konsolen-URL https://console-galileo.apps.mycompany.com lautet, wäre die MCP-URL https://api-galileo.apps.mycompany.com/mcp/http/mcp

4. Speichern und neu starten

Speichere die Konfiguration und starte Cursor neu, damit die Änderungen wirksam werden

[!TIP]

Die Konfiguration ist für Cursor und VS Code identisch. Ersetze YOUR-API-KEY durch deinen tatsächlichen Galileo-API-Schlüssel von der API keys page.

Einrichtung überprüfen

Nach der Konfiguration kannst du deine MCP-Einrichtung überprüfen, indem du deinem KI-Assistenten in deiner IDE folgende Fragen stellst:

Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?

Dein KI-Assistent sollte nun auf die Funktionen von Galileo zugreifen und Informationen aus deinem Galileo-Konto bereitstellen können.

Tools

Der Galileo MCP-Server bietet leistungsstarke Tools, auf die du dich in einem natürlichen Gespräch mit deinem KI-Assistenten beziehen kannst. Stelle einfach Fragen oder formuliere Anfragen, und die KI verwendet diese Tools, um dir zu helfen.

[accordion] Datensätze erstellen

Erstelle synthetische Datensätze oder lade eigene Daten hoch, um deine KI-Anwendungen zu testen und zu evaluieren. Mit diesem Tool kannst du Datensätze mit verschiedenen Arten von Abfragen erstellen, darunter allgemeine Abfragen, Prompt-Injections, themenfremde Inhalte und Szenarien mit toxischen Inhalten.

Mögliche Fragen:

Erstelle einen Datensatz mit 50 Kundenservice-Anfragen zu Abrechnungsproblemen
Erstelle einen Datensatz mit 30 Chatbot-Anfragen, darunter einige Prompt-Injection-Versuche
Erstelle einen Datensatz mit Produktberatung-Anfragen und füge themenfremde Fragen hinzu

[accordion] Datensatzstatus prüfen

Verfolge den Fortschritt der Datensatzerstellung und sieh dir eine Vorschau der generierten Inhalte an. Du siehst die ersten 10 Datenzeilen sowie den Generierungsstatus und Fortschrittsaktualisierungen.

Mögliche Fragen:

Prüfe den Status meines Datensatzes, der gerade erstellt wird
Zeige mir die Vorschau des Datensatzes abc-123
Ist mein Kundenservice-Datensatz schon fertig?

[accordion] Prompt-Vorlagen erstellen

Erstelle wiederverwendbare Prompt-Vorlagen, die du in all deinen Projekten verwenden kannst. Richte Modellkonfigurationen, Temperatureinstellungen und weitere Parameter ein, damit sich Prompts konsistent verhalten.

Mögliche Fragen:

Erstelle eine Prompt-Vorlage namens "Friendly Assistant" für Antworten des Kundensupports
Erstelle eine Prompt-Vorlage zum Zusammenfassen technischer Dokumentation mit niedrigerer Temperatureinstellung
Richte eine Chat-Vorlage für einen Code-Review-Assistenten ein

[accordion] Experimente einrichten

Erhalte umfassende Anleitungen zum Einrichten und Ausführen von Galileo-Experimenten, einschließlich der Vorbereitung von Datensätzen, der Konfiguration von Metriken und der Integration in deinen bestehenden Code. Verfügbar für Python und andere unterstützte Sprachen.

Mögliche Fragen:

Wie richte ich ein Galileo-Experiment in Python ein?
Zeige mir, wie ich ein Experiment mit meiner RAG-Anwendung ausführe
Führe mich durch die Erstellung eines Experiments für meinen agentischen Workflow

[accordion] Signale abrufen

Analysiere die Log-Streams deiner Anwendung, um Probleme, Muster und Verbesserungsmöglichkeiten zu erkennen. Erhalte konkrete Empfehlungen auf Grundlage deiner protokollierten Daten.

Mögliche Fragen:

Welche Probleme erkennst du in meinem Produktions-Log-Stream?
Rufe die neuesten Signale von Galileo ab und schlage dafür Korrekturen in meinem Code vor
Ermittle Erkenntnisse zu meinem Chatbot-Log-Stream und schlage Verbesserungen vor

[accordion] Mit OpenAI integrieren

Erhalte Schritt-für-Schritt-Anleitungen, um Galileo-Observability in deine OpenAI-Anwendungen zu integrieren. Protokolliere Prompts, Antworten, Modellparameter und Token-Nutzung automatisch und mit minimalen Codeänderungen.

Mögliche Fragen:

Wie füge ich Galileo-Logging zu meiner OpenAI-Anwendung hinzu?
Zeige mir, wie ich Galileo mit OpenAI in TypeScript integriere
Hilf mir, Galileo-Observability für meinen GPT-4-Chatbot einzurichten

[accordion] Mit LangChain integrieren

Erhalte vollständige Integrationsanweisungen, um Galileo in deine LangChain-Anwendungen einzubinden. Erfasse vollständige Traces deiner Chains, Agents und Tools mit automatischer Protokollierung.

Mögliche Fragen:

Wie integriere ich Galileo in meine LangChain-Anwendung?
Zeige mir, wie ich Galileo-Tracing zu meinem LangChain-Agent hinzufüge
Hilf mir, meine LangChain-RAG-Pipeline mit Galileo zu protokollieren

[accordion] Dokumentation durchsuchen

Finde relevante Informationen, Codebeispiele, API-Referenzen und Implementierungsanleitungen in der gesamten Galileo-Dokumentation. Erhalte direkte Links zu den benötigten Seiten.

Mögliche Fragen:

Wie richte ich die Datenprotokollierung in Galileo ein?
Finde Dokumentation zu benutzerdefinierten Metriken
Suche nach Beispielen für die Evaluierung agentischer KI

Anwendungsbeispiele

Synthetischen Datensatz erstellen

Frage deinen KI-Assistenten:

Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.

Der MCP-Server führt dich durch die Erstellung des Datensatzes und stellt eine Datensatz-ID bereit, mit der du den Fortschritt verfolgen kannst.

Hilfe zur Integration erhalten

Frage deinen KI-Assistenten:

How do I integrate Galileo with my LangChain application in Python?

Der MCP-Server stellt vollständige Codebeispiele und Einrichtungsanweisungen für die Integration bereit.

Signale abrufen

Frage deinen KI-Assistenten:

Fetch the most recent signals from Galileo and propose fixes for them in my code

Der MCP-Server analysiert deinen Log-Stream und schlägt Verbesserungen vor.

Fehlerbehebung

[accordion] Fehler beim Verbinden mit dem Galileo MCP Server

  • Prüfe, ob die URL des MCP-Servers auf https://api.galileo.ai/mcp/http/mcp gesetzt ist
  • Stelle sicher, dass der Header Accept auf text/event-stream gesetzt ist
  • Starte die MCP-Verbindung deiner IDE neu, nachdem du Konfigurationsänderungen vorgenommen hast

[accordion] API-Schlüsselfehler

  • Vergewissere dich, dass dein API-Schlüssel korrekt in der Konfiguration eingetragen ist
  • Prüfe, ob dein API-Schlüssel abgelaufen ist
  • Erstelle auf der API keys page einen neuen API-Schlüssel

Nächste Schritte

[card] Deinen ersten Trace protokollieren

Erfahre, wie du deinen ersten Trace mit Galileo protokollierst

[card] Dein erstes Experiment ausführen

Richte Experimente ein und führe sie aus, um deine KI-Anwendungen zu evaluieren

[card] Integrationen erkunden

Erfahre mehr über Galileo-Integrationen mit Frameworks von Drittanbietern