Atla

offiziell

Ermöglicht KI-Agenten die Interaktion mit der Atla-API für eine hochmoderne LLM-Evaluierung.

GitHub
17

Was kann man mit Atla MCP machen?

  • Einzelne LLM-Antwort bewerten — Bewerten und kritisieren Sie die Antwort eines LLM anhand eines benutzerdefinierten Bewertungskriteriums mit evaluate_llm_response.
  • Bewertung über mehrere Kriterien hinweg — Beurteilen Sie eine LLM-Antwort anhand mehrerer Kriterien gleichzeitig und erhalten Sie kriterienspezifische Bewertungen und Feedback mit evaluate_llm_response_on_multiple_criteria.

Dokumentation

Atla MCP-Server

[!CAUTION] Dieses Repository wurde am 21. Juli 2025 archiviert. Die Atla-API ist nicht mehr aktiv.

Eine MCP-Server-Implementierung, die eine standardisierte Schnittstelle für LLMs zur Interaktion mit der Atla-API für modernste LLMJ-Bewertung bereitstellt.

Erfahren Sie mehr über Atla hier. Erfahren Sie mehr über das Model Context Protocol hier.

Atla MCP server

Verfügbare Werkzeuge

  • evaluate_llm_response: Bewertet die Antwort eines LLM auf eine Eingabeaufforderung anhand eines vorgegebenen Bewertungskriteriums. Diese Funktion verwendet intern ein Atla-Bewertungsmodell und gibt ein Dictionary zurück, das eine Punktzahl für die Modellantwort sowie eine textuelle Kritik mit Feedback zur Modellantwort enthält.
  • evaluate_llm_response_on_multiple_criteria: Bewertet die Antwort eines LLM auf eine Eingabeaufforderung anhand mehrerer Bewertungskriterien. Diese Funktion verwendet intern ein Atla-Bewertungsmodell und gibt eine Liste von Dictionaries zurück, die jeweils eine Bewertungspunktzahl und eine Kritik für ein bestimmtes Kriterium enthalten.

Nutzung

Um den MCP-Server zu verwenden, benötigen Sie einen Atla-API-Schlüssel. Sie finden Ihren vorhandenen API-Schlüssel hier oder erstellen einen neuen hier.

Installation

Wir empfehlen die Verwendung von uv zur Verwaltung der Python-Umgebung. Installationsanweisungen finden Sie hier.

Manuelles Ausführen des Servers

Sobald Sie uv installiert haben und über Ihren Atla-API-Schlüssel verfügen, können Sie den MCP-Server manuell mit uvx (bereitgestellt von uv) ausführen:

ATLA_API_KEY=<your-api-key> uvx atla-mcp-server

Verbindung zum Server herstellen

Haben Sie Probleme oder benötigen Hilfe bei der Verbindung mit einem anderen Client? Eröffnen Sie gerne ein Issue oder kontaktieren Sie uns!

OpenAI Agents SDK

Weitere Details zur Verwendung des OpenAI Agents SDK mit MCP-Servern finden Sie in der offiziellen Dokumentation.

  1. Installieren Sie das OpenAI Agents SDK:
pip install openai-agents
  1. Verwenden Sie das OpenAI Agents SDK, um eine Verbindung zum Server herzustellen:
import os

from agents import Agent
from agents.mcp import MCPServerStdio

async with MCPServerStdio(
        params={
            "command": "uvx",
            "args": ["atla-mcp-server"],
            "env": {"ATLA_API_KEY": os.environ.get("ATLA_API_KEY")}
        }
    ) as atla_mcp_server:
    ...

Claude Desktop

Weitere Details zur Konfiguration von MCP-Servern in Claude Desktop finden Sie im offiziellen MCP-Schnellstartleitfaden.

  1. Fügen Sie Folgendes zu Ihrer claude_desktop_config.json-Datei hinzu:
{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}
  1. Starten Sie Claude Desktop neu, um die Änderungen zu übernehmen.

Sie sollten nun Optionen von atla-mcp-server in der Liste der verfügbaren MCP-Werkzeuge sehen.

Cursor

Weitere Details zur Konfiguration von MCP-Servern in Cursor finden Sie in der offiziellen Dokumentation.

  1. Fügen Sie Folgendes zu Ihrer .cursor/mcp.json-Datei hinzu:
{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}

Sie sollten nun atla-mcp-server in der Liste der verfügbaren MCP-Server sehen.

Mitwirken

Beiträge sind willkommen! Weitere Details finden Sie in der Datei CONTRIBUTING.md.

Lizenz

Dieses Projekt ist unter der MIT-Lizenz lizenziert. Weitere Details finden Sie in der Datei LICENSE.