Atla

oficial

Permite que los agentes de IA interactúen con la API de Atla para una evaluación LLMJ de última generación.

GitHub
17

¿Qué puedes hacer con Atla MCP?

  • Evaluar una sola respuesta de LLM — Puntúa y critica la respuesta de un LLM según un criterio de evaluación personalizado usando evaluate_llm_response.
  • Evaluar según múltiples criterios — Evalúa una respuesta de LLM en varios criterios a la vez y obtén puntuaciones y comentarios por criterio con evaluate_llm_response_on_multiple_criteria.

Documentación

Servidor MCP de Atla

[!CAUTION] Este repositorio fue archivado el 21 de julio de 2025. La API de Atla ya no está activa.

Una implementación de servidor MCP que proporciona una interfaz estandarizada para que los LLM interactúen con la API de Atla para la evaluación de vanguardia de LLMJ.

Obtén más información sobre Atla aquí. Obtén más información sobre el Protocolo de Contexto de Modelo aquí.

Atla MCP server

Herramientas disponibles

  • evaluate_llm_response: Evalúa la respuesta de un LLM a un prompt utilizando un criterio de evaluación dado. Esta función utiliza un modelo de evaluación de Atla internamente para devolver un diccionario que contiene una puntuación para la respuesta del modelo y una crítica textual con comentarios sobre la respuesta del modelo.
  • evaluate_llm_response_on_multiple_criteria: Evalúa la respuesta de un LLM a un prompt a través de múltiples criterios de evaluación. Esta función utiliza un modelo de evaluación de Atla internamente para devolver una lista de diccionarios, cada uno conteniendo una puntuación de evaluación y una crítica para un criterio dado.

Uso

Para usar el servidor MCP, necesitarás una clave de API de Atla. Puedes encontrar tu clave de API existente aquí o crear una nueva aquí.

Instalación

Recomendamos usar uv para gestionar el entorno de Python. Consulta aquí las instrucciones de instalación.

Ejecutar el servidor manualmente

Una vez que tengas uv instalado y tu clave de API de Atla, puedes ejecutar manualmente el servidor MCP usando uvx (que es proporcionado por uv):

ATLA_API_KEY=<your-api-key> uvx atla-mcp-server

Conectarse al servidor

¿Tienes problemas o necesitas ayuda para conectarte a otro cliente? No dudes en abrir un issue o contactarnos.

OpenAI Agents SDK

Para más detalles sobre el uso del SDK de OpenAI Agents con servidores MCP, consulta la documentación oficial.

  1. Instala el SDK de OpenAI Agents:
pip install openai-agents
  1. Usa el SDK de OpenAI Agents para conectarte al servidor:
import os

from agents import Agent
from agents.mcp import MCPServerStdio

async with MCPServerStdio(
        params={
            "command": "uvx",
            "args": ["atla-mcp-server"],
            "env": {"ATLA_API_KEY": os.environ.get("ATLA_API_KEY")}
        }
    ) as atla_mcp_server:
    ...

Claude Desktop

Para más detalles sobre la configuración de servidores MCP en Claude Desktop, consulta la guía de inicio rápido oficial de MCP.

  1. Agrega lo siguiente a tu archivo claude_desktop_config.json:
{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}
  1. Reinicia Claude Desktop para aplicar los cambios.

Ahora deberías ver las opciones de atla-mcp-server en la lista de herramientas MCP disponibles.

Cursor

Para más detalles sobre la configuración de servidores MCP en Cursor, consulta la documentación oficial.

  1. Agrega lo siguiente a tu archivo .cursor/mcp.json:
{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}

Ahora deberías ver atla-mcp-server en la lista de servidores MCP disponibles.

Contribuciones

¡Las contribuciones son bienvenidas! Consulta el archivo CONTRIBUTING.md para más detalles.

Licencia

Este proyecto está licenciado bajo la Licencia MIT. Consulta el archivo LICENSE para más detalles.