Atla

公式

AIエージェントがAtla APIと連携し、最先端のLLMJ評価を実行できるようにします。

GitHub
17

Atla MCPで何ができますか？

  • 単一のLLM応答を評価する — カスタム評価基準に基づいてLLMの回答をスコアリングし批評するには、evaluate_llm_responseを使用します。
  • 複数の基準にわたって評価する — 一度に複数の基準でLLM応答を評価し、基準ごとのスコアとフィードバックを取得するには、evaluate_llm_response_on_multiple_criteriaを使用します。

ドキュメント

Atla MCPサーバー

[!CAUTION] このリポジトリは2025年7月21日にアーカイブされました。Atla APIは現在稼働していません。

LLMが最先端のLLMJ評価のためにAtla APIと対話するための標準化されたインターフェースを提供するMCPサーバー実装です。

Atlaの詳細はこちらをご覧ください。Model Context Protocolの詳細はこちらをご覧ください。

Atla MCP server

利用可能なツール

  • evaluate_llm_response: 指定された評価基準を用いて、プロンプトに対するLLMの応答を評価します。この関数は内部でAtla評価モデルを使用し、モデルの応答に対するスコアと、モデルの応答に関するフィードバックを含むテキスト批評を含む辞書を返します。
  • evaluate_llm_response_on_multiple_criteria: プロンプトに対するLLMの応答を_複数_の評価基準で評価します。この関数は内部でAtla評価モデルを使用し、各基準に対する評価スコアと批評を含む辞書のリストを返します。

使用方法

MCPサーバーを使用するには、Atla APIキーが必要です。既存のAPIキーはこちらで確認でき、新しいAPIキーはこちらで作成できます。

インストール

Python環境の管理にはuvの使用を推奨します。インストール手順はこちらをご覧ください。

サーバーの手動実行

uvがインストールされ、Atla APIキーを取得したら、uvx（uvによって提供されます）を使用してMCPサーバーを手動で実行できます。

ATLA_API_KEY=<your-api-key> uvx atla-mcp-server

サーバーへの接続

問題が発生した場合や、他のクライアントへの接続についてサポートが必要な場合は、お気軽にIssueを作成するか、お問い合わせください。

OpenAI Agents SDK

OpenAI Agents SDKとMCPサーバーの使用に関する詳細は、公式ドキュメントを参照してください。

  1. OpenAI Agents SDKをインストールします。
pip install openai-agents
  1. OpenAI Agents SDKを使用してサーバーに接続します。
import os

from agents import Agent
from agents.mcp import MCPServerStdio

async with MCPServerStdio(
        params={
            "command": "uvx",
            "args": ["atla-mcp-server"],
            "env": {"ATLA_API_KEY": os.environ.get("ATLA_API_KEY")}
        }
    ) as atla_mcp_server:
    ...

Claude Desktop

Claude DesktopでのMCPサーバー設定に関する詳細は、公式MCPクイックスタートガイドを参照してください。

  1. claude_desktop_config.jsonファイルに以下を追加します。
{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}
  1. Claude Desktopを再起動して変更を適用します。

これで、利用可能なMCPツールのリストにatla-mcp-serverからのオプションが表示されるはずです。

Cursor

CursorでのMCPサーバー設定に関する詳細は、公式ドキュメントを参照してください。

  1. .cursor/mcp.jsonファイルに以下を追加します。
{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}

これで、利用可能なMCPサーバーのリストにatla-mcp-serverが表示されるはずです。

貢献

貢献を歓迎します！詳細はCONTRIBUTING.mdファイルをご覧ください。

ライセンス

このプロジェクトはMITライセンスの下で提供されています。詳細はLICENSEファイルをご覧ください。