Agent Evals by Galileo

공식

Galileo의 새로운 MCP 서버를 통해 에이전트 평가, 관찰 가능성, 합성 테스트 세트 생성을 IDE에 직접 무료로 제공합니다

Agent Evals By Galileo MCP(으)로 무엇을 할 수 있나요?

  • 합성 데이터셋 생성 — 어시스턴트에게 프롬프트 인젝션, 주제에서 벗어난 내용 또는 유해한 콘텐츠 시나리오를 포함한 쿼리 데이터셋을 생성해 달라고 요청하세요.
  • 데이터셋 상태 확인 — 데이터셋 생성 진행 상황을 추적하고 생성된 데이터의 처음 10개 행을 미리 확인하세요.
  • 프롬프트 템플릿 구축 — 일관된 동작을 위해 모델 구성과 온도 설정이 포함된 재사용 가능한 프롬프트 템플릿을 만드세요.
  • 실험 안내 받기 — 데이터셋 준비와 메트릭 구성 등을 포함해 Galileo 실험을 설정하고 실행하는 방법을 문의하세요.
  • 로그 스트림 신호 분석 — Log streams에서 최근 신호를 가져오고 발견된 문제에 대한 해결 방법을 제안받으세요.
  • 통합 지원 받기 — OpenAI 또는 LangChain 애플리케이션에 Galileo 관측 기능을 추가하는 단계별 가이드를 요청하세요.

문서

Galileo MCP Server

Cursor 및 VS Code와 같은 AI 지원 IDE에 Galileo의 Model Context Protocol (MCP) 서버를 통합하는 방법을 알아보세요

Galileo Model Context Protocol (MCP) 서버를 사용하면 Cursor 또는 GitHub Copilot이 포함된 VS Code와 같은 AI 기반 IDE를 Galileo의 평가 및 관측 플랫폼과 원활하게 통합할 수 있습니다.

MCP를 사용하면 개발 환경에서 다음을 비롯한 Galileo의 기능에 직접 액세스할 수 있습니다.

  • 데이터셋 생성 및 관리
  • 실험 실행
  • 프롬프트 템플릿 설정
  • Log 스트림의 신호 확인
  • Galileo를 코드와 통합

사전 요구 사항

시작하기 전에 다음 항목이 준비되어 있는지 확인하세요.

1. AI 지원 IDE

Cursor 또는 AI 기능이 포함된 VS Code와 같은 AI 지원 IDE를 설치하세요.

2. API 키

API keys page에서 Galileo API 키를 생성하세요.

IDE 구성

Galileo MCP 서버는 Cursor와 VS Code 모두에서 작동합니다. 사용 중인 IDE에 해당하는 단계를 따르세요.

[tab] VS Code

1. GitHub Copilot 설치

아직 설치하지 않았다면 GitHub Copilot 확장을 설치하세요.

2. MCP 설정 열기

Command Palette를 열고(Windows/Linux에서는 Ctrl + Shift + P, Mac에서는 Cmd + Shift + P) **"MCP: Open User Configuration"**을 검색하세요.

3. Galileo MCP 서버 구성 추가

아래 구성을 복사해 붙여넣으세요. YOUR-API-KEY를 실제 Galileo API 키로 바꾸세요.

{
  "servers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  },
  "inputs": []
}

이 구성은 app.galileo.ai를 사용한다고 가정합니다.

자체 호스팅 Galileo 배포를 사용하는 경우 https://api.galileo.ai/mcp/http/mcp url을 배포 URL로 바꾸세요. 이 URL은 콘솔 URL에서 console을 api로 바꾸고 /mcp/http/mcp을 추가한 형식입니다.

예:

  • 콘솔 URL이 https://console.galileo.example.com이면 MCP url은 https://api.galileo.example.com/mcp/http/mcp입니다.
  • 콘솔 URL이 https://console-galileo.apps.mycompany.com이면 MCP url은 https://api-galileo.apps.mycompany.com/mcp/http/mcp입니다.

4. VS Code 다시 로드

변경 사항을 적용하려면 Command Palette를 열고 **"Developer: Reload Window"**를 실행해 VS Code를 다시 로드하세요.

[tab] Cursor

1. Tools & MCP 설정 열기

Cursor 명령 팔레트를 열고(Windows/Linux에서는 Ctrl + Shift + P, Mac에서는 Cmd + Shift + P) "Open MCP Settings"를 선택하세요.

2. MCP 서버 구성 파일 열기

Add Custom MCP를 클릭해 mcp.json MCP 구성 파일을 열거나, 이미 다른 MCP 서버를 구성했다면 New MCP Server를 클릭하세요.

3. Galileo MCP 서버 구성 추가

아래 구성을 복사해 붙여넣으세요. YOUR-API-KEY을 실제 Galileo API 키로 바꾸세요.

{
  "mcpServers": {
    "galileo_mcp_server": {
      "url": "https://api.galileo.ai/mcp/http/mcp",
      "headers": {
        "Galileo-API-Key": "YOUR-API-KEY",
        "Accept": "text/event-stream"
      }
    }
  }
}

이 구성은 app.galileo.ai를 사용한다고 가정합니다.

자체 호스팅 Galileo 배포를 사용하는 경우 https://api.galileo.ai/mcp/http/mcp url을 배포 URL로 바꾸세요. 이 URL은 콘솔 URL에서 console을 api로 바꾸고 /mcp/http/mcp을 추가한 형식입니다.

예:

  • 콘솔 URL이 https://console.galileo.example.com이면 MCP url은 https://api.galileo.example.com/mcp/http/mcp입니다.
  • 콘솔 URL이 https://console-galileo.apps.mycompany.com이면 MCP url은 https://api-galileo.apps.mycompany.com/mcp/http/mcp입니다.

4. 저장 후 다시 시작

변경 사항을 적용하려면 구성을 저장하고 Cursor를 다시 시작하세요.

[!TIP]

Cursor와 VS Code의 구성은 동일합니다. API keys page에서 발급한 실제 Galileo API 키로 YOUR-API-KEY을 바꾸세요.

설정 확인

구성을 완료한 후 IDE에서 AI 어시스턴트에게 다음을 요청해 MCP 설정을 확인할 수 있습니다.

Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?

이제 AI 어시스턴트가 Galileo 기능에 액세스하고 Galileo 계정의 정보를 바탕으로 응답할 수 있습니다.

도구

Galileo MCP 서버는 AI 어시스턴트와 자연스럽게 대화하며 사용할 수 있는 강력한 도구를 제공합니다. 질문하거나 요청하면 AI가 이 도구를 사용해 도와드립니다.

[accordion] 데이터셋 생성

합성 데이터셋을 생성하거나 직접 데이터를 업로드해 AI 애플리케이션을 테스트하고 평가하세요. 이 도구는 일반 쿼리, 프롬프트 인젝션, 주제에서 벗어난 콘텐츠, 유해 콘텐츠 시나리오 등 다양한 유형의 쿼리를 포함하는 데이터셋 생성을 지원합니다.

요청할 수 있는 내용:

결제 문제에 관한 고객 서비스 쿼리 50개로 데이터셋을 만들어 줘
프롬프트 인젝션 시도를 일부 포함해 챗봇 쿼리 30개로 데이터셋을 생성해 줘
제품 추천 쿼리와 주제에서 벗어난 질문을 포함하는 데이터셋을 만들어 줘

[accordion] 데이터셋 상태 확인

데이터셋 생성 진행 상황을 추적하고 생성된 콘텐츠를 미리 확인하세요. 생성 상태와 진행 상황 업데이트뿐 아니라 데이터의 처음 10개 행도 확인할 수 있습니다.

요청할 수 있는 내용:

현재 생성 중인 데이터셋의 상태를 확인해 줘
abc-123 데이터셋의 미리보기를 보여 줘
고객 서비스 데이터셋이 이제 준비됐어?

[accordion] 프롬프트 템플릿 생성

모든 프로젝트에서 재사용할 수 있는 프롬프트 템플릿을 만드세요. 일관된 프롬프트 동작을 위해 모델 구성, temperature 설정 및 기타 매개변수를 지정하세요.

요청할 수 있는 내용:

고객 지원 응답용 "Friendly Assistant"라는 프롬프트 템플릿을 만들어 줘
temperature를 낮게 설정해 기술 문서를 요약하는 프롬프트 템플릿을 만들어 줘
코드 리뷰 어시스턴트용 채팅 템플릿을 설정해 줘

[accordion] 실험 설정

데이터셋 준비, 메트릭 구성, 기존 코드와의 통합을 포함해 Galileo 실험을 설정하고 실행하는 전체 안내를 확인하세요. Python 및 기타 지원 언어에서 사용할 수 있습니다.

요청할 수 있는 내용:

Python에서 Galileo 실험을 어떻게 설정해?
RAG 애플리케이션으로 실험을 실행하는 방법을 보여 줘
에이전트 워크플로용 실험을 만드는 과정을 안내해 줘

[accordion] 신호 확인

애플리케이션의 Log 스트림을 분석해 문제, 패턴, 개선 기회를 파악하세요. 기록된 데이터를 바탕으로 구체적인 권장 사항을 확인할 수 있습니다.

요청할 수 있는 내용:

프로덕션 로그 스트림에서 어떤 문제가 보여?
Galileo에서 가장 최근 신호를 가져와서 코드에서 수정할 방법을 제안해 줘
챗봇 로그 스트림에 관한 인사이트를 얻고 개선 사항을 제안해 줘

[accordion] OpenAI와 통합

OpenAI 애플리케이션에 Galileo 관측 기능을 추가하는 단계별 통합 안내를 확인하세요. 코드 변경을 최소화하면서 프롬프트, 응답, 모델 매개변수, 토큰 사용량을 자동으로 기록할 수 있습니다.

요청할 수 있는 내용:

OpenAI 애플리케이션에 Galileo 로깅을 어떻게 추가해?
TypeScript에서 Galileo를 OpenAI와 통합하는 방법을 보여 줘
GPT-4 챗봇에 Galileo 관측 기능을 설정하는 것을 도와줘

[accordion] LangChain과 통합

LangChain 애플리케이션에 Galileo를 추가하는 전체 통합 안내를 확인하세요. 자동 로깅으로 체인, 에이전트, 도구의 전체 트레이스를 수집할 수 있습니다.

요청할 수 있는 내용:

LangChain 애플리케이션에 Galileo를 어떻게 통합해?
LangChain 에이전트에 Galileo 트레이싱을 추가하는 방법을 보여 줘
LangChain RAG 파이프라인을 Galileo로 로깅하는 것을 도와줘

[accordion] 문서 검색

Galileo 문서 전체에서 관련 정보, 코드 예제, API 참조, 구현 가이드를 찾으세요. 필요한 페이지로 바로 연결되는 링크를 확인할 수 있습니다.

요청할 수 있는 내용:

Galileo에서 데이터 로깅을 어떻게 설정해?
사용자 지정 메트릭에 관한 문서를 찾아 줘
에이전트 AI 평가 예제를 검색해 줘

사용 사례 예시

합성 데이터셋 생성

AI 어시스턴트에게 요청하세요.

Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.

MCP 서버가 데이터셋 생성 과정을 안내하고 진행 상황을 추적할 수 있는 데이터셋 ID를 제공합니다.

통합 도움말 확인

AI 어시스턴트에게 요청하세요.

How do I integrate Galileo with my LangChain application in Python?

MCP 서버가 전체 통합 코드 예제와 설정 안내를 제공합니다.

신호 확인

AI 어시스턴트에게 요청하세요.

Fetch the most recent signals from Galileo and propose fixes for them in my code

MCP 서버가 Log 스트림을 분석하고 개선 사항을 제안합니다.

문제 해결

[accordion] Galileo MCP Server 연결 오류

  • MCP 서버 URL이 https://api.galileo.ai/mcp/http/mcp로 설정되어 있는지 확인하세요.
  • Accept 헤더가 text/event-stream으로 설정되어 있는지 확인하세요.
  • 구성을 변경한 후 IDE의 MCP 연결을 다시 시작하세요.

[accordion] API 키 오류

  • 구성에 API 키가 올바르게 설정되어 있는지 확인하세요.
  • API 키가 만료되지 않았는지 확인하세요.
  • API keys page에서 새 API 키를 생성하세요.

다음 단계

[card] 첫 번째 트레이스 기록

Galileo로 첫 번째 트레이스를 기록하는 방법을 알아보세요.

[card] 첫 번째 실험 실행

AI 애플리케이션을 평가할 실험을 설정하고 실행하세요.

[card] 통합 살펴보기

Galileo와 타사 프레임워크의 통합에 대해 알아보세요.