Agent Evals by Galileo
공식Galileo의 새로운 MCP 서버를 통해 에이전트 평가, 관찰 가능성, 합성 테스트 세트 생성을 IDE에 직접 무료로 제공합니다
Agent Evals By Galileo MCP(으)로 무엇을 할 수 있나요?
- 합성 데이터셋 생성 — 어시스턴트에게 청구 문제나 프롬프트 인젝션 같은 사용자 정의 쿼리 유형으로 데이터셋을 생성하도록 요청합니다.
- 데이터셋 생성 상태 확인 — 생성 중인 데이터셋의 진행 상황을 추적하고 첫 번째 행을 미리 봅니다.
- 재사용 가능한 프롬프트 템플릿 구축 — 프로젝트 전반에 걸쳐 모델 파라미터와 temperature 설정이 포함된 명명된 프롬프트 템플릿을 설정합니다.
- 실험 설정 가이드 받기 — RAG 또는 에이전트 워크플로우에서 Python으로 Galileo 실험을 실행하기 위한 단계별 지침을 받습니다.
- 로그 스트림에서 신호 분석 — 프로덕션 로그 스트림에서 최근 신호를 가져오고 제안된 코드 수정 사항을 확인합니다.
- Galileo 문서 검색 — 문서에서 직접 API 참조, 코드 예제 및 구현 가이드를 찾습니다.
문서
Galileo MCP 서버
Galileo의 모델 컨텍스트 프로토콜(MCP) 서버를 Cursor 및 VS Code와 같은 AI 지원 IDE에 통합하는 방법 알아보기
Galileo 모델 컨텍스트 프로토콜(MCP) 서버는 Cursor 또는 GitHub Copilot이 포함된 VS Code와 같은 AI 기반 IDE와 Galileo의 평가 및 관측 플랫폼 간의 원활한 통합을 가능하게 합니다.
MCP를 사용하면 개발 환경에서 직접 Galileo의 기능에 접근할 수 있습니다. 기능은 다음과 같습니다:
- 데이터셋 생성 및 관리
- 실험 실행
- 프롬프트 템플릿 설정
- 로그 스트림에서 시그널 획득
- Galileo와 코드 통합
사전 요구 사항
시작하기 전에 다음 사항을 확인하세요:
[Cursor](https://cursor.sh) 또는 [VS Code](https://code.visualstudio.com)와 같은 AI 지원 IDE를 AI 기능과 함께 설치하세요 [API 키 페이지](https://app.galileo.ai/settings/api-keys)에서 Galileo API 키를 생성하세요IDE 구성
Galileo MCP 서버는 Cursor와 VS Code 모두에서 작동합니다. 사용 중인 IDE에 맞는 단계를 따르세요:
아직 설치하지 않았다면 [GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot) 확장 프로그램을 설치하세요 <Step title="Open MCP settings">
명령 팔레트를 열고(Windows/Linux에서는 `Ctrl + Shift + P`, Mac에서는 `Cmd + Shift + P`) **"MCP: 사용자 구성 열기"**를 검색하세요
</Step>
<Step title="Add the Galileo MCP server configuration">
아래 구성을 복사하여 붙여넣으세요. `YOUR-API-KEY`를 실제 Galileo API 키로 교체하세요.
```json VSCode MCP Configuration highlight={3-9} theme={null}
{
"servers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
},
"inputs": []
}
```
이는 [app.galileo.ai](https://app.galileo.ai)를 사용한다고 가정합니다.
자체 호스팅 Galileo 배포를 사용하는 경우 `https://api.galileo.ai/mcp/http/mcp` URL을 배포 URL로 교체하세요. 이 URL의 형식은 콘솔 URL을 기반으로 하며, `console`를 `api`로 교체하고 `/mcp/http/mcp`을 추가합니다.
예를 들어:
* 콘솔 URL이 `https://console.galileo.example.com`인 경우 MCP URL은 `https://api.galileo.example.com/mcp/http/mcp`입니다
* 콘솔 URL이 `https://console-galileo.apps.mycompany.com`인 경우 MCP URL은 `https://api-galileo.apps.mycompany.com/mcp/http/mcp`입니다
</Step>
<Step title="Reload VS Code">
명령 팔레트를 열고 **"개발자: 창 다시 로드"**를 실행하여 변경 사항을 적용하세요
</Step>
</Steps>
<Step title="Open the MCP server configuration file">
**사용자 지정 MCP 추가**를 클릭하여 `mcp.json` MCP 구성 파일을 열거나, 이미 다른 MCP 서버가 구성된 경우 **새 MCP 서버**를 클릭하세요.
</Step>
<Step title="Add the Galileo MCP server configuration">
아래 구성을 복사하여 붙여넣으세요. `YOUR-API-KEY`를 실제 Galileo API 키로 교체하세요.
```json Cursor MCP Configuration highlight={3-9} theme={null}
{
"mcpServers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
}
}
```
이는 [app.galileo.ai](https://app.galileo.ai)를 사용한다고 가정합니다.
자체 호스팅 Galileo 배포를 사용하는 경우 `https://api.galileo.ai/mcp/http/mcp` URL을 배포 URL로 교체하세요. 이 URL의 형식은 콘솔 URL을 기반으로 하며, `console`를 `api`로 교체하고 `/mcp/http/mcp`을 추가합니다.
예를 들어:
* 콘솔 URL이 `https://console.galileo.example.com`인 경우 MCP URL은 `https://api.galileo.example.com/mcp/http/mcp`입니다
* 콘솔 URL이 `https://console-galileo.apps.mycompany.com`인 경우 MCP URL은 `https://api-galileo.apps.mycompany.com/mcp/http/mcp`입니다
</Step>
<Step title="Save and restart">
구성을 저장하고 Cursor를 다시 시작하여 변경 사항을 적용하세요
</Step>
</Steps>
설정 확인
구성이 완료되면 IDE에서 AI 어시스턴트에게 다음과 같이 질문하여 MCP 설정을 확인할 수 있습니다:
```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ```Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
이제 AI 어시스턴트가 Galileo의 기능에 접근하여 Galileo 계정의 정보로 응답할 수 있어야 합니다.
도구
Galileo MCP 서버는 AI 어시스턴트와의 자연스러운 대화를 통해 접근할 수 있는 강력한 도구를 제공합니다. 질문하거나 요청하기만 하면 AI가 이러한 도구를 사용하여 도움을 드립니다.
합성 데이터셋을 생성하거나 자체 데이터를 업로드하여 AI 애플리케이션을 테스트하고 평가하세요. 이 도구는 일반 쿼리, 프롬프트 인젝션, 주제 이탈 콘텐츠, 유해 콘텐츠 시나리오 등 다양한 유형의 쿼리가 포함된 데이터셋 생성을 지원합니다.**질문할 수 있는 내용:**
<CodeGroup>
```text Query wrap theme={null}
Create a dataset with 50 customer service queries about billing issues
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a dataset with product recommendation queries and include off-topic questions
```
</CodeGroup>
**질문할 수 있는 내용:**
<CodeGroup>
```text Query wrap theme={null}
Check the status of my dataset that's currently generating
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me the preview of dataset abc-123
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Is my customer service dataset ready yet?
```
</CodeGroup>
**질문할 수 있는 내용:**
<CodeGroup>
```text Query wrap theme={null}
Create a prompt template called "Friendly Assistant" for customer support responses
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a prompt template for summarizing technical documentation with lower temperature
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Set up a chat template for a code review assistant
```
</CodeGroup>
**질문할 수 있는 내용:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up a Galileo experiment in Python?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to run an experiment with my RAG application
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Guide me through creating an experiment for my agentic workflow
```
</CodeGroup>
**질문할 수 있는 내용:**
<CodeGroup>
```text Query wrap theme={null}
What issues do you see in my production log stream?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Fetch the most recent signals from Galileo and propose fixes for them in my code
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Get insights about my chatbot log stream and suggest improvements
```
</CodeGroup>
**질문할 수 있는 내용:**
<CodeGroup>
```text Query wrap theme={null}
How do I add Galileo logging to my OpenAI application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to integrate Galileo with OpenAI in TypeScript
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me set up Galileo observability for my GPT-4 chatbot
```
</CodeGroup>
**질문할 수 있는 내용:**
<CodeGroup>
```text Query wrap theme={null}
How do I integrate Galileo with my LangChain application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to add Galileo tracing to my LangChain agent
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me log my LangChain RAG pipeline with Galileo
```
</CodeGroup>
**질문할 수 있는 내용:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up data logging in Galileo?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Find documentation about custom metrics
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Search for examples of agentic AI evaluation
```
</CodeGroup>
사용 사례 예시
합성 데이터셋 생성
AI 어시스턴트에게 다음과 같이 요청하세요:
```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```MCP 서버가 데이터셋 생성 과정을 안내하고 진행 상황을 추적할 수 있는 데이터셋 ID를 제공합니다.
통합 도움말 받기
AI 어시스턴트에게 다음과 같이 요청하세요:
```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```MCP 서버가 완전한 통합 코드 예제와 설정 지침을 제공합니다.
시그널 획득
AI 어시스턴트에게 다음과 같이 요청하세요:
```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```MCP 서버가 로그 스트림을 분석하고 개선 사항을 제안합니다.