Agent Evals by Galileo
आधिकारिकअपने IDE में सीधे एजेंट मूल्यांकन, अवलोकन क्षमता और सिंथेटिक टेस्ट सेट जनरेशन को मुफ्त में लाएं, Galileo के नए MCP सर्वर के साथ।
Agent Evals By Galileo MCP के साथ आप क्या कर सकते हैं?
- सिंथेटिक डेटासेट बनाएं — सहायक से बिलिंग समस्याओं या प्रॉम्प्ट इंजेक्शन जैसे कस्टम क्वेरी प्रकारों वाला डेटासेट जनरेट करने का अनुरोध करें।
- डेटासेट जनरेशन स्थिति जांचें — डेटासेट बनने के दौरान प्रगति को ट्रैक करें और पहली पंक्तियों का पूर्वावलोकन करें।
- पुन: प्रयोज्य प्रॉम्प्ट टेम्पलेट बनाएं — प्रोजेक्ट्स में मॉडल पैरामीटर और तापमान सेटिंग्स के साथ नामित प्रॉम्प्ट टेम्पलेट सेट करें।
- प्रयोग सेटअप मार्गदर्शन प्राप्त करें — अपने RAG या एजेंट वर्कफ़्लो पर Python में Galileo प्रयोग चलाने के लिए चरण-दर-चरण निर्देश प्राप्त करें।
- सिग्नल के लिए लॉग स्ट्रीम का विश्लेषण करें — प्रोडक्शन लॉग स्ट्रीम से हाल के सिग्नल प्राप्त करें और सुझाए गए कोड सुधार देखें।
- Galileo दस्तावेज़ीकरण खोजें — दस्तावेज़ों से सीधे API संदर्भ, कोड उदाहरण और कार्यान्वयन गाइड खोजें।
दस्तावेज़
Galileo MCP सर्वर
जानें कि Galileo के मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP) सर्वर को Cursor और VS Code जैसे AI-सक्षम IDE के साथ कैसे एकीकृत करें
Galileo मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP) सर्वर, AI-संचालित IDE, जैसे Cursor, या GitHub Copilot के साथ VS Code, और Galileo के मूल्यांकन और अवलोकन प्लेटफ़ॉर्म के बीच सहज एकीकरण सक्षम करता है।
MCP के साथ, आप अपने विकास परिवेश से सीधे Galileo की क्षमताओं का उपयोग कर सकते हैं, जिनमें शामिल हैं:
- डेटासेट बनाना और प्रबंधित करना
- प्रयोग चलाना
- प्रॉम्प्ट टेम्पलेट सेट करना
- लॉग स्ट्रीम पर सिग्नल प्राप्त करना
- Galileo को अपने कोड के साथ एकीकृत करना
पूर्वापेक्षाएँ
शुरू करने से पहले, सुनिश्चित करें कि आपके पास निम्नलिखित हैं:
AI क्षमताओं वाला एक AI-सक्षम IDE स्थापित करें जैसे [Cursor](https://cursor.sh) या [VS Code](https://code.visualstudio.com) [API कुंजी पृष्ठ](https://app.galileo.ai/settings/api-keys) से अपनी Galileo API कुंजी जनरेट करेंअपना IDE कॉन्फ़िगर करें
Galileo MCP सर्वर Cursor और VS Code दोनों के साथ काम करता है। अपने IDE के लिए नीचे दिए गए चरणों का पालन करें:
यदि आपने पहले से नहीं किया है तो [GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot) एक्सटेंशन स्थापित करें <Step title="Open MCP settings">
कमांड पैलेट खोलें (Windows/Linux पर `Ctrl + Shift + P`, या Mac पर `Cmd + Shift + P`) और **"MCP: Open User Configuration"** खोजें
</Step>
<Step title="Add the Galileo MCP server configuration">
नीचे दिए गए कॉन्फ़िगरेशन को कॉपी और पेस्ट करें। `YOUR-API-KEY` को अपनी वास्तविक Galileo API कुंजी से बदलें।
```json VSCode MCP Configuration highlight={3-9} theme={null}
{
"servers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
},
"inputs": []
}
```
यह मानता है कि आप [app.galileo.ai](https://app.galileo.ai) का उपयोग कर रहे हैं।
यदि आप स्व-होस्टेड Galileo परिनियोजन का उपयोग कर रहे हैं, तो `https://api.galileo.ai/mcp/http/mcp` url को अपने परिनियोजन URL से बदलें। इस URL का प्रारूप आपके कंसोल URL पर आधारित है, `console` को `api` से बदलें और `/mcp/http/mcp` जोड़ें।
उदाहरण के लिए:
* यदि आपका कंसोल URL `https://console.galileo.example.com` है, तो MCP url `https://api.galileo.example.com/mcp/http/mcp` होगा
* यदि आपका कंसोल URL `https://console-galileo.apps.mycompany.com` है, तो MCP url `https://api-galileo.apps.mycompany.com/mcp/http/mcp` होगा
</Step>
<Step title="Reload VS Code">
कमांड पैलेट खोलकर और **"Developer: Reload Window"** चलाकर VS Code को पुनः लोड करें ताकि परिवर्तन प्रभावी हों
</Step>
</Steps>
<Step title="Open the MCP server configuration file">
`mcp.json` MCP कॉन्फ़िगरेशन फ़ाइल खोलने के लिए **Add Custom MCP** पर क्लिक करें, या यदि आपके पास पहले से अन्य MCP सर्वर कॉन्फ़िगर हैं तो **New MCP Server** पर क्लिक करें।
</Step>
<Step title="Add the Galileo MCP server configuration">
नीचे दिए गए कॉन्फ़िगरेशन को कॉपी और पेस्ट करें। `YOUR-API-KEY` को अपनी वास्तविक Galileo API कुंजी से बदलें।
```json Cursor MCP Configuration highlight={3-9} theme={null}
{
"mcpServers": {
"galileo_mcp_server": {
"url": "https://api.galileo.ai/mcp/http/mcp",
"headers": {
"Galileo-API-Key": "YOUR-API-KEY",
"Accept": "text/event-stream"
}
}
}
}
```
यह मानता है कि आप [app.galileo.ai](https://app.galileo.ai) का उपयोग कर रहे हैं।
यदि आप स्व-होस्टेड Galileo परिनियोजन का उपयोग कर रहे हैं, तो `https://api.galileo.ai/mcp/http/mcp` url को अपने परिनियोजन URL से बदलें। इस URL का प्रारूप आपके कंसोल URL पर आधारित है, `console` को `api` से बदलें और `/mcp/http/mcp` जोड़ें।
उदाहरण के लिए:
* यदि आपका कंसोल URL `https://console.galileo.example.com` है, तो MCP url `https://api.galileo.example.com/mcp/http/mcp` होगा
* यदि आपका कंसोल URL `https://console-galileo.apps.mycompany.com` है, तो MCP url `https://api-galileo.apps.mycompany.com/mcp/http/mcp` होगा
</Step>
<Step title="Save and restart">
कॉन्फ़िगरेशन सहेजें और परिवर्तनों को प्रभावी करने के लिए Cursor को पुनः आरंभ करें
</Step>
</Steps>
अपना सेटअप सत्यापित करें
एक बार कॉन्फ़िगर हो जाने पर, आप अपने IDE में अपने AI सहायक से पूछकर अपने MCP सेटअप को सत्यापित कर सकते हैं:
```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ```Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
अब आपके AI सहायक को Galileo की क्षमताओं तक पहुँचने और आपके Galileo खाते से जानकारी के साथ प्रतिक्रिया देने में सक्षम होना चाहिए।
उपकरण
Galileo MCP सर्वर शक्तिशाली उपकरण प्रदान करता है जिन्हें आप अपने AI सहायक के साथ प्राकृतिक बातचीत के माध्यम से एक्सेस कर सकते हैं। बस प्रश्न पूछें या अनुरोध करें, और AI आपकी मदद करने के लिए इन उपकरणों का उपयोग करेगा।
अपने AI अनुप्रयोगों का परीक्षण और मूल्यांकन करने के लिए सिंथेटिक डेटासेट जनरेट करें या अपना स्वयं का डेटा अपलोड करें। यह उपकरण सामान्य प्रश्नों, प्रॉम्प्ट इंजेक्शन, ऑफ-टॉपिक सामग्री और विषाक्त सामग्री परिदृश्यों सहित विभिन्न प्रकार के प्रश्नों के साथ डेटासेट बनाने का समर्थन करता है।**आप क्या पूछ सकते हैं:**
<CodeGroup>
```text Query wrap theme={null}
Create a dataset with 50 customer service queries about billing issues
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Generate a dataset of 30 chatbot queries, including some prompt injection attempts
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a dataset with product recommendation queries and include off-topic questions
```
</CodeGroup>
**आप क्या पूछ सकते हैं:**
<CodeGroup>
```text Query wrap theme={null}
Check the status of my dataset that's currently generating
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me the preview of dataset abc-123
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Is my customer service dataset ready yet?
```
</CodeGroup>
**आप क्या पूछ सकते हैं:**
<CodeGroup>
```text Query wrap theme={null}
Create a prompt template called "Friendly Assistant" for customer support responses
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Make a prompt template for summarizing technical documentation with lower temperature
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Set up a chat template for a code review assistant
```
</CodeGroup>
**आप क्या पूछ सकते हैं:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up a Galileo experiment in Python?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to run an experiment with my RAG application
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Guide me through creating an experiment for my agentic workflow
```
</CodeGroup>
**आप क्या पूछ सकते हैं:**
<CodeGroup>
```text Query wrap theme={null}
What issues do you see in my production log stream?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Fetch the most recent signals from Galileo and propose fixes for them in my code
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Get insights about my chatbot log stream and suggest improvements
```
</CodeGroup>
**आप क्या पूछ सकते हैं:**
<CodeGroup>
```text Query wrap theme={null}
How do I add Galileo logging to my OpenAI application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to integrate Galileo with OpenAI in TypeScript
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me set up Galileo observability for my GPT-4 chatbot
```
</CodeGroup>
**आप क्या पूछ सकते हैं:**
<CodeGroup>
```text Query wrap theme={null}
How do I integrate Galileo with my LangChain application?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Show me how to add Galileo tracing to my LangChain agent
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Help me log my LangChain RAG pipeline with Galileo
```
</CodeGroup>
**आप क्या पूछ सकते हैं:**
<CodeGroup>
```text Query wrap theme={null}
How do I set up data logging in Galileo?
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Find documentation about custom metrics
```
</CodeGroup>
<CodeGroup>
```text Query wrap theme={null}
Search for examples of agentic AI evaluation
```
</CodeGroup>
उदाहरण उपयोग मामले
एक सिंथेटिक डेटासेट बनाएँ
अपने AI सहायक से पूछें:
```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```MCP सर्वर आपको डेटासेट निर्माण प्रक्रिया के माध्यम से मार्गदर्शन करेगा और प्रगति को ट्रैक करने के लिए एक डेटासेट ID प्रदान करेगा।
एकीकरण सहायता प्राप्त करें
अपने AI सहायक से पूछें:
```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```MCP सर्वर पूर्ण एकीकरण कोड उदाहरण और सेटअप निर्देश प्रदान करेगा।
सिग्नल प्राप्त करें
अपने AI सहायक से पूछें:
```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```MCP सर्वर आपकी लॉग स्ट्रीम का विश्लेषण करेगा और सुधार सुझाएगा।