Agent Evals by Galileo
आधिकारिकअपने IDE में सीधे एजेंट मूल्यांकन, अवलोकन क्षमता और सिंथेटिक टेस्ट सेट जनरेशन को मुफ्त में लाएं, Galileo के नए MCP सर्वर के साथ।
Agent Evals By Galileo MCP के साथ आप क्या कर सकते हैं?
- सिंथेटिक डेटासेट बनाएँ — अपने असिस्टेंट से क्वेरी के डेटासेट जनरेट करने को कहें, जिनमें प्रॉम्प्ट इंजेक्शन, विषय से हटकर या विषाक्त सामग्री वाले परिदृश्य शामिल हों।
- डेटासेट की स्थिति जाँचें — डेटासेट जनरेशन की प्रगति ट्रैक करें और जनरेट किए गए डेटा की पहली 10 पंक्तियों का पूर्वावलोकन देखें।
- प्रॉम्प्ट टेम्पलेट बनाएँ — एकसमान व्यवहार के लिए मॉडल कॉन्फ़िगरेशन और तापमान सेटिंग्स वाले पुनः उपयोग योग्य प्रॉम्प्ट टेम्पलेट बनाएँ।
- प्रयोगों के लिए मार्गदर्शन पाएँ — डेटासेट की तैयारी और मेट्रिक्स कॉन्फ़िगरेशन सहित, Galileo प्रयोगों को सेट अप करने और चलाने का तरीका पूछें।
- लॉग स्ट्रीम के संकेतों का विश्लेषण करें — अपने Log streams से हाल के संकेत प्राप्त करें और मिली समस्याओं के लिए सुझाए गए समाधान पाएँ।
- इंटीग्रेशन में सहायता पाएँ — OpenAI या LangChain एप्लिकेशन में Galileo ऑब्ज़र्वेबिलिटी जोड़ने के लिए चरण-दर-चरण मार्गदर्शिकाएँ माँगें।
दस्तावेज़
Galileo MCP Server
Cursor और VS Code जैसे AI-सक्षम IDE के साथ Galileo के Model Context Protocol (MCP) सर्वर को एकीकृत करने का तरीका जानें
Galileo Model Context Protocol (MCP) सर्वर, Cursor जैसे AI-संचालित IDE या GitHub Copilot वाले VS Code और Galileo के मूल्यांकन एवं ऑब्ज़र्वेबिलिटी प्लेटफ़ॉर्म के बीच सहज एकीकरण सक्षम करता है।
MCP के साथ, आप अपने डेवलपमेंट परिवेश से सीधे Galileo की क्षमताओं का उपयोग कर सकते हैं, जिनमें शामिल हैं:
- डेटासेट बनाना और प्रबंधित करना
- प्रयोग चलाना
- प्रॉम्प्ट टेम्पलेट सेट अप करना
- Log स्ट्रीम पर सिग्नल प्राप्त करना
- Galileo को अपने कोड के साथ एकीकृत करना
आवश्यकताएँ
शुरू करने से पहले, सुनिश्चित करें कि आपके पास निम्नलिखित हैं:
1. AI-सक्षम IDE
Cursor या AI क्षमताओं वाले VS Code जैसे AI-सक्षम IDE को इंस्टॉल करें
2. API key
API keys पेज से अपनी Galileo API key जनरेट करें
अपना IDE कॉन्फ़िगर करें
Galileo MCP सर्वर Cursor और VS Code, दोनों के साथ काम करता है। अपने IDE के लिए नीचे दिए गए चरणों का पालन करें:
[tab] VS Code
1. GitHub Copilot इंस्टॉल करें
अगर आपने अभी तक GitHub Copilot एक्सटेंशन इंस्टॉल नहीं किया है, तो इसे इंस्टॉल करें
2. MCP सेटिंग खोलें
Command Palette (
Ctrl + Shift + PWindows/Linux पर, याCmd + Shift + PMac पर) खोलें और "MCP: Open User Configuration" खोजें3. Galileo MCP सर्वर कॉन्फ़िगरेशन जोड़ें
नीचे दिया गया कॉन्फ़िगरेशन कॉपी करके पेस्ट करें।
YOUR-API-KEYको अपनी वास्तविक Galileo API key से बदलें।{ "servers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } }, "inputs": [] }यह मानकर चलता है कि आप app.galileo.ai का उपयोग कर रहे हैं।
अगर आप Galileo की सेल्फ-होस्टेड डिप्लॉयमेंट का उपयोग कर रहे हैं, तो
https://api.galileo.ai/mcp/http/mcpurl को अपने डिप्लॉयमेंट URL से बदलें। इस URL का फ़ॉर्मैट आपके console URL पर आधारित होता है:consoleकोapiसे बदलें और अंत में/mcp/http/mcpजोड़ें।उदाहरण के लिए:
- अगर आपका console URL
https://console.galileo.example.comहै, तो MCP urlhttps://api.galileo.example.com/mcp/http/mcpहोगा- अगर आपका console URL
https://console-galileo.apps.mycompany.comहै, तो MCP urlhttps://api-galileo.apps.mycompany.com/mcp/http/mcpहोगा4. VS Code को रीलोड करें
बदलाव लागू करने के लिए Command Palette खोलें और "Developer: Reload Window" चलाकर VS Code को रीलोड करें
[tab] Cursor
1. Tools & MCP सेटिंग खोलें
Cursor command palette (
Ctrl + Shift + PWindows/Linux पर, याCmd + Shift + PMac पर) खोलें, फिर "Open MCP Settings" चुनें।2. MCP सर्वर कॉन्फ़िगरेशन फ़ाइल खोलें
mcp.jsonMCP कॉन्फ़िगरेशन फ़ाइल खोलने के लिए Add Custom MCP पर क्लिक करें, या अगर आपने पहले से अन्य MCP सर्वर कॉन्फ़िगर किए हैं, तो New MCP Server पर क्लिक करें।3. Galileo MCP सर्वर कॉन्फ़िगरेशन जोड़ें
नीचे दिया गया कॉन्फ़िगरेशन कॉपी करके पेस्ट करें।
YOUR-API-KEYको अपनी वास्तविक Galileo API key से बदलें।{ "mcpServers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } } }यह मानकर चलता है कि आप app.galileo.ai का उपयोग कर रहे हैं।
अगर आप Galileo की सेल्फ-होस्टेड डिप्लॉयमेंट का उपयोग कर रहे हैं, तो
https://api.galileo.ai/mcp/http/mcpurl को अपने डिप्लॉयमेंट URL से बदलें। इस URL का फ़ॉर्मैट आपके console URL पर आधारित होता है:consoleकोapiसे बदलें और अंत में/mcp/http/mcpजोड़ें।उदाहरण के लिए:
- अगर आपका console URL
https://console.galileo.example.comहै, तो MCP urlhttps://api.galileo.example.com/mcp/http/mcpहोगा- अगर आपका console URL
https://console-galileo.apps.mycompany.comहै, तो MCP urlhttps://api-galileo.apps.mycompany.com/mcp/http/mcpहोगा4. सेव करें और रीस्टार्ट करें
बदलाव लागू करने के लिए कॉन्फ़िगरेशन सेव करें और Cursor रीस्टार्ट करें
[!TIP]
Cursor और VS Code, दोनों के लिए कॉन्फ़िगरेशन एक जैसा है।
YOUR-API-KEYको API keys पेज से प्राप्त अपनी वास्तविक Galileo API key से बदलना न भूलें।
अपना सेटअप सत्यापित करें
कॉन्फ़िगरेशन पूरा होने के बाद, अपने IDE में AI असिस्टेंट से पूछकर MCP सेटअप सत्यापित कर सकते हैं:
Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
अब आपका AI असिस्टेंट Galileo की क्षमताओं का उपयोग कर सकेगा और आपके Galileo खाते की जानकारी के साथ जवाब दे सकेगा।
टूल
Galileo MCP सर्वर शक्तिशाली टूल उपलब्ध कराता है, जिनका उपयोग आप अपने AI असिस्टेंट के साथ स्वाभाविक बातचीत के ज़रिए कर सकते हैं। बस सवाल पूछें या अनुरोध करें, और AI आपकी मदद के लिए इन टूल का उपयोग करेगा।
[accordion] डेटासेट बनाएँ
सिंथेटिक डेटासेट जनरेट करें या अपने AI एप्लिकेशन को टेस्ट और मूल्यांकित करने के लिए अपना डेटा अपलोड करें। यह टूल विभिन्न प्रकार की क्वेरी वाले डेटासेट बनाने का समर्थन करता है, जिनमें सामान्य क्वेरी, प्रॉम्प्ट इंजेक्शन, विषय से हटकर सामग्री और विषाक्त सामग्री वाले परिदृश्य शामिल हैं।
आप क्या पूछ सकते हैं:
बिलिंग समस्याओं के बारे में 50 ग्राहक सेवा क्वेरी वाला डेटासेट बनाएँ30 चैटबॉट क्वेरी वाला डेटासेट जनरेट करें, जिसमें कुछ प्रॉम्प्ट इंजेक्शन प्रयास भी शामिल होंउत्पाद सुझावों से जुड़ी क्वेरी वाला डेटासेट बनाएँ और उसमें विषय से हटकर सवाल भी शामिल करें
[accordion] डेटासेट की स्थिति जाँचें
अपने डेटासेट जनरेशन की प्रगति ट्रैक करें और जनरेट की गई सामग्री का पूर्वावलोकन देखें। आपको जनरेशन की स्थिति और प्रगति अपडेट के साथ डेटा की पहली 10 पंक्तियाँ दिखाई देंगी।
आप क्या पूछ सकते हैं:
अभी जनरेट हो रहे मेरे डेटासेट की स्थिति जाँचेंमुझे abc-123 डेटासेट का पूर्वावलोकन दिखाएँक्या मेरा ग्राहक सेवा डेटासेट तैयार है?
[accordion] प्रॉम्प्ट टेम्पलेट बनाएँ
ऐसे पुनः उपयोग किए जा सकने वाले प्रॉम्प्ट टेम्पलेट बनाएँ, जिन्हें आप अपने सभी प्रोजेक्ट में इस्तेमाल कर सकें। एकसमान प्रॉम्प्ट व्यवहार के लिए मॉडल कॉन्फ़िगरेशन, तापमान सेटिंग और अन्य पैरामीटर सेट अप करें।
आप क्या पूछ सकते हैं:
ग्राहक सहायता के जवाबों के लिए "Friendly Assistant" नाम का प्रॉम्प्ट टेम्पलेट बनाएँकम तापमान सेटिंग के साथ तकनीकी दस्तावेज़ों का सारांश बनाने के लिए प्रॉम्प्ट टेम्पलेट बनाएँकोड समीक्षा असिस्टेंट के लिए चैट टेम्पलेट सेट अप करें
[accordion] प्रयोग सेट अप करें
Galileo प्रयोग सेट अप करने और चलाने के लिए पूरी मार्गदर्शिका पाएँ, जिसमें डेटासेट तैयार करना, मेट्रिक्स कॉन्फ़िगर करना और अपने मौजूदा कोड के साथ एकीकरण शामिल है। Python और अन्य समर्थित भाषाओं के लिए उपलब्ध।
आप क्या पूछ सकते हैं:
Python में Galileo प्रयोग कैसे सेट अप करूँ?मेरे RAG एप्लिकेशन के साथ प्रयोग चलाने का तरीका दिखाएँमेरे agentic workflow के लिए प्रयोग बनाने की प्रक्रिया में मार्गदर्शन करें
[accordion] सिग्नल प्राप्त करें
समस्याओं, पैटर्न और सुधार के अवसरों की पहचान करने के लिए अपने एप्लिकेशन की Log स्ट्रीम का विश्लेषण करें। लॉग किए गए डेटा के आधार पर विशिष्ट सुझाव पाएँ।
आप क्या पूछ सकते हैं:
मेरी प्रोडक्शन Log स्ट्रीम में आपको कौन-सी समस्याएँ दिखती हैं?Galileo से सबसे हाल के सिग्नल प्राप्त करें और मेरे कोड में उनके समाधान सुझाएँमेरी चैटबॉट Log स्ट्रीम की जानकारी पाएँ और सुधार सुझाएँ
[accordion] OpenAI के साथ एकीकृत करें
अपने OpenAI एप्लिकेशन में Galileo ऑब्ज़र्वेबिलिटी जोड़ने के लिए चरण-दर-चरण एकीकरण मार्गदर्शिकाएँ पाएँ। कोड में न्यूनतम बदलाव करके प्रॉम्प्ट, जवाब, मॉडल पैरामीटर और टोकन उपयोग को अपने-आप लॉग करें।
आप क्या पूछ सकते हैं:
अपने OpenAI एप्लिकेशन में Galileo लॉगिंग कैसे जोड़ूँ?TypeScript में Galileo को OpenAI के साथ एकीकृत करने का तरीका दिखाएँअपने GPT-4 चैटबॉट के लिए Galileo ऑब्ज़र्वेबिलिटी सेट अप करने में मेरी मदद करें
[accordion] LangChain के साथ एकीकृत करें
अपने LangChain एप्लिकेशन में Galileo जोड़ने के लिए पूरी एकीकरण प्रक्रिया जानें। ऑटोमैटिक लॉगिंग के साथ अपनी chains, agents और tools के पूरे traces कैप्चर करें।
आप क्या पूछ सकते हैं:
अपने LangChain एप्लिकेशन के साथ Galileo को कैसे एकीकृत करूँ?अपने LangChain agent में Galileo tracing जोड़ने का तरीका दिखाएँअपनी LangChain RAG pipeline को Galileo के साथ लॉग करने में मेरी मदद करें
[accordion] दस्तावेज़ खोजें
Galileo के सभी दस्तावेज़ों में प्रासंगिक जानकारी, कोड उदाहरण, API संदर्भ और कार्यान्वयन मार्गदर्शिकाएँ खोजें। ज़रूरी पेजों के सीधे लिंक पाएँ।
आप क्या पूछ सकते हैं:
Galileo में डेटा लॉगिंग कैसे सेट अप करूँ?कस्टम मेट्रिक्स के बारे में दस्तावेज़ खोजेंagentic AI मूल्यांकन के उदाहरण खोजें
उपयोग के उदाहरण
सिंथेटिक डेटासेट बनाएँ
अपने AI असिस्टेंट से पूछें:
Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.
MCP सर्वर डेटासेट बनाने की प्रक्रिया में आपका मार्गदर्शन करेगा और प्रगति ट्रैक करने के लिए एक डेटासेट ID देगा।
एकीकरण में सहायता पाएँ
अपने AI असिस्टेंट से पूछें:
How do I integrate Galileo with my LangChain application in Python?
MCP सर्वर एकीकरण के पूरे कोड उदाहरण और सेटअप निर्देश देगा।
सिग्नल प्राप्त करें
अपने AI असिस्टेंट से पूछें:
Fetch the most recent signals from Galileo and propose fixes for them in my code
MCP सर्वर आपकी Log स्ट्रीम का विश्लेषण करेगा और सुधार सुझाएगा।
समस्या निवारण
[accordion] Galileo MCP Server से कनेक्ट करने में त्रुटि
- जाँचें कि MCP सर्वर URL
https://api.galileo.ai/mcp/http/mcpपर सेट है- सुनिश्चित करें कि
Acceptहेडरtext/event-streamपर सेट है- कॉन्फ़िगरेशन में बदलाव करने के बाद अपने IDE का MCP कनेक्शन रीस्टार्ट करें
[accordion] API key से जुड़ी त्रुटियाँ
- पुष्टि करें कि आपकी API key कॉन्फ़िगरेशन में सही ढंग से सेट है
- जाँचें कि आपकी API key की समय-सीमा समाप्त नहीं हुई है
- API keys पेज से नई API key जनरेट करें
अगले चरण
[card] अपना पहला trace लॉग करें
Galileo के साथ अपना पहला trace लॉग करना सीखें
[card] अपना पहला प्रयोग चलाएँ
अपने AI एप्लिकेशन का मूल्यांकन करने के लिए प्रयोग सेट अप करें और चलाएँ
[card] एकीकरण देखें
तृतीय-पक्ष फ़्रेमवर्क के साथ Galileo के एकीकरणों के बारे में जानें