Agent Evals by Galileo
ทางการนำการประเมินเอเจนต์ การสังเกตการณ์ และการสร้างชุดทดสอบสังเคราะห์เข้ามาใน IDE ของคุณได้ฟรีด้วย MCP server ใหม่ของ Galileo
คุณทำอะไรได้บ้างด้วย Agent Evals By Galileo MCP?
- สร้างชุดข้อมูลสังเคราะห์ — ขอให้ผู้ช่วยสร้างชุดข้อมูลคำถาม ซึ่งรวมถึงสถานการณ์ที่มีการแทรกคำสั่งในพรอมป์ต์ เนื้อหานอกประเด็น หรือเนื้อหาที่เป็นพิษ
- ตรวจสอบสถานะชุดข้อมูล — ติดตามความคืบหน้าในการสร้างชุดข้อมูลและดูตัวอย่าง 10 แถวแรกของข้อมูลที่สร้างขึ้น
- สร้างเทมเพลตพรอมป์ต์ — สร้างเทมเพลตพรอมป์ต์ที่นำกลับมาใช้ซ้ำได้ พร้อมการกำหนดค่าโมเดลและการตั้งค่าอุณหภูมิ เพื่อให้ได้พฤติกรรมที่สม่ำเสมอ
- ขอคำแนะนำเกี่ยวกับการทดลอง — สอบถามวิธีตั้งค่าและเรียกใช้การทดลองของ Galileo รวมถึงการเตรียมชุดข้อมูลและการกำหนดค่าเมตริก
- วิเคราะห์สัญญาณจากสตรีมบันทึก — ดึงสัญญาณล่าสุดจากสตรีมบันทึกของคุณ และรับคำแนะนำในการแก้ไขปัญหาที่พบ
- ขอความช่วยเหลือด้านการผสานรวม — ขอคำแนะนำทีละขั้นตอนในการเพิ่มการสังเกตการณ์ของ Galileo ให้กับแอปพลิเคชัน OpenAI หรือ LangChain
เอกสาร
Galileo MCP Server
เรียนรู้วิธีผสานรวมเซิร์ฟเวอร์ Model Context Protocol (MCP) ของ Galileo กับ IDE ที่รองรับ AI เช่น Cursor และ VS Code
เซิร์ฟเวอร์ Model Context Protocol (MCP) ของ Galileo ช่วยให้ผสานรวม IDE ที่ขับเคลื่อนด้วย AI เช่น Cursor หรือ VS Code ที่ใช้ GitHub Copilot เข้ากับแพลตฟอร์มการประเมินและการสังเกตการณ์ของ Galileo ได้อย่างราบรื่น
เมื่อใช้ MCP คุณจะเข้าถึงความสามารถของ Galileo ได้โดยตรงจากสภาพแวดล้อมการพัฒนา ซึ่งรวมถึง:
- สร้างและจัดการชุดข้อมูล
- เรียกใช้การทดลอง
- ตั้งค่าเทมเพลตพรอมป์ต์
- รับสัญญาณจากสตรีม Log
- ผสานรวม Galileo เข้ากับโค้ดของคุณ
ข้อกำหนดเบื้องต้น
ก่อนเริ่มต้น ตรวจสอบให้แน่ใจว่าคุณมีสิ่งต่อไปนี้:
1. IDE ที่รองรับ AI
ติดตั้ง IDE ที่รองรับ AI เช่น Cursor หรือ VS Code ที่มีความสามารถด้าน AI
2. API key
สร้าง Galileo API key จากหน้า API keys
กำหนดค่า IDE
เซิร์ฟเวอร์ Galileo MCP ใช้งานได้กับทั้ง Cursor และ VS Code ทำตามขั้นตอนด้านล่างสำหรับ IDE ของคุณ:
[tab] VS Code
1. ติดตั้ง GitHub Copilot
ติดตั้งส่วนขยาย GitHub Copilot หากยังไม่ได้ติดตั้ง
2. เปิดการตั้งค่า MCP
เปิด Command Palette (
Ctrl + Shift + Pบน Windows/Linux หรือCmd + Shift + Pบน Mac) แล้วค้นหา "MCP: Open User Configuration"3. เพิ่มการกำหนดค่าเซิร์ฟเวอร์ Galileo MCP
คัดลอกและวางการกำหนดค่าด้านล่าง แทนที่
YOUR-API-KEYด้วย Galileo API key ของคุณ{ "servers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } }, "inputs": [] }ขั้นตอนนี้สมมติว่าคุณใช้ app.galileo.ai
หากคุณใช้ Galileo แบบโฮสต์เอง ให้แทนที่ url
https://api.galileo.ai/mcp/http/mcpด้วย URL ของการติดตั้งใช้งานของคุณ รูปแบบของ URL นี้อิงตาม URL ของคอนโซล โดยแทนที่consoleด้วยapiแล้วต่อท้าย/mcp/http/mcpตัวอย่าง:
- หาก URL ของคอนโซลคือ
https://console.galileo.example.comURL ของ MCP จะเป็นhttps://api.galileo.example.com/mcp/http/mcp- หาก URL ของคอนโซลคือ
https://console-galileo.apps.mycompany.comURL ของ MCP จะเป็นhttps://api-galileo.apps.mycompany.com/mcp/http/mcp4. โหลด VS Code ใหม่
โหลด VS Code ใหม่โดยเปิด Command Palette แล้วเรียกใช้ "Developer: Reload Window" เพื่อให้การเปลี่ยนแปลงมีผล
[tab] Cursor
1. เปิดการตั้งค่า Tools & MCP
เปิด command palette ของ Cursor (
Ctrl + Shift + Pบน Windows/Linux หรือCmd + Shift + Pบน Mac) แล้วเลือก "Open MCP Settings"2. เปิดไฟล์กำหนดค่าเซิร์ฟเวอร์ MCP
คลิก Add Custom MCP เพื่อเปิดไฟล์กำหนดค่า MCP
mcp.jsonหรือคลิก New MCP Server หากคุณกำหนดค่าเซิร์ฟเวอร์ MCP อื่นไว้แล้ว3. เพิ่มการกำหนดค่าเซิร์ฟเวอร์ Galileo MCP
คัดลอกและวางการกำหนดค่าด้านล่าง แทนที่
YOUR-API-KEYด้วย Galileo API key ของคุณ{ "mcpServers": { "galileo_mcp_server": { "url": "https://api.galileo.ai/mcp/http/mcp", "headers": { "Galileo-API-Key": "YOUR-API-KEY", "Accept": "text/event-stream" } } } }ขั้นตอนนี้สมมติว่าคุณใช้ app.galileo.ai
หากคุณใช้ Galileo แบบโฮสต์เอง ให้แทนที่ url
https://api.galileo.ai/mcp/http/mcpด้วย URL ของการติดตั้งใช้งานของคุณ รูปแบบของ URL นี้อิงตาม URL ของคอนโซล โดยแทนที่consoleด้วยapiแล้วต่อท้าย/mcp/http/mcpตัวอย่าง:
- หาก URL ของคอนโซลคือ
https://console.galileo.example.comURL ของ MCP จะเป็นhttps://api.galileo.example.com/mcp/http/mcp- หาก URL ของคอนโซลคือ
https://console-galileo.apps.mycompany.comURL ของ MCP จะเป็นhttps://api-galileo.apps.mycompany.com/mcp/http/mcp4. บันทึกและเริ่มระบบใหม่
บันทึกการกำหนดค่าและเริ่ม Cursor ใหม่เพื่อให้การเปลี่ยนแปลงมีผล
[!TIP]
การกำหนดค่าสำหรับ Cursor และ VS Code เหมือนกัน อย่าลืมแทนที่
YOUR-API-KEYด้วย Galileo API key ของคุณจากหน้า API keys
ตรวจสอบการตั้งค่า
เมื่อตั้งค่าเสร็จแล้ว คุณสามารถตรวจสอบการตั้งค่า MCP ได้โดยถามผู้ช่วย AI ใน IDE ของคุณว่า:
Can you show me how to add Galileo logging to my agent bot?
Help me create a synthetic dataset for customer support queries
How do I integrate Galileo with LangChain?
ตอนนี้ผู้ช่วย AI ของคุณควรเข้าถึงความสามารถของ Galileo ได้ และ ตอบกลับด้วยข้อมูลจากบัญชี Galileo ของคุณ
เครื่องมือ
เซิร์ฟเวอร์ Galileo MCP มีเครื่องมือที่มีประสิทธิภาพ ซึ่งคุณเข้าถึงได้ผ่าน การสนทนาตามธรรมชาติกับผู้ช่วย AI เพียงถามคำถามหรือส่งคำขอ แล้ว AI จะใช้เครื่องมือเหล่านี้เพื่อช่วยคุณ
[accordion] สร้างชุดข้อมูล
สร้างชุดข้อมูลสังเคราะห์หรืออัปโหลดข้อมูลของคุณเองเพื่อทดสอบและประเมินแอปพลิเคชัน AI เครื่องมือนี้รองรับการสร้างชุดข้อมูลที่มีคำถามหลายประเภท เช่น คำถามทั่วไป การโจมตีแบบ prompt injection เนื้อหานอกประเด็น และสถานการณ์ที่มีเนื้อหาเป็นพิษ
ตัวอย่างคำถามที่คุณถามได้:
สร้างชุดข้อมูลที่มีคำถามเกี่ยวกับปัญหาการเรียกเก็บเงินจากลูกค้า 50 ข้อสร้างชุดข้อมูลคำถามสำหรับแชตบอต 30 ข้อ โดยมีความพยายามทำ prompt injection รวมอยู่ด้วยสร้างชุดข้อมูลคำถามเกี่ยวกับการแนะนำผลิตภัณฑ์ และเพิ่มคำถามนอกประเด็นด้วย
[accordion] ตรวจสอบสถานะชุดข้อมูล
ติดตามความคืบหน้าในการสร้างชุดข้อมูลและดูตัวอย่างเนื้อหาที่สร้างขึ้น คุณจะเห็นข้อมูล 10 แถวแรก พร้อมสถานะการสร้างและการอัปเดตความคืบหน้า
ตัวอย่างคำถามที่คุณถามได้:
ตรวจสอบสถานะชุดข้อมูลที่กำลังสร้างอยู่แสดงตัวอย่างชุดข้อมูล abc-123 ให้ฉันดูชุดข้อมูลบริการลูกค้าของฉันพร้อมหรือยัง?
[accordion] สร้างเทมเพลตพรอมป์ต์
สร้างเทมเพลตพรอมป์ต์ที่นำกลับมาใช้ซ้ำได้ในทุกโปรเจกต์ ตั้งค่าการกำหนดค่าโมเดล อุณหภูมิ และพารามิเตอร์อื่นๆ เพื่อให้พฤติกรรมของพรอมป์ต์สม่ำเสมอ
ตัวอย่างคำถามที่คุณถามได้:
สร้างเทมเพลตพรอมป์ต์ชื่อ "Friendly Assistant" สำหรับการตอบกลับคำขอรับความช่วยเหลือจากลูกค้าสร้างเทมเพลตพรอมป์ต์สำหรับสรุปเอกสารทางเทคนิคโดยใช้อุณหภูมิที่ต่ำลงตั้งค่าเทมเพลตแชตสำหรับผู้ช่วยตรวจสอบโค้ด
[accordion] ตั้งค่าการทดลอง
รับคำแนะนำครบถ้วนเกี่ยวกับการตั้งค่าและเรียกใช้การทดลองของ Galileo รวมถึงการเตรียมชุดข้อมูล การกำหนดค่าเมตริก และการผสานรวมกับโค้ดที่มีอยู่ รองรับ Python และภาษาอื่นๆ ที่รองรับ
ตัวอย่างคำถามที่คุณถามได้:
ฉันจะตั้งค่าการทดลองของ Galileo ใน Python ได้อย่างไร?แสดงวิธีเรียกใช้การทดลองกับแอปพลิเคชัน RAG ของฉันแนะนำขั้นตอนการสร้างการทดลองสำหรับเวิร์กโฟลว์แบบ agentic
[accordion] รับสัญญาณ
วิเคราะห์สตรีม Log ของแอปพลิเคชันเพื่อระบุปัญหา รูปแบบ และโอกาสในการปรับปรุง รับคำแนะนำเฉพาะเจาะจงจากข้อมูลที่บันทึกไว้
ตัวอย่างคำถามที่คุณถามได้:
คุณพบปัญหาอะไรบ้างในสตรีม Log สำหรับระบบจริงของฉัน?ดึงสัญญาณล่าสุดจาก Galileo และเสนอวิธีแก้ไขในโค้ดของฉันรับข้อมูลเชิงลึกเกี่ยวกับสตรีม Log ของแชตบอตและแนะนำการปรับปรุง
[accordion] ผสานรวมกับ OpenAI
รับคำแนะนำการผสานรวมทีละขั้นตอนเพื่อเพิ่มการสังเกตการณ์ของ Galileo ให้กับแอปพลิเคชัน OpenAI ของคุณ บันทึกพรอมป์ต์ คำตอบ พารามิเตอร์โมเดล และการใช้โทเค็นโดยอัตโนมัติ โดยเปลี่ยนโค้ดเพียงเล็กน้อย
ตัวอย่างคำถามที่คุณถามได้:
ฉันจะเพิ่มการบันทึกของ Galileo ให้กับแอปพลิเคชัน OpenAI ได้อย่างไร?แสดงวิธีผสานรวม Galileo กับ OpenAI ใน TypeScriptช่วยฉันตั้งค่าการสังเกตการณ์ของ Galileo สำหรับแชตบอต GPT-4
[accordion] ผสานรวมกับ LangChain
รับคำแนะนำการผสานรวมอย่างครบถ้วนเพื่อเพิ่ม Galileo ให้กับแอปพลิเคชัน LangChain ของคุณ บันทึก trace ทั้งหมดของ chain, agent และเครื่องมือโดยอัตโนมัติ
ตัวอย่างคำถามที่คุณถามได้:
ฉันจะผสานรวม Galileo กับแอปพลิเคชัน LangChain ได้อย่างไร?แสดงวิธีเพิ่มการติดตามของ Galileo ให้กับ agent ของ LangChainช่วยฉันบันทึกไปป์ไลน์ RAG ของ LangChain ด้วย Galileo
[accordion] ค้นหาเอกสาร
ค้นหาข้อมูล ตัวอย่างโค้ด ข้อมูลอ้างอิง API และคู่มือการติดตั้งใช้งานที่เกี่ยวข้องจากเอกสารทั้งหมดของ Galileo รับลิงก์โดยตรงไปยังหน้าที่คุณต้องการ
ตัวอย่างคำถามที่คุณถามได้:
ฉันจะตั้งค่าการบันทึกข้อมูลใน Galileo ได้อย่างไร?ค้นหาเอกสารเกี่ยวกับเมตริกแบบกำหนดเองค้นหาตัวอย่างการประเมิน AI แบบ agentic
ตัวอย่างกรณีใช้งาน
สร้างชุดข้อมูลสังเคราะห์
ถามผู้ช่วย AI ของคุณว่า:
Create a synthetic dataset with 20 customer service queries about product
returns. Include both general queries and off-topic queries.
เซิร์ฟเวอร์ MCP จะแนะนำขั้นตอนการสร้างชุดข้อมูลให้คุณ และ ระบุ dataset ID สำหรับติดตามความคืบหน้า
ขอความช่วยเหลือในการผสานรวม
ถามผู้ช่วย AI ของคุณว่า:
How do I integrate Galileo with my LangChain application in Python?
เซิร์ฟเวอร์ MCP จะให้ตัวอย่างโค้ดการผสานรวมและ คำแนะนำการตั้งค่าอย่างครบถ้วน
รับสัญญาณ
ถามผู้ช่วย AI ของคุณว่า:
Fetch the most recent signals from Galileo and propose fixes for them in my code
เซิร์ฟเวอร์ MCP จะวิเคราะห์สตรีม Log ของคุณและแนะนำการปรับปรุง
การแก้ไขปัญหา
[accordion] เกิดข้อผิดพลาดในการเชื่อมต่อกับ Galileo MCP Server
- ตรวจสอบว่า URL ของเซิร์ฟเวอร์ MCP ตั้งค่าเป็น
https://api.galileo.ai/mcp/http/mcp- ตรวจสอบว่ากำหนดส่วนหัว
Acceptเป็นtext/event-stream- เริ่มการเชื่อมต่อ MCP ของ IDE ใหม่หลังจากเปลี่ยนการกำหนดค่า
[accordion] ข้อผิดพลาดเกี่ยวกับ API key
- ตรวจสอบว่าตั้งค่า API key ในการกำหนดค่าอย่างถูกต้อง
- ตรวจสอบว่า API key ยังไม่หมดอายุ
- สร้าง API key ใหม่จากหน้า API keys
ขั้นตอนถัดไป
[card] บันทึก trace แรกของคุณ
เรียนรู้วิธีบันทึก trace แรกของคุณด้วย Galileo
[card] เรียกใช้การทดลองครั้งแรกของคุณ
ตั้งค่าและเรียกใช้การทดลองเพื่อประเมินแอปพลิเคชัน AI ของคุณ
[card] สำรวจการผสานรวม
เรียนรู้เกี่ยวกับการผสานรวม Galileo กับเฟรมเวิร์กของบุคคลที่สาม