Agent Evals by Galileo

ทางการ

นำการประเมินเอเจนต์ การสังเกตการณ์ และการสร้างชุดทดสอบสังเคราะห์เข้ามาใน IDE ของคุณได้ฟรีด้วย MCP server ใหม่ของ Galileo

ดูบน galileo.ai

คุณทำอะไรได้บ้างด้วย Agent Evals By Galileo MCP?

  • สร้างชุดข้อมูลสังเคราะห์ — ขอให้ผู้ช่วยสร้างชุดข้อมูลที่มีประเภทคำถามที่กำหนดเอง เช่น ปัญหาการเรียกเก็บเงิน หรือการฉีดพรอมต์
  • ตรวจสอบสถานะการสร้างชุดข้อมูล — ติดตามความคืบหน้าและดูตัวอย่างแถวแรกของชุดข้อมูลในขณะที่กำลังสร้าง
  • สร้างเทมเพลตพรอมต์ที่ใช้ซ้ำได้ — ตั้งค่าเทมเพลตพรอมต์ที่มีชื่อพร้อมพารามิเตอร์โมเดลและการตั้งค่าอุณหภูมิในหลายโปรเจกต์
  • รับคำแนะนำการตั้งค่าการทดลอง — รับคำแนะนำทีละขั้นตอนสำหรับการรันการทดลอง Galileo ใน Python บนเวิร์กโฟลว์ RAG หรือเอเจนต์ของคุณ
  • วิเคราะห์สตรีมล็อกเพื่อหาสัญญาณ — ดึงสัญญาณล่าสุดจากสตรีมล็อกการผลิตและรับคำแนะนำการแก้ไขโค้ด
  • ค้นหาเอกสาร Galileo — ค้นหาข้อมูลอ้างอิง API ตัวอย่างโค้ด และคู่มือการนำไปใช้โดยตรงจากเอกสาร

เอกสาร

Galileo MCP Server

เรียนรู้วิธีผสานรวมเซิร์ฟเวอร์ Model Context Protocol (MCP) ของ Galileo เข้ากับ IDE ที่รองรับ AI เช่น Cursor และ VS Code

เซิร์ฟเวอร์ Galileo Model Context Protocol (MCP) ช่วยให้การผสานรวมระหว่าง IDE ที่ขับเคลื่อนด้วย AI เช่น Cursor หรือ VS Code กับ GitHub Copilot และแพลตฟอร์มการประเมินผลและการสังเกตการณ์ของ Galileo เป็นไปอย่างราบรื่น

ด้วย MCP คุณสามารถเข้าถึงความสามารถของ Galileo ได้โดยตรงจากสภาพแวดล้อมการพัฒนาของคุณ ซึ่งรวมถึง:

  • การสร้างและจัดการชุดข้อมูล
  • การรันการทดลอง
  • การตั้งค่าเทมเพลตพรอมต์
  • การรับสัญญาณบนสตรีม Log
  • การผสานรวม Galileo เข้ากับโค้ดของคุณ

ข้อกำหนดเบื้องต้น

ก่อนเริ่มต้น ตรวจสอบให้แน่ใจว่าคุณมีสิ่งต่อไปนี้:

ติดตั้ง IDE ที่รองรับ AI เช่น [Cursor](https://cursor.sh) หรือ [VS Code](https://code.visualstudio.com) ที่มีความสามารถด้าน AI สร้างคีย์ API Galileo ของคุณจาก [หน้า API keys](https://app.galileo.ai/settings/api-keys)

กำหนดค่า IDE ของคุณ

เซิร์ฟเวอร์ Galileo MCP ทำงานร่วมกับทั้ง Cursor และ VS Code ทำตามขั้นตอนด้านล่างสำหรับ IDE ของคุณ:

ติดตั้งส่วนขยาย [GitHub Copilot](https://marketplace.visualstudio.com/items?itemName=GitHub.copilot) หากคุณยังไม่ได้ติดตั้ง 
  <Step title="Open MCP settings">
    เปิด Command Palette (`Ctrl + Shift + P` บน Windows/Linux หรือ `Cmd + Shift + P` บน Mac) และค้นหา **"MCP: Open User Configuration"**
  </Step>

  <Step title="Add the Galileo MCP server configuration">
    คัดลอกและวางการกำหนดค่าด้านล่าง แทนที่ `YOUR-API-KEY` ด้วยคีย์ API Galileo จริงของคุณ

    ```json VSCode MCP Configuration highlight={3-9} theme={null}
    {
      "servers": {
        "galileo_mcp_server": {
          "url": "https://api.galileo.ai/mcp/http/mcp",
          "headers": {
            "Galileo-API-Key": "YOUR-API-KEY",
            "Accept": "text/event-stream"
          }
        }
      },
      "inputs": []
    }
    ```

    การตั้งค่านี้ถือว่าคุณกำลังใช้ [app.galileo.ai](https://app.galileo.ai)

    หากคุณใช้การปรับใช้ Galileo แบบโฮสต์เอง ให้แทนที่ URL `https://api.galileo.ai/mcp/http/mcp` ด้วย URL การปรับใช้ของคุณ รูปแบบของ URL นี้จะอิงตาม URL คอนโซลของคุณ โดยแทนที่ `console` ด้วย `api` และต่อท้าย `/mcp/http/mcp`

    ตัวอย่างเช่น:

    * หาก URL คอนโซลของคุณคือ `https://console.galileo.example.com` URL MCP จะเป็น `https://api.galileo.example.com/mcp/http/mcp`
    * หาก URL คอนโซลของคุณคือ `https://console-galileo.apps.mycompany.com` URL MCP จะเป็น `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
  </Step>

  <Step title="Reload VS Code">
    โหลด VS Code ใหม่โดยเปิด Command Palette และรัน **"Developer: Reload Window"** เพื่อให้การเปลี่ยนแปลงมีผล
  </Step>
</Steps>
เปิด Command Palette ของ Cursor (`Ctrl + Shift + P` บน Windows/Linux หรือ `Cmd + Shift + P` บน Mac) จากนั้นเลือก "Open MCP Settings" 
  <Step title="Open the MCP server configuration file">
    คลิกที่ **Add Custom MCP** เพื่อเปิดไฟล์การกำหนดค่า MCP `mcp.json` หรือ **New MCP Server** หากคุณมีเซิร์ฟเวอร์ MCP อื่นที่กำหนดค่าไว้แล้ว
  </Step>

  <Step title="Add the Galileo MCP server configuration">
    คัดลอกและวางการกำหนดค่าด้านล่าง แทนที่ `YOUR-API-KEY` ด้วยคีย์ API Galileo จริงของคุณ

    ```json Cursor MCP Configuration highlight={3-9} theme={null}
    {
      "mcpServers": {
        "galileo_mcp_server": {
          "url": "https://api.galileo.ai/mcp/http/mcp",
          "headers": {
            "Galileo-API-Key": "YOUR-API-KEY",
            "Accept": "text/event-stream"
          }
        }
      }
    }
    ```

    การตั้งค่านี้ถือว่าคุณกำลังใช้ [app.galileo.ai](https://app.galileo.ai)

    หากคุณใช้การปรับใช้ Galileo แบบโฮสต์เอง ให้แทนที่ URL `https://api.galileo.ai/mcp/http/mcp` ด้วย URL การปรับใช้ของคุณ รูปแบบของ URL นี้จะอิงตาม URL คอนโซลของคุณ โดยแทนที่ `console` ด้วย `api` และต่อท้าย `/mcp/http/mcp`

    ตัวอย่างเช่น:

    * หาก URL คอนโซลของคุณคือ `https://console.galileo.example.com` URL MCP จะเป็น `https://api.galileo.example.com/mcp/http/mcp`
    * หาก URL คอนโซลของคุณคือ `https://console-galileo.apps.mycompany.com` URL MCP จะเป็น `https://api-galileo.apps.mycompany.com/mcp/http/mcp`
  </Step>

  <Step title="Save and restart">
    บันทึกการกำหนดค่าและรีสตาร์ท Cursor เพื่อให้การเปลี่ยนแปลงมีผล
  </Step>
</Steps>
การกำหนดค่าเหมือนกันสำหรับทั้ง Cursor และ VS Code ตรวจสอบให้แน่ใจว่าได้แทนที่ `YOUR-API-KEY` ด้วยคีย์ API Galileo จริงของคุณจาก [หน้า API keys](https://app.galileo.ai/settings/api-keys)

ตรวจสอบการตั้งค่าของคุณ

เมื่อกำหนดค่าแล้ว คุณสามารถตรวจสอบการตั้งค่า MCP ของคุณได้โดยถามผู้ช่วย AI ของคุณ ใน IDE:

```text Example Query theme={null} Can you show me how to add Galileo logging to my agent bot? ``` 
Help me create a synthetic dataset for customer support queries

How do I integrate Galileo with LangChain?

ตอนนี้ผู้ช่วย AI ของคุณควรสามารถเข้าถึงความสามารถของ Galileo และ ตอบกลับด้วยข้อมูลจากบัญชี Galileo ของคุณ

เครื่องมือ

เซิร์ฟเวอร์ Galileo MCP มีเครื่องมือที่มีประสิทธิภาพที่คุณสามารถเข้าถึงได้ผ่าน การสนทนาตามธรรมชาติกับผู้ช่วย AI ของคุณ เพียงถามคำถามหรือส่งคำขอ และ AI จะใช้เครื่องมือเหล่านี้เพื่อช่วยคุณ

สร้างชุดข้อมูลสังเคราะห์หรืออัปโหลดข้อมูลของคุณเองเพื่อทดสอบและประเมินแอปพลิเคชัน AI ของคุณ เครื่องมือนี้รองรับการสร้างชุดข้อมูลด้วยประเภทข้อความค้นหาที่หลากหลาย รวมถึงข้อความค้นหาทั่วไป การแทรกพรอมต์ เนื้อหานอกหัวข้อ และสถานการณ์เนื้อหาที่เป็นพิษ 
**สิ่งที่คุณสามารถถามได้:**

<CodeGroup>
  ```text Query wrap theme={null}
  Create a dataset with 50 customer service queries about billing issues
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Generate a dataset of 30 chatbot queries, including some prompt injection attempts
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Make a dataset with product recommendation queries and include off-topic questions
  ```
</CodeGroup>
ติดตามความคืบหน้าของการสร้างชุดข้อมูลของคุณและดูตัวอย่างเนื้อหาที่สร้างขึ้น คุณจะเห็นข้อมูล 10 แถวแรกพร้อมกับสถานะการสร้างและการอัปเดตความคืบหน้า 
**สิ่งที่คุณสามารถถามได้:**

<CodeGroup>
  ```text Query wrap theme={null}
  Check the status of my dataset that's currently generating
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Show me the preview of dataset abc-123
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Is my customer service dataset ready yet?
  ```
</CodeGroup>
สร้างเทมเพลตพรอมต์ที่ใช้ซ้ำได้ซึ่งคุณสามารถใช้ในทุกโปรเจกต์ของคุณ ตั้งค่าการกำหนดค่าโมเดล การตั้งค่าอุณหภูมิ และพารามิเตอร์อื่นๆ เพื่อให้พฤติกรรมของพรอมต์สอดคล้องกัน 
**สิ่งที่คุณสามารถถามได้:**

<CodeGroup>
  ```text Query wrap theme={null}
  Create a prompt template called "Friendly Assistant" for customer support responses
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Make a prompt template for summarizing technical documentation with lower temperature
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Set up a chat template for a code review assistant
  ```
</CodeGroup>
รับคำแนะนำที่สมบูรณ์เกี่ยวกับการตั้งค่าและการรันการทดลองของ Galileo รวมถึงการเตรียมชุดข้อมูล การกำหนดค่าเมตริก และการผสานรวมกับโค้ดที่มีอยู่ของคุณ มีให้สำหรับ Python และภาษาที่รองรับอื่นๆ 
**สิ่งที่คุณสามารถถามได้:**

<CodeGroup>
  ```text Query wrap theme={null}
  How do I set up a Galileo experiment in Python?
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Show me how to run an experiment with my RAG application
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Guide me through creating an experiment for my agentic workflow
  ```
</CodeGroup>
วิเคราะห์สตรีม Log ของแอปพลิเคชันของคุณเพื่อระบุปัญหา รูปแบบ และโอกาสในการปรับปรุง รับคำแนะนำเฉพาะตามข้อมูลที่บันทึกไว้ของคุณ 
**สิ่งที่คุณสามารถถามได้:**

<CodeGroup>
  ```text Query wrap theme={null}
  What issues do you see in my production log stream?
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Fetch the most recent signals from Galileo and propose fixes for them in my code
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Get insights about my chatbot log stream and suggest improvements
  ```
</CodeGroup>
รับคำแนะนำการผสานรวมทีละขั้นตอนสำหรับการเพิ่มการสังเกตการณ์ของ Galileo ลงในแอปพลิเคชัน OpenAI ของคุณ บันทึกพรอมต์ การตอบกลับ พารามิเตอร์โมเดล และการใช้โทเค็นโดยอัตโนมัติด้วยการเปลี่ยนแปลงโค้ดเพียงเล็กน้อย 
**สิ่งที่คุณสามารถถามได้:**

<CodeGroup>
  ```text Query wrap theme={null}
  How do I add Galileo logging to my OpenAI application?
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Show me how to integrate Galileo with OpenAI in TypeScript
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Help me set up Galileo observability for my GPT-4 chatbot
  ```
</CodeGroup>
รับคำแนะนำการผสานรวมที่สมบูรณ์สำหรับการเพิ่ม Galileo ลงในแอปพลิเคชัน LangChain ของคุณ จับภาพการติดตามทั้งหมดของเชน เอเจนต์ และเครื่องมือของคุณด้วยการบันทึกอัตโนมัติ 
**สิ่งที่คุณสามารถถามได้:**

<CodeGroup>
  ```text Query wrap theme={null}
  How do I integrate Galileo with my LangChain application?
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Show me how to add Galileo tracing to my LangChain agent
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Help me log my LangChain RAG pipeline with Galileo
  ```
</CodeGroup>
ค้นหาข้อมูลที่เกี่ยวข้อง ตัวอย่างโค้ด การอ้างอิง API และคำแนะนำการใช้งานในเอกสารประกอบทั้งหมดของ Galileo รับลิงก์โดยตรงไปยังหน้าที่คุณต้องการ 
**สิ่งที่คุณสามารถถามได้:**

<CodeGroup>
  ```text Query wrap theme={null}
  How do I set up data logging in Galileo?
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Find documentation about custom metrics
  ```
</CodeGroup>

<CodeGroup>
  ```text Query wrap theme={null}
  Search for examples of agentic AI evaluation
  ```
</CodeGroup>

ตัวอย่างกรณีการใช้งาน

สร้างชุดข้อมูลสังเคราะห์

ถามผู้ช่วย AI ของคุณ:

```text Query wrap theme={null} Create a synthetic dataset with 20 customer service queries about product returns. Include both general queries and off-topic queries. ```

เซิร์ฟเวอร์ MCP จะแนะนำคุณตลอดกระบวนการสร้างชุดข้อมูลและ ให้ ID ชุดข้อมูลเพื่อติดตามความคืบหน้า

รับความช่วยเหลือในการผสานรวม

ถามผู้ช่วย AI ของคุณ:

```text Query wrap theme={null} How do I integrate Galileo with my LangChain application in Python? ```

เซิร์ฟเวอร์ MCP จะให้ตัวอย่างโค้ดการผสานรวมที่สมบูรณ์และคำแนะนำ ในการตั้งค่า

รับสัญญาณ

ถามผู้ช่วย AI ของคุณ:

```text Query wrap theme={null} Fetch the most recent signals from Galileo and propose fixes for them in my code ```

เซิร์ฟเวอร์ MCP จะวิเคราะห์สตรีม Log ของคุณและแนะนำการปรับปรุง

การแก้ไขปัญหา

* ตรวจสอบว่า URL เซิร์ฟเวอร์ MCP ถูกตั้งค่าเป็น `https://api.galileo.ai/mcp/http/mcp` * ตรวจสอบให้แน่ใจว่าส่วนหัว `Accept` ถูกตั้งค่าเป็น `text/event-stream` * รีสตาร์ทการเชื่อมต่อ MCP ของ IDE หลังจากทำการเปลี่ยนแปลงการกำหนดค่า * ยืนยันว่าคีย์ API ของคุณถูกตั้งค่าอย่างถูกต้องในการกำหนดค่า * ตรวจสอบว่าคีย์ API ของคุณยังไม่หมดอายุ * สร้างคีย์ API ใหม่จาก [หน้า API keys](https://app.galileo.ai/settings/api-keys)

ขั้นตอนถัดไป

เรียนรู้วิธีการบันทึกการติดตามครั้งแรกของคุณด้วย Galileo ตั้งค่าและรันการทดลองเพื่อประเมินแอปพลิเคชัน AI ของคุณ เรียนรู้เกี่ยวกับการผสานรวมของ Galileo กับเฟรมเวิร์กของบุคคลที่สาม