Agenty
ทางการการขูดข้อมูลเว็บ การรวบรวมข้อมูล และการตรวจจับการเปลี่ยนแปลงด้วย AI
คุณทำอะไรได้บ้างด้วย Agenty MCP?
- แปลงหน้าเว็บใด ๆ เป็น Markdown ที่สะอาด — ลบเมนูนำทาง โฆษณา และส่วนประกอบที่ไม่จำเป็นออกจาก URL โดยใช้
markdownเพื่อให้ได้เนื้อหาที่พร้อมสำหรับ LLM - จับภาพหน้าจอพร้อมจำลองอุปกรณ์ — ถ่ายภาพหน้าจอแบบเต็มหน้าหรือแบบเฉพาะส่วนในรูปแบบ PNG/JPEG ผ่าน
screenshotโดยจำลองอุปกรณ์เช่น iPhone 14 - ดึงข้อมูล HTML ที่เรนเดอร์ด้วย JavaScript — ใช้
scrapeเพื่อรับ DOM สุดท้ายหลังจากสคริปต์ทั้งหมดทำงาน เหมาะสำหรับ SPA - แยกข้อมูลที่มีโครงสร้างด้วยตัวเลือก — ดึงฟิลด์เฉพาะ เช่น ราคาหรือหัวข้อข่าว จากหน้าเว็บโดยใช้ CSS หรือ XPath กับ
extract - สร้าง PDF ด้วยรูปแบบที่กำหนดเอง — ส่งออกหน้าเว็บเป็น PDF ขนาด A4 หรือ Letter ผ่าน
pdfโดยควบคุมระยะขอบ ส่วนหัว และพื้นหลังการพิมพ์ - ติดตามห่วงโซ่การเปลี่ยนเส้นทาง HTTP — ตามการเปลี่ยนเส้นทางทุกครั้งของ URL ด้วย
redirectsเพื่อดีบักลิงก์หรือตรวจสอบปลายทางที่ถูกต้อง
เอกสาร
Agenty AI เปิดเผยเซิร์ฟเวอร์ Model Context Protocol (MCP) ที่ให้ผู้ช่วย AI อย่าง Claude, Cursor และไคลเอนต์ที่เข้ากันได้กับ MCP เข้าถึงเครื่องมืออัตโนมัติของเบราว์เซอร์ได้โดยตรง คุณสามารถจับภาพหน้าจอ สร้าง PDF ขูดข้อมูลเว็บเพจ ดึงข้อมูลที่มีโครงสร้าง แปลงหน้าเป็น Markdown และอื่นๆ โดยใช้โมเดล LLM
ในบทความนี้ ผมจะอธิบายวิธีการเชื่อมต่อกับเซิร์ฟเวอร์ MCP ของ Agenty และวิธีใช้เครื่องมือแต่ละตัวที่มีให้
ข้อกำหนดเบื้องต้น
ก่อนเชื่อมต่อ คุณจะต้องมี:
- บัญชี Agenty AI และ API key
- ไคลเอนต์ที่เข้ากันได้กับ MCP เช่น Claude Desktop, Cursor, Windsurf หรือเครื่องมือใดๆ ที่รองรับ Model Context Protocol
- Node.js 18 ขึ้นไป หากคุณใช้ CLI หรือไฟล์คอนฟิกในเครื่อง
วิธีการเชื่อมต่อ
เพิ่มคอนฟิกต่อไปนี้ลงในไคลเอนต์ MCP ของคุณ สำหรับ Claude Desktop ให้ใส่ใน claude_desktop_config.json สำหรับ Cursor ให้ใส่ในไฟล์ .cursor/mcp.json ของคุณ
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
แทนที่ YOUR_API_KEY ด้วยคีย์จาก Agenty AI > Settings > API Key เมื่อเพิ่มแล้ว ให้รีสตาร์ทไคลเอนต์ของคุณ แล้วเครื่องมือ Agenty จะปรากฏในรายการเครื่องมือ
Agenty API Key1069×482 32.4 KB
สำหรับไคลเอนต์ที่รองรับ OAuth หรือการเข้าสู่ระบบด้วยโทเค็น คุณสามารถยืนยันตัวตนผ่านขั้นตอนการลงชื่อเข้าใช้ Agenty AI ได้โดยตรง โดยไม่ต้องวางคีย์ด้วยตนเอง
เครื่องมือที่พร้อมใช้งาน
เซิร์ฟเวอร์ Agenty MCP มีเครื่องมือสิบเอ็ดตัวที่ครอบคลุมความต้องการอัตโนมัติของเบราว์เซอร์ที่พบบ่อยที่สุด แต่ละเครื่องมือรับ URL หรือ HTML ดิบเป็นอินพุต พร้อมด้วยพารามิเตอร์เสริมสำหรับควบคุมพฤติกรรมของเบราว์เซอร์
Available Tools in Agenty MCP1265×795 60.9 KB
Markdown MCP
เครื่องมือ markdown โหลดหน้าเว็บ ลบส่วนนำทาง ส่วนท้าย สคริปต์ โฆษณา และเนื้อหาสำเร็จรูปอื่นๆ และแปลงเนื้อหาที่อ่านได้ที่เหลือเป็น Markdown ที่สะอาด สามารถแก้ไขลิงก์สัมพัทธ์ให้เป็น URL แบบสัมบูรณ์ และลบรูปภาพข้อมูลได้
สิ่งนี้มีประโยชน์อย่างยิ่งสำหรับการป้อนเนื้อหาเว็บเข้าสู่ LLM การสร้างไปป์ไลน์ RAG หรือการบันทึกบทความในรูปแบบที่อ่านได้
ตัวอย่างพรอมต์:
“แปลง Web scraping - Wikipedia เป็น Markdown”
“รับเนื้อหา Markdown ของบล็อกโพสต์นี้: https://example.com/article”
Website scraping preview using Claude desktop1272×844 67.2 KB
Screenshot MCP
เครื่องมือ screenshot เปิดเบราว์เซอร์จริง โหลดหน้าเว็บ และจับภาพเป็นรูปภาพ PNG หรือ JPEG รองรับภาพหน้าจอแบบเต็มหน้า พื้นที่ที่ตัด มุมมองแบบกำหนดเอง การจำลองอุปกรณ์ และการจัดการรูปภาพ เช่น ปรับขนาดและหมุน
สิ่งนี้มีประโยชน์เมื่อคุณต้องการภาพสแนปช็อตของหน้าเว็บ ต้องการจัดทำเอกสาร UI หรือต้องการตรวจสอบว่าไซต์มีลักษณะอย่างไรที่ขนาดหน้าจอเฉพาะ
ตัวอย่างพรอมต์:
“จับภาพหน้าจอแบบเต็มหน้าของ https://example.com และส่งกลับเป็น PNG”
“จับภาพหน้าจอมือถือของ https://agenty.ai โดยใช้มุมมอง iPhone 14”
Web Scraping MCP
เครื่องมือ web scrape โหลด URL ในเบราว์เซอร์จริงที่มีการเรียกใช้ JavaScript เต็มรูปแบบ และส่งกลับ HTML ที่เรนเดอร์แล้ว ซึ่งแตกต่างจากคำขอ HTTP ทั่วไป มันรอให้เนื้อหาไดนามิกโหลด ทำให้เชื่อถือได้สำหรับแอปพลิเคชันหน้าเดียวและเพจที่ใช้ JavaScript จำนวนมาก
ใช้สิ่งนี้เมื่อคุณต้องการ HTML ดิบของหน้าเว็บตามที่ผู้ใช้จะเห็น หลังจากที่สคริปต์ทั้งหมดทำงานแล้ว
ตัวอย่างพรอมต์:
“ขูด HTML ของ https://news.ycombinator.com และส่งกลับเนื้อหาที่เรนเดอร์เต็มรูปแบบ”
“ขูดหน้านี้และรอ 3 วินาทีเพื่อให้เนื้อหาไดนามิกโหลด: https://example.com/dashboard”
Web Crawling MCP
เครื่องมือ links crawling เรนเดอร์หน้าเว็บและดึงทุกลิงก์ที่พบใน DOM ส่งกลับรายการแบบแบนของ href ของแองเคอร์ทั้งหมด ซึ่งคุณสามารถใช้เพื่อสร้างคิวการรวบรวมข้อมูล ตรวจสอบลิงก์ภายใน หรือค้นพบเนื้อหา
ตัวอย่างพรอมต์:
“ค้นหาลิงก์ทั้งหมดบน https://agenty.ai”
“ดึงทุกลิงก์จาก https://example.com/blog และให้รายการ URL บทความแก่ฉัน”
PDF MCP
เครื่องมือ PDF เรนเดอร์หน้าเว็บในเบราว์เซอร์จริงและส่งออกเป็น PDF คุณสามารถตั้งค่ารูปแบบหน้า (A4, Letter ฯลฯ) เปิดใช้งานโหมดแนวนอน ตั้งค่าระยะขอบ แสดงหรือซ่อนพื้นหลัง และระบุส่วนหัวและส่วนท้ายแบบกำหนดเองได้
ตัวอย่างพรอมต์:
“สร้าง PDF ของ https://agenty.ai ในรูปแบบ A4 โดยเปิดใช้งานพื้นหลังการพิมพ์”
“สร้าง PDF แนวนอนของ https://example.com/report”
Data Extraction MCP
เครื่องมือ extract เรนเดอร์หน้าเว็บและดึงข้อมูลที่มีโครงสร้างโดยใช้ CSS selectors หรือ XPath เหมาะสำหรับการดึงฟิลด์เฉพาะ เช่น ราคาสินค้า จำนวนรีวิว ตำแหน่งงาน หรือองค์ประกอบที่ซ้ำกันจากหน้าเว็บที่เรนเดอร์แล้ว
ตัวอย่างพรอมต์:
“ดึงชื่อสินค้าและราคาจาก https://example.com/products”
“รับหัวข้อข่าวทั้งหมดจาก https://news.ycombinator.com”
Sitemap MCP
เครื่องมือ sitemap crawler อ่าน sitemap.xml ของเว็บไซต์ ติดตามไฟล์ดัชนีแผนผังเว็บไซต์ และส่งกลับรายการ URL ทั้งหมดที่ค้นพบ รองรับรูปแบบการยกเว้นเพื่อกรองเส้นทางบางอย่างออก
ใช้สิ่งนี้เพื่อทำความเข้าใจโครงสร้างทั้งหมดของเว็บไซต์อย่างรวดเร็ว หรือเพื่อสร้างรายการรวบรวมข้อมูลสำหรับไซต์ขนาดใหญ่
ตัวอย่างพรอมต์:
“ค้นหา URL ทั้งหมดในแผนผังเว็บไซต์สำหรับ https://agenty.ai”
“รับแผนผังเว็บไซต์สำหรับ https://example.com และยกเว้น URL ใดๆ ที่มี /blog/”
Redirect Tracing MCP
เครื่องมือ redirects capture ติดตามการเปลี่ยนเส้นทาง HTTP ทั้งหมดสำหรับ URL ที่กำหนด และส่งกลับสายโซ่ทั้งหมด รวมถึง URL กลางแต่ละรายการ โค้ดสถานะ และปลายทางสุดท้าย
สิ่งนี้มีประโยชน์สำหรับการดีบักลิงก์เสีย ตรวจสอบ URL มาตรฐาน และตรวจสอบลิงก์พันธมิตรหรือลิงก์ที่ย่อ
ตัวอย่างพรอมต์:
“ติดตามการเปลี่ยนเส้นทางทั้งหมดสำหรับ https://bit.ly/some-link”
“แสดงสายโซ่การเปลี่ยนเส้นทางสำหรับ https://example.com/old-page”
Email Scraper MCP
เครื่องมือ emails scraper โหลด URL หนึ่งรายการขึ้นไป (สูงสุดครั้งละสิบรายการ) และดึงที่อยู่อีเมลทั้งหมดที่พบในหน้าเว็บที่เรนเดอร์แล้ว จัดการที่อยู่ที่ถูกทำให้ยุ่งเหยิงและส่วนติดต่อที่โหลดแบบไดนามิก
ตัวอย่างพรอมต์:
“ค้นหาที่อยู่อีเมลทั้งหมดบน https://example.com/contact”
“ขูดอีเมลจากสามหน้านี้: https://site1.com, https://site2.com, https://site3.com”
Content MCP
เครื่องมือ content ส่งกลับ HTML ที่เรนเดอร์สมบูรณ์ของหน้าเว็บหลังจากการเรียกใช้ JavaScript คล้ายกับ scrape แต่ปรับให้เหมาะสมสำหรับกรณีการใช้งานที่คุณต้องการสถานะ DOM สุดท้ายมากกว่าไปป์ไลน์การขูด
ตัวอย่างพรอมต์:
“รับเนื้อหา HTML ที่เรนเดอร์แล้วของ https://example.com/app”
Snapshot MCP
เครื่องมือ snapshot จับภาพต้นไม้การช่วยการเข้าถึงของหน้าเว็บ — รายการที่มีโครงสร้างขององค์ประกอบที่โต้ตอบได้และอ่านได้ทั้งหมด รวมถึงปุ่ม ลิงก์ ช่องป้อนข้อมูล และหัวข้อ สิ่งนี้ออกแบบมาสำหรับเอเจนต์ AI ที่ต้องการนำทางหรือทำความเข้าใจเกี่ยวกับหน้าเว็บโดยไม่ต้องประมวลผล HTML ดิบ
ตัวอย่างพรอมต์:
“จับภาพสแนปช็อตการช่วยการเข้าถึงของ https://example.com เพื่อให้ฉันเข้าใจโครงสร้างหน้า”
ตัวอย่างพรอมต์
นี่คือตัวอย่างหลายขั้นตอนที่รวมเครื่องมือเข้าด้วยกัน:
ตรวจสอบเนื้อหาของเว็บไซต์:
“รับแผนผังเว็บไซต์สำหรับ https://example.com, จากนั้นแปลง 5 หน้าบนสุดเป็น Markdown และสรุปแต่ละหน้า”
สร้างรายงานภาพ:
“จับภาพหน้าจอของ https://agenty.ai บนมุมมองมือถือและเดสก์ท็อป และแสดงทั้งสองภาพให้ฉันดู”
สร้างรายชื่อผู้ติดต่อ:
“ค้นหาลิงก์ทั้งหมดบน https://example.com/team, จากนั้นขูดที่อยู่อีเมลจากหน้าสมาชิกในทีมแต่ละคน”
ตรวจสอบความสมบูรณ์ของลิงก์:
“ดึงลิงก์ทั้งหมดจาก https://example.com/blog และติดตามสายโซ่การเปลี่ยนเส้นทางสำหรับลิงก์ใดๆ ที่ไม่ส่งกลับ 200”
เก็บถาวรหน้าเว็บ:
“แปลง https://example.com/article เป็น Markdown และสร้างเวอร์ชัน PDF ทั้งคู่มีลิงก์แบบสัมบูรณ์”
พารามิเตอร์ที่รองรับ
เครื่องมือที่ใช้การนำทางทั้งหมด (screenshot, pdf, scrape, content, markdown, links, extract, redirects) ใช้ชุดตัวเลือกการกำหนดค่าเบราว์เซอร์ร่วมกัน:
| พารามิเตอร์ | ประเภท | คำอธิบาย |
|---|---|---|
| url | string | URL ของหน้าเว็บที่จะโหลด จำเป็นหากไม่ได้ระบุ html |
| html | string | สตริง HTML ดิบที่จะเรนเดอร์แทนการโหลด URL |
| waitFor | string หรือ number | รอ CSS selector, จำนวนมิลลิวินาที, หรือเหตุการณ์เครือข่ายก่อนจับภาพ |
| viewport | object | ตั้งค่า width, height, deviceScaleFactor, isMobile, hasTouch และ isLandscape |
| device | string | จำลองอุปกรณ์ที่มีชื่อ เช่น iPhone 14 หรือ iPad Pro |
| userAgent | string | แทนที่สตริง user agent ของเบราว์เซอร์ |
| cookies | array | แทรกคุกกี้ก่อนที่หน้าเว็บจะโหลด |
| blockAds | boolean | บล็อกคำขอเครือข่ายโฆษณา เปิดใช้งานโดยค่าเริ่มต้นสำหรับเครื่องมือขูด |
| blockTrackers | boolean | บล็อกสคริปต์ติดตามและวิเคราะห์ |
| goToOptions | object | ควบคุมการหมดเวลาการนำทาง (ms) และกลยุทธ์ waitUntil (load, domcontentloaded, networkidle0, networkidle2) |
| setExtraHTTPHeaders | object | เพิ่มส่วนหัวคำขอแบบกำหนดเองเป็นคู่ key-value |
| rejectRequestPattern | array | บล็อกคำขอที่ตรงกับรูปแบบ URL เหล่านี้ |
| requestInterceptors | array | ดักจับคำขอที่ตรงกับรูปแบบและส่งกลับการตอบสนองแบบกำหนดเอง |
| authenticate | object | ตั้งค่าชื่อผู้ใช้และรหัสผ่าน HTTP สำหรับหน้าเว็บที่อยู่หลังการยืนยันตัวตนแบบพื้นฐาน |
| anonymous | object | กำหนดเส้นทางผ่านพร็อกซีและข้ามประเภททรัพยากรสำหรับการเรียกดูแบบไม่ระบุตัวตน |
พารามิเตอร์เฉพาะภาพหน้าจอ:
| พารามิเตอร์ | ประเภท | คำอธิบาย |
|---|---|---|
| options.fullPage | boolean | จับภาพหน้าเว็บแบบเลื่อนได้ทั้งหมด ค่าเริ่มต้นเป็น true |
| options.type | string | รูปแบบรูปภาพ: png หรือ jpeg ค่าเริ่มต้นเป็น png |
| options.quality | number | คุณภาพ JPEG จาก 0 ถึง 100 |
| options.clip | object | จับภาพพื้นที่เฉพาะด้วย x, y, width และ height |
| options.omitBackground | boolean | ทำให้พื้นหลังโปร่งใส (PNG เท่านั้น) |
| manipulate | object | ประมวลผลภาพภายหลังด้วย resize, rotate, flip และ flop |
| responseType | string | ส่งกลับรูปภาพเป็น buffer (ค่าเริ่มต้น) หรือ hosted url |
เมื่อใช้เครื่องมือ screenshot ผ่าน MCP ผลลัพธ์จะถูกส่งกลับเป็น hosted URL โดยค่าเริ่มต้น เมื่อเรียก API โดยตรง responseType จะมีค่าเริ่มต้นเป็น buffer ตั้งค่า responseType: 'url' เพื่อรับลิงก์ที่โฮสต์แทน
พารามิเตอร์เฉพาะ PDF:
| พารามิเตอร์ | ประเภท | คำอธิบาย |
|---|---|---|
| options.format | string | ขนาดหน้า: A4, Letter, Legal, Tabloid, Ledger, A0–A6 |
| options.landscape | boolean | เรนเดอร์ในแนวนอน |
| options.margin | object | ตั้งค่าระยะขอบบน ล่าง ซ้าย และขวา |
| options.printBackground | boolean | รวมพื้นหลัง CSS ในผลลัพธ์ |
| options.displayHeaderFooter | boolean | แสดงส่วนหัวและส่วนท้ายในแต่ละหน้า |
| options.headerTemplate | string | เทมเพลต HTML สำหรับส่วนหัวของหน้า |
| options.footerTemplate | string | เทมเพลต HTML สำหรับส่วนท้ายของหน้า |
| options.pageRanges | string | พิมพ์หน้าเฉพาะ เช่น 1-5 |
| options.scale | number | ปรับขนาดเนื้อหาหน้า |
| emulateMedia | string | เรนเดอร์เป็นประเภทสื่อ screen หรือ print |
| responseType | string | ส่งกลับ PDF เป็น buffer (ค่าเริ่มต้น) หรือ hosted url |
เมื่อใช้เครื่องมือ PDF ผ่าน MCP ผลลัพธ์จะถูกส่งกลับเป็น hosted URL โดยค่าเริ่มต้น เมื่อเรียก API โดยตรง responseType จะมีค่าเริ่มต้นเป็น buffer ตั้งค่า responseType: 'url' เพื่อรับลิงก์ที่โฮสต์แทน
ขีดจำกัดอัตราและการใช้งานที่เป็นธรรม
API key แต่ละรายการมีขีดจำกัดคำขอต่อเดือนตามแผนของคุณ หน้าเว็บที่ทำงานนานด้วย JavaScript จำนวนมากหรือ PDF ขนาดใหญ่ใช้ทรัพยากรมากขึ้น ใช้ blockAds และ blockTrackers เพื่อเร่งความเร็วคำขอและลดการใช้แบนด์วิดท์ในงานขูดข้อมูล
สกีมาคำขอและการตอบสนองของ Agenty AI ถูกทำให้เข้ากันได้กับ API อัตโนมัติของเบราว์เซอร์ที่ใช้กันอย่างแพร่หลายที่สุด รวมถึง Browserless, Firecrawl, Cloudflare Browser Rendering และบริการที่คล้ายคลึงกัน หากคุณใช้ผู้ให้บริการเหล่านี้อยู่แล้ว คุณสามารถเปลี่ยนไปใช้ Agenty AI ได้โดยอัปเดต URL ฐานและ API key โดยไม่ต้องเขียนคำขอที่มีอยู่ใหม่
| ผู้ให้บริการ | การย้ายข้อมูล |
|---|---|
| Browserless | เปลี่ยน URL ฐานและ API key พารามิเตอร์ทั้งหมดเข้ากันได้ |
| Firecrawl | เปลี่ยน URL ฐานและ API key ปลายทาง scrape, markdown และ crawl แมปโดยตรง |
| Cloudflare Browser Rendering | เปลี่ยน URL ฐานและส่วนหัวการยืนยันตัวตน พารามิเตอร์ screenshot และ content เข้ากันได้ |
| Puppeteer HTTP APIs | goToOptions และตัวเลือกหน้าเว็บส่วนใหญ่แมปแบบ 1:1 |