Agenty
ทางการการขูดข้อมูลเว็บ การรวบรวมข้อมูล และการตรวจจับการเปลี่ยนแปลงด้วย AI
คุณทำอะไรได้บ้างด้วย Agenty MCP?
- แปลงหน้าเว็บเป็น Markdown — ขอให้แปลง URL หรือ HTML ดิบให้เป็น Markdown ที่สะอาดและอ่านง่ายด้วยเครื่องมือ
markdownเพื่อเนื้อหาที่เหมาะกับ LLM - จับภาพหน้าจอ — ใช้
screenshotเพื่อจับภาพทั้งหน้าหรือภาพบางส่วนในรูปแบบ PNG/JPEG พร้อมกำหนด viewport และจำลองอุปกรณ์ได้ - ดึง HTML ที่เรนเดอร์แล้ว — ใช้
scrapeเพื่อรับ HTML ที่เรนเดอร์เต็มรูปแบบของหน้าที่ใช้ JavaScript จำนวนมากหลังจากโหลดเนื้อหาแบบไดนามิก - แยกข้อมูลที่มีโครงสร้าง — ใช้
extractเพื่อดึงฟิลด์เฉพาะ เช่น ราคา หัวข้อข่าว หรือรีวิว ผ่าน CSS selectors หรือ XPath - สร้างไฟล์ PDF — ใช้
pdfเพื่อส่งออกหน้าเว็บเป็น PDF พร้อมตัวเลือกเรื่องรูปแบบ ขอบกระดาษ แนวตั้ง/แนวนอน และส่วนหัว/ท้ายกระดาษ - ค้นหาโครงสร้างเว็บไซต์ — ใช้
sitemapเพื่ออ่านไฟล์ sitemap.xml ของเว็บไซต์และส่งคืน URL ทั้งหมดที่พบ พร้อมรูปแบบการยกเว้น
เอกสาร
Agenty AI เปิดเผยเซิร์ฟเวอร์ Model Context Protocol (MCP) ที่ให้ผู้ช่วย AI เช่น Claude, Cursor และไคลเอนต์ที่รองรับ MCP ใดๆ เข้าถึงเครื่องมืออัตโนมัติเบราว์เซอร์ได้โดยตรง คุณสามารถจับภาพหน้าจอ สร้าง PDF ขูดข้อมูลเว็บเพจ ดึงข้อมูลที่มีโครงสร้าง แปลงหน้าเป็น Markdown และอื่นๆ อีกมากมายโดยใช้โมเดล LLM
ในบทความนี้ ฉันจะอธิบายวิธีเชื่อมต่อกับเซิร์ฟเวอร์ MCP ของ Agenty และวิธีใช้เครื่องมือแต่ละอย่างที่มีให้
ข้อกำหนดเบื้องต้น
ก่อนเชื่อมต่อ คุณจะต้องมี:
- บัญชี Agenty AI และคีย์ API
- ไคลเอนต์ที่รองรับ MCP เช่น Claude Desktop, Cursor, Windsurf หรือเครื่องมือใดๆ ที่รองรับ Model Context Protocol
- Node.js 18 ขึ้นไปหากคุณใช้ CLI หรือไฟล์การกำหนดค่าในเครื่อง
วิธีเชื่อมต่อ
เพิ่มการกำหนดค่าต่อไปนี้ลงในไคลเอนต์ MCP ของคุณ สำหรับ Claude Desktop ให้ใส่ใน claude_desktop_config.json สำหรับ Cursor ให้ใส่ในไฟล์ .cursor/mcp.json ของคุณ
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
แทนที่ YOUR_API_KEY ด้วยคีย์จาก Agenty AI > การตั้งค่า > คีย์ API เมื่อเพิ่มแล้ว ให้รีสตาร์ทไคลเอนต์ของคุณและเครื่องมือ Agenty จะปรากฏในรายการเครื่องมือ สำหรับไคลเอนต์ที่รองรับ OAuth หรือการเข้าสู่ระบบด้วยโทเค็น คุณสามารถตรวจสอบสิทธิ์ผ่านขั้นตอนการลงชื่อเข้าใช้ Agenty AI ได้โดยตรงโดยไม่ต้องวางคีย์ด้วยตนเอง
เครื่องมือที่มีให้
เซิร์ฟเวอร์ MCP ของ Agenty มีเครื่องมือสิบเอ็ดรายการครอบคลุมความต้องการอัตโนมัติเบราว์เซอร์ที่พบบ่อยที่สุด แต่ละเครื่องมือยอมรับ URL หรือ HTML ดิบเป็นอินพุตพร้อมพารามิเตอร์เสริมสำหรับควบคุมพฤติกรรมของเบราว์เซอร์
Markdown MCP
เครื่องมือ markdown โหลดหน้าเว็บ ตัดส่วนนำทาง ส่วนท้าย สคริปต์ โฆษณา และเนื้อหาที่ไม่จำเป็นอื่นๆ แล้วแปลงเนื้อหาที่อ่านได้ที่เหลือเป็น Markdown ที่สะอาด สามารถแปลงลิงก์สัมพัทธ์เป็น URL สัมบูรณ์และลบรูปภาพข้อมูลได้
สิ่งนี้มีประโยชน์อย่างยิ่งสำหรับการป้อนเนื้อหาเว็บให้กับ LLM การสร้างไปป์ไลน์ RAG หรือการบันทึกเวอร์ชันที่อ่านได้ของบทความ
ตัวอย่างพรอมต์:
"แปลง Web scraping - Wikipedia เป็น Markdown"
"รับเนื้อหา Markdown ของโพสต์บล็อกนี้: https://example.com/article"
Screenshot MCP
เครื่องมือ screenshot เปิดเบราว์เซอร์จริง โหลดหน้าเว็บ และจับภาพเป็น PNG หรือ JPEG รองรับการจับภาพทั้งหน้า การครอบตัดบางพื้นที่ ขนาดวิวพอร์ตที่กำหนดเอง การจำลองอุปกรณ์ และการปรับแต่งภาพ เช่น การปรับขนาดและการหมุน
มีประโยชน์เมื่อคุณต้องการภาพรวมของหน้าเว็บ ต้องการบันทึก UI หรือต้องการตรวจสอบว่าเว็บไซต์มีลักษณะอย่างไรที่ขนาดหน้าจอเฉพาะ
ตัวอย่างพรอมต์:
"จับภาพหน้าจอทั้งหน้าของ https://example.com และส่งคืนเป็น PNG"
"จับภาพหน้าจอแบบมือถือของ https://agenty.ai โดยใช้วิวพอร์ต iPhone 14"
Web Scraping MCP
เครื่องมือ web scrape โหลด URL ในเบราว์เซอร์จริงพร้อมการทำงานของ JavaScript อย่างเต็มรูปแบบและส่งคืน HTML ที่เรนเดอร์แล้ว ต่างจากคำขอ HTTP ทั่วไป มันรอให้เนื้อหาแบบไดนามิกโหลดเสร็จ ทำให้เชื่อถือได้สำหรับแอปพลิเคชันหน้าเดียวและหน้าเว็บที่ใช้ JavaScript จำนวนมาก
ใช้เมื่อคุณต้องการ HTML ดิบของหน้าเว็บตามที่ผู้ใช้เห็นหลังจากสคริปต์ทั้งหมดทำงานเสร็จ
ตัวอย่างพรอมต์:
"ขูด HTML ของ https://news.ycombinator.com และส่งคืนเนื้อหาที่เรนเดอร์เต็มรูปแบบ"
"ขูดหน้านี้และรอ 3 วินาทีเพื่อให้เนื้อหาแบบไดนามิกโหลด: https://example.com/dashboard"
Web Crawling MCP
เครื่องมือ links crawling เรนเดอร์หน้าเว็บและแยกไฮเปอร์ลิงก์ทั้งหมดที่พบใน DOM ส่งคืนรายการแบนของ href ทั้งหมดจาก anchor ซึ่งคุณสามารถใช้สร้างคิวการรวบรวมข้อมูล ตรวจสอบลิงก์ภายใน หรือค้นพบเนื้อหา
ตัวอย่างพรอมต์:
"ค้นหาลิงก์ทั้งหมดบน https://agenty.ai"
"แยกลิงก์ทั้งหมดจาก https://example.com/blog และให้รายการ URL ของบทความแก่ฉัน"
PDF MCP
เครื่องมือ PDF เรนเดอร์หน้าเว็บ ในเบราว์เซอร์จริงและส่งออกเป็น PDF คุณสามารถตั้งค่ารูปแบบหน้า (A4, Letter ฯลฯ) เปิดใช้งานโหมดแนวนอน ตั้งค่าระยะขอบ แสดงหรือซ่อนพื้นหลัง และกำหนดส่วนหัวและส่วนท้ายที่กำหนดเองได้
ตัวอย่างพรอมต์:
"สร้าง PDF ของ https://agenty.ai ในรูปแบบ A4 โดยเปิดใช้งานพื้นหลังการพิมพ์"
"สร้าง PDF แนวนอนของ https://example.com/report"
Data Extraction MCP
เครื่องมือ extract เรนเดอร์หน้าเว็บ และแยกข้อมูลที่มีโครงสร้างโดยใช้ตัวเลือก CSS หรือ XPath เหมาะสำหรับการดึงฟิลด์เฉพาะ เช่น ราคาสินค้า จำนวนรีวิว ตำแหน่งงาน หรือองค์ประกอบที่ซ้ำกันใดๆ จากหน้าที่เรนเดอร์แล้ว
ตัวอย่างพรอมต์:
"แยกชื่อผลิตภัณฑ์และราคาจาก https://example.com/products"
"รับพาดหัวทั้งหมดจาก https://news.ycombinator.com"
Sitemap MCP
เครื่องมือ sitemap crawler อ่าน sitemap.xml ของเว็บไซต์ ตามไฟล์ดัชนี sitemap และส่งคืนรายการ URL ทั้งหมดที่ค้นพบ รองรับรูปแบบการยกเว้นเพื่อกรองเส้นทางบางเส้นทาง
ใช้เพื่อทำความเข้าใจโครงสร้างทั้งหมดของเว็บไซต์อย่างรวดเร็วหรือสร้างรายการรวบรวมข้อมูลสำหรับเว็บไซต์ขนาดใหญ่
ตัวอย่างพรอมต์:
"ค้นหา URL ทั้งหมดใน sitemap สำหรับ https://agenty.ai"
"รับ sitemap สำหรับ https://example.com และยกเว้น URL ใดๆ ที่มี /blog/"
Redirect Tracing MCP
เครื่องมือ redirects capture ตามการเปลี่ยนเส้นทาง HTTP ทั้งหมดสำหรับ URL ที่กำหนดและส่งคืนห่วงโซ่ทั้งหมดรวมถึง URL ระหว่างกลางแต่ละรายการ รหัสสถานะ และปลายทางสุดท้าย
มีประโยชน์สำหรับการดีบักลิงก์เสีย การตรวจสอบ URL มาตรฐาน และการตรวจสอบลิงก์พันธมิตรหรือลิงก์ย่อ
ตัวอย่างพรอมต์:
"ติดตามการเปลี่ยนเส้นทางทั้งหมดสำหรับ https://bit.ly/some-link"
"แสดงห่วงโซ่การเปลี่ยนเส้นทางสำหรับ https://example.com/old-page"
Email Scraper MCP
เครื่องมือ emails scraper โหลด URL หนึ่งรายการขึ้นไป (สูงสุดสิบรายการในครั้งเดียว) และแยกที่อยู่อีเมลทั้งหมดที่พบในหน้าที่เรนเดอร์แล้ว จัดการกับที่อยู่ที่ถูกบดบังและส่วนติดต่อที่โหลดแบบไดนามิก
ตัวอย่างพรอมต์:
"ค้นหาที่อยู่อีเมลทั้งหมดบน https://example.com/contact"
"ขูดอีเมลจากสามหน้านี้: https://site1.com, https://site2.com, https://site3.com"
Content MCP
เครื่องมือ content ส่งคืน HTML ที่เรนเดอร์สมบูรณ์ ของหน้าเว็บหลังจากการทำงานของ JavaScript คล้ายกับ scrape แต่ปรับให้เหมาะสมสำหรับกรณีที่คุณต้องการสถานะ DOM สุดท้ายมากกว่าไปป์ไลน์การขูด
ตัวอย่างพรอมต์:
"รับเนื้อหา HTML ที่เรนเดอร์แล้วของ https://example.com/app"
Snapshot MCP
เครื่องมือ snapshot จับภาพแผนผังการเข้าถึงของหน้าเว็บ — รายการที่มีโครงสร้างขององค์ประกอบที่โต้ตอบได้และอ่านได้ทั้งหมด รวมถึงปุ่ม ลิงก์ ช่องอินพุต และหัวข้อ ออกแบบมาสำหรับเอเจนต์ AI ที่ต้องนำทางหรือวิเคราะห์หน้าเว็บโดยไม่ต้องประมวลผล HTML ดิบ
ตัวอย่างพรอมต์:
"จับภาพแผนผังการเข้าถึงของ https://example.com เพื่อให้ฉันเข้าใจโครงสร้างหน้า"
ตัวอย่างพรอมต์
นี่คือตัวอย่างหลายขั้นตอนที่รวมเครื่องมือต่างๆ:
ตรวจสอบเนื้อหาของเว็บไซต์:
"รับ sitemap สำหรับ https://example.com จากนั้นแปลง 5 หน้าอันดับแรกเป็น Markdown และสรุปแต่ละหน้า"
สร้างรายงานภาพ:
"จับภาพหน้าจอของ https://agenty.ai บนวิวพอร์ตมือถือและเดสก์ท็อปแล้วแสดงทั้งสองให้ฉันดู"
สร้างรายชื่อติดต่อ:
"ค้นหาลิงก์ทั้งหมดบน https://example.com/team จากนั้นขูดที่อยู่อีเมลจากหน้า团队成员แต่ละหน้า"
ตรวจสอบสุขภาพลิงก์:
"แยกลิงก์ทั้งหมดจาก https://example.com/blog และติดตามห่วงโซ่การเปลี่ยนเส้นทางสำหรับลิงก์ใดๆ ที่ไม่ส่งคืน 200"
เก็บถาวรหน้าเว็บ:
"แปลง https://example.com/article เป็น Markdown และสร้างเวอร์ชัน PDF ทั้งสองแบบมีลิงก์สัมบูรณ์"
พารามิเตอร์ที่รองรับ
เครื่องมือที่ใช้การนำทางทั้งหมด (screenshot, pdf, scrape, content, markdown, links, extract, redirects) ใช้ชุดตัวเลือกการกำหนดค่าเบราว์เซอร์ร่วมกัน:
| พารามิเตอร์ | ประเภท | คำอธิบาย |
|---|---|---|
url | string | URL ของหน้าเว็บที่จะโหลด จำเป็นหากไม่ได้ระบุ html |
html | string | สตริง HTML ดิบที่จะเรนเดอร์แทนการโหลด URL |
waitFor | string หรือ number | รอตัวเลือก CSS จำนวนมิลลิวินาที หรือเหตุการณ์เครือข่ายก่อนจับภาพ |
viewport | object | ตั้งค่า width, height, deviceScaleFactor, isMobile, hasTouch และ isLandscape |
device | string | จำลองอุปกรณ์ที่มีชื่อ เช่น iPhone 14 หรือ iPad Pro |
userAgent | string | แทนที่สตริง user agent ของเบราว์เซอร์ |
cookies | array | ฉีดคุกกี้ก่อนที่หน้าเว็บจะโหลด |
blockAds | boolean | บล็อกคำขอเครือข่ายโฆษณา เปิดใช้งานโดยค่าเริ่มต้นสำหรับเครื่องมือขูดข้อมูล |
blockTrackers | boolean | บล็อกสคริปต์ติดตามและวิเคราะห์ |
goToOptions | object | ควบคุมการนำทาง timeout (ms) และกลยุทธ์ waitUntil (load, domcontentloaded, networkidle0, networkidle2) |
setExtraHTTPHeaders | object | เพิ่มส่วนหัวคำขอที่กำหนดเองเป็นคู่คีย์-ค่า |
rejectRequestPattern | array | บล็อกคำขอที่ตรงกับรูปแบบ URL เหล่านี้ |
requestInterceptors | array | สกัดกั้นคำขอที่ตรงกับรูปแบบและส่งคืนการตอบสนองที่กำหนดเอง |
authenticate | object | ตั้งค่า HTTP username และ password สำหรับหน้าที่อยู่เบื้องหลังการตรวจสอบสิทธิ์พื้นฐาน |
anonymous | object | กำหนดเส้นทางผ่านพร็อกซีและข้ามประเภททรัพยากรสำหรับการท่องเว็บแบบไม่ระบุตัวตน |
พารามิเตอร์เฉพาะสำหรับ screenshot:
| พารามิเตอร์ | ประเภท | คำอธิบาย |
|---|---|---|
options.fullPage | boolean | จับภาพทั้งหน้าที่เลื่อนได้ ค่าเริ่มต้นคือ true |
options.type | string | รูปแบบภาพ: png หรือ jpeg ค่าเริ่มต้นคือ png |
options.quality | number | คุณภาพ JPEG ตั้งแต่ 0 ถึง 100 |
options.clip | object | จับภาพพื้นที่เฉพาะด้วย x, y, width และ height |
options.omitBackground | boolean | ทำให้พื้นหลังโปร่งใส (PNG เท่านั้น) |
manipulate | object | ประมวลผลภาพภายหลังด้วย resize, rotate, flip และ flop |
responseType | string | ส่งคืนภาพเป็น buffer (ค่าเริ่มต้น) หรือ url ที่โฮสต์ |
เมื่อใช้เครื่องมือ screenshot ผ่าน MCP ผลลัพธ์จะถูกส่งคืนเป็น URL ที่โฮสต์โดยค่าเริ่มต้น เมื่อเรียก API โดยตรง responseType จะเป็นค่าเริ่มต้นเป็น buffer ตั้งค่า responseType: 'url' เพื่อรับลิงก์ที่โฮสต์แทน
พารามิเตอร์เฉพาะสำหรับ PDF:
| พารามิเตอร์ | ประเภท | คำอธิบาย |
|---|---|---|
options.format | string | ขนาดหน้า: A4, Letter, Legal, Tabloid, Ledger, A0 – A6 |
options.landscape | boolean | เรนเดอร์ในแนวนอน |
options.margin | object | ตั้งค่าระยะขอบ top, bottom, left และ right |
options.printBackground | boolean | รวมพื้นหลัง CSS ในผลลัพธ์ |
options.displayHeaderFooter | boolean | แสดงส่วนหัวและส่วนท้ายในแต่ละหน้า |
options.headerTemplate | string | เทมเพลต HTML สำหรับส่วนหัวของหน้า |
options.footerTemplate | string | เทมเพลต HTML สำหรับส่วนท้ายของหน้า |
options.pageRanges | string | พิมพ์หน้าเฉพาะ เช่น 1-5 |
options.scale | number | ปรับขนาดเนื้อหาของหน้า |
emulateMedia | string | เรนเดอร์เป็นสื่อประเภท screen หรือ print |
responseType | string | ส่งคืน PDF เป็น buffer (ค่าเริ่มต้น) หรือ url ที่โฮสต์ |
เมื่อใช้เครื่องมือ PDF ผ่าน MCP ผลลัพธ์จะถูกส่งคืนเป็น URL ที่โฮสต์โดยค่าเริ่มต้น เมื่อเรียก API โดยตรง responseType จะเป็นค่าเริ่มต้นเป็น buffer ตั้งค่า responseType: 'url' เพื่อรับลิงก์ที่โฮสต์แทน
ขีดจำกัดอัตราและการใช้งานที่เหมาะสม
คีย์ API แต่ละตัวมีขีดจำกัดคำขอรายเดือนตามแผนของคุณ หน้าที่ทำงานยาวนานซึ่งมี JavaScript จำนวนมากหรือ PDF ขนาดใหญ่จะใช้ทรัพยากรมากขึ้น ใช้ blockAds และ blockTrackers เพื่อเพิ่มความเร็วในการขอและลดการใช้แบนด์วิดท์สำหรับงาน scraping
สคีมาคำขอและคำตอบของ Agenty AI ถูกออกแบบให้เข้ากันได้กับ API ระบบอัตโนมัติของเบราว์เซอร์ที่ใช้กันอย่างแพร่หลาย รวมถึง Browserless, Firecrawl, Cloudflare Browser Rendering และบริการที่คล้ายกัน หากคุณใช้ผู้ให้บริการเหล่านี้อยู่แล้ว คุณสามารถเปลี่ยนไปใช้ Agenty AI ได้โดยการอัปเดต base URL และคีย์ API โดยไม่ต้องเขียนคำขอเดิมใหม่
| ผู้ให้บริการ | การย้ายระบบ |
|---|---|
| Browserless | เปลี่ยน base URL และคีย์ API พารามิเตอร์ทั้งหมดเข้ากันได้ |
| Firecrawl | เปลี่ยน base URL และคีย์ API ปลายทาง scrape, markdown และ crawl จับคู่โดยตรง |
| Cloudflare Browser Rendering | เปลี่ยน base URL และส่วนหัว auth พารามิเตอร์ screenshot และ content เข้ากันได้ |
| Puppeteer HTTP APIs | goToOptions และตัวเลือกหน้าส่วนใหญ่จับคู่แบบ 1:1 |

