Agenty

ทางการ

การขูดข้อมูลเว็บ การรวบรวมข้อมูล และการตรวจจับการเปลี่ยนแปลงด้วย AI

คุณทำอะไรได้บ้างด้วย Agenty MCP?

  • แปลงหน้าเว็บเป็น Markdown — ขอให้แปลง URL หรือ HTML ดิบให้เป็น Markdown ที่สะอาดและอ่านง่ายด้วยเครื่องมือ markdown เพื่อเนื้อหาที่เหมาะกับ LLM
  • จับภาพหน้าจอ — ใช้ screenshot เพื่อจับภาพทั้งหน้าหรือภาพบางส่วนในรูปแบบ PNG/JPEG พร้อมกำหนด viewport และจำลองอุปกรณ์ได้
  • ดึง HTML ที่เรนเดอร์แล้ว — ใช้ scrape เพื่อรับ HTML ที่เรนเดอร์เต็มรูปแบบของหน้าที่ใช้ JavaScript จำนวนมากหลังจากโหลดเนื้อหาแบบไดนามิก
  • แยกข้อมูลที่มีโครงสร้าง — ใช้ extract เพื่อดึงฟิลด์เฉพาะ เช่น ราคา หัวข้อข่าว หรือรีวิว ผ่าน CSS selectors หรือ XPath
  • สร้างไฟล์ PDF — ใช้ pdf เพื่อส่งออกหน้าเว็บเป็น PDF พร้อมตัวเลือกเรื่องรูปแบบ ขอบกระดาษ แนวตั้ง/แนวนอน และส่วนหัว/ท้ายกระดาษ
  • ค้นหาโครงสร้างเว็บไซต์ — ใช้ sitemap เพื่ออ่านไฟล์ sitemap.xml ของเว็บไซต์และส่งคืน URL ทั้งหมดที่พบ พร้อมรูปแบบการยกเว้น

เอกสาร

Agenty AI เปิดเผยเซิร์ฟเวอร์ Model Context Protocol (MCP) ที่ให้ผู้ช่วย AI เช่น Claude, Cursor และไคลเอนต์ที่รองรับ MCP ใดๆ เข้าถึงเครื่องมืออัตโนมัติเบราว์เซอร์ได้โดยตรง คุณสามารถจับภาพหน้าจอ สร้าง PDF ขูดข้อมูลเว็บเพจ ดึงข้อมูลที่มีโครงสร้าง แปลงหน้าเป็น Markdown และอื่นๆ อีกมากมายโดยใช้โมเดล LLM

ในบทความนี้ ฉันจะอธิบายวิธีเชื่อมต่อกับเซิร์ฟเวอร์ MCP ของ Agenty และวิธีใช้เครื่องมือแต่ละอย่างที่มีให้

ข้อกำหนดเบื้องต้น

ก่อนเชื่อมต่อ คุณจะต้องมี:

  • บัญชี Agenty AI และคีย์ API
  • ไคลเอนต์ที่รองรับ MCP เช่น Claude Desktop, Cursor, Windsurf หรือเครื่องมือใดๆ ที่รองรับ Model Context Protocol
  • Node.js 18 ขึ้นไปหากคุณใช้ CLI หรือไฟล์การกำหนดค่าในเครื่อง

วิธีเชื่อมต่อ

เพิ่มการกำหนดค่าต่อไปนี้ลงในไคลเอนต์ MCP ของคุณ สำหรับ Claude Desktop ให้ใส่ใน claude_desktop_config.json สำหรับ Cursor ให้ใส่ในไฟล์ .cursor/mcp.json ของคุณ

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

แทนที่ YOUR_API_KEY ด้วยคีย์จาก Agenty AI > การตั้งค่า > คีย์ API เมื่อเพิ่มแล้ว ให้รีสตาร์ทไคลเอนต์ของคุณและเครื่องมือ Agenty จะปรากฏในรายการเครื่องมือ สำหรับไคลเอนต์ที่รองรับ OAuth หรือการเข้าสู่ระบบด้วยโทเค็น คุณสามารถตรวจสอบสิทธิ์ผ่านขั้นตอนการลงชื่อเข้าใช้ Agenty AI ได้โดยตรงโดยไม่ต้องวางคีย์ด้วยตนเอง

เครื่องมือที่มีให้

เซิร์ฟเวอร์ MCP ของ Agenty มีเครื่องมือสิบเอ็ดรายการครอบคลุมความต้องการอัตโนมัติเบราว์เซอร์ที่พบบ่อยที่สุด แต่ละเครื่องมือยอมรับ URL หรือ HTML ดิบเป็นอินพุตพร้อมพารามิเตอร์เสริมสำหรับควบคุมพฤติกรรมของเบราว์เซอร์

Available Tools in Agenty MCP

Markdown MCP

เครื่องมือ markdown โหลดหน้าเว็บ ตัดส่วนนำทาง ส่วนท้าย สคริปต์ โฆษณา และเนื้อหาที่ไม่จำเป็นอื่นๆ แล้วแปลงเนื้อหาที่อ่านได้ที่เหลือเป็น Markdown ที่สะอาด สามารถแปลงลิงก์สัมพัทธ์เป็น URL สัมบูรณ์และลบรูปภาพข้อมูลได้

สิ่งนี้มีประโยชน์อย่างยิ่งสำหรับการป้อนเนื้อหาเว็บให้กับ LLM การสร้างไปป์ไลน์ RAG หรือการบันทึกเวอร์ชันที่อ่านได้ของบทความ

ตัวอย่างพรอมต์:

"แปลง Web scraping - Wikipedia เป็น Markdown"

"รับเนื้อหา Markdown ของโพสต์บล็อกนี้: https://example.com/article"

Website scraping preview using Claude desktop

Screenshot MCP

เครื่องมือ screenshot เปิดเบราว์เซอร์จริง โหลดหน้าเว็บ และจับภาพเป็น PNG หรือ JPEG รองรับการจับภาพทั้งหน้า การครอบตัดบางพื้นที่ ขนาดวิวพอร์ตที่กำหนดเอง การจำลองอุปกรณ์ และการปรับแต่งภาพ เช่น การปรับขนาดและการหมุน

มีประโยชน์เมื่อคุณต้องการภาพรวมของหน้าเว็บ ต้องการบันทึก UI หรือต้องการตรวจสอบว่าเว็บไซต์มีลักษณะอย่างไรที่ขนาดหน้าจอเฉพาะ

ตัวอย่างพรอมต์:

"จับภาพหน้าจอทั้งหน้าของ https://example.com และส่งคืนเป็น PNG"

"จับภาพหน้าจอแบบมือถือของ https://agenty.ai โดยใช้วิวพอร์ต iPhone 14"

Web Scraping MCP

เครื่องมือ web scrape โหลด URL ในเบราว์เซอร์จริงพร้อมการทำงานของ JavaScript อย่างเต็มรูปแบบและส่งคืน HTML ที่เรนเดอร์แล้ว ต่างจากคำขอ HTTP ทั่วไป มันรอให้เนื้อหาแบบไดนามิกโหลดเสร็จ ทำให้เชื่อถือได้สำหรับแอปพลิเคชันหน้าเดียวและหน้าเว็บที่ใช้ JavaScript จำนวนมาก

ใช้เมื่อคุณต้องการ HTML ดิบของหน้าเว็บตามที่ผู้ใช้เห็นหลังจากสคริปต์ทั้งหมดทำงานเสร็จ

ตัวอย่างพรอมต์:

"ขูด HTML ของ https://news.ycombinator.com และส่งคืนเนื้อหาที่เรนเดอร์เต็มรูปแบบ"

"ขูดหน้านี้และรอ 3 วินาทีเพื่อให้เนื้อหาแบบไดนามิกโหลด: https://example.com/dashboard"

Web Crawling MCP

เครื่องมือ links crawling เรนเดอร์หน้าเว็บและแยกไฮเปอร์ลิงก์ทั้งหมดที่พบใน DOM ส่งคืนรายการแบนของ href ทั้งหมดจาก anchor ซึ่งคุณสามารถใช้สร้างคิวการรวบรวมข้อมูล ตรวจสอบลิงก์ภายใน หรือค้นพบเนื้อหา

ตัวอย่างพรอมต์:

"ค้นหาลิงก์ทั้งหมดบน https://agenty.ai"

"แยกลิงก์ทั้งหมดจาก https://example.com/blog และให้รายการ URL ของบทความแก่ฉัน"

PDF MCP

เครื่องมือ PDF เรนเดอร์หน้าเว็บ ในเบราว์เซอร์จริงและส่งออกเป็น PDF คุณสามารถตั้งค่ารูปแบบหน้า (A4, Letter ฯลฯ) เปิดใช้งานโหมดแนวนอน ตั้งค่าระยะขอบ แสดงหรือซ่อนพื้นหลัง และกำหนดส่วนหัวและส่วนท้ายที่กำหนดเองได้

ตัวอย่างพรอมต์:

"สร้าง PDF ของ https://agenty.ai ในรูปแบบ A4 โดยเปิดใช้งานพื้นหลังการพิมพ์"

"สร้าง PDF แนวนอนของ https://example.com/report"

Data Extraction MCP

เครื่องมือ extract เรนเดอร์หน้าเว็บ และแยกข้อมูลที่มีโครงสร้างโดยใช้ตัวเลือก CSS หรือ XPath เหมาะสำหรับการดึงฟิลด์เฉพาะ เช่น ราคาสินค้า จำนวนรีวิว ตำแหน่งงาน หรือองค์ประกอบที่ซ้ำกันใดๆ จากหน้าที่เรนเดอร์แล้ว

ตัวอย่างพรอมต์:

"แยกชื่อผลิตภัณฑ์และราคาจาก https://example.com/products"

"รับพาดหัวทั้งหมดจาก https://news.ycombinator.com"

Sitemap MCP

เครื่องมือ sitemap crawler อ่าน sitemap.xml ของเว็บไซต์ ตามไฟล์ดัชนี sitemap และส่งคืนรายการ URL ทั้งหมดที่ค้นพบ รองรับรูปแบบการยกเว้นเพื่อกรองเส้นทางบางเส้นทาง

ใช้เพื่อทำความเข้าใจโครงสร้างทั้งหมดของเว็บไซต์อย่างรวดเร็วหรือสร้างรายการรวบรวมข้อมูลสำหรับเว็บไซต์ขนาดใหญ่

ตัวอย่างพรอมต์:

"ค้นหา URL ทั้งหมดใน sitemap สำหรับ https://agenty.ai"

"รับ sitemap สำหรับ https://example.com และยกเว้น URL ใดๆ ที่มี /blog/"

Redirect Tracing MCP

เครื่องมือ redirects capture ตามการเปลี่ยนเส้นทาง HTTP ทั้งหมดสำหรับ URL ที่กำหนดและส่งคืนห่วงโซ่ทั้งหมดรวมถึง URL ระหว่างกลางแต่ละรายการ รหัสสถานะ และปลายทางสุดท้าย

มีประโยชน์สำหรับการดีบักลิงก์เสีย การตรวจสอบ URL มาตรฐาน และการตรวจสอบลิงก์พันธมิตรหรือลิงก์ย่อ

ตัวอย่างพรอมต์:

"ติดตามการเปลี่ยนเส้นทางทั้งหมดสำหรับ https://bit.ly/some-link"

"แสดงห่วงโซ่การเปลี่ยนเส้นทางสำหรับ https://example.com/old-page"

Email Scraper MCP

เครื่องมือ emails scraper โหลด URL หนึ่งรายการขึ้นไป (สูงสุดสิบรายการในครั้งเดียว) และแยกที่อยู่อีเมลทั้งหมดที่พบในหน้าที่เรนเดอร์แล้ว จัดการกับที่อยู่ที่ถูกบดบังและส่วนติดต่อที่โหลดแบบไดนามิก

ตัวอย่างพรอมต์:

"ค้นหาที่อยู่อีเมลทั้งหมดบน https://example.com/contact"

"ขูดอีเมลจากสามหน้านี้: https://site1.com, https://site2.com, https://site3.com"

Content MCP

เครื่องมือ content ส่งคืน HTML ที่เรนเดอร์สมบูรณ์ ของหน้าเว็บหลังจากการทำงานของ JavaScript คล้ายกับ scrape แต่ปรับให้เหมาะสมสำหรับกรณีที่คุณต้องการสถานะ DOM สุดท้ายมากกว่าไปป์ไลน์การขูด

ตัวอย่างพรอมต์:

"รับเนื้อหา HTML ที่เรนเดอร์แล้วของ https://example.com/app"

Snapshot MCP

เครื่องมือ snapshot จับภาพแผนผังการเข้าถึงของหน้าเว็บ — รายการที่มีโครงสร้างขององค์ประกอบที่โต้ตอบได้และอ่านได้ทั้งหมด รวมถึงปุ่ม ลิงก์ ช่องอินพุต และหัวข้อ ออกแบบมาสำหรับเอเจนต์ AI ที่ต้องนำทางหรือวิเคราะห์หน้าเว็บโดยไม่ต้องประมวลผล HTML ดิบ

ตัวอย่างพรอมต์:

"จับภาพแผนผังการเข้าถึงของ https://example.com เพื่อให้ฉันเข้าใจโครงสร้างหน้า"

ตัวอย่างพรอมต์

นี่คือตัวอย่างหลายขั้นตอนที่รวมเครื่องมือต่างๆ:

ตรวจสอบเนื้อหาของเว็บไซต์:
"รับ sitemap สำหรับ https://example.com จากนั้นแปลง 5 หน้าอันดับแรกเป็น Markdown และสรุปแต่ละหน้า"

สร้างรายงานภาพ:
"จับภาพหน้าจอของ https://agenty.ai บนวิวพอร์ตมือถือและเดสก์ท็อปแล้วแสดงทั้งสองให้ฉันดู"

สร้างรายชื่อติดต่อ:
"ค้นหาลิงก์ทั้งหมดบน https://example.com/team จากนั้นขูดที่อยู่อีเมลจากหน้า团队成员แต่ละหน้า"

ตรวจสอบสุขภาพลิงก์:
"แยกลิงก์ทั้งหมดจาก https://example.com/blog และติดตามห่วงโซ่การเปลี่ยนเส้นทางสำหรับลิงก์ใดๆ ที่ไม่ส่งคืน 200"

เก็บถาวรหน้าเว็บ:
"แปลง https://example.com/article เป็น Markdown และสร้างเวอร์ชัน PDF ทั้งสองแบบมีลิงก์สัมบูรณ์"

พารามิเตอร์ที่รองรับ

เครื่องมือที่ใช้การนำทางทั้งหมด (screenshot, pdf, scrape, content, markdown, links, extract, redirects) ใช้ชุดตัวเลือกการกำหนดค่าเบราว์เซอร์ร่วมกัน:

พารามิเตอร์ประเภทคำอธิบาย
urlstringURL ของหน้าเว็บที่จะโหลด จำเป็นหากไม่ได้ระบุ html
htmlstringสตริง HTML ดิบที่จะเรนเดอร์แทนการโหลด URL
waitForstring หรือ numberรอตัวเลือก CSS จำนวนมิลลิวินาที หรือเหตุการณ์เครือข่ายก่อนจับภาพ
viewportobjectตั้งค่า width, height, deviceScaleFactor, isMobile, hasTouch และ isLandscape
devicestringจำลองอุปกรณ์ที่มีชื่อ เช่น iPhone 14 หรือ iPad Pro
userAgentstringแทนที่สตริง user agent ของเบราว์เซอร์
cookiesarrayฉีดคุกกี้ก่อนที่หน้าเว็บจะโหลด
blockAdsbooleanบล็อกคำขอเครือข่ายโฆษณา เปิดใช้งานโดยค่าเริ่มต้นสำหรับเครื่องมือขูดข้อมูล
blockTrackersbooleanบล็อกสคริปต์ติดตามและวิเคราะห์
goToOptionsobjectควบคุมการนำทาง timeout (ms) และกลยุทธ์ waitUntil (load, domcontentloaded, networkidle0, networkidle2)
setExtraHTTPHeadersobjectเพิ่มส่วนหัวคำขอที่กำหนดเองเป็นคู่คีย์-ค่า
rejectRequestPatternarrayบล็อกคำขอที่ตรงกับรูปแบบ URL เหล่านี้
requestInterceptorsarrayสกัดกั้นคำขอที่ตรงกับรูปแบบและส่งคืนการตอบสนองที่กำหนดเอง
authenticateobjectตั้งค่า HTTP username และ password สำหรับหน้าที่อยู่เบื้องหลังการตรวจสอบสิทธิ์พื้นฐาน
anonymousobjectกำหนดเส้นทางผ่านพร็อกซีและข้ามประเภททรัพยากรสำหรับการท่องเว็บแบบไม่ระบุตัวตน

พารามิเตอร์เฉพาะสำหรับ screenshot:

พารามิเตอร์ประเภทคำอธิบาย
options.fullPagebooleanจับภาพทั้งหน้าที่เลื่อนได้ ค่าเริ่มต้นคือ true
options.typestringรูปแบบภาพ: png หรือ jpeg ค่าเริ่มต้นคือ png
options.qualitynumberคุณภาพ JPEG ตั้งแต่ 0 ถึง 100
options.clipobjectจับภาพพื้นที่เฉพาะด้วย x, y, width และ height
options.omitBackgroundbooleanทำให้พื้นหลังโปร่งใส (PNG เท่านั้น)
manipulateobjectประมวลผลภาพภายหลังด้วย resize, rotate, flip และ flop
responseTypestringส่งคืนภาพเป็น buffer (ค่าเริ่มต้น) หรือ url ที่โฮสต์

เมื่อใช้เครื่องมือ screenshot ผ่าน MCP ผลลัพธ์จะถูกส่งคืนเป็น URL ที่โฮสต์โดยค่าเริ่มต้น เมื่อเรียก API โดยตรง responseType จะเป็นค่าเริ่มต้นเป็น buffer ตั้งค่า responseType: 'url' เพื่อรับลิงก์ที่โฮสต์แทน

พารามิเตอร์เฉพาะสำหรับ PDF:

พารามิเตอร์ประเภทคำอธิบาย
options.formatstringขนาดหน้า: A4, Letter, Legal, Tabloid, Ledger, A0A6
options.landscapebooleanเรนเดอร์ในแนวนอน
options.marginobjectตั้งค่าระยะขอบ top, bottom, left และ right
options.printBackgroundbooleanรวมพื้นหลัง CSS ในผลลัพธ์
options.displayHeaderFooterbooleanแสดงส่วนหัวและส่วนท้ายในแต่ละหน้า
options.headerTemplatestringเทมเพลต HTML สำหรับส่วนหัวของหน้า
options.footerTemplatestringเทมเพลต HTML สำหรับส่วนท้ายของหน้า
options.pageRangesstringพิมพ์หน้าเฉพาะ เช่น 1-5
options.scalenumberปรับขนาดเนื้อหาของหน้า
emulateMediastringเรนเดอร์เป็นสื่อประเภท screen หรือ print
responseTypestringส่งคืน PDF เป็น buffer (ค่าเริ่มต้น) หรือ url ที่โฮสต์

เมื่อใช้เครื่องมือ PDF ผ่าน MCP ผลลัพธ์จะถูกส่งคืนเป็น URL ที่โฮสต์โดยค่าเริ่มต้น เมื่อเรียก API โดยตรง responseType จะเป็นค่าเริ่มต้นเป็น buffer ตั้งค่า responseType: 'url' เพื่อรับลิงก์ที่โฮสต์แทน

ขีดจำกัดอัตราและการใช้งานที่เหมาะสม

คีย์ API แต่ละตัวมีขีดจำกัดคำขอรายเดือนตามแผนของคุณ หน้าที่ทำงานยาวนานซึ่งมี JavaScript จำนวนมากหรือ PDF ขนาดใหญ่จะใช้ทรัพยากรมากขึ้น ใช้ blockAds และ blockTrackers เพื่อเพิ่มความเร็วในการขอและลดการใช้แบนด์วิดท์สำหรับงาน scraping

สคีมาคำขอและคำตอบของ Agenty AI ถูกออกแบบให้เข้ากันได้กับ API ระบบอัตโนมัติของเบราว์เซอร์ที่ใช้กันอย่างแพร่หลาย รวมถึง Browserless, Firecrawl, Cloudflare Browser Rendering และบริการที่คล้ายกัน หากคุณใช้ผู้ให้บริการเหล่านี้อยู่แล้ว คุณสามารถเปลี่ยนไปใช้ Agenty AI ได้โดยการอัปเดต base URL และคีย์ API โดยไม่ต้องเขียนคำขอเดิมใหม่

ผู้ให้บริการการย้ายระบบ
Browserlessเปลี่ยน base URL และคีย์ API พารามิเตอร์ทั้งหมดเข้ากันได้
Firecrawlเปลี่ยน base URL และคีย์ API ปลายทาง scrape, markdown และ crawl จับคู่โดยตรง
Cloudflare Browser Renderingเปลี่ยน base URL และส่วนหัว auth พารามิเตอร์ screenshot และ content เข้ากันได้
Puppeteer HTTP APIsgoToOptions และตัวเลือกหน้าส่วนใหญ่จับคู่แบบ 1:1