Agenty

chính thức

Web scraping, thu thập dữ liệu và phát hiện thay đổi với AI

Bạn có thể làm gì với Agenty MCP?

  • Chuyển đổi bất kỳ trang web nào thành Markdown sạch — loại bỏ thanh điều hướng, quảng cáo và nội dung rác từ một URL bằng markdown để có nội dung sẵn sàng cho LLM.
  • Chụp ảnh màn hình với mô phỏng thiết bị — chụp ảnh màn hình PNG/JPEG toàn trang hoặc cắt xén qua screenshot, mô phỏng các thiết bị như iPhone 14.
  • Thu thập HTML được kết xuất bằng JavaScript — sử dụng scrape để lấy DOM cuối cùng sau khi tất cả tập lệnh đã chạy, lý tưởng cho các SPA.
  • Trích xuất dữ liệu có cấu trúc bằng bộ chọn — lấy các trường cụ thể như giá cả hoặc tiêu đề từ một trang bằng CSS hoặc XPath với extract.
  • Tạo PDF với định dạng tùy chỉnh — xuất trang dưới dạng PDF khổ A4 hoặc Letter qua pdf, kiểm soát lề, tiêu đề đầu trang và nền in.
  • Theo dõi chuỗi chuyển hướng HTTP — theo dõi mọi chuyển hướng cho một URL bằng redirects để gỡ lỗi liên kết hoặc xác minh đích đến chuẩn.

Tài liệu

Agenty AI cung cấp một máy chủ Model Context Protocol (MCP) cho phép các trợ lý AI như Claude, Cursor và bất kỳ client tương thích MCP nào truy cập trực tiếp vào các công cụ tự động hóa trình duyệt. Bạn có thể chụp ảnh màn hình, tạo PDF, thu thập dữ liệu trang web, trích xuất dữ liệu có cấu trúc, chuyển đổi trang sang Markdown và nhiều hơn nữa bằng các mô hình LLM.

Trong bài viết này, tôi sẽ hướng dẫn cách kết nối với máy chủ MCP của Agenty và cách sử dụng từng công cụ có sẵn.

Điều kiện tiên quyết

Trước khi kết nối, bạn sẽ cần:

  • Tài khoản Agenty AI và khóa API
  • Một client tương thích MCP như Claude Desktop, Cursor, Windsurf hoặc bất kỳ công cụ nào hỗ trợ Model Context Protocol
  • Node.js 18 trở lên nếu bạn sử dụng CLI hoặc tệp cấu hình cục bộ

Cách kết nối

Thêm cấu hình sau vào client MCP của bạn. Đối với Claude Desktop, cấu hình này nằm trong claude_desktop_config.json. Đối với Cursor, nó nằm trong tệp .cursor/mcp.json của bạn.

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

Thay thế YOUR_API_KEY bằng khóa từ Agenty AI > Cài đặt > Khóa API. Sau khi thêm, khởi động lại client của bạn và các công cụ Agenty sẽ xuất hiện trong danh sách công cụ.

Khóa API Agenty1069×482 32.4 KB

Đối với các client hỗ trợ OAuth hoặc đăng nhập bằng mã thông báo, bạn có thể xác thực trực tiếp thông qua luồng đăng nhập Agenty AI mà không cần dán khóa thủ công.

Các công cụ có sẵn

Máy chủ Agenty MCP cung cấp mười một công cụ đáp ứng các nhu cầu tự động hóa trình duyệt phổ biến nhất. Mỗi công cụ chấp nhận URL hoặc HTML thô làm đầu vào cùng với các tham số tùy chọn để kiểm soát hành vi trình duyệt.

Các công cụ có sẵn trong Agenty MCP1265×795 60.9 KB

Markdown MCP

Công cụ markdown tải một trang, loại bỏ điều hướng, chân trang, tập lệnh, quảng cáo và các phần dư thừa khác, rồi chuyển đổi nội dung có thể đọc còn lại thành Markdown sạch. Nó có thể giải quyết các liên kết tương đối thành URL tuyệt đối và loại bỏ hình ảnh dữ liệu.

Điều này đặc biệt hữu ích để cung cấp nội dung web cho LLM, xây dựng pipeline RAG hoặc lưu các phiên bản có thể đọc của bài viết.

Ví dụ prompt:

"Chuyển đổi Web scraping - Wikipedia sang Markdown"

"Lấy nội dung Markdown của bài đăng blog này: https://example.com/article”

Xem trước thu thập dữ liệu trang web bằng Claude desktop1272×844 67.2 KB

Screenshot MCP

Công cụ screenshot khởi chạy một trình duyệt thực, tải trang và chụp nó dưới dạng ảnh PNG hoặc JPEG. Nó hỗ trợ chụp toàn trang, vùng cắt, khung nhìn tùy chỉnh, mô phỏng thiết bị và thao tác hình ảnh như thay đổi kích thước và xoay.

Điều này hữu ích khi bạn muốn có ảnh chụp nhanh trực quan của một trang, cần ghi lại giao diện người dùng hoặc muốn xác minh cách một trang web hiển thị ở kích thước màn hình cụ thể.

Ví dụ prompt:

"Chụp ảnh màn hình toàn trang của https://example.com và trả về dưới dạng PNG"

"Chụp ảnh màn hình di động của https://agenty.ai bằng khung nhìn iPhone 14"

Web Scraping MCP

Công cụ web scrape tải một URL trong trình duyệt thực với khả năng thực thi JavaScript đầy đủ và trả về HTML đã kết xuất. Không giống như các yêu cầu HTTP đơn giản, nó chờ nội dung động tải, làm cho nó đáng tin cậy cho các ứng dụng một trang và các trang nặng về JavaScript.

Sử dụng công cụ này khi bạn cần HTML thô của một trang chính xác như người dùng sẽ thấy sau khi tất cả các tập lệnh đã chạy.

Ví dụ prompt:

"Thu thập HTML của https://news.ycombinator.com và trả về nội dung đã kết xuất đầy đủ"

"Thu thập trang này và chờ 3 giây để nội dung động tải: https://example.com/dashboard”

Web Crawling MCP

Công cụ links crawling kết xuất một trang và trích xuất mọi siêu liên kết tìm thấy trong DOM. Nó trả về một danh sách phẳng tất cả các href neo, bạn có thể sử dụng để xây dựng hàng đợi thu thập, kiểm tra liên kết nội bộ hoặc khám phá nội dung.

Ví dụ prompt:

"Tìm tất cả các liên kết trên https://agenty.ai”

"Trích xuất mọi liên kết từ https://example.com/blog và cho tôi danh sách URL bài viết"

PDF MCP

Công cụ PDF kết xuất một trang trong trình duyệt thực và xuất nó dưới dạng PDF. Bạn có thể đặt định dạng trang (A4, Letter, v.v.), bật chế độ ngang, đặt lề, hiển thị hoặc ẩn nền và cung cấp đầu trang và chân trang tùy chỉnh.

Ví dụ prompt:

"Tạo PDF của https://agenty.ai ở định dạng A4 với nền in được bật"

"Tạo PDF ngang của https://example.com/report”

Data Extraction MCP

Công cụ extract kết xuất một trang và trích xuất dữ liệu có cấu trúc bằng bộ chọn CSS hoặc XPath. Nó phù hợp để lấy các trường cụ thể như giá sản phẩm, số lượng đánh giá, chức danh công việc hoặc bất kỳ phần tử lặp lại nào từ một trang đã kết xuất.

Ví dụ prompt:

"Trích xuất tên sản phẩm và giá từ https://example.com/products”

"Lấy tất cả các tiêu đề từ https://news.ycombinator.com”

Sitemap MCP

Công cụ sitemap crawler đọc tệp sitemap.xml của một trang web, theo dõi các tệp chỉ mục sitemap và trả về danh sách đầy đủ tất cả các URL được phát hiện. Nó hỗ trợ các mẫu loại trừ để lọc ra các đường dẫn nhất định.

Sử dụng công cụ này để nhanh chóng hiểu cấu trúc đầy đủ của một trang web hoặc để xây dựng danh sách thu thập cho một trang web lớn.

Ví dụ prompt:

"Tìm tất cả URL trong sitemap của https://agenty.ai”

"Lấy sitemap cho https://example.com và loại trừ bất kỳ URL nào chứa /blog/"

Redirect Tracing MCP

Công cụ redirects capture theo dõi tất cả các chuyển hướng HTTP cho một URL nhất định và trả về chuỗi đầy đủ bao gồm mỗi URL trung gian, mã trạng thái và đích cuối cùng.

Điều này hữu ích để gỡ lỗi các liên kết bị hỏng, xác minh URL chuẩn và kiểm tra các liên kết liên kết hoặc rút gọn.

Ví dụ prompt:

"Theo dõi tất cả các chuyển hướng cho https://bit.ly/some-link”

"Hiển thị cho tôi chuỗi chuyển hướng cho https://example.com/old-page”

Email Scraper MCP

Công cụ emails scraper tải một hoặc nhiều URL (tối đa mười URL cùng một lúc) và trích xuất tất cả các địa chỉ email tìm thấy trên trang đã kết xuất. Nó xử lý các địa chỉ bị làm rối và các phần liên hệ được tải động.

Ví dụ prompt:

"Tìm tất cả các địa chỉ email trên https://example.com/contact”

"Thu thập email từ ba trang này: https://site1.com, https://site2.com, https://site3.com”

Content MCP

Công cụ content trả về HTML đã kết xuất đầy đủ của một trang sau khi thực thi JavaScript. Nó tương tự như scrape nhưng được tối ưu hóa cho các trường hợp sử dụng mà bạn cần trạng thái DOM cuối cùng thay vì pipeline thu thập.

Ví dụ prompt:

"Lấy nội dung HTML đã kết xuất của https://example.com/app”

Snapshot MCP

Công cụ snapshot chụp cây trợ năng của một trang — một danh sách có cấu trúc của tất cả các phần tử tương tác và có thể đọc bao gồm nút, liên kết, đầu vào và tiêu đề. Điều này được thiết kế cho các tác nhân AI cần điều hướng hoặc suy luận về một trang mà không cần xử lý HTML thô.

Ví dụ prompt:

"Chụp ảnh nhanh trợ năng của https://example.com để tôi có thể hiểu cấu trúc trang"

Ví dụ prompt

Dưới đây là một vài ví dụ nhiều bước kết hợp các công cụ:

Kiểm tra nội dung trang web: "Lấy sitemap cho https://example.com, sau đó chuyển đổi 5 trang hàng đầu sang Markdown và tóm tắt từng trang"

Tạo báo cáo trực quan: "Chụp ảnh màn hình của https://agenty.ai trên khung nhìn di động và máy tính để bàn và hiển thị cho tôi cả hai"

Xây dựng danh sách liên hệ: "Tìm tất cả các liên kết trên https://example.com/team, sau đó thu thập địa chỉ email từ mỗi trang thành viên nhóm"

Xác minh tình trạng liên kết: "Trích xuất tất cả các liên kết từ https://example.com/blog và theo dõi chuỗi chuyển hướng cho bất kỳ liên kết nào không trả về 200"

Lưu trữ một trang: "Chuyển đổi https://example.com/article sang Markdown và tạo phiên bản PDF, cả hai đều có liên kết tuyệt đối"

Các tham số được hỗ trợ

Tất cả các công cụ dựa trên điều hướng (screenshot, pdf, scrape, content, markdown, links, extract, redirects) chia sẻ một tập hợp các tùy chọn cấu hình trình duyệt chung:

Tham sốLoạiMô tả
urlstringURL trang để tải. Bắt buộc nếu không cung cấp html.
htmlstringChuỗi HTML thô để kết xuất thay vì tải URL.
waitForstring hoặc sốChờ bộ chọn CSS, số mili giây hoặc sự kiện mạng trước khi chụp.
viewportobjectĐặt chiều rộng, chiều cao, deviceScaleFactor, isMobile, hasTouch và isLandscape.
devicestringMô phỏng thiết bị có tên như iPhone 14 hoặc iPad Pro.
userAgentstringGhi đè chuỗi tác nhân người dùng của trình duyệt.
cookiesarrayChèn cookie trước khi tải trang.
blockAdsbooleanChặn yêu cầu mạng quảng cáo. Được bật theo mặc định cho các công cụ thu thập.
blockTrackersbooleanChặn tập lệnh theo dõi và phân tích.
goToOptionsobjectKiểm soát thời gian chờ điều hướng (ms) và chiến lược waitUntil (load, domcontentloaded, networkidle0, networkidle2).
setExtraHTTPHeadersobjectThêm tiêu đề yêu cầu tùy chỉnh dưới dạng cặp khóa-giá trị.
rejectRequestPatternarrayChặn các yêu cầu khớp với các mẫu URL này.
requestInterceptorsarrayChặn các yêu cầu khớp với mẫu và trả về phản hồi tùy chỉnh.
authenticateobjectĐặt tên người dùng và mật khẩu HTTP cho các trang đứng sau xác thực cơ bản.
anonymousobjectĐịnh tuyến qua proxy và bỏ qua các loại tài nguyên để duyệt ẩn danh.

Các tham số cụ thể cho screenshot:

Tham sốLoạiMô tả
options.fullPagebooleanChụp toàn bộ trang có thể cuộn. Mặc định là true.
options.typestringĐịnh dạng hình ảnh: png hoặc jpeg. Mặc định là png.
options.qualitynumberChất lượng JPEG từ 0 đến 100.
options.clipobjectChụp một vùng cụ thể với x, y, chiều rộng và chiều cao.
options.omitBackgroundbooleanLàm nền trong suốt (chỉ PNG).
manipulateobjectXử lý hậu kỳ hình ảnh với thay đổi kích thước, xoay, lật và phản chiếu.
responseTypestringTrả về hình ảnh dưới dạng buffer (mặc định) hoặc url được lưu trữ.

Khi sử dụng công cụ screenshot qua MCP, kết quả được trả về dưới dạng URL được lưu trữ theo mặc định. Khi gọi API trực tiếp, responseType mặc định là buffer. Đặt responseType: 'url' để nhận liên kết được lưu trữ thay thế.

Các tham số cụ thể cho PDF:

Tham sốKiểuMô tả
options.formatstringKhổ trang: A4, Letter, Legal, Tabloid, Ledger, A0–A6.
options.landscapebooleanHiển thị theo hướng ngang.
options.marginobjectĐặt lề trên, dưới, trái và phải.
options.printBackgroundbooleanBao gồm nền CSS trong đầu ra.
options.displayHeaderFooterbooleanHiển thị đầu trang và chân trang trên mỗi trang.
options.headerTemplatestringMẫu HTML cho đầu trang.
options.footerTemplatestringMẫu HTML cho chân trang.
options.pageRangesstringIn các trang cụ thể, ví dụ: 1-5.
options.scalenumberTỷ lệ nội dung trang.
emulateMediastringHiển thị dưới dạng loại phương tiện màn hình hoặc in.
responseTypestringTrả về PDF dưới dạng buffer (mặc định) hoặc URL được lưu trữ.

Khi sử dụng công cụ PDF qua MCP, kết quả được trả về dưới dạng URL được lưu trữ theo mặc định. Khi gọi API trực tiếp, responseType mặc định là buffer. Đặt responseType: 'url' để nhận liên kết được lưu trữ thay thế.

Giới Hạn Tốc Độ và Sử Dụng Hợp Lý

Mỗi khóa API có giới hạn yêu cầu hàng tháng dựa trên gói của bạn. Các trang chạy lâu với JavaScript nặng hoặc PDF lớn sẽ tiêu tốn nhiều tài nguyên hơn. Sử dụng blockAdsblockTrackers để tăng tốc yêu cầu và giảm mức sử dụng băng thông cho các tác vụ thu thập dữ liệu.

Lược đồ yêu cầu và phản hồi của Agenty AI được cố ý giữ tương thích với các API tự động hóa trình duyệt được sử dụng rộng rãi nhất, bao gồm Browserless, Firecrawl, Cloudflare Browser Rendering và các dịch vụ tương tự. Nếu bạn đang sử dụng một trong những nhà cung cấp này, bạn có thể chuyển sang Agenty AI bằng cách cập nhật URL cơ sở và khóa API mà không cần viết lại các yêu cầu hiện có.

Nhà cung cấpDi chuyển
BrowserlessThay đổi URL cơ sở và khóa API. Tất cả các tham số đều tương thích.
FirecrawlThay đổi URL cơ sở và khóa API. Các điểm cuối scrape, markdown và crawl ánh xạ trực tiếp.
Cloudflare Browser RenderingThay đổi URL cơ sở và tiêu đề xác thực. Các tham số ảnh chụp màn hình và nội dung tương thích.
Puppeteer HTTP APIsHầu hết các tùy chọn goToOptions và trang ánh xạ 1:1.