Agenty
chính thứcWeb scraping, thu thập dữ liệu và phát hiện thay đổi với AI
Bạn có thể làm gì với Agenty MCP?
- Chuyển đổi bất kỳ trang web nào thành Markdown sạch — loại bỏ thanh điều hướng, quảng cáo và nội dung rác từ một URL bằng
markdownđể có nội dung sẵn sàng cho LLM. - Chụp ảnh màn hình với mô phỏng thiết bị — chụp ảnh màn hình PNG/JPEG toàn trang hoặc cắt xén qua
screenshot, mô phỏng các thiết bị như iPhone 14. - Thu thập HTML được kết xuất bằng JavaScript — sử dụng
scrapeđể lấy DOM cuối cùng sau khi tất cả tập lệnh đã chạy, lý tưởng cho các SPA. - Trích xuất dữ liệu có cấu trúc bằng bộ chọn — lấy các trường cụ thể như giá cả hoặc tiêu đề từ một trang bằng CSS hoặc XPath với
extract. - Tạo PDF với định dạng tùy chỉnh — xuất trang dưới dạng PDF khổ A4 hoặc Letter qua
pdf, kiểm soát lề, tiêu đề đầu trang và nền in. - Theo dõi chuỗi chuyển hướng HTTP — theo dõi mọi chuyển hướng cho một URL bằng
redirectsđể gỡ lỗi liên kết hoặc xác minh đích đến chuẩn.
Tài liệu
Agenty AI cung cấp một máy chủ Model Context Protocol (MCP) cho phép các trợ lý AI như Claude, Cursor và bất kỳ client tương thích MCP nào truy cập trực tiếp vào các công cụ tự động hóa trình duyệt. Bạn có thể chụp ảnh màn hình, tạo PDF, thu thập dữ liệu trang web, trích xuất dữ liệu có cấu trúc, chuyển đổi trang sang Markdown và nhiều hơn nữa bằng các mô hình LLM.
Trong bài viết này, tôi sẽ hướng dẫn cách kết nối với máy chủ MCP của Agenty và cách sử dụng từng công cụ có sẵn.
Điều kiện tiên quyết
Trước khi kết nối, bạn sẽ cần:
- Tài khoản Agenty AI và khóa API
- Một client tương thích MCP như Claude Desktop, Cursor, Windsurf hoặc bất kỳ công cụ nào hỗ trợ Model Context Protocol
- Node.js 18 trở lên nếu bạn sử dụng CLI hoặc tệp cấu hình cục bộ
Cách kết nối
Thêm cấu hình sau vào client MCP của bạn. Đối với Claude Desktop, cấu hình này nằm trong claude_desktop_config.json. Đối với Cursor, nó nằm trong tệp .cursor/mcp.json của bạn.
{
"mcpServers": {
"agenty": {
"url": "https://api.agenty.ai/mcp",
"headers": {
"Authorization": "Bearer YOUR_API_KEY"
}
}
}
}
Thay thế YOUR_API_KEY bằng khóa từ Agenty AI > Cài đặt > Khóa API. Sau khi thêm, khởi động lại client của bạn và các công cụ Agenty sẽ xuất hiện trong danh sách công cụ.
Khóa API Agenty1069×482 32.4 KB
Đối với các client hỗ trợ OAuth hoặc đăng nhập bằng mã thông báo, bạn có thể xác thực trực tiếp thông qua luồng đăng nhập Agenty AI mà không cần dán khóa thủ công.
Các công cụ có sẵn
Máy chủ Agenty MCP cung cấp mười một công cụ đáp ứng các nhu cầu tự động hóa trình duyệt phổ biến nhất. Mỗi công cụ chấp nhận URL hoặc HTML thô làm đầu vào cùng với các tham số tùy chọn để kiểm soát hành vi trình duyệt.
Các công cụ có sẵn trong Agenty MCP1265×795 60.9 KB
Markdown MCP
Công cụ markdown tải một trang, loại bỏ điều hướng, chân trang, tập lệnh, quảng cáo và các phần dư thừa khác, rồi chuyển đổi nội dung có thể đọc còn lại thành Markdown sạch. Nó có thể giải quyết các liên kết tương đối thành URL tuyệt đối và loại bỏ hình ảnh dữ liệu.
Điều này đặc biệt hữu ích để cung cấp nội dung web cho LLM, xây dựng pipeline RAG hoặc lưu các phiên bản có thể đọc của bài viết.
Ví dụ prompt:
"Chuyển đổi Web scraping - Wikipedia sang Markdown"
"Lấy nội dung Markdown của bài đăng blog này: https://example.com/article”
Xem trước thu thập dữ liệu trang web bằng Claude desktop1272×844 67.2 KB
Screenshot MCP
Công cụ screenshot khởi chạy một trình duyệt thực, tải trang và chụp nó dưới dạng ảnh PNG hoặc JPEG. Nó hỗ trợ chụp toàn trang, vùng cắt, khung nhìn tùy chỉnh, mô phỏng thiết bị và thao tác hình ảnh như thay đổi kích thước và xoay.
Điều này hữu ích khi bạn muốn có ảnh chụp nhanh trực quan của một trang, cần ghi lại giao diện người dùng hoặc muốn xác minh cách một trang web hiển thị ở kích thước màn hình cụ thể.
Ví dụ prompt:
"Chụp ảnh màn hình toàn trang của https://example.com và trả về dưới dạng PNG"
"Chụp ảnh màn hình di động của https://agenty.ai bằng khung nhìn iPhone 14"
Web Scraping MCP
Công cụ web scrape tải một URL trong trình duyệt thực với khả năng thực thi JavaScript đầy đủ và trả về HTML đã kết xuất. Không giống như các yêu cầu HTTP đơn giản, nó chờ nội dung động tải, làm cho nó đáng tin cậy cho các ứng dụng một trang và các trang nặng về JavaScript.
Sử dụng công cụ này khi bạn cần HTML thô của một trang chính xác như người dùng sẽ thấy sau khi tất cả các tập lệnh đã chạy.
Ví dụ prompt:
"Thu thập HTML của https://news.ycombinator.com và trả về nội dung đã kết xuất đầy đủ"
"Thu thập trang này và chờ 3 giây để nội dung động tải: https://example.com/dashboard”
Web Crawling MCP
Công cụ links crawling kết xuất một trang và trích xuất mọi siêu liên kết tìm thấy trong DOM. Nó trả về một danh sách phẳng tất cả các href neo, bạn có thể sử dụng để xây dựng hàng đợi thu thập, kiểm tra liên kết nội bộ hoặc khám phá nội dung.
Ví dụ prompt:
"Tìm tất cả các liên kết trên https://agenty.ai”
"Trích xuất mọi liên kết từ https://example.com/blog và cho tôi danh sách URL bài viết"
PDF MCP
Công cụ PDF kết xuất một trang trong trình duyệt thực và xuất nó dưới dạng PDF. Bạn có thể đặt định dạng trang (A4, Letter, v.v.), bật chế độ ngang, đặt lề, hiển thị hoặc ẩn nền và cung cấp đầu trang và chân trang tùy chỉnh.
Ví dụ prompt:
"Tạo PDF của https://agenty.ai ở định dạng A4 với nền in được bật"
"Tạo PDF ngang của https://example.com/report”
Data Extraction MCP
Công cụ extract kết xuất một trang và trích xuất dữ liệu có cấu trúc bằng bộ chọn CSS hoặc XPath. Nó phù hợp để lấy các trường cụ thể như giá sản phẩm, số lượng đánh giá, chức danh công việc hoặc bất kỳ phần tử lặp lại nào từ một trang đã kết xuất.
Ví dụ prompt:
"Trích xuất tên sản phẩm và giá từ https://example.com/products”
"Lấy tất cả các tiêu đề từ https://news.ycombinator.com”
Sitemap MCP
Công cụ sitemap crawler đọc tệp sitemap.xml của một trang web, theo dõi các tệp chỉ mục sitemap và trả về danh sách đầy đủ tất cả các URL được phát hiện. Nó hỗ trợ các mẫu loại trừ để lọc ra các đường dẫn nhất định.
Sử dụng công cụ này để nhanh chóng hiểu cấu trúc đầy đủ của một trang web hoặc để xây dựng danh sách thu thập cho một trang web lớn.
Ví dụ prompt:
"Tìm tất cả URL trong sitemap của https://agenty.ai”
"Lấy sitemap cho https://example.com và loại trừ bất kỳ URL nào chứa /blog/"
Redirect Tracing MCP
Công cụ redirects capture theo dõi tất cả các chuyển hướng HTTP cho một URL nhất định và trả về chuỗi đầy đủ bao gồm mỗi URL trung gian, mã trạng thái và đích cuối cùng.
Điều này hữu ích để gỡ lỗi các liên kết bị hỏng, xác minh URL chuẩn và kiểm tra các liên kết liên kết hoặc rút gọn.
Ví dụ prompt:
"Theo dõi tất cả các chuyển hướng cho https://bit.ly/some-link”
"Hiển thị cho tôi chuỗi chuyển hướng cho https://example.com/old-page”
Email Scraper MCP
Công cụ emails scraper tải một hoặc nhiều URL (tối đa mười URL cùng một lúc) và trích xuất tất cả các địa chỉ email tìm thấy trên trang đã kết xuất. Nó xử lý các địa chỉ bị làm rối và các phần liên hệ được tải động.
Ví dụ prompt:
"Tìm tất cả các địa chỉ email trên https://example.com/contact”
"Thu thập email từ ba trang này: https://site1.com, https://site2.com, https://site3.com”
Content MCP
Công cụ content trả về HTML đã kết xuất đầy đủ của một trang sau khi thực thi JavaScript. Nó tương tự như scrape nhưng được tối ưu hóa cho các trường hợp sử dụng mà bạn cần trạng thái DOM cuối cùng thay vì pipeline thu thập.
Ví dụ prompt:
"Lấy nội dung HTML đã kết xuất của https://example.com/app”
Snapshot MCP
Công cụ snapshot chụp cây trợ năng của một trang — một danh sách có cấu trúc của tất cả các phần tử tương tác và có thể đọc bao gồm nút, liên kết, đầu vào và tiêu đề. Điều này được thiết kế cho các tác nhân AI cần điều hướng hoặc suy luận về một trang mà không cần xử lý HTML thô.
Ví dụ prompt:
"Chụp ảnh nhanh trợ năng của https://example.com để tôi có thể hiểu cấu trúc trang"
Ví dụ prompt
Dưới đây là một vài ví dụ nhiều bước kết hợp các công cụ:
Kiểm tra nội dung trang web: "Lấy sitemap cho https://example.com, sau đó chuyển đổi 5 trang hàng đầu sang Markdown và tóm tắt từng trang"
Tạo báo cáo trực quan: "Chụp ảnh màn hình của https://agenty.ai trên khung nhìn di động và máy tính để bàn và hiển thị cho tôi cả hai"
Xây dựng danh sách liên hệ: "Tìm tất cả các liên kết trên https://example.com/team, sau đó thu thập địa chỉ email từ mỗi trang thành viên nhóm"
Xác minh tình trạng liên kết: "Trích xuất tất cả các liên kết từ https://example.com/blog và theo dõi chuỗi chuyển hướng cho bất kỳ liên kết nào không trả về 200"
Lưu trữ một trang: "Chuyển đổi https://example.com/article sang Markdown và tạo phiên bản PDF, cả hai đều có liên kết tuyệt đối"
Các tham số được hỗ trợ
Tất cả các công cụ dựa trên điều hướng (screenshot, pdf, scrape, content, markdown, links, extract, redirects) chia sẻ một tập hợp các tùy chọn cấu hình trình duyệt chung:
| Tham số | Loại | Mô tả |
|---|---|---|
| url | string | URL trang để tải. Bắt buộc nếu không cung cấp html. |
| html | string | Chuỗi HTML thô để kết xuất thay vì tải URL. |
| waitFor | string hoặc số | Chờ bộ chọn CSS, số mili giây hoặc sự kiện mạng trước khi chụp. |
| viewport | object | Đặt chiều rộng, chiều cao, deviceScaleFactor, isMobile, hasTouch và isLandscape. |
| device | string | Mô phỏng thiết bị có tên như iPhone 14 hoặc iPad Pro. |
| userAgent | string | Ghi đè chuỗi tác nhân người dùng của trình duyệt. |
| cookies | array | Chèn cookie trước khi tải trang. |
| blockAds | boolean | Chặn yêu cầu mạng quảng cáo. Được bật theo mặc định cho các công cụ thu thập. |
| blockTrackers | boolean | Chặn tập lệnh theo dõi và phân tích. |
| goToOptions | object | Kiểm soát thời gian chờ điều hướng (ms) và chiến lược waitUntil (load, domcontentloaded, networkidle0, networkidle2). |
| setExtraHTTPHeaders | object | Thêm tiêu đề yêu cầu tùy chỉnh dưới dạng cặp khóa-giá trị. |
| rejectRequestPattern | array | Chặn các yêu cầu khớp với các mẫu URL này. |
| requestInterceptors | array | Chặn các yêu cầu khớp với mẫu và trả về phản hồi tùy chỉnh. |
| authenticate | object | Đặt tên người dùng và mật khẩu HTTP cho các trang đứng sau xác thực cơ bản. |
| anonymous | object | Định tuyến qua proxy và bỏ qua các loại tài nguyên để duyệt ẩn danh. |
Các tham số cụ thể cho screenshot:
| Tham số | Loại | Mô tả |
|---|---|---|
| options.fullPage | boolean | Chụp toàn bộ trang có thể cuộn. Mặc định là true. |
| options.type | string | Định dạng hình ảnh: png hoặc jpeg. Mặc định là png. |
| options.quality | number | Chất lượng JPEG từ 0 đến 100. |
| options.clip | object | Chụp một vùng cụ thể với x, y, chiều rộng và chiều cao. |
| options.omitBackground | boolean | Làm nền trong suốt (chỉ PNG). |
| manipulate | object | Xử lý hậu kỳ hình ảnh với thay đổi kích thước, xoay, lật và phản chiếu. |
| responseType | string | Trả về hình ảnh dưới dạng buffer (mặc định) hoặc url được lưu trữ. |
Khi sử dụng công cụ screenshot qua MCP, kết quả được trả về dưới dạng URL được lưu trữ theo mặc định. Khi gọi API trực tiếp, responseType mặc định là buffer. Đặt responseType: 'url' để nhận liên kết được lưu trữ thay thế.
Các tham số cụ thể cho PDF:
| Tham số | Kiểu | Mô tả |
|---|---|---|
| options.format | string | Khổ trang: A4, Letter, Legal, Tabloid, Ledger, A0–A6. |
| options.landscape | boolean | Hiển thị theo hướng ngang. |
| options.margin | object | Đặt lề trên, dưới, trái và phải. |
| options.printBackground | boolean | Bao gồm nền CSS trong đầu ra. |
| options.displayHeaderFooter | boolean | Hiển thị đầu trang và chân trang trên mỗi trang. |
| options.headerTemplate | string | Mẫu HTML cho đầu trang. |
| options.footerTemplate | string | Mẫu HTML cho chân trang. |
| options.pageRanges | string | In các trang cụ thể, ví dụ: 1-5. |
| options.scale | number | Tỷ lệ nội dung trang. |
| emulateMedia | string | Hiển thị dưới dạng loại phương tiện màn hình hoặc in. |
| responseType | string | Trả về PDF dưới dạng buffer (mặc định) hoặc URL được lưu trữ. |
Khi sử dụng công cụ PDF qua MCP, kết quả được trả về dưới dạng URL được lưu trữ theo mặc định. Khi gọi API trực tiếp, responseType mặc định là buffer. Đặt responseType: 'url' để nhận liên kết được lưu trữ thay thế.
Giới Hạn Tốc Độ và Sử Dụng Hợp Lý
Mỗi khóa API có giới hạn yêu cầu hàng tháng dựa trên gói của bạn. Các trang chạy lâu với JavaScript nặng hoặc PDF lớn sẽ tiêu tốn nhiều tài nguyên hơn. Sử dụng blockAds và blockTrackers để tăng tốc yêu cầu và giảm mức sử dụng băng thông cho các tác vụ thu thập dữ liệu.
Lược đồ yêu cầu và phản hồi của Agenty AI được cố ý giữ tương thích với các API tự động hóa trình duyệt được sử dụng rộng rãi nhất, bao gồm Browserless, Firecrawl, Cloudflare Browser Rendering và các dịch vụ tương tự. Nếu bạn đang sử dụng một trong những nhà cung cấp này, bạn có thể chuyển sang Agenty AI bằng cách cập nhật URL cơ sở và khóa API mà không cần viết lại các yêu cầu hiện có.
| Nhà cung cấp | Di chuyển |
|---|---|
| Browserless | Thay đổi URL cơ sở và khóa API. Tất cả các tham số đều tương thích. |
| Firecrawl | Thay đổi URL cơ sở và khóa API. Các điểm cuối scrape, markdown và crawl ánh xạ trực tiếp. |
| Cloudflare Browser Rendering | Thay đổi URL cơ sở và tiêu đề xác thực. Các tham số ảnh chụp màn hình và nội dung tương thích. |
| Puppeteer HTTP APIs | Hầu hết các tùy chọn goToOptions và trang ánh xạ 1:1. |