crawl
bởi tavily-ai
Trích xuất và lưu nội dung trang web dưới dạng tệp markdown để truy cập và phân tích ngoại tuyến. Hỗ trợ cấu hình độ sâu thu thập (1-5 cấp), giới hạn phạm vi và giới hạn trang để cân bằng giữa phạm vi bao phủ và hiệu suất. Bao gồm lọc đường dẫn qua mẫu regex để tập trung vào các phần cụ thể và loại trừ nội dung không liên quan. Cung cấp hai chế độ: trích xuất toàn trang để thu thập dữ liệu, hoặc phân đoạn ngữ nghĩa với hướng dẫn ngôn ngữ tự nhiên để đưa kết quả vào ngữ cảnh LLM. Cung cấp API Bản đồ đồng hành cho URL...
npx skills add https://github.com/tavily-ai/skills --skill crawl