crawl
tarafından tavily-ai
Web sitesi içeriğini çevrimdışı erişim ve analiz için markdown dosyaları olarak çıkarır ve kaydeder. Kapsam ve performans dengesi için yapılandırılabilir tarama derinliği (1-5 seviye), genişlik sınırları ve sayfa sınırlamalarını destekler. Belirli bölümlere odaklanmak ve ilgisiz içeriği hariç tutmak için regex desenleriyle yol filtreleme sunar. Veri toplama için tam sayfa çıkarma veya sonuçları LLM bağlamına beslemek için doğal dil talimatlarıyla anlamsal parçalama olmak üzere iki mod sağlar. URL için bir tamamlayıcı Map API sunar...
npx skills add https://github.com/tavily-ai/skills --skill crawl