crawl
oleh tavily-ai
Ekstrak dan simpan konten situs web sebagai file markdown untuk akses dan analisis offline. Mendukung kedalaman crawl yang dapat dikonfigurasi (1-5 level), batas luas, dan batas halaman untuk menyeimbangkan cakupan dengan kinerja. Termasuk pemfilteran jalur melalui pola regex untuk fokus pada bagian tertentu dan mengecualikan konten yang tidak relevan. Menawarkan dua mode: ekstraksi halaman penuh untuk pengumpulan data, atau pemotongan semantik dengan instruksi bahasa alami untuk memasukkan hasil ke dalam konteks LLM. Menyediakan API Peta pendamping untuk URL...
npx skills add https://github.com/tavily-ai/skills --skill crawl