crawl
por tavily-ai
Extraia e salve o conteúdo de sites como arquivos markdown para acesso e análise offline. Suporta profundidade de rastreamento configurável (1 a 5 níveis), limites de largura e teto de páginas para equilibrar cobertura e desempenho. Inclui filtragem de caminhos por padrões regex para focar em seções específicas e excluir conteúdo irrelevante. Oferece dois modos: extração de página completa para coleta de dados, ou fragmentação semântica com instruções em linguagem natural para alimentar resultados no contexto de LLMs. Fornece uma API de Mapa complementar para URL...
npx skills add https://github.com/tavily-ai/skills --skill crawl