crawl
por tavily-ai
Extrae y guarda el contenido de sitios web como archivos markdown para acceso y análisis sin conexión. Admite profundidad de rastreo configurable (1-5 niveles), límites de amplitud y topes de páginas para equilibrar la cobertura con el rendimiento. Incluye filtrado de rutas mediante patrones regex para enfocarse en secciones específicas y excluir contenido irrelevante. Ofrece dos modos: extracción de página completa para recopilación de datos, o fragmentación semántica con instrucciones en lenguaje natural para alimentar resultados en el contexto de un LLM. Proporciona una API de mapa complementaria para URL...
npx skills add https://github.com/tavily-ai/skills --skill crawl