crawl
par tavily-ai
Extraire et enregistrer le contenu de sites web sous forme de fichiers markdown pour un accès et une analyse hors ligne. Prend en charge une profondeur de crawl configurable (1 à 5 niveaux), des limites de largeur et des plafonds de pages pour équilibrer la couverture et les performances. Inclut un filtrage de chemin via des expressions régulières pour se concentrer sur des sections spécifiques et exclure le contenu non pertinent. Propose deux modes : extraction de page entière pour la collecte de données, ou découpage sémantique avec des instructions en langage naturel pour alimenter les résultats dans le contexte d’un LLM. Fournit une API Map complémentaire pour les URL...
npx skills add https://github.com/tavily-ai/skills --skill crawl