crawl
von tavily-ai
Website-Inhalte extrahieren und als Markdown-Dateien für den Offline-Zugriff und die Analyse speichern. Unterstützt konfigurierbare Crawl-Tiefe (1-5 Ebenen), Breitenbegrenzungen und Seitenobergrenzen, um Abdeckung und Leistung auszugleichen. Enthält Pfadfilterung mittels Regex-Mustern, um sich auf bestimmte Abschnitte zu konzentrieren und irrelevante Inhalte auszuschließen. Bietet zwei Modi: vollständige Seitenextraktion für die Datensammlung oder semantisches Chunking mit natürlichen Sprachinstruktionen, um Ergebnisse in den LLM-Kontext einzuspeisen. Stellt eine begleitende Map-API für URLs bereit...
npx skills add https://github.com/tavily-ai/skills --skill crawl