crawl
от tavily-ai
Извлекать и сохранять содержимое веб-сайтов в виде Markdown-файлов для офлайн-доступа и анализа. Поддерживает настраиваемую глубину обхода (1–5 уровней), ограничения по ширине и лимиты страниц для баланса между охватом и производительностью. Включает фильтрацию путей с помощью регулярных выражений для фокусировки на определённых разделах и исключения нерелевантного контента. Предлагает два режима: извлечение полной страницы для сбора данных или семантическое разбиение с инструкциями на естественном языке для передачи результатов в контекст LLM. Предоставляет сопутствующий Map API для URL...
npx skills add https://github.com/tavily-ai/skills --skill crawl