crawl
작성자: tavily-ai
웹사이트 콘텐츠를 추출하여 마크다운 파일로 저장해 오프라인 접근 및 분석에 활용합니다. 설정 가능한 크롤링 깊이(1~5단계), 폭 제한, 페이지 상한을 지원하여 적용 범위와 성능 간 균형을 맞춥니다. 정규식 패턴을 통한 경로 필터링으로 특정 섹션에 집중하고 관련 없는 콘텐츠를 제외합니다. 데이터 수집을 위한 전체 페이지 추출, 또는 자연어 명령어를 통한 의미 기반 청킹으로 결과를 LLM 컨텍스트에 제공하는 두 가지 모드를 제공합니다. URL을 위한 보조 Map API를 제공합니다...
npx skills add https://github.com/tavily-ai/skills --skill crawl