firecrawl-download

Скачивает целые сайты как организованные локальные файлы в нескольких форматах. Сначала составляет карту структуры сайта, затем извлекает каждую обнаруженную страницу во вложенные директории внутри .firecrawl/, поддерживая markdown, ссылки, скриншоты и пользовательские комбинации форматов. Фильтрует страницы по шаблонам путей (--include-paths, --exclude-paths), поисковым запросам, включению поддоменов и лимитам страниц для контроля области сбора. Все стандартные опции scrape работают с download: выбор формата, полноэкранные скриншоты, основной контент...

npx skills add https://github.com/firecrawl/cli --skill firecrawl-download

firecrawl download

Experimental. Convenience command that combines map + scrape to save an entire site as local files.

Maps the site first to discover pages, then scrapes each one into nested directories under .firecrawl/. All scrape options work with download. Always pass -y to skip the confirmation prompt.

When to use

  • You want to save an entire site (or section) to local files
  • You need offline access to documentation or content
  • Bulk content extraction with organized file structure

Quick start

# Interactive wizard (picks format, screenshots, paths for you)
firecrawl download https://docs.example.com

# With screenshots
firecrawl download https://docs.example.com --screenshot --limit 20 -y

# Multiple formats (each saved as its own file per page)
firecrawl download https://docs.example.com --format markdown,links --screenshot --limit 20 -y
# Creates per page: index.md + links.txt + screenshot.png

# Filter to specific sections
firecrawl download https://docs.example.com --include-paths "/features,/sdks"

# Skip translations
firecrawl download https://docs.example.com --exclude-paths "/zh,/ja,/fr,/es,/pt-BR"

# Full combo
firecrawl download https://docs.example.com \
  --include-paths "/features,/sdks" \
  --exclude-paths "/zh,/ja" \
  --only-main-content \
  --screenshot \
  -y

Download options

OptionDescription
--limit <n>Max pages to download
--search <query>Filter URLs by search query
--include-paths <paths>Only download matching paths
--exclude-paths <paths>Skip matching paths
--allow-subdomainsInclude subdomain pages
-ySkip confirmation prompt (always use in automated flows)

Scrape options (all work with download)

-f <formats>, -H, -S, --screenshot, --full-page-screenshot, --only-main-content, --include-tags, --exclude-tags, --wait-for, --max-age, --country, --languages

See also

Больше skills от firecrawl

oracle
firecrawl
Лучшие практики использования oracle CLI (объединение подсказок и файлов, движки, сессии и шаблоны прикрепления файлов).
official
pinecone
firecrawl
Управляемая векторная база данных для производственных AI-приложений. Полностью управляемая, с автоматическим масштабированием, гибридным поиском (плотный + разреженный), фильтрацией по метаданным и пространствами имён.
official
sentence-transformers
firecrawl
Фреймворк для современных эмбеддингов предложений, текстов и изображений. Предоставляет более 5000 предварительно обученных моделей для семантического сходства, кластеризации и поиска.…
official
wp-playground
firecrawl
Используется для рабочих процессов WordPress Playground: быстрые одноразовые экземпляры WP в браузере или локально через @wp-playground/cli (server, run-blueprint, build-snapshot),…
official
wp-plugin-development
firecrawl
Используйте при разработке плагинов WordPress: архитектура и хуки, активация/деактивация/удаление, административный интерфейс и Settings API, хранение данных, cron/задачи, безопасность…
official
wp-project-triage
firecrawl
Используйте, когда требуется детерминированная проверка репозитория WordPress (плагин/тема/блочная тема/WP Core/Gutenberg/полный сайт), включая инструменты/тесты/версии…
official
wp-rest-api
firecrawl
Используйте при создании, расширении или отладке конечных точек/маршрутов REST API WordPress: register_rest_route, классы контроллеров WP_REST_Controller, схема/аргументы…
official
wp-wpcli-and-ops
firecrawl
Использовать при работе с WP-CLI (wp) для операций с WordPress: безопасный поиск-замена, экспорт/импорт БД, управление плагинами/темами/пользователями/контентом, cron, очистка кэша,…
official