firecrawl-crawl

por firecrawl

Extraia conteúdo em massa de sites inteiros ou seções de sites com filtragem por profundidade e caminho. Percorre páginas seguindo links até limites configuráveis de profundidade e contagem de páginas, com filtros de inclusão/exclusão de caminho para delimitar a extração. Suporta polling assíncrono de jobs ou espera síncrona com exibição de progresso por meio das flags --wait e --progress. Oferece controle de concorrência, atrasos entre requisições e formatação de saída em JSON para integração em fluxos de agentes. Parte de um padrão de escalonamento de quatro etapas: search → scrape →...

npx skills add https://github.com/firecrawl/cli --skill firecrawl-crawl

Baixar ZIP GitHub

643

firecrawl crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

Prerequisite: crawl requires authentication (no keyless free tier); without credentials the CLI prompts an interactive login.

Quick start

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

Run firecrawl crawl --help for the full option list.

Done when: the crawl reaches a terminal status and the saved output under .firecrawl/ contains the expected pages.

Tips

Use --wait when you need the results immediately. It has no default timeout; use --timeout <seconds> to bound polling. Without --wait, crawl returns a job ID for async polling.
Scope crawls with --include-paths whenever the request names a section — crawl only the pages you need.
Crawl consumes credits per page. Check firecrawl credit-usage before large crawls (credit-usage requires authentication).