firecrawl-crawl

oleh firecrawl

Ekstrak konten secara massal dari seluruh situs web atau bagian situs dengan pemfilteran kedalaman dan jalur. Merayapi halaman dengan mengikuti tautan hingga batas kedalaman dan jumlah halaman yang dapat dikonfigurasi, dengan filter inklusi/eksklusi jalur untuk membatasi cakupan ekstraksi. Mendukung polling pekerjaan asinkron atau penantian sinkron dengan tampilan kemajuan melalui flag --wait dan --progress. Menawarkan kontrol konkurensi, penundaan permintaan, dan pemformatan output JSON untuk integrasi ke dalam alur kerja agen. Bagian dari pola eskalasi empat langkah: cari → kikis →...

npx skills add https://github.com/firecrawl/cli --skill firecrawl-crawl

Unduh ZIP GitHub

643

firecrawl crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

Prerequisite: crawl requires authentication (no keyless free tier); without credentials the CLI prompts an interactive login.

Quick start

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

Run firecrawl crawl --help for the full option list.

Done when: the crawl reaches a terminal status and the saved output under .firecrawl/ contains the expected pages.

Tips

Use --wait when you need the results immediately. It has no default timeout; use --timeout <seconds> to bound polling. Without --wait, crawl returns a job ID for async polling.
Scope crawls with --include-paths whenever the request names a section — crawl only the pages you need.
Crawl consumes credits per page. Check firecrawl credit-usage before large crawls (credit-usage requires authentication).