firecrawl-crawl

tarafından firecrawl

Tüm web sitelerinden veya site bölümlerinden derinlik ve yol filtrelemesi ile toplu içerik çıkarımı yapar. Yapılandırılabilir derinlik sınırları ve sayfa sayılarına kadar bağlantıları takip ederek sayfaları tarar, yol dahil etme/hariç tutma filtreleri ile çıkarım kapsamını belirler. --wait ve --progress bayrakları ile ilerleme göstergesi sunarak eşzamansız iş yoklaması veya eşzamanlı bekleme modunu destekler. Aracı iş akışlarına entegrasyon için eşzamanlılık kontrolü, istek gecikmeleri ve JSON çıktı biçimlendirmesi sunar. Dört adımlı bir tırmanma deseninin parçasıdır: ara

npx skills add https://github.com/firecrawl/cli --skill firecrawl-crawl

ZIP İndir GitHub

643

firecrawl crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

Prerequisite: crawl requires authentication (no keyless free tier); without credentials the CLI prompts an interactive login.

Quick start

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

Run firecrawl crawl --help for the full option list.

Done when: the crawl reaches a terminal status and the saved output under .firecrawl/ contains the expected pages.

Tips

Use --wait when you need the results immediately. It has no default timeout; use --timeout <seconds> to bound polling. Without --wait, crawl returns a job ID for async polling.
Scope crawls with --include-paths whenever the request names a section — crawl only the pages you need.
Crawl consumes credits per page. Check firecrawl credit-usage before large crawls (credit-usage requires authentication).