firecrawl-crawl

bởi firecrawl

Trích xuất nội dung hàng loạt từ toàn bộ trang web hoặc các phần của trang web với bộ lọc độ sâu và đường dẫn. Thu thập các trang theo liên kết đến giới hạn độ sâu và số trang có thể cấu hình, với bộ lọc bao gồm/loại trừ đường dẫn để phạm vi trích xuất. Hỗ trợ thăm dò công việc không đồng bộ hoặc chờ đồng bộ với hiển thị tiến trình qua cờ --wait và --progress. Cung cấp kiểm soát đồng thời, độ trễ yêu cầu và định dạng đầu ra JSON để tích hợp vào quy trình làm việc của tác nhân. Là một phần của mô hình leo thang bốn bước: tìm kiếm → cạo →...

npx skills add https://github.com/firecrawl/cli --skill firecrawl-crawl

Tải ZIP GitHub

586

firecrawl crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

When to use

You need content from many pages on a site (e.g., all /docs/)
You want to extract an entire site section
Step 4 in the workflow escalation pattern: search → scrape → map → crawl → interact

Quick start

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

Options

Option	Description
`--wait`	Wait for crawl to complete before returning
`--progress`	Show progress while waiting
`--limit <n>`	Max pages to crawl
`--max-depth <n>`	Max link depth to follow
`--include-paths <paths>`	Only crawl URLs matching these paths
`--exclude-paths <paths>`	Skip URLs matching these paths
`--delay <ms>`	Delay between requests
`--max-concurrency <n>`	Max parallel crawl workers
`--pretty`	Pretty print JSON output
`-o, --output <path>`	Output file path

Tips

Always use --wait when you need the results immediately. Without it, crawl returns a job ID for async polling.
Use --include-paths to scope the crawl — don't crawl an entire site when you only need one section.
Crawl consumes credits per page. Check firecrawl credit-usage before large crawls.