firecrawl-crawl

Massenweise Inhalte aus ganzen Websites oder Websiteabschnitten extrahieren mit Tiefen- und Pfadfilterung. Durchsucht Seiten, indem es Links bis zu konfigurierbaren Tiefenlimits und Seitenzahlen folgt, mit Pfadein-/ausschlussfiltern zur Eingrenzung der Extraktion. Unterstützt asynchrones Job-Polling oder synchrones Warten mit Fortschrittsanzeige über die Flags --wait und --progress. Bietet Parallelitätssteuerung, Anforderungsverzögerungen und JSON-Ausgabeformatierung zur Integration in Agent-Workflows. Teil eines vierstufigen Eskalationsmusters: Suche → Scrape →...

npx skills add https://github.com/firecrawl/cli --skill firecrawl-crawl

ZIP herunterladen GitHub

firecrawl crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

When to use

You need content from many pages on a site (e.g., all /docs/)
You want to extract an entire site section
Step 4 in the workflow escalation pattern: search → scrape → map → crawl → interact

Quick start

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

Options

Option	Description
`--wait`	Wait for crawl to complete before returning
`--progress`	Show progress while waiting
`--limit <n>`	Max pages to crawl
`--max-depth <n>`	Max link depth to follow
`--include-paths <paths>`	Only crawl URLs matching these paths
`--exclude-paths <paths>`	Skip URLs matching these paths
`--delay <ms>`	Delay between requests
`--max-concurrency <n>`	Max parallel crawl workers
`--pretty`	Pretty print JSON output
`-o, --output <path>`	Output file path

Tips

Always use --wait when you need the results immediately. Without it, crawl returns a job ID for async polling.
Use --include-paths to scope the crawl — don't crawl an entire site when you only need one section.
Crawl consumes credits per page. Check firecrawl credit-usage before large crawls.

See also

firecrawl-scrape — scrape individual pages
firecrawl-map — discover URLs before deciding to crawl
firecrawl-download — download site to local files (uses map + scrape)

Mehr Skills von firecrawl

Bewährte Verfahren für die Verwendung der oracle CLI (Prompt- und Dateibündelung, Engines, Sitzungen und Dateianhänge-Muster).

firecrawl-monitor

Erkennen, wenn sich Inhalte auf einer Website ändern, und per Webhook oder E-Mail benachrichtigt werden – keine Cron-Jobs, Scraper oder Diff-Skripte erforderlich. Verwenden Sie diese Fähigkeit immer dann, wenn der Benutzer Änderungen auf einer Seite verfolgen, Wettbewerbspreise beobachten, über neue Stellenausschreibungen oder Blogbeiträge benachrichtigt werden, Dokumentationen/Changelogs/Statusseiten überwachen möchte oder sagt: „überwachen“, „beobachten“, „verfolgen“, „benachrichtige mich, wenn“, „informiere mich, wenn X sich ändert“, „melde dich bei mir, wenn“, „sende mir eine E-Mail, wenn“ oder „sende einen Webhook, wenn“. Ein integrierter KI-Richter filtert Formatierung, Zeitstempel und...

officialweb-scrapingresearch

firecrawl-deep-research

Führen Sie eine multi-quellen Tiefenrecherche mit Firecrawl durch. Verwenden Sie dies, wenn der Nutzer bittet, ein Thema zu recherchieren, Perspektiven zu vergleichen, eine belegte Zusammenfassung zu erstellen, eine technische oder marktbezogene Frage zu untersuchen oder Webquellen aus vielen Quellen zu synthetisieren.

officialresearchweb-scraping

firecrawl-research-papers

Finde und synthetisiere Forschungspapiere, Whitepapers, PDFs, technische Berichte und akademische Quellen mit Firecrawl. Verwende dies, wenn der Nutzer eine Literaturübersicht, eine Zusammenfassung von Papieren, eine Forschungslandschaft oder eine quellenbasierte Synthese aus PDFs und wissenschaftlichen/industriellen Veröffentlichungen wünscht.

officialresearchweb-scraping

firecrawl-market-research

Extrahiere Markt-, Finanz-, Gewinn-, Branchen- und Unternehmenskennzahlen mit Firecrawl. Verwende dies, wenn der Nutzer nach Marktforschung, Branchentrends, Daten zu öffentlichen Unternehmen, Finanzvergleichen, Gewinnforschung oder strukturierten Marktberichten fragt.

officialresearchweb-scraping

firecrawl-website-design-clone

Extrahiere das Design-System jeder Website in eine agentenbereite DESIGN.md mittels Firecrawl-Scrape-Evidenz. Verwende dies, wenn der Nutzer Farben, Schriftarten, Abstände, Komponenten, Layoutmuster oder Marken-/UI-Vorgaben von einer Website wünscht, damit KI-Agenten neue Websites erstellen, ein Design klonen oder von diesem Design inspirierte Seiten aufbauen können.

officialdesignweb-scraping

firecrawl-knowledge-base

Erstellen Sie eine Wissensdatenbank aus Webinhalten mit Firecrawl. Nutzbar für lokale Referenzdokumente, RAG-fähige Chunks, Feintuning-Datensätze, Dokumentationsspiegel, Themenkorpora oder LLM-fähiges Markdown, organisiert aus Webquellen.

officialweb-scrapingresearch

firecrawl-lead-research

Erstellen Sie Pre-Meeting-Lead-Intelligence-Briefings mit Firecrawl. Verwenden Sie dies, wenn der Benutzer Unternehmensrecherche, Personenrecherche, aktuelle Nachrichten, Gesprächsthemen, Schmerzpunkte oder Vorbereitung für ein Verkaufsgespräch, eine Partnerschaftsbesprechung, ein Investorengespräch oder ein Kundeninterview benötigt.

officialresearchweb-scraping