firecrawl-crawl

Extrayez en masse le contenu de sites web entiers ou de sections de sites avec un filtrage par profondeur et chemin. Parcourt les pages en suivant les liens jusqu'à des limites de profondeur et des nombres de pages configurables, avec des filtres d'inclusion/exclusion de chemin pour délimiter l'extraction. Prend en charge l'interrogation asynchrone des tâches ou l'attente synchrone avec affichage de la progression via les options --wait et --progress. Offre un contrôle de la concurrence, des délais entre les requêtes et un formatage de sortie JSON pour l'intégration dans les workflows d'agents. Fait partie d'un modèle d'escalade en quatre étapes : recherche → extraction →...

npx skills add https://github.com/firecrawl/cli --skill firecrawl-crawl

Télécharger ZIP GitHub

firecrawl crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

When to use

You need content from many pages on a site (e.g., all /docs/)
You want to extract an entire site section
Step 4 in the workflow escalation pattern: search → scrape → map → crawl → interact

Quick start

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

Options

Option	Description
`--wait`	Wait for crawl to complete before returning
`--progress`	Show progress while waiting
`--limit <n>`	Max pages to crawl
`--max-depth <n>`	Max link depth to follow
`--include-paths <paths>`	Only crawl URLs matching these paths
`--exclude-paths <paths>`	Skip URLs matching these paths
`--delay <ms>`	Delay between requests
`--max-concurrency <n>`	Max parallel crawl workers
`--pretty`	Pretty print JSON output
`-o, --output <path>`	Output file path

Tips

Always use --wait when you need the results immediately. Without it, crawl returns a job ID for async polling.
Use --include-paths to scope the crawl — don't crawl an entire site when you only need one section.
Crawl consumes credits per page. Check firecrawl credit-usage before large crawls.

See also

firecrawl-scrape — scrape individual pages
firecrawl-map — discover URLs before deciding to crawl
firecrawl-download — download site to local files (uses map + scrape)

Plus de skills de firecrawl

Meilleures pratiques pour utiliser l'interface en ligne de commande oracle (invite + regroupement de fichiers, moteurs, sessions et modèles de pièces jointes).

firecrawl-monitor

Détectez quand le contenu d'un site web change et recevez une notification par webhook ou e-mail — sans cron jobs, scrapers ni scripts de diff. Utilisez cette compétence lorsque l'utilisateur souhaite suivre les modifications d'une page, surveiller les prix des concurrents, être alerté de nouvelles offres d'emploi ou articles de blog, surveiller les pages de documentation/changelog/statut, ou dit « surveiller », « suivre », « tracker », « alerte-moi quand », « notifie-moi quand X change », « préviens-moi si », « envoie-moi un e-mail quand » ou « envoie un webhook quand ». Un juge IA intégré filtre la mise en forme, les horodatages et...

officialweb-scrapingresearch

firecrawl-deep-research

Effectuer une recherche approfondie multi-sources avec Firecrawl. À utiliser lorsque l'utilisateur demande de rechercher un sujet, comparer des perspectives, produire un briefing sourcé, investiguer une question technique ou de marché, ou synthétiser des preuves web provenant de nombreuses sources.

officialresearchweb-scraping

firecrawl-research-papers

Trouver et synthétiser des articles de recherche, livres blancs, PDF, rapports techniques et sources académiques avec Firecrawl. À utiliser lorsque l'utilisateur souhaite une revue de littérature, un résumé d'article, un panorama de la recherche ou une synthèse sourcée à partir de PDF et de publications académiques ou industrielles.

officialresearchweb-scraping

firecrawl-market-research

Extraire les métriques de marché, financières, de résultats, sectorielles et d'entreprise avec Firecrawl. À utiliser lorsque l'utilisateur demande des études de marché, des tendances sectorielles, des données sur les entreprises publiques, des comparaisons financières, des recherches sur les résultats ou des rapports de marché structurés.

officialresearchweb-scraping

firecrawl-website-design-clone

Extraire le système de design de n'importe quel site web dans un DESIGN.md prêt pour un agent, en utilisant les preuves de scraping de Firecrawl. À utiliser lorsque l'utilisateur souhaite obtenir des couleurs, polices, espacements, composants, motifs de mise en page ou directives de marque/UI d'un site web, afin que des agents IA puissent créer de nouveaux sites web, cloner une apparence ou construire des pages inspirées de ce design.

officialdesignweb-scraping

firecrawl-knowledge-base

Construisez une base de connaissances à partir de contenu web avec Firecrawl. Utilisez-la pour des documents de référence locaux, des segments prêts pour le RAG, des jeux de données de fine-tuning, des miroirs de documentation, des corpus thématiques ou du markdown prêt pour LLM organisé à partir de sources web.

officialweb-scrapingresearch

firecrawl-lead-research

Produire des fiches de renseignement pré-réunion avec Firecrawl. À utiliser lorsque l'utilisateur a besoin de recherches sur une entreprise, une personne, d'actualités récentes, de points de discussion, de points sensibles ou de préparation de prospection avant un appel commercial, une réunion de partenariat, une conversation avec un investisseur ou un entretien client.

officialresearchweb-scraping