firecrawl-crawl

Extrayez en masse le contenu de sites web entiers ou de sections de sites avec un filtrage par profondeur et chemin. Parcourt les pages en suivant les liens jusqu'à des limites de profondeur et des nombres de pages configurables, avec des filtres d'inclusion/exclusion de chemin pour délimiter l'extraction. Prend en charge l'interrogation asynchrone des tâches ou l'attente synchrone avec affichage de la progression via les options --wait et --progress. Offre un contrôle de la concurrence, des délais entre les requêtes et un formatage de sortie JSON pour l'intégration dans les workflows d'agents. Fait partie d'un modèle d'escalade en quatre étapes : recherche → extraction →...

npx skills add https://github.com/firecrawl/cli --skill firecrawl-crawl

Télécharger ZIP GitHub

firecrawl crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

Prerequisite: crawl requires authentication (no keyless free tier); without credentials the CLI prompts an interactive login.

Quick start

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

Run firecrawl crawl --help for the full option list.

Done when: the crawl reaches a terminal status and the saved output under .firecrawl/ contains the expected pages.

Tips

Use --wait when you need the results immediately. It has no default timeout; use --timeout <seconds> to bound polling. Without --wait, crawl returns a job ID for async polling.
Scope crawls with --include-paths whenever the request names a section — crawl only the pages you need.
Crawl consumes credits per page. Check firecrawl credit-usage before large crawls (credit-usage requires authentication).

See also

firecrawl-scrape — scrape individual pages
firecrawl-map — discover URLs before deciding to crawl
firecrawl-download — download site to local files (uses map + scrape)
firecrawl-build-scrape — building bulk extraction into an app instead of running it here

Plus de skills de firecrawl

firecrawl-research-index

Trouvez les articles qui répondent à une requête de recherche avec Firecrawl Research, en utilisant la recherche sémantique, l'expansion sémantique et structurelle, et la vérification dans le corps du texte. Utilisez toujours cette compétence pour toute tâche de recherche d'articles ou de récupération de documents — qu'il s'agisse de consulter un seul article ou un ensemble complet de plusieurs articles.

data-analysisresearchweb-scraping

Meilleures pratiques pour utiliser l'interface en ligne de commande oracle (invite + regroupement de fichiers, moteurs, sessions et modèles de pièces jointes).

Base de données vectorielle gérée pour les applications d'IA en production. Entièrement gérée, mise à l'échelle automatique, avec recherche hybride (dense + sparse), filtrage par métadonnées et espaces de noms.…

À utiliser lors de la création d'interfaces utilisateur exploitant le WordPress Design System (WPDS) et ses composants, tokens, motifs, etc.

audiocraft-audio-generation

Bibliothèque PyTorch pour la génération audio incluant texte-vers-musique (MusicGen) et texte-vers-son (AudioGen). À utiliser lorsque vous avez besoin de générer de la musique à partir de texte…

skypilot-multi-cloud-orchestration

Orchestration multi-cloud pour les charges de travail ML avec optimisation automatique des coûts. À utiliser lorsque vous devez exécuter des tâches d’entraînement ou par lots sur plusieurs clouds, tirer parti de…

firecrawl-seo-audit

Auditer le SEO d'un site web avec Firecrawl. À utiliser lorsque l'utilisateur demande un audit SEO, une revue des métadonnées et des titres, une analyse du sitemap/de la structure du site, des opportunités de mots-clés, une comparaison des SERP concurrents, ou des recommandations priorisées d'optimisation pour la recherche.

data-analysisresearchweb-scraping

Récupérer les issues GitHub, générer des sous-agents pour implémenter des correctifs et ouvrir des PR, puis surveiller et traiter les commentaires de révision des PR. Utilisation : /gh-issues [owner/repo] [--label…]