firecrawl-crawl

Extrae contenido masivo de sitios web completos o secciones del sitio con filtrado por profundidad y ruta. Rastrea páginas siguiendo enlaces hasta límites de profundidad y recuentos de páginas configurables, con filtros de inclusión/exclusión de rutas para delimitar la extracción. Admite sondeo de trabajos asíncronos o espera sincrónica con visualización de progreso mediante las banderas --wait y --progress. Ofrece control de concurrencia, retardos entre solicitudes y formato de salida JSON para integración en flujos de trabajo de agentes. Forma parte de un patrón de escalada de cuatro pasos: buscar → extraer →...

npx skills add https://github.com/firecrawl/cli --skill firecrawl-crawl

Descargar ZIP GitHub

firecrawl crawl

Bulk extract content from a website. Crawls pages following links up to a depth/limit.

Prerequisite: crawl requires authentication (no keyless free tier); without credentials the CLI prompts an interactive login.

Quick start

# Crawl a docs section
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# Full crawl with depth limit
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# Check status of a running crawl
firecrawl crawl <job-id>

Run firecrawl crawl --help for the full option list.

Done when: the crawl reaches a terminal status and the saved output under .firecrawl/ contains the expected pages.

Tips

Use --wait when you need the results immediately. It has no default timeout; use --timeout <seconds> to bound polling. Without --wait, crawl returns a job ID for async polling.
Scope crawls with --include-paths whenever the request names a section — crawl only the pages you need.
Crawl consumes credits per page. Check firecrawl credit-usage before large crawls (credit-usage requires authentication).

See also

firecrawl-scrape — scrape individual pages
firecrawl-map — discover URLs before deciding to crawl
firecrawl-download — download site to local files (uses map + scrape)
firecrawl-build-scrape — building bulk extraction into an app instead of running it here

Más skills de firecrawl

firecrawl-research-index

Encuentra los artículos que responden a una consulta de investigación con Firecrawl Research, utilizando búsqueda semántica, expansión semántica y estructural, y verificación en el cuerpo del texto. Usa siempre esta habilidad para cualquier tarea de búsqueda de literatura o recuperación de artículos, ya sea para consultas de un solo artículo o conjuntos completos de múltiples artículos.

data-analysisresearchweb-scraping

Mejores prácticas para usar la CLI de oracle (prompt + agrupación de archivos, motores, sesiones y patrones de adjuntar archivos).

Base de datos vectorial gestionada para aplicaciones de IA en producción. Completamente gestionada, con escalado automático, búsqueda híbrida (densa + dispersa), filtrado por metadatos y espacios de nombres.…

Úsalo al construir interfaces de usuario que aprovechen el Sistema de Diseño de WordPress (WPDS) y sus componentes, tokens, patrones, etc.

audiocraft-audio-generation

Biblioteca de PyTorch para generación de audio que incluye texto a música (MusicGen) y texto a sonido (AudioGen). Úsala cuando necesites generar música a partir de texto…

skypilot-multi-cloud-orchestration

Orquestración multinube para cargas de trabajo de ML con optimización automática de costos. Úsalo cuando necesites ejecutar entrenamiento o trabajos por lotes en múltiples nubes, aprovechar…

firecrawl-seo-audit

Auditar el SEO de un sitio web con Firecrawl. Úsalo cuando el usuario solicite una auditoría SEO, revisión de metadatos y encabezados, análisis del mapa del sitio o estructura del sitio, oportunidades de palabras clave, comparación de SERP de competidores o recomendaciones priorizadas de optimización de búsqueda.

data-analysisresearchweb-scraping

Obtener issues de GitHub, generar subagentes para implementar correcciones y abrir PRs, luego monitorear y abordar comentarios de revisión de PRs. Uso: /gh-issues [owner/repo] [--label…