firecrawl-scrape

tarafından firecrawl

Herhangi bir URL'den, JavaScript ile oluşturulmuş tek sayfa uygulamaları dahil, temiz markdown çıkarır. Kullanıcı bir URL sağlayıp içeriğini istediğinde veya "scrape" dediğinde bu beceriyi kullanın.

npx skills add https://github.com/firecrawl/firecrawl-codex-plugin --skill firecrawl-scrape

firecrawl scrape

Scrape one or more URLs. Returns clean, LLM-optimized markdown. Multiple URLs are scraped concurrently.

When to use

  • You have a specific URL and want its content
  • The page is static or JS-rendered (SPA)
  • Step 2 in the workflow escalation pattern: search → scrape → map → crawl → interact

Quick start

# Basic markdown extraction
firecrawl scrape "<url>" -o .firecrawl/page.md

# Main content only, no nav/footer
firecrawl scrape "<url>" --only-main-content -o .firecrawl/page.md

# Wait for JS to render, then scrape
firecrawl scrape "<url>" --wait-for 3000 -o .firecrawl/page.md

# Multiple URLs (each saved to .firecrawl/)
firecrawl scrape https://example.com https://example.com/blog https://example.com/docs

# Get markdown and links together
firecrawl scrape "<url>" --format markdown,links -o .firecrawl/page.json

# Ask a question about the page
firecrawl scrape "https://example.com/pricing" --query "What is the enterprise plan price?"

Options

OptionDescription
-f, --format <formats>Output formats: markdown, html, rawHtml, links, screenshot, json
-Q, --query <prompt>Ask a question about the page content (5 credits)
-HInclude HTTP headers in output
--only-main-contentStrip nav, footer, sidebar — main content only
--wait-for <ms>Wait for JS rendering before scraping
--include-tags <tags>Only include these HTML tags
--exclude-tags <tags>Exclude these HTML tags
-o, --output <path>Output file path

Tips

  • Prefer plain scrape over --query. Scrape to a file, then use grep, head, or read the markdown directly — you can search and reason over the full content yourself. Use --query only when you want a single targeted answer without saving the page (costs 5 extra credits).
  • Try scrape before interact. Scrape handles static pages and JS-rendered SPAs. Only escalate to interact when you need interaction (clicks, form fills, pagination).
  • Multiple URLs are scraped concurrently — check firecrawl --status for your concurrency limit.
  • Single format outputs raw content. Multiple formats (e.g., --format markdown,links) output JSON.
  • Always quote URLs — shell interprets ? and & as special characters.
  • Naming convention: .firecrawl/{site}-{path}.md

See also

firecrawl tarafından daha fazla skill

firecrawl-research-index
firecrawl
Firecrawl Research ile bir araştırma sorgusunu yanıtlayan makaleleri bulun; anlamsal arama, anlamsal ve yapısal genişletme ve gövde içi doğrulama kullanarak. Bu beceriyi her zaman herhangi bir literatür bulma / makale alma görevi için kullanın — tek makale aramaları veya tam çoklu makale setleri.
data-analysisresearchweb-scraping
oracle
firecrawl
oracle CLI kullanımı için en iyi uygulamalar (istemci + dosya paketleme, motorlar, oturumlar ve dosya ekleme desenleri).
pinecone
firecrawl
Üretken yapay zeka uygulamaları için yönetilen vektör veritabanı. Tamamen yönetilen, otomatik ölçeklenen, hibrit arama (yoğun + seyrek), meta veri filtreleme ve ad alanları ile birlikte gelir.…
wpds
firecrawl
WordPress Tasarım Sistemi (WPDS) ve bileşenleri, tokenları, desenleri vb. kullanarak kullanıcı arayüzleri oluştururken kullanın.
audiocraft-audio-generation
firecrawl
Metin tabanlı müzik (MusicGen) ve ses (AudioGen) oluşturma dahil olmak üzere ses üretimi için PyTorch kütüphanesi. Metinden müzik oluşturmanız gerektiğinde kullanın…
skypilot-multi-cloud-orchestration
firecrawl
Çoklu bulut üzerinde ML iş yükleri için otomatik maliyet optimizasyonu ile orkestrasyon. Birden fazla bulutta eğitim veya toplu işler çalıştırmanız gerektiğinde kullanın, yararlanın…
firecrawl-seo-audit
firecrawl
Bir web sitesinin SEO'sunu Firecrawl ile denetleyin. Kullanıcı SEO denetimi, meta veri ve başlık incelemesi, site haritası/site yapısı analizi, anahtar kelime fırsatları, rakip SERP karşılaştırması veya önceliklendirilmiş arama optimizasyonu önerileri istediğinde kullanın.
data-analysisresearchweb-scraping
gh-issues
firecrawl
GitHub sorunlarını getir, düzeltmeleri uygulamak ve PR'lar açmak için alt ajanlar oluştur, ardından PR inceleme yorumlarını izle ve yanıtla. Kullanım: /gh-issues [sahip/depo] [--etiket…]