firecrawl-scrape

tarafından firecrawl

Herhangi bir URL'den, JavaScript ile oluşturulmuş tek sayfa uygulamaları dahil, temiz markdown çıkarır. Kullanıcı bir URL sağlayıp içeriğini istediğinde veya "scrape" dediğinde bu beceriyi kullanın.

npx skills add https://github.com/firecrawl/firecrawl-codex-plugin --skill firecrawl-scrape

firecrawl scrape

Scrape one or more URLs. Returns clean, LLM-optimized markdown. Multiple URLs are scraped concurrently.

When to use

  • You have a specific URL and want its content
  • The page is static or JS-rendered (SPA)
  • Step 2 in the workflow escalation pattern: search → scrape → map → crawl → interact

Quick start

# Basic markdown extraction
firecrawl scrape "<url>" -o .firecrawl/page.md

# Main content only, no nav/footer
firecrawl scrape "<url>" --only-main-content -o .firecrawl/page.md

# Wait for JS to render, then scrape
firecrawl scrape "<url>" --wait-for 3000 -o .firecrawl/page.md

# Multiple URLs (each saved to .firecrawl/)
firecrawl scrape https://example.com https://example.com/blog https://example.com/docs

# Get markdown and links together
firecrawl scrape "<url>" --format markdown,links -o .firecrawl/page.json

# Ask a question about the page
firecrawl scrape "https://example.com/pricing" --query "What is the enterprise plan price?"

Options

OptionDescription
-f, --format <formats>Output formats: markdown, html, rawHtml, links, screenshot, json
-Q, --query <prompt>Ask a question about the page content (5 credits)
-HInclude HTTP headers in output
--only-main-contentStrip nav, footer, sidebar — main content only
--wait-for <ms>Wait for JS rendering before scraping
--include-tags <tags>Only include these HTML tags
--exclude-tags <tags>Exclude these HTML tags
-o, --output <path>Output file path

Tips

  • Prefer plain scrape over --query. Scrape to a file, then use grep, head, or read the markdown directly — you can search and reason over the full content yourself. Use --query only when you want a single targeted answer without saving the page (costs 5 extra credits).
  • Try scrape before interact. Scrape handles static pages and JS-rendered SPAs. Only escalate to interact when you need interaction (clicks, form fills, pagination).
  • Multiple URLs are scraped concurrently — check firecrawl --status for your concurrency limit.
  • Single format outputs raw content. Multiple formats (e.g., --format markdown,links) output JSON.
  • Always quote URLs — shell interprets ? and & as special characters.
  • Naming convention: .firecrawl/{site}-{path}.md

See also

firecrawl tarafından daha fazla skill

oracle
firecrawl
oracle CLI kullanımı için en iyi uygulamalar (istemci + dosya paketleme, motorlar, oturumlar ve dosya ekleme desenleri).
official
pinecone
firecrawl
Üretken yapay zeka uygulamaları için yönetilen vektör veritabanı. Tamamen yönetilen, otomatik ölçeklenen, hibrit arama (yoğun + seyrek), meta veri filtreleme ve ad alanları ile birlikte gelir.…
official
sentence-transformers
firecrawl
Son teknoloji cümle, metin ve görüntü yerleştirmeleri için çerçeve. Anlamsal benzerlik, kümeleme ve erişim için 5000'den fazla önceden eğitilmiş model sağlar.…
official
wp-playground
firecrawl
WordPress Playground iş akışları için kullanın: tarayıcıda veya yerel olarak @wp-playground/cli (sunucu, run-blueprint, build-snapshot) ile hızlı, tek kullanımlık WP örnekleri,…
official
wp-plugin-development
firecrawl
WordPress eklentileri geliştirirken kullanılır: mimari ve hook’lar, etkinleştirme/devre dışı bırakma/kaldırma, yönetici arayüzü ve Ayarlar API’si, veri depolama, cron/görevler, güvenlik…
official
wp-project-triage
firecrawl
Bir WordPress deposunun (eklenti/tema/blok teması/WP çekirdeği/Gutenberg/tam site) araçlar/testler/sürüm dahil deterministik bir incelemesine ihtiyaç duyduğunuzda kullanın.
official
wp-rest-api
firecrawl
WordPress REST API uç noktalarını/yollarını oluştururken, genişletirken veya hata ayıklarken kullanın: register_rest_route, WP_REST_Controller/kontrolör sınıfları, şema/argüman…
official
wp-wpcli-and-ops
firecrawl
WP-CLI (wp) ile WordPress işlemleri yaparken kullanılır: güvenli arama-değiştirme, veritabanı dışa/içe aktarma, eklenti/tema/kullanıcı/içerik yönetimi, cron, önbellek temizleme,…
official