firecrawl-scrape

作者: firecrawl

從任何URL提取乾淨的Markdown,包括JavaScript渲染的單頁應用程式。支援靜態頁面和JS渲染的SPA,並可設定渲染等待時間。支援多個並行URL抓取,輸出格式選項包括Markdown、HTML、連結和螢幕截圖。包含內容過濾選項,如僅主內容模式以去除導航和頁尾,以及標籤包含/排除功能。可選的內聯問答功能,透過--query標誌進行目標性...

npx skills add https://github.com/firecrawl/cli --skill firecrawl-scrape

firecrawl scrape

Scrape one or more URLs. Returns clean, LLM-optimized markdown. Multiple URLs are scraped concurrently.

When to use

  • You have a specific URL and want its content
  • The page is static or JS-rendered (SPA)
  • Step 2 in the workflow escalation pattern: search → scrape → map → crawl → interact

Quick start

# Basic markdown extraction
firecrawl scrape "<url>" -o .firecrawl/page.md

# Main content only, no nav/footer
firecrawl scrape "<url>" --only-main-content -o .firecrawl/page.md

# Wait for JS to render, then scrape
firecrawl scrape "<url>" --wait-for 3000 -o .firecrawl/page.md

# Multiple URLs (each saved to .firecrawl/)
firecrawl scrape https://example.com https://example.com/blog https://example.com/docs

# Get markdown and links together
firecrawl scrape "<url>" --format markdown,links -o .firecrawl/page.json

# Ask a question about the page
firecrawl scrape "https://example.com/pricing" --query "What is the enterprise plan price?"

Options

OptionDescription
-f, --format <formats>Output formats: markdown, html, rawHtml, links, screenshot, json
-Q, --query <prompt>Ask a question about the page content (5 credits)
-HInclude HTTP headers in output
--only-main-contentStrip nav, footer, sidebar — main content only
--wait-for <ms>Wait for JS rendering before scraping
--include-tags <tags>Only include these HTML tags
--exclude-tags <tags>Exclude these HTML tags
--redact-piiRedact personally identifiable information from output
-o, --output <path>Output file path

Tips

  • Prefer plain scrape over --query. Scrape to a file, then use grep, head, or read the markdown directly — you can search and reason over the full content yourself. Use --query only when you want a single targeted answer without saving the page (costs 5 extra credits).
  • Try scrape before interact. Scrape handles static pages and JS-rendered SPAs. Only escalate to interact when you need interaction (clicks, form fills, pagination).
  • Multiple URLs are scraped concurrently — check firecrawl --status for your concurrency limit.
  • Single format outputs raw content. Multiple formats (e.g., --format markdown,links) output JSON.
  • Always quote URLs — shell interprets ? and & as special characters.
  • Naming convention: .firecrawl/{site}-{path}.md

See also

來自 firecrawl 的更多技能

oracle
firecrawl
使用 oracle CLI 的最佳實踐(提示與檔案捆綁、引擎、會話及檔案附加模式)。
official
firecrawl-monitor
firecrawl
偵測網站內容何時變更,並透過 Webhook 或電子郵件接收通知 — 無需 Cron 任務、爬蟲或比對腳本。當使用者想追蹤頁面變更、監控競爭對手定價、在新職缺或部落格文章出現時收到提醒、監控文件/更新紀錄/狀態頁面,或說出「監控」、「觀察」、「追蹤」、「當...時提醒我」、「當 X 變更時通知我」、「如果...請通知我」、「當...時寄信給我」或「當...時傳送 Webhook」時,請使用此技能。內建的 AI 判斷器會過濾格式、時間戳記及...
officialweb-scrapingresearch
firecrawl-deep-research
firecrawl
使用 Firecrawl 執行多來源深度研究。當使用者要求研究某個主題、比較不同觀點、產出具來源的簡報、調查技術或市場問題,或綜合多個來源的網路證據時使用。
officialresearchweb-scraping
firecrawl-research-papers
firecrawl
使用 Firecrawl 查找並綜合研究論文、白皮書、PDF、技術報告及學術來源。適用於用戶需要文獻回顧、論文摘要、研究現狀分析,或從 PDF 及學術/行業出版物中獲取有來源的綜合資訊時。
officialresearchweb-scraping
firecrawl-market-research
firecrawl
使用 Firecrawl 提取市場、財務、收益、行業及公司指標。適用於用戶查詢市場研究、行業趨勢、上市公司數據、財務比較、收益研究或結構化市場報告時使用。
officialresearchweb-scraping
firecrawl-website-design-clone
firecrawl
使用 Firecrawl 抓取證據,將任何網站的設計系統提取為可供代理程式使用的 DESIGN.md。當使用者需要從網站取得顏色、字型、間距、元件、版面配置模式或品牌/UI 指引,以便 AI 代理程式能建立新網站、複製外觀或根據該設計建構頁面時使用。
officialdesignweb-scraping
firecrawl-knowledge-base
firecrawl
使用 Firecrawl 從網頁內容建立知識庫。適用於本地參考文件、RAG 就緒區塊、微調資料集、文件鏡像、主題語料庫,或從網路來源整理而成的 LLM 就緒 Markdown。
officialweb-scrapingresearch
firecrawl-lead-research
firecrawl
使用 Firecrawl 生成會前潛在客戶情報簡報。適用於用戶在銷售通話、合作會議、投資人對話或客戶訪談前,需要進行公司研究、人物研究、最新新聞、談話要點、痛點分析或外展準備時。
officialresearchweb-scraping