firecrawl-scrape

bởi firecrawl

Trích xuất markdown sạch từ bất kỳ URL nào, bao gồm cả các SPA được render bằng JavaScript. Sử dụng kỹ năng này bất cứ khi nào người dùng cung cấp một URL và muốn lấy nội dung của nó, nói "scrape",…

npx skills add https://github.com/firecrawl/firecrawl-codex-plugin --skill firecrawl-scrape

firecrawl scrape

Scrape one or more URLs. Returns clean, LLM-optimized markdown. Multiple URLs are scraped concurrently.

When to use

  • You have a specific URL and want its content
  • The page is static or JS-rendered (SPA)
  • Step 2 in the workflow escalation pattern: search → scrape → map → crawl → interact

Quick start

# Basic markdown extraction
firecrawl scrape "<url>" -o .firecrawl/page.md

# Main content only, no nav/footer
firecrawl scrape "<url>" --only-main-content -o .firecrawl/page.md

# Wait for JS to render, then scrape
firecrawl scrape "<url>" --wait-for 3000 -o .firecrawl/page.md

# Multiple URLs (each saved to .firecrawl/)
firecrawl scrape https://example.com https://example.com/blog https://example.com/docs

# Get markdown and links together
firecrawl scrape "<url>" --format markdown,links -o .firecrawl/page.json

# Ask a question about the page
firecrawl scrape "https://example.com/pricing" --query "What is the enterprise plan price?"

Options

OptionDescription
-f, --format <formats>Output formats: markdown, html, rawHtml, links, screenshot, json
-Q, --query <prompt>Ask a question about the page content (5 credits)
-HInclude HTTP headers in output
--only-main-contentStrip nav, footer, sidebar — main content only
--wait-for <ms>Wait for JS rendering before scraping
--include-tags <tags>Only include these HTML tags
--exclude-tags <tags>Exclude these HTML tags
-o, --output <path>Output file path

Tips

  • Prefer plain scrape over --query. Scrape to a file, then use grep, head, or read the markdown directly — you can search and reason over the full content yourself. Use --query only when you want a single targeted answer without saving the page (costs 5 extra credits).
  • Try scrape before interact. Scrape handles static pages and JS-rendered SPAs. Only escalate to interact when you need interaction (clicks, form fills, pagination).
  • Multiple URLs are scraped concurrently — check firecrawl --status for your concurrency limit.
  • Single format outputs raw content. Multiple formats (e.g., --format markdown,links) output JSON.
  • Always quote URLs — shell interprets ? and & as special characters.
  • Naming convention: .firecrawl/{site}-{path}.md

See also

Thêm skills từ firecrawl

firecrawl-research-index
firecrawl
Tìm các bài báo trả lời truy vấn nghiên cứu với Firecrawl Research, sử dụng tìm kiếm ngữ nghĩa, mở rộng ngữ nghĩa và cấu trúc, cùng xác minh trong nội dung. Luôn sử dụng kỹ năng này cho bất kỳ nhiệm vụ tìm kiếm tài liệu/truy xuất bài báo nào — tra cứu một bài báo đơn lẻ hoặc toàn bộ bộ nhiều bài báo.
data-analysisresearchweb-scraping
oracle
firecrawl
Các phương pháp hay nhất khi sử dụng CLI oracle (gộp lời nhắc + tệp, engine, phiên và các mẫu đính kèm tệp).
pinecone
firecrawl
Cơ sở dữ liệu vector được quản lý cho các ứng dụng AI sản xuất. Được quản lý hoàn toàn, tự động mở rộng, với tìm kiếm kết hợp (dense + sparse), lọc metadata và không gian tên.…
wpds
firecrawl
Sử dụng khi xây dựng giao diện người dùng dựa trên Hệ thống Thiết kế WordPress (WPDS) và các thành phần, token, mẫu thiết kế, v.v. của nó.
audiocraft-audio-generation
firecrawl
Thư viện PyTorch để tạo âm thanh bao gồm chuyển văn bản thành nhạc (MusicGen) và chuyển văn bản thành âm thanh (AudioGen). Sử dụng khi bạn cần tạo nhạc từ văn bản…
skypilot-multi-cloud-orchestration
firecrawl
Điều phối đa đám mây cho khối lượng công việc ML với tối ưu hóa chi phí tự động. Sử dụng khi bạn cần chạy các công việc đào tạo hoặc xử lý hàng loạt trên nhiều đám mây, tận dụng…
firecrawl-seo-audit
firecrawl
Kiểm tra SEO của một trang web với Firecrawl. Sử dụng khi người dùng yêu cầu kiểm tra SEO, đánh giá metadata và tiêu đề, phân tích sitemap/cấu trúc trang web, cơ hội từ khóa, so sánh SERP đối thủ, hoặc các đề xuất tối ưu hóa tìm kiếm được ưu tiên.
data-analysisresearchweb-scraping
gh-issues
firecrawl
Lấy các issue GitHub, tạo sub-agent để triển khai sửa lỗi và mở PR, sau đó theo dõi và xử lý các nhận xét đánh giá PR. Cách dùng: /gh-issues [owner/repo] [--label…