firecrawl-map
Khám phá và lọc các URL trên một trang web, có tùy chọn tìm kiếm để xác định các trang cụ thể. Hỗ trợ lọc theo truy vấn tìm kiếm để tìm các trang khớp với từ khóa trong các trang web lớn. Bao gồm các chiến lược xử lý sơ đồ trang web (bao gồm, bỏ qua hoặc chỉ sử dụng) và tùy chọn bao gồm tên miền phụ. Đầu ra kết quả dưới dạng văn bản thuần hoặc JSON với giới hạn URL có thể cấu hình. Thường được kết hợp với firecrawl-scrape: sử dụng map kèm tìm kiếm để tìm URL mục tiêu, sau đó scrape nó.
npx skills add https://github.com/firecrawl/cli --skill firecrawl-mapfirecrawl map
Discover URLs on a site. Use --search to find a specific page within a large site.
Prerequisite: map requires authentication (no keyless free tier); without credentials the CLI prompts an interactive login.
Quick start
# Find a specific page on a large site
firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt
# Get all URLs
firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json
Run firecrawl map --help for the full option list (sitemap handling, subdomains, etc.).
Done when: the URL list is saved under .firecrawl/ and you have selected the URLs to scrape or crawl next.
Tips
- Map + scrape is a common pattern: use
map --searchto find the right URL, thenscrapeit. - Example:
map https://docs.example.com --search "auth"→ found/docs/api/authentication→scrapethat URL.
See also
- firecrawl-scrape — scrape the URLs you discover
- firecrawl-crawl — bulk extract instead of map + scrape
- firecrawl-download — download entire site (uses map internally)
- firecrawl-build-search — building URL discovery into an app instead of running it here