firecrawl-map
द्वारा firecrawl
किसी वेबसाइट पर URL खोजें और फ़िल्टर करें, विशिष्ट पृष्ठों को ढूंढने के लिए वैकल्पिक खोज सुविधा के साथ। बड़ी साइटों में कीवर्ड से मेल खाने वाले पृष्ठों को खोजने के लिए खोज क्वेरी द्वारा फ़िल्टरिंग का समर्थन करता है। इसमें साइटमैप हैंडलिंग रणनीतियाँ (शामिल करें, छोड़ें, या केवल उपयोग करें) और वैकल्पिक सबडोमेन शामिल करने की सुविधा शामिल है। परिणाम सादे टेक्स्ट या JSON के रूप में कॉ
npx skills add https://github.com/firecrawl/cli --skill firecrawl-mapfirecrawl map
Discover URLs on a site. Use --search to find a specific page within a large site.
When to use
- You need to find a specific subpage on a large site
- You want a list of all URLs on a site before scraping or crawling
- Step 3 in the workflow escalation pattern: search → scrape → map → crawl → interact
Quick start
# Find a specific page on a large site
firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt
# Get all URLs
firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json
Options
| Option | Description |
|---|---|
--limit <n> | Max number of URLs to return |
--search <query> | Filter URLs by search query |
--sitemap <include|skip|only> | Sitemap handling strategy |
--include-subdomains | Include subdomain URLs |
--json | Output as JSON |
-o, --output <path> | Output file path |
Tips
- Map + scrape is a common pattern: use
map --searchto find the right URL, thenscrapeit. - Example:
map https://docs.example.com --search "auth"→ found/docs/api/authentication→scrapethat URL.
See also
- firecrawl-scrape — scrape the URLs you discover
- firecrawl-crawl — bulk extract instead of map + scrape
- firecrawl-download — download entire site (uses map internally)