firecrawl-map
작성자: firecrawl
웹사이트의 URL을 검색 및 필터링하며, 선택적으로 특정 페이지를 찾기 위한 검색을 지원합니다. 대규모 사이트 내에서 키워드와 일치하는 페이지를 찾기 위한 검색 쿼리 필터링을 포함합니다. 사이트맵 처리 전략(포함, 건너뛰기, 또는 전용 사용)과 선택적 하위 도메인 포함을 지원합니다. 결과는 일반 텍스트 또는 JSON으로 출력되며, URL 제한을 설정할 수 있습니다. 일반적으로 firecrawl-scrape와 함께 사용됩니다: map을 검색과 함께 사용하여 대상 URL을 찾은 후, 이를 스크랩합니다.
npx skills add https://github.com/firecrawl/cli --skill firecrawl-mapfirecrawl map
Discover URLs on a site. Use --search to find a specific page within a large site.
When to use
- You need to find a specific subpage on a large site
- You want a list of all URLs on a site before scraping or crawling
- Step 3 in the workflow escalation pattern: search → scrape → map → crawl → interact
Quick start
# Find a specific page on a large site
firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt
# Get all URLs
firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json
Options
| Option | Description |
|---|---|
--limit <n> | Max number of URLs to return |
--search <query> | Filter URLs by search query |
--sitemap <include|skip|only> | Sitemap handling strategy |
--include-subdomains | Include subdomain URLs |
--json | Output as JSON |
-o, --output <path> | Output file path |
Tips
- Map + scrape is a common pattern: use
map --searchto find the right URL, thenscrapeit. - Example:
map https://docs.example.com --search "auth"→ found/docs/api/authentication→scrapethat URL.
See also
- firecrawl-scrape — scrape the URLs you discover
- firecrawl-crawl — bulk extract instead of map + scrape
- firecrawl-download — download entire site (uses map internally)