firecrawl-scrape
द्वारा firecrawl
एक या अधिक URL स्क्रैप करें। स्वच्छ, LLM-अनुकूलित मार्कडाउन लौटाता है। एकाधिक URL एक साथ स्क्रैप किए जाते हैं।
npx skills add https://github.com/firecrawl/firecrawl-cli --skill firecrawl-scrapefirecrawl scrape
Scrape one or more URLs. Returns clean, LLM-optimized markdown. Multiple URLs are scraped concurrently.
When to use
- You have a specific URL and want its content
- The page is static or JS-rendered (SPA)
- Step 2 in the workflow escalation pattern: search → scrape → map → crawl → interact
Quick start
# Basic markdown extraction
firecrawl scrape "<url>" -o .firecrawl/page.md
# Main content only, no nav/footer
firecrawl scrape "<url>" --only-main-content -o .firecrawl/page.md
# Wait for JS to render, then scrape
firecrawl scrape "<url>" --wait-for 3000 -o .firecrawl/page.md
# Multiple URLs (each saved to .firecrawl/)
firecrawl scrape https://example.com https://example.com/blog https://example.com/docs
# Get markdown and links together
firecrawl scrape "<url>" --format markdown,links -o .firecrawl/page.json
# Ask a question about the page
firecrawl scrape "https://example.com/pricing" --query "What is the enterprise plan price?"
Options
| Option | Description |
|---|---|
-f, --format <formats> | Output formats: markdown, html, rawHtml, links, screenshot, json |
-Q, --query <prompt> | Ask a question about the page content (5 credits) |
-H | Include HTTP headers in output |
--only-main-content | Strip nav, footer, sidebar — main content only |
--wait-for <ms> | Wait for JS rendering before scraping |
--include-tags <tags> | Only include these HTML tags |
--exclude-tags <tags> | Exclude these HTML tags |
--redact-pii | Redact personally identifiable information from output |
-o, --output <path> | Output file path |
Tips
- Prefer plain scrape over
--query. Scrape to a file, then usegrep,head, or read the markdown directly — you can search and reason over the full content yourself. Use--queryonly when you want a single targeted answer without saving the page (costs 5 extra credits). - Try scrape before interact. Scrape handles static pages and JS-rendered SPAs. Only escalate to
interactwhen you need interaction (clicks, form fills, pagination). - Multiple URLs are scraped concurrently — check
firecrawl --statusfor your concurrency limit. - Single format outputs raw content. Multiple formats (e.g.,
--format markdown,links) output JSON. - Always quote URLs — shell interprets
?and&as special characters. - Naming convention:
.firecrawl/{site}-{path}.md
See also
- firecrawl-search — find pages when you don't have a URL
- firecrawl-interact — when scrape can't get the content, use
interactto click, fill forms, etc. - firecrawl-download — bulk download an entire site to local files
firecrawl की और Skills
oracle
firecrawl
ओरेकल CLI के उपयोग के लिए सर्वोत्तम अभ्यास (प्रॉम्प्ट + फ़ाइल बंडलिंग, इंजन, सत्र और फ़ाइल अटैचमेंट पैटर्न)।
official
firecrawl-monitor
firecrawl
वेबसाइट पर सामग्री बदलने का पता लगाएं और वेबहुक या ईमेल द्वारा सूचित हों — किसी क्रॉन जॉब, स्क्रैपर या डिफ स्क्रिप्ट की आवश्यकता नहीं। इस कौशल का उपयोग तब करें जब उपयोगकर्ता किसी पेज पर बदलाव ट्रैक करना चाहता हो, प्रतिस्पर्धी मूल्य निर्धारण पर नज़र रखना चाहता हो, नई नौकरी पोस्टिंग या ब्लॉग पोस्ट पर अलर्ट चाहता हो, डॉक्स/चेंजलॉग/स्टेटस पेजों की निगरानी कर
officialweb-scrapingresearch
firecrawl-deep-research
firecrawl
Firecrawl के साथ बहु-स्रोत गहन शोध चलाएँ। इसका उपयोग तब करें जब उपयोगकर्ता किसी विषय पर शोध करने, दृष्टिकोणों की तुलना करने, स्रोत-आधारित ब्रीफिंग तैयार करने, किसी तकनीकी या बाजार प्रश्न की जांच करने, या कई स्रोतों से वेब साक्ष्य को संश्लेषित करने के लिए कहे।
officialresearchweb-scraping
firecrawl-research-papers
firecrawl
Firecrawl के साथ शोध पत्र, श्वेतपत्र, PDF, तकनीकी रिपोर्ट और शैक्षणिक स्रोत खोजें और संश्लेषित करें। इसका उपयोग तब करें जब उपयोगकर्ता साहित्य समीक्षा, पत्र सारांश, शोध परिदृश्य, या PDF और शैक्षणिक/उद्योग प्रकाशनों से स्रोतित संश्लेषण चाहता हो।
officialresearchweb-scraping
firecrawl-market-research
firecrawl
Firecrawl के साथ बाजार, वित्तीय, आय, उद्योग और कंपनी मीट्रिक्स निकालें। इसका उपयोग तब करें जब उपयोगकर्ता बाजार अनुसंधान, उद्योग रुझान, सार्वजनिक कंपनी डेटा, वित्तीय तुलना, आय अनुसंधान या संरचित बाजार रिपोर्ट मांगे।
officialresearchweb-scraping
firecrawl-website-design-clone
firecrawl
किसी भी वेबसाइट के डिज़ाइन सिस्टम को Firecrawl स्क्रेप एविडेंस का उपयोग करके एजेंट-रेडी DESIGN.md में निकालें। इसका उपयोग तब करें जब उपयोगकर्ता किसी वेबसाइट से रंग, फ़ॉन्ट, स्पेसिंग, कंपोनेंट, लेआउट पैटर्न या ब्रांड/UI मार्गदर्शन चाहता है ताकि AI एजेंट नई वेबसाइट बना सकें, लुक क्लोन कर सकें या उस डिज़ाइन से प्रेरित पेज बना सकें।
officialdesignweb-scraping
firecrawl-knowledge-base
firecrawl
फायरक्रॉल के साथ वेब सामग्री से एक ज्ञानकोष बनाएं। स्थानीय संदर्भ दस्तावेज़ों, RAG-तैयार खंडों, फाइन-ट्यूनिंग डेटासेट, दस्तावेज़ीकरण मिरर, विषय कोष, या वेब स्रोतों से व्यवस्थित LLM-तैयार मार्कडाउन के लिए उपयोग करें।
officialweb-scrapingresearch
firecrawl-lead-research
firecrawl
फायरक्रॉल के साथ मीटिंग से पहले लीड इंटेलिजेंस ब्रीफ तैयार करें। इसका उपयोग तब करें जब उपयोगकर्ता को सेल्स कॉल, पार्टनरशिप मीटिंग, निवेशक वार्तालाप या ग्राहक साक्षात्कार से पहले कंपनी अनुसंधान, व्यक्ति अनुसंधान, हालिया समाचार, बातचीत के बिंदु, समस्या बिंदु या आउटरीच तैयारी की आवश्यकता हो।
officialresearchweb-scraping