firecrawl-scrape
от firecrawl
Извлекает чистый Markdown из любого URL, включая одностраничные приложения, отображаемые с помощью JavaScript. Обрабатывает как статические страницы, так и JS-рендеренные SPA с настраиваемым временем ожидания для рендеринга. Поддерживает одновременный сбор данных с нескольких URL с опциями формата вывода, включая Markdown, HTML, ссылки и скриншоты. Включает опции фильтрации контента, такие как режим только основного содержимого для удаления навигации и подвалов, а также включение/исключение тегов. Опциональный встроенный ответ на вопросы через флаг --query для целевого...
npx skills add https://github.com/firecrawl/cli --skill firecrawl-scrapefirecrawl scrape
Scrape one or more URLs. Returns clean, LLM-optimized markdown. Multiple URLs are scraped concurrently.
When to use
- You have a specific URL and want its content
- The page is static or JS-rendered (SPA)
- Step 2 in the workflow escalation pattern: search → scrape → map → crawl → interact
Quick start
# Basic markdown extraction
firecrawl scrape "<url>" -o .firecrawl/page.md
# Main content only, no nav/footer
firecrawl scrape "<url>" --only-main-content -o .firecrawl/page.md
# Wait for JS to render, then scrape
firecrawl scrape "<url>" --wait-for 3000 -o .firecrawl/page.md
# Multiple URLs (each saved to .firecrawl/)
firecrawl scrape https://example.com https://example.com/blog https://example.com/docs
# Get markdown and links together
firecrawl scrape "<url>" --format markdown,links -o .firecrawl/page.json
# Ask a question about the page
firecrawl scrape "https://example.com/pricing" --query "What is the enterprise plan price?"
Options
| Option | Description |
|---|---|
-f, --format <formats> | Output formats: markdown, html, rawHtml, links, screenshot, json |
-Q, --query <prompt> | Ask a question about the page content (5 credits) |
-H | Include HTTP headers in output |
--only-main-content | Strip nav, footer, sidebar — main content only |
--wait-for <ms> | Wait for JS rendering before scraping |
--include-tags <tags> | Only include these HTML tags |
--exclude-tags <tags> | Exclude these HTML tags |
--redact-pii | Redact personally identifiable information from output |
-o, --output <path> | Output file path |
Tips
- Prefer plain scrape over
--query. Scrape to a file, then usegrep,head, or read the markdown directly — you can search and reason over the full content yourself. Use--queryonly when you want a single targeted answer without saving the page (costs 5 extra credits). - Try scrape before interact. Scrape handles static pages and JS-rendered SPAs. Only escalate to
interactwhen you need interaction (clicks, form fills, pagination). - Multiple URLs are scraped concurrently — check
firecrawl --statusfor your concurrency limit. - Single format outputs raw content. Multiple formats (e.g.,
--format markdown,links) output JSON. - Always quote URLs — shell interprets
?and&as special characters. - Naming convention:
.firecrawl/{site}-{path}.md
See also
- firecrawl-search — find pages when you don't have a URL
- firecrawl-interact — when scrape can't get the content, use
interactto click, fill forms, etc. - firecrawl-download — bulk download an entire site to local files
Больше skills от firecrawl
oracle
firecrawl
Лучшие практики использования oracle CLI (объединение подсказок и файлов, движки, сессии и шаблоны прикрепления файлов).
official
firecrawl-monitor
firecrawl
Обнаруживайте изменения содержимого на веб-сайте и получайте уведомления через вебхук или электронную почту — без cron-задач, парсеров или скриптов сравнения. Используйте этот навык, когда пользователь хочет отслеживать изменения на странице, следить за ценами конкурентов, получать оповещения о новых вакансиях или записях в блоге, мониторить страницы документации/списка изменений/статуса, или говорит «отслеживать», «наблюдать», «мониторить», «уведомить меня, когда», «сообщить, когда X изменится», «напомнить мне, если», «отправить письмо, когда» или «отправить вебхук, когда». Встроенный AI-судья отфильтровывает форматирование, временные метки и...
officialweb-scrapingresearch
firecrawl-deep-research
firecrawl
Запустить многопоточное глубокое исследование с помощью Firecrawl. Используйте, когда пользователь просит исследовать тему, сравнить точки зрения, подготовить обзор с источниками, изучить технический или рыночный вопрос или обобщить веб-данные из множества источников.
officialresearchweb-scraping
firecrawl-research-papers
firecrawl
Находить и обобщать исследовательские статьи, технические отчёты, PDF-документы и академические источники с помощью Firecrawl. Используйте, когда пользователю нужен литературный обзор, краткое содержание статьи, обзор исследований или обобщение с источниками из PDF и научных/отраслевых публикаций.
officialresearchweb-scraping
firecrawl-market-research
firecrawl
Извлекайте рыночные, финансовые, показатели прибыли, отраслевые и корпоративные метрики с помощью Firecrawl. Используйте, когда пользователь запрашивает маркетинговые исследования, отраслевые тренды, данные публичных компаний, финансовые сравнения, анализ прибыли или структурированные рыночные отчеты.
officialresearchweb-scraping
firecrawl-website-design-clone
firecrawl
Извлеките дизайн-систему любого веб-сайта в файл DESIGN.md, готовый для агентов, используя данные скрапинга Firecrawl. Используйте, когда пользователю нужны цвета, шрифты, отступы, компоненты, шаблоны макетов или рекомендации по бренду/UI с веб-сайта, чтобы AI-агенты могли создавать новые сайты, клонировать внешний вид или строить страницы, вдохновлённые этим дизайном.
officialdesignweb-scraping
firecrawl-knowledge-base
firecrawl
Создайте базу знаний из веб-контента с помощью Firecrawl. Используйте для локальной справочной документации, чанков, готовых для RAG, наборов данных для тонкой настройки, зеркал документации, тематических корпусов или размеченного в формате Markdown, готового для LLM, организованного из веб-источников.
officialweb-scrapingresearch
firecrawl-lead-research
firecrawl
Создавайте краткие разведывательные сводки о лидах перед встречами с помощью Firecrawl. Используйте, когда пользователю нужно исследование компании, исследование человека, последние новости, темы для обсуждения, болевые точки или подготовка к обращению перед продажным звонком, встречей о партнерстве, разговором с инвестором или интервью с клиентом.
officialresearchweb-scraping