Scrawly
Crawler de SEO gratuito e de código aberto com 250 verificações e um servidor MCP para agentes de codificação de IA.
Documentação
Scrawly: o crawler de SEO gratuito e de código aberto e ferramenta de auditoria de sites
Auditorias gratuitas de SEO técnico, GEO e busca por IA para qualquer site.
Uma alternativa gratuita ao Screaming Frog e ao Sitebulb. Sem conta, sem limite de páginas, sem assinatura.
Scrawly é um crawler de SEO para desktop, gratuito e de código aberto, e uma ferramenta de auditoria técnica de sites para macOS, Windows e Linux. Ele rastreia um site, executa 250 verificações técnicas de SEO, GEO (Otimização para Mecanismos Generativos) e web agêntica em cada página, mapeia a arquitetura do site, e explica em linguagem simples o que corrigir. Para sites WordPress, ele também pode aplicar correções seguras e reversíveis. O Scrawly foi criado por Ilias Sami e lançado para a comunidade de SEO sob a Licença MIT.
Em uma frase: o Scrawly é um aplicativo de desktop gratuito que audita qualquer site quanto a problemas técnicos que afetam os rankings do Google e a visibilidade na busca por IA (ChatGPT, Perplexity, Google AI Overviews), sem conta e sem limite de páginas.
Portais Oficiais e Rede:
- 🌐 Site Oficial: iliassami.com/scrawly
- ☁️ Hub do Google Sites: sites.google.com/view/scrawly-seo-crawler/home
- ⚡ Nó de Borda Cloudflare: iliassami-seo-cloudstack.pages.dev/scrawly-desktop-seo-crawler
- 📦 GitHub Pages: iliassami.github.io/scrawly-seo-crawler
Conteúdo
- Instalar em uma linha
- O que o Scrawly verifica
- Alternativa gratuita ao Screaming Frog e ao Sitebulb
- GEO e AEO: auditoria para busca por IA
- Corrija problemas do WordPress com segurança
- Privacidade
- Perguntas frequentes
- Documentação · Contribuição · Licença
Instalar em uma linha
O Scrawly se instala sozinho, adiciona um ícone de aplicativo (Aplicativos no macOS, o Menu Iniciar no Windows, o menu de aplicativos no Linux) e se mantém atualizado.
macOS ou Linux (Terminal):
curl -fsSL https://raw.githubusercontent.com/IliasSami/scrawly-seo-crawler/main/install.sh | bash
Windows (PowerShell):
irm https://raw.githubusercontent.com/IliasSami/scrawly-seo-crawler/main/install.ps1 | iex
Em seguida, abra o Scrawly como qualquer outro aplicativo. Não há nada para se cadastrar.
Prefere instalar manualmente?
Você precisa de Python 3.11 ou mais recente e git. (Node.js não é necessário: as versões já incluem a interface pré-compilada.)
git clone https://github.com/IliasSami/scrawly-seo-crawler.git Scrawly
cd Scrawly
python3 scripts/install.py # Windows: py scripts\install.py
O instalador cria um ambiente Python privado, baixa o navegador do crawler (cerca de 150 MB, uma vez) e adiciona o Scrawly aos seus aplicativos. Guia completo, notas para Linux e solução de problemas: docs/DESKTOP.md.
O que o Scrawly verifica
O Scrawly executa 250 verificações agrupadas em 23 áreas. Cada descoberta vem com o motivo pelo qual é importante, como corrigir e as páginas exatas afetadas.
| Área | Exemplos |
|---|---|
| Rastreabilidade e indexabilidade | regras de robots.txt, meta robots e X-Robots-Tag, conflitos de noindex, páginas órfãs, profundidade de rastreamento |
| Códigos de resposta e redirecionamentos | páginas 4xx e 5xx, cadeias e loops de redirecionamento, redirecionamentos temporários vs. permanentes |
| Títulos, meta e cabeçalhos | títulos ausentes, duplicados, muito longos ou muito curtos; truncamento por largura de pixel; meta descrições muito curtas para IA; ordem de H1 e cabeçalhos |
| Canonicalização | canônicos ausentes, conflitantes, entre domínios ou não indexáveis |
| Qualidade do conteúdo | conteúdo curto e duplicado, quase duplicatas, legibilidade |
| Dados estruturados | JSON-LD, Microdata e RDFa, com validação de esquema |
| Links internos e arquitetura | grafo de links, PageRank interno ("autoridade"), links quebrados, âncoras genéricas |
| Desempenho e Core Web Vitals | dados de laboratório e de campo (CrUX) do PageSpeed Insights, TTFB, peso da página |
| Prontidão para busca por IA (GEO) | quais crawlers de IA você permite ou bloqueia, llms.txt, prontidão para citação por IA |
| Web agêntica | quão bem os agentes de IA podem ler e operar seu site |
| E mais | imagens e texto alternativo, hreflang, sitemaps XML, segurança e TLS, mobile, renderização de JavaScript, paginação, especificidades do WordPress |
O catálogo completo, com gravidade e nível de correção para cada verificação, está em docs/CHECK_MANIFEST.yaml.
Também incluído: renderização de JavaScript, extração personalizada, perfis de rastreamento salvos, um grafo de site 3D e árvore de profundidade, comparação entre rastreamentos, auditorias agendadas com alertas de regressão, dados do Google Search Console e GA4, relatórios HTML e PDF com marca própria, um redator de IA para títulos e meta descrições (use sua própria chave de IA) e um servidor MCP para que assistentes de IA possam trabalhar com suas auditorias (docs/MCP.md).
Uma alternativa gratuita ao Screaming Frog e ao Sitebulb
O Screaming Frog SEO Spider e o Sitebulb são ferramentas excelentes. O Scrawly é uma opção gratuita e de código aberto para quem deseja uma auditoria técnica profunda sem licença, além de verificações para busca por IA.
| Screaming Frog / Sitebulb | Scrawly | |
|---|---|---|
| Preço | Licença paga ou assinatura (nível gratuito ou teste limitado) | Gratuito e de código aberto (MIT) |
| Conta ou chave de licença | Necessária para uso completo | Nenhuma |
| Limite de páginas | O nível gratuito é limitado | Sem limite: você define o limite |
| Verificações de busca por IA (GEO) e web agêntica | Algumas, dependendo da versão | Um conjunto dedicado: acesso a crawlers de IA, llms.txt, prontidão para citação e agentes |
| Correções | Apenas relatório | Correções seguras e reversíveis no WordPress |
| Código-fonte | Fechado | Aberto: leia, audite, contribua |
O Scrawly é independente e não é afiliado à Screaming Frog Ltd ou ao Sitebulb.
GEO e AEO: auditoria para busca por IA
A busca agora inclui mecanismos de resposta por IA que leem suas páginas e decidem se devem citar você. O Scrawly audita para Otimização para Mecanismos Generativos (GEO) e Otimização para Mecanismos de Resposta (AEO):
- Acesso a crawlers de IA: uma matriz de quais bots de IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot e outros) seu robots.txt e firewall permitem ou bloqueiam.
llms.txt: se você publica um índice selecionado para sistemas de IA e sua qualidade.- Meta como contexto para IA: uma descrição costuma ser a primeira coisa que uma IA lê sobre uma página, então o Scrawly sinaliza descrições curtas demais para entender e pode redigir uma rica em entidades a partir do próprio conteúdo da página.
- Entidades e dados estruturados: o esquema e as entidades nomeadas que ajudam mecanismos de busca e IA a entender sobre o que é uma página.
Fluxo de Trabalho de Auditoria de Agência em Quatro Etapas
- Entrada da URL de destino: configure profundidade, concorrência, user-agents e regras personalizadas de robots.
- Varredura heurística automatizada: inspeção HTTP de dupla passagem e renderização de JavaScript com Chromium headless.
- Painel visual interativo: triagem de problemas priorizada por pontuação de impacto e profundidade de rastreamento.
- Entregáveis prontos para o cliente: exportação instantânea para PDF com marca branca, Excel/CSV e bancos de dados SQLite portáteis.
Corrija problemas do WordPress com segurança
Conecte um site WordPress com o plugin leve Scrawly Connector e o Scrawly pode corrigir títulos, meta descrições, canônicos e redirecionamentos para você:
- um snapshot de reversão é salvo antes de cada alteração, e toda correção pode ser desfeita;
- alterações no site ao vivo sempre pedem sua confirmação primeiro;
- problemas de maior risco nunca são aplicados automaticamente; eles são sinalizados para uma pessoa revisar.
Consulte docs/WORDPRESS_CONNECTOR.md. Todos os outros sites (Shopify, Wix, Webflow, Next.js, personalizados) recebem a auditoria completa somente leitura.
Privacidade: suas auditorias ficam no seu computador
O Scrawly não tem contas nem análises. Seus rastreamentos, descobertas e relatórios são armazenados apenas no seu computador. O Scrawly se conecta a:
- os sites que você escolhe auditar;
- GitHub, para verificar atualizações (desative com
SCRAWLY_AUTO_UPDATE=0); - serviços que você configura, como PageSpeed Insights, Google Search Console ou seu provedor de IA;
- o serviço de feedback, somente quando você clica em Enviar em uma nota de feedback.
O mecanismo local do aplicativo só aceita solicitações da própria janela do Scrawly, então outros sites não podem usá-lo. Relate problemas de segurança conforme descrito em SECURITY.md.
Perguntas frequentes
O que é o Scrawly? O Scrawly é um crawler de SEO gratuito e de código aberto e uma ferramenta de auditoria técnica de sites que roda como um aplicativo de desktop em macOS, Windows e Linux. Ele verifica cada página de um site quanto a 250 problemas técnicos de SEO, GEO e web agêntica e explica como corrigi-los.
Existe uma alternativa gratuita ao Screaming Frog? Sim. O Scrawly é uma alternativa gratuita e de código aberto ao Screaming Frog SEO Spider e ao Sitebulb. Ele não tem limite de páginas nem licença, e adiciona verificações de busca por IA (GEO) e correções seguras para WordPress.
O Scrawly é realmente gratuito? Sim. O Scrawly é gratuito e de código aberto sob a Licença MIT, sem conta, assinatura ou limite de uso. As auditorias rodam no seu próprio computador, então não há custo por rastreamento.
Preciso criar uma conta? Não. Instale e comece a auditar. Não há cadastro, login ou aprovação.
O Scrawly funciona em sites que não são WordPress? Sim. A auditoria funciona em qualquer site. Apenas as correções com um clique são específicas do WordPress.
O Scrawly pode verificar prontidão para busca por IA e GEO?
Sim. Ele verifica acesso a crawlers de IA, llms.txt, se títulos e descrições dão à IA contexto
suficiente, dados estruturados e quão bem os agentes de IA podem usar o site.
Quantas páginas o Scrawly pode rastrear? Não há limite fixo. Você escolhe o limite por auditoria; até onde você pode ir depende do seu computador e do site.
Quem criou o Scrawly? O Scrawly foi criado por Ilias Sami, consultor de SEO, como uma contribuição gratuita para a comunidade de SEO. Contato: me@iliassami.com.
Documentação
- docs/DESKTOP.md: instalação, atualização, notas para Linux e solução de problemas
- docs/WORDPRESS_CONNECTOR.md: o plugin de correção para WordPress
- docs/MCP.md: use suas auditorias a partir de assistentes de IA (MCP)
- docs/CHECK_MANIFEST.yaml: o catálogo completo de verificações
- CHANGELOG.md: o que mudou em cada versão
Contribuição e feedback
O Scrawly melhora com a contribuição da comunidade:
- No aplicativo: clique no ícone de balão de fala (Enviar feedback) na parte inferior da barra esquerda. Não é necessária conta no GitHub.
- No GitHub: abra uma issue ou um pull request. Consulte CONTRIBUTING.md.
Licença e créditos
O Scrawly é lançado sob a Licença MIT. Copyright (c) 2026 Ilias Sami (me@iliassami.com). Se você usar o Scrawly em pesquisas ou textos, consulte CITATION.cff.
Feito para a comunidade de SEO. Se o Scrawly ajudar você, uma estrela no GitHub ajuda outros a encontrá-lo.