Scrawly

Crawler de SEO gratuito e de código aberto com 250 verificações e um servidor MCP para agentes de codificação de IA.

Documentação

Scrawly logo

Scrawly: o crawler de SEO gratuito e de código aberto e ferramenta de auditoria de sites

Auditorias gratuitas de SEO técnico, GEO e busca por IA para qualquer site.
Uma alternativa gratuita ao Screaming Frog e ao Sitebulb. Sem conta, sem limite de páginas, sem assinatura.

MIT License macOS, Windows and Linux 250 SEO checks Latest release

Scrawly é um crawler de SEO para desktop, gratuito e de código aberto, e uma ferramenta de auditoria técnica de sites para macOS, Windows e Linux. Ele rastreia um site, executa 250 verificações técnicas de SEO, GEO (Otimização para Mecanismos Generativos) e web agêntica em cada página, mapeia a arquitetura do site, e explica em linguagem simples o que corrigir. Para sites WordPress, ele também pode aplicar correções seguras e reversíveis. O Scrawly foi criado por Ilias Sami e lançado para a comunidade de SEO sob a Licença MIT.

Em uma frase: o Scrawly é um aplicativo de desktop gratuito que audita qualquer site quanto a problemas técnicos que afetam os rankings do Google e a visibilidade na busca por IA (ChatGPT, Perplexity, Google AI Overviews), sem conta e sem limite de páginas.

Scrawly: Free Desktop SEO Crawler Built for Modern Search

Portais Oficiais e Rede:


Conteúdo

Instalar em uma linha

O Scrawly se instala sozinho, adiciona um ícone de aplicativo (Aplicativos no macOS, o Menu Iniciar no Windows, o menu de aplicativos no Linux) e se mantém atualizado.

macOS ou Linux (Terminal):

curl -fsSL https://raw.githubusercontent.com/IliasSami/scrawly-seo-crawler/main/install.sh | bash

Windows (PowerShell):

irm https://raw.githubusercontent.com/IliasSami/scrawly-seo-crawler/main/install.ps1 | iex

Em seguida, abra o Scrawly como qualquer outro aplicativo. Não há nada para se cadastrar.

Prefere instalar manualmente?

Você precisa de Python 3.11 ou mais recente e git. (Node.js não é necessário: as versões já incluem a interface pré-compilada.)

git clone https://github.com/IliasSami/scrawly-seo-crawler.git Scrawly
cd Scrawly
python3 scripts/install.py        # Windows: py scripts\install.py

O instalador cria um ambiente Python privado, baixa o navegador do crawler (cerca de 150 MB, uma vez) e adiciona o Scrawly aos seus aplicativos. Guia completo, notas para Linux e solução de problemas: docs/DESKTOP.md.

O que o Scrawly verifica

O Scrawly executa 250 verificações agrupadas em 23 áreas. Cada descoberta vem com o motivo pelo qual é importante, como corrigir e as páginas exatas afetadas.

ÁreaExemplos
Rastreabilidade e indexabilidaderegras de robots.txt, meta robots e X-Robots-Tag, conflitos de noindex, páginas órfãs, profundidade de rastreamento
Códigos de resposta e redirecionamentospáginas 4xx e 5xx, cadeias e loops de redirecionamento, redirecionamentos temporários vs. permanentes
Títulos, meta e cabeçalhostítulos ausentes, duplicados, muito longos ou muito curtos; truncamento por largura de pixel; meta descrições muito curtas para IA; ordem de H1 e cabeçalhos
Canonicalizaçãocanônicos ausentes, conflitantes, entre domínios ou não indexáveis
Qualidade do conteúdoconteúdo curto e duplicado, quase duplicatas, legibilidade
Dados estruturadosJSON-LD, Microdata e RDFa, com validação de esquema
Links internos e arquiteturagrafo de links, PageRank interno ("autoridade"), links quebrados, âncoras genéricas
Desempenho e Core Web Vitalsdados de laboratório e de campo (CrUX) do PageSpeed Insights, TTFB, peso da página
Prontidão para busca por IA (GEO)quais crawlers de IA você permite ou bloqueia, llms.txt, prontidão para citação por IA
Web agênticaquão bem os agentes de IA podem ler e operar seu site
E maisimagens e texto alternativo, hreflang, sitemaps XML, segurança e TLS, mobile, renderização de JavaScript, paginação, especificidades do WordPress

O catálogo completo, com gravidade e nível de correção para cada verificação, está em docs/CHECK_MANIFEST.yaml.

Scrawly 250+ Technical SEO Checks Impact Matrix

Também incluído: renderização de JavaScript, extração personalizada, perfis de rastreamento salvos, um grafo de site 3D e árvore de profundidade, comparação entre rastreamentos, auditorias agendadas com alertas de regressão, dados do Google Search Console e GA4, relatórios HTML e PDF com marca própria, um redator de IA para títulos e meta descrições (use sua própria chave de IA) e um servidor MCP para que assistentes de IA possam trabalhar com suas auditorias (docs/MCP.md).

Uma alternativa gratuita ao Screaming Frog e ao Sitebulb

O Screaming Frog SEO Spider e o Sitebulb são ferramentas excelentes. O Scrawly é uma opção gratuita e de código aberto para quem deseja uma auditoria técnica profunda sem licença, além de verificações para busca por IA.

Screaming Frog / SitebulbScrawly
PreçoLicença paga ou assinatura (nível gratuito ou teste limitado)Gratuito e de código aberto (MIT)
Conta ou chave de licençaNecessária para uso completoNenhuma
Limite de páginasO nível gratuito é limitadoSem limite: você define o limite
Verificações de busca por IA (GEO) e web agênticaAlgumas, dependendo da versãoUm conjunto dedicado: acesso a crawlers de IA, llms.txt, prontidão para citação e agentes
CorreçõesApenas relatórioCorreções seguras e reversíveis no WordPress
Código-fonteFechadoAberto: leia, audite, contribua

Scrawly vs Screaming Frog vs Sitebulb Feature Comparison

O Scrawly é independente e não é afiliado à Screaming Frog Ltd ou ao Sitebulb.

GEO e AEO: auditoria para busca por IA

A busca agora inclui mecanismos de resposta por IA que leem suas páginas e decidem se devem citar você. O Scrawly audita para Otimização para Mecanismos Generativos (GEO) e Otimização para Mecanismos de Resposta (AEO):

  • Acesso a crawlers de IA: uma matriz de quais bots de IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot e outros) seu robots.txt e firewall permitem ou bloqueiam.
  • llms.txt: se você publica um índice selecionado para sistemas de IA e sua qualidade.
  • Meta como contexto para IA: uma descrição costuma ser a primeira coisa que uma IA lê sobre uma página, então o Scrawly sinaliza descrições curtas demais para entender e pode redigir uma rica em entidades a partir do próprio conteúdo da página.
  • Entidades e dados estruturados: o esquema e as entidades nomeadas que ajudam mecanismos de busca e IA a entender sobre o que é uma página.

Scrawly Generative Engine Optimization (GEO) & AI Crawlers Audit

Fluxo de Trabalho de Auditoria de Agência em Quatro Etapas

Scrawly 4-Step Agency Audit Workflow

  1. Entrada da URL de destino: configure profundidade, concorrência, user-agents e regras personalizadas de robots.
  2. Varredura heurística automatizada: inspeção HTTP de dupla passagem e renderização de JavaScript com Chromium headless.
  3. Painel visual interativo: triagem de problemas priorizada por pontuação de impacto e profundidade de rastreamento.
  4. Entregáveis prontos para o cliente: exportação instantânea para PDF com marca branca, Excel/CSV e bancos de dados SQLite portáteis.

Corrija problemas do WordPress com segurança

Conecte um site WordPress com o plugin leve Scrawly Connector e o Scrawly pode corrigir títulos, meta descrições, canônicos e redirecionamentos para você:

  • um snapshot de reversão é salvo antes de cada alteração, e toda correção pode ser desfeita;
  • alterações no site ao vivo sempre pedem sua confirmação primeiro;
  • problemas de maior risco nunca são aplicados automaticamente; eles são sinalizados para uma pessoa revisar.

Consulte docs/WORDPRESS_CONNECTOR.md. Todos os outros sites (Shopify, Wix, Webflow, Next.js, personalizados) recebem a auditoria completa somente leitura.

Privacidade: suas auditorias ficam no seu computador

O Scrawly não tem contas nem análises. Seus rastreamentos, descobertas e relatórios são armazenados apenas no seu computador. O Scrawly se conecta a:

  • os sites que você escolhe auditar;
  • GitHub, para verificar atualizações (desative com SCRAWLY_AUTO_UPDATE=0);
  • serviços que você configura, como PageSpeed Insights, Google Search Console ou seu provedor de IA;
  • o serviço de feedback, somente quando você clica em Enviar em uma nota de feedback.

O mecanismo local do aplicativo só aceita solicitações da própria janela do Scrawly, então outros sites não podem usá-lo. Relate problemas de segurança conforme descrito em SECURITY.md.

Perguntas frequentes

O que é o Scrawly? O Scrawly é um crawler de SEO gratuito e de código aberto e uma ferramenta de auditoria técnica de sites que roda como um aplicativo de desktop em macOS, Windows e Linux. Ele verifica cada página de um site quanto a 250 problemas técnicos de SEO, GEO e web agêntica e explica como corrigi-los.

Existe uma alternativa gratuita ao Screaming Frog? Sim. O Scrawly é uma alternativa gratuita e de código aberto ao Screaming Frog SEO Spider e ao Sitebulb. Ele não tem limite de páginas nem licença, e adiciona verificações de busca por IA (GEO) e correções seguras para WordPress.

O Scrawly é realmente gratuito? Sim. O Scrawly é gratuito e de código aberto sob a Licença MIT, sem conta, assinatura ou limite de uso. As auditorias rodam no seu próprio computador, então não há custo por rastreamento.

Preciso criar uma conta? Não. Instale e comece a auditar. Não há cadastro, login ou aprovação.

O Scrawly funciona em sites que não são WordPress? Sim. A auditoria funciona em qualquer site. Apenas as correções com um clique são específicas do WordPress.

O Scrawly pode verificar prontidão para busca por IA e GEO? Sim. Ele verifica acesso a crawlers de IA, llms.txt, se títulos e descrições dão à IA contexto suficiente, dados estruturados e quão bem os agentes de IA podem usar o site.

Quantas páginas o Scrawly pode rastrear? Não há limite fixo. Você escolhe o limite por auditoria; até onde você pode ir depende do seu computador e do site.

Quem criou o Scrawly? O Scrawly foi criado por Ilias Sami, consultor de SEO, como uma contribuição gratuita para a comunidade de SEO. Contato: me@iliassami.com.

Documentação

Contribuição e feedback

O Scrawly melhora com a contribuição da comunidade:

  • No aplicativo: clique no ícone de balão de fala (Enviar feedback) na parte inferior da barra esquerda. Não é necessária conta no GitHub.
  • No GitHub: abra uma issue ou um pull request. Consulte CONTRIBUTING.md.

Licença e créditos

O Scrawly é lançado sob a Licença MIT. Copyright (c) 2026 Ilias Sami (me@iliassami.com). Se você usar o Scrawly em pesquisas ou textos, consulte CITATION.cff.

Feito para a comunidade de SEO. Se o Scrawly ajudar você, uma estrela no GitHub ajuda outros a encontrá-lo.