Webclaw

Inglês | 简体中文

webclaw

Transforme sites em markdown limpo, JSON e contexto pronto para LLM.
_{CLI, servidor MCP, API REST e SDKs para agentes de IA e pipelines de RAG.}

A maioria das ferramentas de raspagem web dá ao seu agente uma de duas saídas ruins:

• uma página bloqueada, parede de login ou shell de aplicativo vazio
• HTML bruto cheio de navegação, scripts, estilos, anúncios e boilerplate duplicado

webclaw.io é a API de extração web hospedada para webclaw. Este repositório contém o CLI de código aberto, o servidor MCP, o mecanismo de extração e o servidor auto-hospedável.

webclaw transforma uma URL em conteúdo limpo que suas ferramentas podem realmente usar.

webclaw https://example.com --format markdown

# Example Domain

This domain is for use in illustrative examples in documents.

You may use this domain in literature without prior coordination or asking for permission.

Use-o pelo terminal, conecte-o ao Claude/Cursor via MCP, chame a API hospedada do seu aplicativo ou auto-hospede o servidor OSS.

Instalação

Configuração do agente

A maneira mais rápida de conectar webclaw ao Claude Code, Claude Desktop, Cursor, Windsurf, OpenCode, Codex CLI e outras ferramentas compatíveis com MCP:

npx create-webclaw

O instalador detecta clientes compatíveis e configura o servidor MCP para você.

Homebrew

brew tap 0xMassi/webclaw
brew install webclaw

Binários pré-compilados

Baixe binários para macOS, Linux e Windows em GitHub Releases.

Windows (x64)

O ZIP pré-compilado é a instalação mais fácil e não requer Rust. Na página de lançamento v0.6.22, baixe webclaw-v0.6.22-x86_64-pc-windows-msvc.zip. Extraia-o no Explorador de Arquivos, abra o PowerShell na pasta extraída contendo webclaw.exe e execute:

.\webclaw.exe --version
.\webclaw.exe https://example.com --format markdown

O PowerShell exige o prefixo .\ para programas no diretório atual. Adicione esse diretório ao PATH do usuário somente se quiser executar webclaw de outras pastas. Se o Windows relatar um DLL de runtime Visual C++ ausente, instale o Microsoft Visual C++ Redistributable para x64. O ZIP contém binários x64; Windows ARM64 não é coberto pela verificação de instalação nativa.

Para compilar a partir do código-fonte no Windows, instale o Rust com o toolchain x86_64-pc-windows-msvc, Visual Studio Build Tools com Desenvolvimento para desktop com C++ e o Windows SDK, Git, CMake 3.22 ou mais recente, LLVM (incluindo libclang.dll) e NASM. Abra um novo Developer PowerShell para Visual Studio após a instalação. Garanta que CMake e NASM estejam no PATH e defina LIBCLANG_PATH para o diretório bin do seu LLVM se o bindgen não conseguir encontrá-lo, por exemplo:

$env:LIBCLANG_PATH = "C:\Program Files\LLVM\bin"
cargo install --git https://github.com/0xMassi/webclaw.git --tag v0.6.22 --locked webclaw-cli
webclaw --version

O pacote Cargo é webclaw-cli; o executável é webclaw. Esses pacotes são instalados a partir do Git, não do crates.io. Uma primeira compilação do código-fonte pode levar vários minutos. O fluxo de trabalho CI do Windows verifica a instalação do Git e o ZIP publicado em um runner hospedado com ferramentas de compilação pré-instaladas; ele não modela um PC limpo. Contêineres Linux, incluindo Docker no macOS, não validam o suporte ao Windows.

Docker

docker run --rm ghcr.io/0xmassi/webclaw https://example.com

Cargo

cargo install --git https://github.com/0xMassi/webclaw.git --tag v0.6.22 --locked webclaw-cli
cargo install --git https://github.com/0xMassi/webclaw.git --tag v0.6.22 --locked webclaw-mcp

Se a compilação a partir do código-fonte falhar porque faltam ferramentas de compilação nativas, instale os pré-requisitos da plataforma:

Início Rápido

Raspar uma página

webclaw https://stripe.com --format markdown

Retornar texto otimizado para LLM

webclaw https://docs.anthropic.com --format llm

Manter apenas o conteúdo principal

webclaw https://example.com/blog/post --only-main-content

Incluir ou excluir seletores

webclaw https://example.com \
  --include "article, main, .content" \
  --exclude "nav, footer, .sidebar, .ad"

Rastrear um site de documentação

webclaw https://docs.rust-lang.org --crawl --depth 2 --max-pages 50

Exemplos de fluxo de trabalho

• HTML para Markdown para RAG
• API compatível com Firecrawl
• Raspagem web via MCP
• Rastreamento com proxy via ColdProxy
• Diagnósticos de Cloudflare

Extrair ativos de marca

webclaw https://github.com --brand

Comparar uma página ao longo do tempo

webclaw https://example.com/pricing --format json > pricing-old.json
webclaw https://example.com/pricing --diff-with pricing-old.json

Servidor MCP

webclaw vem com um servidor MCP para agentes de IA.

Zero instalação — aponte qualquer cliente MCP para o lançador npx:

{
  "mcpServers": {
    "webclaw": {
      "command": "npx",
      "args": ["-y", "@webclaw/mcp"]
    }
  }
}

Ou execute npx create-webclaw para detectar automaticamente suas ferramentas de IA e escrever as configurações para você.

Depois, pergunte ao seu agente coisas como:

Scrape these competitor pricing pages and summarize the differences.

Crawl this documentation site and prepare clean context for a RAG index.

Extract the brand colors, fonts, and logos from this company website.

Usar como habilidade de agente

Adicione webclaw ao Claude Code, Cursor, Windsurf e outros agentes MCP em um único comando:

npx skills add 0xMassi/webclaw-skill

Seu agente ganha scrape, crawl, map, extract, summarize, diff, brand e search como ferramentas nativas. A maioria dos sites é extraída localmente sem chave de API. Defina WEBCLAW_API_KEY para lidar com páginas protegidas contra bots e renderizadas com JavaScript.

Encontre-o em skills.sh.

Ferramentas

SDKs

npm install @webclaw/sdk
pip install webclaw
go get github.com/0xMassi/webclaw-go

import { Webclaw } from "@webclaw/sdk";

const client = new Webclaw({ apiKey: process.env.WEBCLAW_API_KEY! });

const page = await client.scrape({
  url: "https://example.com",
  formats: ["markdown"],
  only_main_content: true,
});

console.log(page.markdown);

from webclaw import Webclaw

client = Webclaw(api_key="wc_your_key")

page = client.scrape(
    "https://example.com",
    formats=["markdown"],
    only_main_content=True,
)

print(page.markdown)

curl -X POST https://api.webclaw.io/v1/scrape \
  -H "Authorization: Bearer $WEBCLAW_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com",
    "formats": ["markdown"],
    "only_main_content": true
  }'

Formatos de Saída

Local Primeiro, Hospedado Quando Necessário

O CLI e o servidor MCP funcionam localmente sem conta para o caminho de extração principal.

Use a API hospedada em webclaw.io quando precisar de:

• acesso a sites protegidos sem gerenciar infraestrutura
• renderização de JavaScript
• trabalhos assíncronos de rastreamento e pesquisa
• pesquisa na web
• monitoramento de watches e uso em produção
• SDKs para código de aplicação

export WEBCLAW_API_KEY=wc_your_key

webclaw https://example.com --cloud

O Que Você Pode Construir

Arquitetura

webclaw/
  crates/
    webclaw-core     HTML to markdown, text, JSON, and LLM-ready output
    webclaw-fetch    Fetching, crawling, batching, and mapping
    webclaw-llm      Local and hosted LLM provider support
    webclaw-pdf      PDF text extraction
    webclaw-mcp      MCP server for AI agents
    webclaw-cli      Command-line interface

webclaw-core é lógica de extração pura: sem I/O de rede, superfície pequena e utilizável independentemente da camada de busca.

Configuração

Contribuindo

As contribuições mais úteis agora são práticas e pequenas:

• adicione exemplos para fluxos reais de agentes e RAG
• melhore trechos de SDK
• relate páginas que extraem mal
• adicione fixtures de falha para HTML bagunçado
• melhore a documentação para clientes MCP e configuração local
• teste o CLI em mais ambientes Linux/macOS

Bons primeiros lugares para começar:

• Boas primeiras issues
• Abrir um relatório de bug
• Iniciar uma discussão

Se uma página extrair mal, inclua:

URL:
Command or API request:
Expected output:
Actual output:
Format used: markdown / llm / text / json / html
CLI, MCP, SDK, or API:

Remova segredos, cookies, tokens privados e dados de clientes dos logs antes de publicar.

Parceiro Estratégico

SerpApi, a API de Pesquisa Web. Dê dados em tempo real aos seus agentes de IA e melhore suas respostas com os resultados estruturados de mecanismos de busca da SerpApi. A SerpApi apoia webclaw como Parceiro Estratégico.

Parceiro de Infraestrutura

ColdProxy apoia webclaw como Parceiro de Infraestrutura, fornecendo infraestrutura de proxy IPv4 residencial, IPv6 residencial e IPv6 de datacenter em mais de 195 países para coleta de dados públicos, testes regionais, monitoramento e fluxos de raspagem web. Explore os planos e ofertas mais recentes de ColdProxy diretamente no site. Use o código webclaw8Off para 8% de desconto no seu primeiro pagamento. Veja o guia de rastreamento com proxy para um passo a passo prático de como conectar ColdProxy ao webclaw.

Parceiros de Estúdio

	NodeMaven: O provedor de proxies mais eficiente para Web Scraping e Automação, com os IPs de maior qualidade do mercado. Por que NodeMaven? Segmentação por CEP 99,9% de uptime Filtragem de IP: todos os proxies têm fraude score <97% Sem necessidade de KYC Ferramentas gratuitas exclusivas: Verificador de Largura de Banda de Proxy, Verificador de Meta Tags, IP Lookup e outras! Códigos especiais para usuários do Webclaw: WEBCLAW35 - 35% de desconto em Proxies Móveis e Residenciais WEBCLAW40 - 40% de desconto em Proxies ISP (Estáticos)
	MangoProxy oferece proxies residenciais, ISP, datacenter e móveis em mais de 200 locais, com um pool de mais de 90 milhões de IPs, suporte a HTTP e SOCKS5 e alta estabilidade para web scraping e coleta de dados em escala. Use o código 0XMASSI para 8% de desconto em proxies ISP (estáticos) em mangoproxy.com.
	Thordata: Proxies Residenciais Premium para Desenvolvedores. Construa crawlers confiáveis, agentes de IA e fluxos de automação com IPs residenciais limpos e infraestrutura de proxy estável. Por que Thordata? Mais de 100 milhões de IPs em mais de 195 geolocalizações Conexões simultâneas ilimitadas 99,99% de uptime e conexões estáveis Sessões rotativas e fixas Oferta especial do Webclaw: Teste gratuito de 3 dias WEBCLAW - 10% DE DESCONTO

Plugins da Comunidade

Plugins de terceiros que integram o webclaw com plataformas de agentes de IA:

Construiu uma integração com o webclaw? Abra um PR para adicioná-la aqui.

Contribuidores

Agradecemos a todos que melhoram o webclaw por meio de issues, exemplos, documentação, relatórios de bugs e pull requests.

Histórico de Estrelas

Licença

AGPL-3.0