SteadyFetch

SteadyFetch

Busca web confiável para agentes de IA. Pare de perder horas com bloqueios do Cloudflare, timeouts e scrapes instáveis.

O SteadyFetch é um servidor MCP que dá aos seus agentes de IA acesso web confiável com tentativas automáticas, proteção por circuit breaker, cache e bypass anti-bot — pronto para uso.

O Problema

Todo agente de IA que toca a web encontra a mesma parede:

• O Cloudflare bloqueia suas requisições
• Sites retornam CAPTCHAs
• Páginas expiram ou carregam parcialmente
• Limites de taxa matam seus jobs em lote
• Você perde horas depurando scrapes instáveis

A Solução

Uma única chamada de ferramenta MCP. O SteadyFetch cuida do resto.

Agent calls fetch_url("https://example.com")
  → Checks cache (instant if hit)
  → Checks circuit breaker (fail-fast if domain is down)
  → Stealth browser fetch with anti-bot bypass
  → On failure: retry with exponential backoff
  → Fallback: plain HTTP fetch
  → Cache the result
  → Return clean markdown + raw HTML

Ferramentas

Ferramenta	Descrição
fetch_url	Busca com confiabilidade total — retorna markdown + HTML
fetch_markdown	Retorna apenas markdown limpo, otimizado para LLMs
check_domain	Status do circuit breaker para um domínio
cache_stats	Métricas de utilização do cache
clear_cache	Limpa o cache para dados frescos

Início Rápido

Instalar a partir do PyPI

pip install steadyfetch
steadyfetch

Depois conecte pelo Claude Desktop:

{
  "mcpServers": {
    "steadyfetch": {
      "command": "steadyfetch"
    }
  }
}

Auto-hospedar com Docker

docker build -t steadyfetch .
docker run -p 8200:8200 steadyfetch

Configuração

Todas as configurações via variáveis de ambiente:

Variável	Padrão	Descrição
PORT	8200	Porta do servidor
STEADYFETCH_MAX_RETRIES	3	Tentativas por URL
STEADYFETCH_CIRCUIT_THRESHOLD	5	Falhas antes de abrir o circuit breaker
STEADYFETCH_CIRCUIT_COOLDOWN	120	Segundos antes de tentar novamente um domínio quebrado
STEADYFETCH_CACHE_TTL	3600	Tempo de vida do cache em segundos
STEADYFETCH_TIMEOUT	30000	Timeout de carregamento da página em ms

Como Funciona

Tentativas com backoff — Backoff exponencial + jitter evita tempestades de tentativas. 3 tentativas no navegador antes de cair para HTTP.

Circuit breaker — Rastreamento de falhas por domínio. Após 5 falhas consecutivas, o domínio fica em circuit breaker por 2 minutos. Evita perder tempo em sites que estão bloqueando você.

Cache — Cache em disco com TTL configurável. Buscas repetidas são instantâneas. Limite padrão de 500MB.

Bypass anti-bot — Navegador stealth com modo mágico, correção de navigator e simulação de comportamento humano via Crawl4AI.

Degradação graciosa — Se o navegador não conseguir passar, cai para HTTP simples. Se o HTTP falhar, retorna um erro claro com o status de saúde do domínio. Nunca trava, nunca falha silenciosamente.

Gratuito vs Pro

Ferramenta	Gratuito	Pro ($19/mo)
fetch_url	Sim (sem renderização JS, sem cache)	Sim (completo: renderização JS + cache + anti-bot)
check_domain	Sim	Sim
fetch_markdown	-	Sim
cache_stats	-	Sim
clear_cache	-	Sim

O plano gratuito oferece busca HTTP básica e verificações de saúde de domínio. O Pro desbloqueia renderização JS, bypass anti-bot, cache e saída de markdown limpa.

Atualize para Pro no MCPize — $19/mo ou $190/ano.

Licença

MIT