Clippy Vision

Assistente de IA totalmente local que observa sua tela (OCR, texto de acessibilidade, títulos de janelas) e expõe esse contexto por meio de um servidor MCP, com RAG local via Ollama. Sem nuvem, sem vazamento de dados.

Documentação

Clippy Vision

O Clippy Vision observa seu trabalho neste computador, armazena um histórico de atividades pesquisável localmente e permite que você faça perguntas sobre ele por meio de um cliente MCP conectado, como Cursor, Claude Desktop ou VS Code. O aplicativo de desktop captura, resume e mostra a linha do tempo.

Platform License Models MCP All Contributors Open Source Helpers

Explain less. Ask more. — an agent answering a LeetCode question from remembered screen activity, with nothing pasted into the chat

Pergunte em um cliente MCP conectado, por exemplo:

  • "No que eu estava trabalhando antes do almoço?"
  • "Quais hotéis eu pesquisei ontem?"
  • "Qual foi o erro que encontrei no meu terminal?"

Download

O Windows é testado para a versão 2.0. A validação para macOS está pendente, portanto os instaladores do macOS 2.0 ainda não estão incluídos. Os downloads para macOS abaixo são da versão anterior (v1.3.1). O Linux é experimental e somente X11; um AppImage x86_64 não assinado é compilado no CI (veja docs/linux.md). O README descreve o main atual; alguns recursos do instalador diferem da versão 1.3.1.

Download for Windows v2.0.0

Download for macOS Apple Silicon v1.3.1 (previous release)   Download for macOS Intel v1.3.1 (previous release)

Todas as versões e versões anteriores  ·  Last commit   Latest release date

Os instaladores não são assinados: no Windows, escolha Mais informações → Executar mesmo assim, e no macOS, clique com o botão direito → Abrir na primeira vez. A primeira execução precisa de internet para as dependências e para o modelo de chat que você escolher na configuração (por exemplo, qwen3:8b tem cerca de 4,7 GB).

Quer experimentar o Clippy? Compartilhe seu feedback (5 min).

Requisitos

MínimoRecomendado
SOWindows 10 / 11 (64 bits), macOS 12+ ou Linux (Ubuntu 22.04+, experimental, somente X11)Windows 11 ou um macOS atual
RAM do sistema8 GB16 GB
Memória gráficaNão é necessária. Gráficos integrados ou memória unificada da Apple são suficientes4 GB+ dedicados no Windows, ou 16 GB de memória unificada em Apple silicon
Espaço em disco8 GB10 GB+
Runtime PythonPython 3.11+ do sistema no PATH (não incluído). A instalação automática no Windows usa 3.11; o CI usa 3.12Python 3.12

O Python não está incluído no instalador do Windows nem no AppImage do Linux. O requirements.txt não fixa uma versão do Python. O aplicativo empacotado executa CLIPPY_PYTHON se definido; caso contrário, python3 (Linux/macOS) ou python (Windows) do PATH (electron-ui/electron/lib/paths.js). Os testes de unidade do CI e o dry-run da versão instalam Python 3.12. O assistente de configuração analisa python --version e exige Python 3.11+.

Quando o Python está ausente, o assistente de configuração (electron-ui/electron/lib/setup.js) faz o seguinte:

  • Ele analisa --version nesse interpretador e exige Python 3.11+. O texto de pré-verificação diz "O Clippy precisa de Python 3.11+ no PATH." Em seguida, ele re-resolve os locais de instalação conhecidos antes de declarar falha.
  • Windows: tenta winget install Python.Python.3.11 --silent. Se o winget estiver ausente ou a instalação não puder ser encontrada no PATH, ele mostra python.org/downloads e verifica %LOCALAPPDATA%\Programs\Python\Python311\python.exe.
  • macOS: tenta o Homebrew brew install python quando o Homebrew está presente. Se o Homebrew estiver ausente, ele mostra uma mensagem de instalação manual com o link do python.org.
  • Linux: permanece como instalação manual. O assistente não tenta Homebrew nem apt; ele mostra um link do python.org.

Avançado: aponte o Clippy para um interpretador específico antes de iniciar:

$env:CLIPPY_PYTHON = "C:\path\to\python.exe"
export CLIPPY_PYTHON=/path/to/venv/bin/python3

O suporte ao Linux é experimental e somente X11. Wayland não é suportado. No X11, as capturas de tela usam mss (corte opcional via xdotool). Os títulos das janelas usam xdotool, a área de transferência usa wl-paste/xclip/xsel. O texto de acessibilidade AT-SPI está implementado; ele é coberto por testes de unidade do CI, não por um desktop real. Um AppImage Linux não assinado é compilado no CI. Etapas de instalação e execução: docs/linux.md.

O assistente de configuração verifica esses números antes de instalar. Abaixo do mínimo → a configuração é bloqueada. Entre o mínimo e o recomendado → você pode continuar com um aviso de que os resumos podem ficar mais lentos. Solução de problemas de Homebrew, dependências e permissões: docs/usage.md. Máquinas com especificações mais baixas: CONTRIBUTING.md.


Início Rápido

  1. Baixe e instale o Clippy.
  2. Conclua o assistente de configuração e conceda as permissões necessárias.
  3. Deixe o Clippy em execução para construir seu histórico de atividades.
  4. Abra Configurações → Conectar aplicativos, conecte seu agente e pergunte sobre sua atividade.

Mais detalhes: docs/usage.md · docs/mcp.md · guias de clientes: Claude Desktop · LM Studio
Compilar a partir do código-fonte: CONTRIBUTING.md


Recursos

  • Histórico de atividades pesquisável entre aplicativos
  • Resumos locais e memória de longo prazo
  • Acesso por meio de agentes compatíveis com MCP
  • Uma linha do tempo para revisar e excluir atividades
  • Controles de captura e privacidade

Privacidade

  • O Clippy captura janelas em primeiro plano, área de transferência, métricas de digitação e capturas de tela.
  • Captura, resumo e armazenamento são executados localmente neste computador.
  • Agentes de nuvem conectados podem receber memória recuperada por meio de respostas de ferramentas MCP.
  • Os clientes conectados têm acesso a todas as ferramentas expostas do Clippy.
  • A redação é o melhor esforço. A detecção de navegação privada está ativada por padrão: Chrome, Edge e Brave no Windows e macOS; Firefox e Opera no Windows (e tentada, mas não testada no macOS); Vivaldi no Windows. Vivaldi, Safari e Linux não são cobertos. Veja a tabela de cobertura.
  • Você pode pausar a captura e excluir a atividade armazenada pela bandeja ou pela linha do tempo.

Guia completo (padrões de retenção e comportamento detalhado): docs/usage.md.

Instagram login with the password field blacked out in a Clippy capture


Documentação e Roteiro

GuiaConteúdo
docs/usage.mdControles de captura, privacidade, acessibilidade, solução de problemas de instalação
docs/linux.mdInstalação e execução experimental no Linux (somente X11; AppImage, Python, ferramentas de captura)
docs/mcp.mdClientes suportados, Copiar JSON, referência de ferramentas, permissões de acesso
docs/mcp-clients/claude-desktop.mdConfiguração passo a passo do Claude Desktop: local do config, reinicialização, verificação
docs/mcp-clients/lm-studio.mdConfiguração passo a passo do LM Studio: configuração MCP, modelo local, consulta de teste, privacidade
docs/architecture.mdPilha de tecnologia, pipeline de captura, resumo, destilação, esquema
CONTRIBUTING.mdCompilar a partir do código-fonte e guia de contribuição
PROJECT_VISION.mdRoteiro, princípios e limitações conhecidas

Contribuindo

Veja CONTRIBUTING.md para etapas de configuração, compilação a partir do código-fonte e boas primeiras issues.


Contribuidores

Agradecemos a todos que enviaram código, documentação, design ou ideias.

All Contributors Contributors

ContribuidorO que construiu
protocorn@protocorn
💻 📖 🎨 🤔 🚧
Projetou o aplicativo principal: agente, pipeline de visão, sistema de memória e o shell desktop Electron.
rusetiq@rusetiq
💻 📦
Trouxe o Clippy Vision para macOS: captura de tela nativa, permissões e empacotamento para Apple Silicon + Intel.
cursoragent@cursoragent
💻
Veja os commits deles →
ABarpanda@ABarpanda
💻
Veja os commits deles →
Afrin-banu-A@Afrin-banu-A
💻
Veja os commits deles →
vitorparras@vitorparras
💻
Veja os commits deles →
Furox-Art@Furox-Art
💻
Veja os commits deles →
vaishn4vi@vaishn4vi
💻
Veja os commits deles →
adity982@adity982
💻
Veja os commits deles →
Draoui-Haroun@Draoui-Haroun
💻
Veja os commits deles →
KeuqS@KeuqS
💻
Veja os commits deles →
shaurya703@shaurya703
💻
Veja os commits deles →
cyforkk@cyforkk
💻
Tornou os erros legíveis: substituiu códigos de status HTTP puros por mensagens de erro reais da API no chat.
tadaokatzuki@tadaokatzuki
💻
Veja os commits deles →
icn5381@icn5381
💻
Veja os commits deles →

Como entrar nesta lista: CONTRIBUTING.md.


Licença

AGPL-3.0. Veja LICENSE. As versões já publicadas até a v1.3.1 permanecem sob MIT. Uma licença comercial para empresas que não podem usar AGPL ainda não foi escrita.