Clippy Vision
Asistente de IA totalmente local que observa tu pantalla (OCR, texto de accesibilidad, títulos de ventanas) y expone ese contexto a través de un servidor MCP, con RAG local mediante Ollama. Sin nube, sin fuga de datos.
Documentación
Clippy Vision
Clippy Vision observa tu trabajo en este ordenador, almacena un historial de actividad buscable localmente y te permite consultarlo a través de un cliente MCP conectado, como Cursor, Claude Desktop o VS Code. La aplicación de escritorio captura, resume y muestra la línea de tiempo.
Pregunta en un cliente MCP conectado, por ejemplo:
- "¿En qué estaba trabajando antes de comer?"
- "¿Qué hoteles miré ayer?"
- "¿Cuál fue el error que encontré en mi terminal?"
Descarga
Windows está probado para 2.0. La validación de macOS está pendiente, por lo que los instaladores de macOS 2.0 aún no están incluidos. Las descargas de macOS a continuación son la versión anterior (v1.3.1). Linux es experimental y solo X11; se genera un AppImage x86_64 sin firmar en CI (consulta docs/linux.md). El README describe el main actual; algunas funciones del instalador difieren de 1.3.1.
Todas las versiones y versiones anteriores
·
Los instaladores no están firmados: en Windows elige Más información → Ejecutar de todos modos, y en macOS haz clic derecho → Abrir la primera vez. La primera ejecución necesita internet para las dependencias y para el modelo de chat que elijas en la configuración (por ejemplo, qwen3:8b es ~4.7 GB).
¿Probando Clippy? Comparte tus comentarios (5 min).
Requisitos
| Mínimo | Recomendado | |
|---|---|---|
| SO | Windows 10 / 11 (64 bits), macOS 12+ o Linux (Ubuntu 22.04+, experimental, solo X11) | Windows 11 o un macOS actual |
| RAM del sistema | 8 GB | 16 GB |
| Memoria gráfica | No es necesaria. Los gráficos integrados o la memoria unificada de Apple son suficientes | 4 GB+ dedicados en Windows, o 16 GB de memoria unificada en Apple silicon |
| Disco libre | 8 GB | 10 GB+ |
| Runtime de Python | Python 3.11+ del sistema en PATH (no incluido). La instalación automática de Windows usa 3.11; CI usa 3.12 | Python 3.12 |
Python no está incluido en el instalador de Windows ni en el AppImage de Linux. requirements.txt no fija una versión de Python. La aplicación empaquetada ejecuta CLIPPY_PYTHON si está definido; de lo contrario, python3 (Linux/macOS) o python (Windows) desde PATH (electron-ui/electron/lib/paths.js). Las pruebas unitarias de CI y el ensayo de lanzamiento instalan Python 3.12. El asistente de configuración analiza python --version y requiere Python 3.11+.
Cuando falta Python, el asistente de configuración (electron-ui/electron/lib/setup.js) hace lo siguiente:
- Analiza
--versionen ese intérprete y requiere Python 3.11+. El texto de verificación previa dice "Clippy necesita Python 3.11+ en PATH." Luego vuelve a resolver las ubicaciones de instalación conocidas antes de declarar el fallo. - Windows: intenta
winget install Python.Python.3.11 --silent. Si falta winget o la instalación no se encuentra en PATH, muestra python.org/downloads y sondea%LOCALAPPDATA%\Programs\Python\Python311\python.exe. - macOS: intenta Homebrew
brew install pythoncuando Homebrew está presente. Si falta Homebrew, muestra un mensaje de instalación manual con el enlace de python.org. - Linux: sigue siendo una instalación manual. El asistente no intenta Homebrew ni apt; muestra un enlace de python.org.
Avanzado: apunta Clippy a un intérprete específico antes del lanzamiento:
$env:CLIPPY_PYTHON = "C:\path\to\python.exe"
export CLIPPY_PYTHON=/path/to/venv/bin/python3
El soporte de Linux es experimental y solo X11. Wayland no es compatible. En X11, las capturas de pantalla usan mss (recorte opcional mediante xdotool). Los títulos de ventana usan xdotool, el portapapeles usa wl-paste/xclip/xsel. El texto de accesibilidad AT-SPI está implementado; está cubierto por pruebas unitarias de CI, no por un escritorio real. Se genera un AppImage de Linux sin firmar en CI. Pasos de instalación y ejecución: docs/linux.md.
El asistente de configuración verifica estos números antes de instalar. Por debajo del mínimo → la configuración se bloquea. Entre el mínimo y el recomendado → puedes continuar con una advertencia de que los resúmenes pueden sentirse más lentos. Solución de problemas de Homebrew, dependencias y permisos: docs/usage.md. Máquinas de especificaciones más bajas: CONTRIBUTING.md.
Inicio rápido
- Descarga e instala Clippy.
- Completa el asistente de configuración y otorga los permisos requeridos.
- Deja Clippy ejecutándose para construir tu historial de actividad.
- Abre Configuración → Conectar aplicaciones, conecta tu agente y pregunta sobre tu actividad.
Más detalle: docs/usage.md · docs/mcp.md · guías de clientes: Claude Desktop · LM Studio
Compilar desde el código fuente: CONTRIBUTING.md
Características
- Historial de actividad buscable entre aplicaciones
- Resúmenes locales y memoria a largo plazo
- Acceso a través de agentes compatibles con MCP
- Una línea de tiempo para revisar y eliminar actividad
- Controles de captura y privacidad
Privacidad
- Clippy captura ventanas en primer plano, portapapeles, métricas de escritura y capturas de pantalla.
- La captura, el resumen y el almacenamiento se ejecutan localmente en este ordenador.
- Los agentes en la nube conectados pueden recibir memoria recuperada a través de respuestas de herramientas MCP.
- Los clientes conectados tienen acceso a todas las herramientas expuestas de Clippy.
- La redacción es un esfuerzo de buena fe. La detección de navegación privada está activada por defecto: Chrome, Edge y Brave en Windows y macOS; Firefox y Opera en Windows (e intentada pero no probada en macOS); Vivaldi en Windows. Vivaldi, Safari y Linux no están cubiertos. Consulta la tabla de cobertura.
- Puedes pausar la captura y eliminar la actividad almacenada desde la bandeja o la línea de tiempo.
Guía completa (valores predeterminados de retención y comportamiento detallado): docs/usage.md.
Documentación y hoja de ruta
| Guía | Contenido |
|---|---|
| docs/usage.md | Controles de captura, privacidad, accesibilidad, solución de problemas de instalación |
| docs/linux.md | Instalación y ejecución experimental de Linux (solo X11; AppImage, Python, herramientas de captura) |
| docs/mcp.md | Clientes compatibles, Copiar JSON, referencia de herramientas, permisos de acceso |
| docs/mcp-clients/claude-desktop.md | Configuración paso a paso de Claude Desktop: ubicación de configuración, reinicio, verificación |
| docs/mcp-clients/lm-studio.md | Configuración paso a paso de LM Studio: configuración MCP, modelo local, consulta de prueba, privacidad |
| docs/architecture.md | Pila tecnológica, canal de captura, resumen, destilación, esquema |
| CONTRIBUTING.md | Compilar desde el código fuente y guía de contribución |
| PROJECT_VISION.md | Hoja de ruta, principios y limitaciones conocidas |
Contribuciones
Consulta CONTRIBUTING.md para los pasos de configuración, compilar desde el código fuente y buenos primeros problemas.
Colaboradores
Gracias a todos los que han enviado código, documentación, diseño o ideas.
| Colaborador | Qué construyeron | |
|---|---|---|
| @protocorn 💻 📖 🎨 🤔 🚧 | Diseñó la aplicación principal: agente, canal de visión, sistema de memoria y el shell de escritorio Electron. | |
| @rusetiq 💻 📦 | Llevó Clippy Vision a macOS: captura de pantalla nativa, permisos y empaquetado para Apple Silicon + Intel. | |
| @cursoragent 💻 | Ver sus commits → | |
| @ABarpanda 💻 | Ver sus commits → | |
| @Afrin-banu-A 💻 | Ver sus commits → | |
| @vitorparras 💻 | Ver sus commits → | |
| @Furox-Art 💻 | Ver sus commits → | |
| @vaishn4vi 💻 | Ver sus commits → | |
| @adity982 💻 | Ver sus commits → | |
| @Draoui-Haroun 💻 | Ver sus commits → | |
| @KeuqS 💻 | Ver sus commits → | |
| @shaurya703 💻 | Ver sus commits → | |
| @cyforkk 💻 | Hizo legibles los errores: reemplazó los códigos de estado HTTP sin formato por mensajes de error reales de la API en el chat. | |
| @tadaokatzuki 💻 | Ver sus commits → | |
| @icn5381 💻 | Ver sus commits → |
Cómo aparecer en este muro: CONTRIBUTING.md.
Licencia
AGPL-3.0. Consulta LICENSE. Las versiones ya publicadas hasta v1.3.1 permanecen bajo MIT. Una licencia comercial para empresas que no pueden usar AGPL aún no está redactada.