VidXP

Pesquise em vídeos. Roda localmente. Custo de tokens extremamente baixo.

Documentação

VidXP logo

VidXP

Pesquise vídeos pelo que foi dito, pelo que apareceu na tela e por rostos recorrentes.

Um mecanismo de busca de vídeos local-first para pessoas, aplicativos e agentes de IA.

Busca por fala · Busca por som · Busca por cena · Busca por ação · Agrupamento de atores

Download VidXP desktop app

Windows · macOS com Apple Silicon · Linux

PyPI version GHCR container MIT license Discord

Encontre o momento, não o timestamp

O VidXP torna um vídeo—ou uma coleção inteira—pesquisável por significado:

  • Busca por fala: digite o que você lembra que alguém disse e vá direto para os momentos correspondentes.
  • Busca por cena: descreva o que apareceu na tela e encontre as correspondências visuais mais próximas.
  • Busca por ação: descreva algo que acontece ao longo de vários segundos.
  • Correspondência de atores: encontre rostos recorrentes em um vídeo e exporte um vídeo destacado para um grupo selecionado.

Use para pesquisar anos de vídeos de família, adicionar busca de vídeo a um fluxo de edição, ou deixar um agente de IA responder perguntas usando evidências da sua própria biblioteca de vídeos. Seus vídeos podem permanecer na sua máquina.

VidXP browser interface

Comece por aqui

Escolha a configuração que melhor se adapta a como você quer usar o VidXP.

1. Aplicativo de desktop

Baixe o instalador para Windows, macOS com Apple Silicon ou Linux em GitHub Releases.

Conecte uma instalação existente do VidXP ou deixe o aplicativo de desktop gerenciar um runtime isolado para você. Consulte as Instruções de instalação do desktop para ver as opções de configuração suportadas.

2. CLI e assistentes de IA locais

Para comandos, scripts e assistentes de IA locais, instale o uv e depois execute:

# Install the CPU edition
uv tool install --python 3.14 --torch-backend cpu "vidxp[local-worker,mcp]"

# Check FFmpeg, download models, and verify the installation
vidxp init
vidxp prepare
vidxp doctor

# Print the settings for a local MCP client
vidxp mcp-config

Adicione a interface do navegador com:

uv tool install --python 3.14 --torch-backend cpu \
  "vidxp[local-worker,mcp,frontend]"
vidxp ui

Consulte o guia de instalação para configuração MCP específica do cliente, a API HTTP e a configuração de servidor remoto.

3. Docker para um servidor

Execute a imagem all-in-one publicada em um servidor doméstico ou em outra máquina única:

# Download the search models into the persistent volume
docker run --rm -it \
  -v vidxp-data:/var/lib/vidxp \
  ghcr.io/grayhatdevelopers/vidxp:latest \
  vidxp prepare

# Start the browser interface
docker run --rm --init \
  -p 8501:8501 \
  -v vidxp-data:/var/lib/vidxp \
  ghcr.io/grayhatdevelopers/vidxp:latest

Para um servidor de longa duração, fixe uma versão publicada em vez de latest. Para uma implantação Coolify, use as imagens publicadas -control e -worker com compose.coolify.yaml—nenhuma compilação de repositório é necessária. Consulte o guia Coolify para a configuração completa.

O que você pode fazer hoje

  • Construir bibliotecas pesquisáveis a partir de vídeos individuais ou coleções inteiras.
  • Encontrar fala, eventos sonoros, cenas visuais e ações de múltiplos quadros por descrição.
  • Fazer perguntas fundamentadas e inspecionar os quadros, frames ou clipes de suporte.
  • Agrupar rostos recorrentes e renderizar sobreposições de atores destacados.
  • Manter bibliotecas pessoais, de clientes ou de projetos separadas.
  • Usar o VidXP pelo aplicativo de desktop, navegador, CLI, MCP ou API HTTP.

Uma primeira busca

O aplicativo do navegador orienta você na importação e indexação. O mesmo fluxo pela linha de comando é:

# Add a video
vidxp media import samplevideo.mp4 --json

# Index the returned media ID
vidxp index create <media-id>

# Find a visual moment
vidxp search scene "a yellow taxi on a city street"

# Find an action or event
vidxp search action "a person opens a door and walks outside"

# Find a sound event
vidxp search sound "a dog barking over traffic noise"

# Find something that was said
vidxp search speech "the bread just came out of the oven"

Os resultados incluem o vídeo de origem, timestamps, pontuação de correspondência e a evidência usada para encontrar o momento. Adicione --media-id <media-id> para pesquisar apenas um vídeo.

Execute vidxp --help ou vidxp <command> --help para a referência completa de comandos.

Para aplicativos e agentes de IA

Use o pacote Python para adicionar capacidades selecionadas do VidXP diretamente a um aplicativo, ou use a API HTTP quando o VidXP estiver em execução como um serviço.

VidXP being used with ChatGPT Desktop AI

O MCP permite que clientes de IA adicionem e indexem vídeos, pesquisem uma biblioteca, façam perguntas fundamentadas e retornem evidências inspecionáveis, como quadros, frames e clipes. Um cliente local pode iniciar o VidXP como um programa no mesmo computador. Um cliente hospedado se conecta a um servidor VidXP implantado.

Plugin e skills do Codex

O VidXP é distribuído como um plugin do Codex por meio de um marketplace Git hospedado neste repositório do GitHub. Ele inclui três fluxos de trabalho reutilizáveis:

  • instalar o Desktop ou o CLI e conectar o Codex;
  • ingerir e indexar vídeos; e
  • encontrar momentos e retornar evidências inspecionáveis.

Cole isto no Codex:

Add https://github.com/grayhatdevelopers/vidxp as a Git plugin marketplace, install the VidXP plugin, then use its $vidxp-install skill to set up VidXP on this computer.

O VidXP Desktop pode realizar a mesma configuração pelo botão Set up in Codex.

Clientes de IA compatíveis podem mostrar uma visualização interativa de upload e revisão de evidências. Clientes sem essa interface ainda recebem os mesmos resultados de fluxo de trabalho por meio de ferramentas MCP comuns.

Downloads e armazenamento

A primeira configuração baixa apenas os modelos necessários para as capacidades que você selecionar. O VidXP mostra o tamanho do download e o destino antes de começar.

O runtime Python gerenciado pelo Desktop e suas dependências selecionadas podem usar aproximadamente 3 GiB.

CapacidadeDownload aproximado do modelo
Busca por fala2,64 GiB
Busca por evento sonoro0,94 GiB
Busca por cena1,43 GiB
Busca por ação0,93 GiB
Correspondência de atores37 MiB

Uma configuração completa do Desktop local com todas as capacidades de busca usa aproximadamente 9,0 GiB. Deixe espaço temporário adicional durante a instalação e para índices, vídeos de origem e resultados exportados.

Por padrão, o CLI e o aplicativo de desktop compartilham o mesmo diretório de dados do VidXP:

PlataformaLocalização padrão
Windows%LOCALAPPDATA%\VidXP
macOS~/Library/Application Support/VidXP
Linux${XDG_DATA_HOME:-~/.local/share}/VidXP

O Docker mantém os mesmos dados no volume vidxp-data mostrado acima.

Roadmap do produto

As próximas melhorias do produto estão focadas em:

  • rotular grupos de atores e corresponder a mesma pessoa em vídeos diferentes;
  • rastreamento facial mais confiável em ângulo, iluminação, movimento e oclusão;
  • conectar pessoas visíveis ao diálogo que estão falando;
  • melhor classificação de busca, intervalos de tempo e perguntas em linguagem natural em toda a biblioteca;
  • pré-visualizações, linhas do tempo, filtros, buscas salvas e reprodução de resultados mais ricos;
  • organização mais fácil para grandes coleções pessoais e de projetos de vídeo;
  • indexação mais rápida e aceleração por GPU suportada; e
  • atualizações de desktop, reparo e gerenciamento de modelos mais suaves.

O VidXP está em beta. Feedback sobre qualidade de busca, fluxos de trabalho de atores e casos de uso reais de bibliotecas de vídeo é especialmente útil.

Ajuda e links do projeto

Contribuindo

Contribuições são bem-vindas. Leia o guia de contribuição antes de abrir um pull request.

Créditos

O VidXP começou como um projeto de pesquisa estudantil por:

A pesquisa foi conduzida com Dr Shahab Tahzeeb na NED University of Engineering and Technology e Saad Bazaz na Grayhat.

O VidXP agora é construído pela Grayhat e mantido por contribuidores da comunidade.

Email: info@grayhat.studio

VidXP contributors