CueFrame

CueFrame — MCP, CLI e API de vídeo

O CueFrame é um serviço hospedado para compor, editar e renderizar vídeos. Conecte seu agente via MCP, automatize uma edição pela CLI ou integre a API REST ao seu aplicativo. Cada superfície trabalha com projetos editáveis contendo clipes, legendas e gráficos em movimento, e os renderiza em MP4.

Primeira renderização · Guia de conexão · Modelos · Referência da API · Índice de documentação do agente

Um quadro do modelo Yosemite Peregrines. Assista ao vídeo e tente a mesma edição.

Plugin MCP e de agente

Para Claude Code, Codex, Cursor, VS Code e outros agentes locais compatíveis, execute isto no seu terminal com Node.js 24 ou mais recente:

npx -y cueframe@0.8 install

O instalador detecta agentes compatíveis e adiciona o endpoint MCP hospedado do CueFrame à configuração deles. Ele instala as habilidades em ~/.agents/skills e ~/.claude/skills, preservando habilidades modificadas localmente por padrão. Ele pode atualizar vários clientes detectados; use --dry-run para inspecionar as alterações primeiro.

Reinicie a sessão do seu agente. Depois, pergunte:

Use a ferramenta get_account do CueFrame para verificar minha conexão e mostrar meus créditos disponíveis.

Seu cliente pode solicitar que você autentique ou abra um navegador. Entre no CueFrame e autorize a conexão; clientes OAuth interativos não precisam de chave de API. Operações na nuvem usam créditos. Verifique seu saldo e os custos estimados antes de iniciar trabalho pago; consulte tarifas da nuvem.

ChatGPT e Claude Desktop: use a configuração de conector hospedado do seu cliente com https://api.cueframe.ai/v1/mcp e depois autentique. O instalador de terminal não configura o ChatGPT. Consulte o guia de conexão e a habilidade de conexão do CueFrame para caminhos compatíveis. A instalação de habilidades e a configuração do conector hospedado são etapas separadas.

Já conectado? Pule a instalação e dê uma tarefa de vídeo ao seu agente. Se as ferramentas do CueFrame não aparecerem, reinicie o cliente e verifique as configurações de conexão MCP dele.

Crie seu primeiro vídeo

Experimente o passo a passo da primeira renderização em Yosemite: renderize um modelo, altere uma palavra e renderize novamente a partir do mesmo projeto.

1. Baixe a filmagem original completa do National Park Service como yosemite-peregrines.mp4. Use a fonte original, porque a demonstração finalizada tem o título embutido. Siga as orientações de download e reutilização da fonte.

2. Dê ao seu agente conectado o arquivo de origem e esta instrução:

   Use o CueFrame para iniciar o modelo yosemite-peregrines de cueframe-ai/cueframe-templates com este vídeo original. Carregue template.cueframe e sua máscara de assunto preparada. Visualize o projeto editável e estime os custos na nuvem. Após eu aprovar a renderização, retorne o link do MP4 e o ID do projeto.

3. Após a primeira renderização, pergunte:

   Nesse mesmo projeto, substitua o título atrás do assunto PHENOMENAL por EXTRAORDINARY. Preserve a filmagem, as legendas faladas, o áudio, o tempo, o posicionamento e a profundidade. Visualize o título alterado, estime o custo da renderização e renderize após minha aprovação.

O modelo seleciona 83,616–93,359 segundos do vídeo original. Você deve obter dois MP4s de um único projeto editável. Enviar filmagens e executar operações na nuvem usam créditos; as duas renderizações são cobradas separadamente.

O projeto permanece editável: o editor de desktop mostra o título como uma camada separada, junto com a filmagem e as legendas. Assista à mudança do título.

O que acontece via MCP?

flowchart LR
    A[Your request + footage] --> B[Your agent + CueFrame skills]
    B --> C[Hosted CueFrame MCP]
    C --> D[Editable project + preview]
    D --> E[Render job → MP4 link]

O agente inspeciona as ferramentas disponíveis, verifica sua conta, prepara a mídia e o projeto, visualiza as alterações e envia uma renderização. Operações de longa duração retornam IDs; o agente aguarda a conclusão e fornece o resultado. Você não precisa escrever as chamadas de ferramenta. O quickstart detalhado explica as chamadas individuais.

Para o seu próximo vídeo, descreva o resultado e forneça as entradas:

Transforme esta entrevista em um clipe vertical de 20 segundos com legendas sincronizadas por palavra. Visualize o momento mais forte e mostre os custos estimados antes de renderizar.

Encontre um componente de carrossel de imagens para estas fotos de produto. Mostre opções adequadas e suas entradas necessárias antes de criar o vídeo.

Altere apenas o título final neste projeto. Mantenha o restante da edição inalterado.

Outras opções de instalação

Escolha um caminho de configuração. Um plugin instala as habilidades e a configuração MCP hospedada juntas. Uma conexão somente de servidor adiciona ferramentas; as habilidades fornecem a orientação do fluxo de trabalho.

claude plugin marketplace add cueframe-ai/cueframe-mcp
claude plugin install cueframe@cueframe

codex plugin marketplace add cueframe-ai/cueframe-mcp
codex plugin add cueframe@cueframe

gemini extensions install https://github.com/cueframe-ai/cueframe-mcp

npx skills add cueframe-ai/cueframe-mcp

claude mcp add --transport http cueframe https://api.cueframe.ai/v1/mcp

Habilidades incluídas

As habilidades ensinam o agente a executar tarefas de vídeo. Você descreve a tarefa; o agente seleciona a orientação relevante.

O gancho de sessão do Claude Code e a regra do Cursor ajudam a selecionar o ponto de entrada. Outros hosts carregam as habilidades instaladas por seus próprios mecanismos. Edições com escopo devem preservar trabalhos não relacionados.

CLI

Use a CLI para comandos de vídeo explícitos, scripts de shell e saída JSON estruturada. Ela se conecta à API hospedada; não executa um renderizador local. Requer Node.js 24 ou mais recente.

npx -y cueframe@0.8 --help
npx -y cueframe@0.8 login
npx -y cueframe@0.8 api GET /v1/me --json
npx -y cueframe@0.8 describe --json

login abre o navegador para autenticar. Scripts headless podem fornecer CUEFRAME_API_KEY. A solicitação de conta verifica sua conexão e créditos; describe lista argumentos e opções de comando sem fazer uma chamada de API.

Guia da CLI · Passo a passo da CLI · Modelos · pacote npm

API e SDK TypeScript

Use a API REST para criar projetos, importar mídia, alterar composições e acompanhar trabalhos de renderização a partir do seu aplicativo. As solicitações vão para https://api.cueframe.ai com uma chave de API da sua conta. Verifique sua conta antes de operações medidas; renderização e processamento na nuvem usam créditos.

Para TypeScript ou JavaScript em Node.js 24+, instale o cliente tipado:

npm install @cueframe/sdk

import { account, createClient } from "@cueframe/sdk";

if (!process.env.CUEFRAME_API_KEY) throw new Error("Set CUEFRAME_API_KEY");
createClient({
  baseUrl: "https://api.cueframe.ai",
  apiKey: process.env.CUEFRAME_API_KEY,
});
const result = await account.getAccount();
console.log(result.plan, result.entitlements);

Outras linguagens podem chamar REST diretamente ou gerar um cliente a partir do contrato público OpenAPI versionado. O SDK é um cliente para o serviço hospedado, não a implementação do servidor.

Passo a passo da API · Referência da API · Guia do SDK · Exemplo de renderização · pacote npm

O que este repositório contém

Este repositório contém o plugin de agente, o kit de ferramentas para desenvolvedores e os arquivos de registro. O servidor MCP hospedado é mantido separadamente no repositório do aplicativo. Você se conecta ao serviço hospedado do CueFrame; clonar este repositório não executa esse serviço localmente.

Contribua

Documentação, exemplos de cliente, melhorias de habilidades e correções do kit de ferramentas são bem-vindos. Comece com boas primeiras issues ou leia CONTRIBUTING.md para configuração, regras de arquivos gerados, testes e assinatura de commits.

Edite habilidades na raiz skills/; altere clientes de API gerados por meio de suas entradas documentadas. Relate problemas do serviço hospedado no rastreador de issues deste repositório com etapas de reprodução e um ID de solicitação quando disponível. Relate vulnerabilidades em particular usando SECURITY.md. A participação na comunidade segue o Código de Conduta.

Pacotes publicados

Pacote	Finalidade	npm
@cueframe/api-contract	O documento OpenAPI público, seu inventário de operações revisado e um manifesto com endereçamento por conteúdo: a única entrada que os clientes gerados leem.
@cueframe/sdk	Cliente TypeScript tipado baseado em fetch com esquemas de solicitação zod e auxiliares SSE para progresso de renderização e composição.
cueframe	A CLI: login, projetos, mídia, composições, renderizações, exportações e install, todos os comandos com --json.
@cueframe/skills	A árvore skills/ como pacote npm (SKILLS_DIR de @cueframe/skills/dir), para programas que copiam ou incorporam as habilidades.
O próprio servidor MCP (@cueframe/mcp) é um pacote privado mantido no repositório da aplicação; este repositório fornece o contrato a partir do qual ele é gerado, os clientes, o plugin, a entrada de registro (server.json) e um shim de descoberta, não o servidor.

Como o contrato flui

private API ──sync──▶ api/openapi.json (+ scene-schema.json, scene-examples.json, contract-manifest.json)
                          │
                          ├──▶ packages/api-contract/dist  ──publish──▶  @cueframe/api-contract@x.y.z ──▶ the MCP server's generators, third parties
                          └──▶ packages/sdk/src/generated        (Orval: operations, models, zod)

A API privada publica sua projeção OpenAPI em api/; pnpm generate:api-consumers incorpora o esquema da cena ao contrato e regenera o SDK a partir dele. Esta é a única cópia do contrato: os geradores do servidor MCP no repositório da aplicação e todos os outros consumidores o leem do pacote npm @cueframe/api-contract, cuja versão acompanha o contrato (pnpm check:contract-version falha em uma alteração de api/*.json sem um bump), então a superfície de ferramentas e o SDK sempre descrevem um único contrato. Nada em api/ ou em um diretório generated/ é editado manualmente: pnpm check:api-inputs prova que as três entradas api/*.json vieram de uma única sincronização, e pnpm check:api-consumer-drift prova que as árvores geradas correspondem a elas byte por byte.

Como as habilidades fluem

A raiz skills/ é a fonte única: os hosts do plugin a leem deste repositório, e pnpm build a copia para packages/skills/dist (publicado como @cueframe/skills) e de lá para o dist/skills da CLI para cueframe install. pnpm check:plugin valida cada habilidade e manifesto; agents/openai.yaml e assets/icon.svg ao lado de cada habilidade são gerados.

Arquivos de registro

• server.json: a entrada de registro MCP para o servidor hospedado (ai.cueframe/cueframe, somente remoto). pnpm check:server-json a valida contra o esquema de registro fornecido; o job registry do fluxo de publicação a publica.
• glama.json: o arquivo de mantenedor da listagem do Glama.
• glama/ e o Dockerfile: um shim de descoberta stdio que reproduz um snapshot da lista de ferramentas e instruções do servidor hospedado para registros que fazem introspecção via stdio. Não é um servidor (veja abaixo).

Hospedado, local na área de trabalho e o shim de descoberta

O serviço hospedado, a integração com a área de trabalho e o shim de registro servem a propósitos diferentes.

• O servidor hospedado em https://api.cueframe.ai/v1/mcp é o produto. Cada linha de instalação acima fala com ele; ele autentica com OAuth ou uma chave de API e faz a composição e a renderização. Seu pacote, @cueframe/mcp, é privado.
• O aplicativo de área de trabalho CueFrame inclui seu próprio servidor MCP local para o projeto que você tem aberto. Ele não requer conta e é conectado por meio do arquivo de conexão que o aplicativo publica; as configurações de Agents do aplicativo mostram o comando exato, e https://docs.cueframe.ai explica isso. Seu binário incluído é chamado cueframe-mcp; ele fica dentro do pacote do aplicativo.
• O shim de descoberta deste repositório (glama/server.mjs, construído pelo Dockerfile) não é um servidor. Ele reproduz um snapshot da lista de ferramentas e instruções do servidor hospedado via stdio para que registros que criam uma imagem possam listar as ferramentas sem uma conta; cada tools/call responde com um ponteiro para o servidor hospedado. glama/refresh-snapshot.md diz de onde o snapshot vem.

Estrutura do repositório

• skills/<name>/SKILL.md: a habilidade. agents/openai.yaml e assets/icon.svg ao lado dela são gerados (pnpm build:plugin).
• .claude-plugin/, hooks/, .mcp.json: plugin do Claude Code, roteador de sessão e servidor.
• .codex-plugin/, .agents/plugins/, mcp.json: plugin e marketplace do Codex e ChatGPT.
• .cursor-plugin/, rules/: plugin do Cursor e a regra sempre ativa.
• gemini-extension.json, skills.sh.json, plugin.json: CLI do Gemini, skills.sh, o manifesto portátil (agent-plugins.org).
• api/, packages/, tools/, scripts/: o contrato, os quatro pacotes npm, seus geradores e verificações (scripts/plugin/ contém os do plugin).
• server.json, glama.json, glama/, Dockerfile: os arquivos de registro.
• examples/, llms-install.md: configuração por cliente e o guia de instalação legível por agentes.

Desenvolvimento

pnpm install
pnpm check      # input provenance, the contract version rule, the public-contract gate, server.json, the plugin, and tsc --noEmit in sdk and cli
pnpm build      # stamps the plugin manifests and skill cards, then tsup in every package; the CLI packages the skills
pnpm test

Node 24 ou mais recente e pnpm (veja .nvmrc e packageManager). CONTRIBUTING.md explica quais caminhos são gerados, o contrato de habilidades e como uma alteração percorre; AGENTS.md é o mesmo para um agente trabalhando nesta árvore; llms-install.md conecta um cliente passo a passo.

Licença

Apache-2.0. Veja LICENSE e NOTICE.