Noveum

Inspecione rastros de agentes de IA, crie conjuntos de dados de avaliação, execute avaliações e teste agentes de voz a partir do seu cliente MCP.

Servidor MCP hospedado

npx add-mcp 'https://noveum.ai/api/mcp'

Instala no Claude Code, Codex, Cursor e outros

Documentação

Dirija o Noveum a partir de qualquer agente de IA.

Claude, Cursor, VS Code, ChatGPT: um único endpoint MCP conecta todos eles à plataforma Noveum completa. Seu agente busca traces, executa evals, inicia simulações e envia correções, em linguagem natural.

noveum-mcp

HTTP · OAuth 2.1

Endpoint MCP

Ferramentas~60

tracesdatasetsetsevals

Recursos16

noveum://projectsnoveum://scorers

Prompts20

/debug_traces/run_evaluation

Um endpoint · todas as capacidades do Noveum

Dois minutos para conectar.

Adicione um endpoint ao cliente que você já usa. Cole uma chave de API para configurações headless: ou adicione apenas a URL e entre com OAuth.

# OAuth sign-in (URL-only)claude mcp add --transport http noveum "https://noveum.ai/api/mcp"# Or pin a Bearer API key (headless)claude mcp add --transport http noveum "https://noveum.ai/api/mcp" \  --header "Authorization: Bearer NOVEUM_API_KEY"

Tudo o que o app pode fazer, seu agente pode fazer.

As ferramentas são geradas a partir da especificação OpenAPI ao vivo, os recursos alimentam seu agente com ids e slugs reais antes de ele planejar, e os prompts empacotam fluxos de trabalho inteiros em um único comando de barra.

Ferramentas

~60 ações HTTP geradas a partir da especificação OpenAPI ao vivo: liste coisas, inicie jobs, consulte o progresso até o estado final.

Traces

Busque spans, erros e latência em cada deploy.

Datasets

Crie, versione e publique datasets de avaliação a partir de tráfego real.

Evals

Inicie jobs de avaliação, consulte execuções e leia resultados pontuados.

Pipelines de ETL

Construa pipelines de extração e gere mappers com NovaEval.

Scorers

Navegue por mais de 100 scorers integrados ou receba recomendações por dataset.

Projetos

Liste projetos, ambientes, uso e status da organização.

NovaPilot

Inicie análises, leia relatórios e gerencie agendamentos recorrentes.

NovaSynth

Gere personas, inicie simulações e extraia análises.

Recursos

Contexto somente leitura servido como JSON: para que cada id, slug e enum de filtro venha de dados reais, não de suposições.

  • noveum://projects
  • noveum://scorers
  • noveum://filter-values
  • noveum://org-status
  • noveum://datasets
  • noveum://eval-jobs
  • noveum://etl-jobs
  • noveum://novapilot-schedules
  • noveum://novasynth-runs
  • noveum://agent-versions
  • +6 mais

Prompts

Fluxos de trabalho por comando de barra que especificam quais ferramentas encadear, o que consultar e quando parar.

  • /debug_traces
  • /run_evaluation
  • /analyze_with_novapilot
  • /optimize_costs
  • /trace_error_triage
  • /compare_eval_runs
  • /recommend_scorers_for_dataset
  • /full_agent_improvement_cycle
  • /test_voice_agent
  • /download_novapilot_report_markdown
  • +10 mais

Fluxos de trabalho reais, em linguagem natural.

Sem dashboards, sem linguagem de consulta. Aponte seu agente para o Noveum e descreva o resultado que você deseja: estas são coisas que as equipes executam todos os dias.

Encontre e faça triagem de falhas

/debug_traces

Deixe seu agente revelar o que está quebrando em produção e por quê, direto dos seus traces ao vivo.

Encontre os traces de erro das últimas 24 horas, agrupe-os por causa raiz e mostre-me os três piores com exemplos de spans.

Transforme traces em uma avaliação

/run_evaluation

Construa um dataset a partir de tráfego real e pontue candidatos de modelo lado a lado com os juízes calibrados do Noveum.

Crie um dataset a partir dos traces com falha de ontem e execute uma avaliação comparando gpt-4.1 e gemini-3-flash, dizendo-me qual vence em precisão e custo.

Reduza os gastos com modelos

/optimize_costs

Peça ao seu agente para ler uma semana de uso e recomendar uma configuração mais barata que mantenha a qualidade.

Analise meu uso de tokens e latência esta semana e recomende uma configuração de modelo mais barata que mantenha a qualidade acima de 90%.

Feche o ciclo de ponta a ponta

/full_agent_improvement_cycle

Execute todo o loop de trace para dataset para eval para correção com NovaPilot para redeploy a partir de um único prompt.

Execute o ciclo completo de melhoria do agente no meu assistente de checkout: faça o trace, construa um dataset, avalie, peça ao NovaPilot para redigir uma correção e resuma o pull request.

As ferramentas estão aqui. O playbook é uma skill.

Um único copiar e colar configura seu agente com o playbook completo do Noveum: dentro do seu ambiente. Seu código nunca sai das suas máquinas.

  1. Integre o SDK noveum-trace

    LangChain · CrewAI · LiveKit · Pipecat
  2. Verifique a completude dos traces

    boletim, não "traces > 0"
  3. Construa um dataset a partir de tráfego real

    mappers gerados por IA
  4. Execute avaliações

    mais de 100 scorers calibrados
  5. Diagnostique com NovaPilot

    causas raiz + raio de impacto
  6. Faça backtest das correções como experimentos

    validado, não achismo
  7. Envie a correção como PR

    depois verifique em produção

Com portão de aceitação: o agente não pode marcar uma etapa como concluída até que a plataforma confirme.

Copie este prompt para o seu agenteCódigo aberto

Ou conecte apenas pela URL

Clientes interativos entram com OAuth: sem chave para colar.

Perguntas sobre MCP, respondidas.

O que é o servidor MCP do Noveum?

É um servidor remoto do Model Context Protocol em noveum.ai/api/mcp. Conectá-lo dá a qualquer cliente de IA compatível com MCP: Claude, Cursor, VS Code, ChatGPT e mais: acesso seguro, em nível de ferramenta, ao seu workspace do Noveum: traces, datasets, avaliações, scorers e fluxos de trabalho de melhoria de agentes, tudo conduzido em linguagem natural.

Quais clientes de IA podem se conectar?

Qualquer cliente que fale o transporte MCP Streamable HTTP: Claude e Claude Code, Cursor, VS Code, ChatGPT (modo desenvolvedor), Windsurf, Cline, Replit, Zed, Goose e outros. Clientes somente com URL entram com OAuth; clientes headless ou com script, como cURL, Python e CI, usam uma chave de API Bearer.

Preciso de uma chave de API ou ele usa OAuth?

Ambos funcionam no mesmo endpoint. Clientes interativos descobrem OAuth 2.1 automaticamente: você adiciona a URL, aprova uma tela de consentimento uma vez e está conectado sem chave para colar. Configurações headless enviam um cabeçalho Authorization: Bearer com uma chave de API do Noveum.

O que um agente pode realmente fazer por meio dele?

Cerca de 60 ferramentas geradas a partir da API ao vivo do Noveum: buscar e ler traces, criar datasets, executar avaliações, gerenciar scorers e iniciar jobs de ETL, NovaPilot e NovaSynth: além de 16 recursos somente leitura e 20 prompts de fluxo de trabalho guiados. Cada ação respeita os papéis e permissões da sua organização.

É seguro? Como funcionam as permissões e a revogação?

Os tokens OAuth são vinculados a uma única organização que você escolhe no momento do consentimento e a escopos amplos de leitura / escrita / execução que apenas restringem o que um app conectado pode fazer: suas permissões RBAC ainda se aplicam por cima. Revogue qualquer app conectado a qualquer momento em Configurações, Apps conectados, e rotacione chaves de API nas configurações da sua organização.

Conectar tem algum custo extra?

Não: o servidor MCP está incluído no Noveum e não há cobrança separada para conectar. O uso da plataforma subjacente (traces, avaliações e jobs) segue o seu plano normal do Noveum.