Noveum
Inspecione rastros de agentes de IA, crie conjuntos de dados de avaliação, execute avaliações e teste agentes de voz a partir do seu cliente MCP.
Servidor MCP hospedado
npx add-mcp 'https://noveum.ai/api/mcp'Instala no Claude Code, Codex, Cursor e outros
Documentação
Dirija o Noveum a partir de qualquer agente de IA.
Claude, Cursor, VS Code, ChatGPT: um único endpoint MCP conecta todos eles à plataforma Noveum completa. Seu agente busca traces, executa evals, inicia simulações e envia correções, em linguagem natural.
noveum-mcp
HTTP · OAuth 2.1
Endpoint MCP
Ferramentas~60
tracesdatasetsetsevals
Recursos16
noveum://projectsnoveum://scorers
Prompts20
/debug_traces/run_evaluation
Um endpoint · todas as capacidades do Noveum
Dois minutos para conectar.
Adicione um endpoint ao cliente que você já usa. Cole uma chave de API para configurações headless: ou adicione apenas a URL e entre com OAuth.
# OAuth sign-in (URL-only)claude mcp add --transport http noveum "https://noveum.ai/api/mcp"# Or pin a Bearer API key (headless)claude mcp add --transport http noveum "https://noveum.ai/api/mcp" \ --header "Authorization: Bearer NOVEUM_API_KEY"
Tudo o que o app pode fazer, seu agente pode fazer.
As ferramentas são geradas a partir da especificação OpenAPI ao vivo, os recursos alimentam seu agente com ids e slugs reais antes de ele planejar, e os prompts empacotam fluxos de trabalho inteiros em um único comando de barra.
Ferramentas
~60 ações HTTP geradas a partir da especificação OpenAPI ao vivo: liste coisas, inicie jobs, consulte o progresso até o estado final.
Traces
Busque spans, erros e latência em cada deploy.
Datasets
Crie, versione e publique datasets de avaliação a partir de tráfego real.
Evals
Inicie jobs de avaliação, consulte execuções e leia resultados pontuados.
Pipelines de ETL
Construa pipelines de extração e gere mappers com NovaEval.
Scorers
Navegue por mais de 100 scorers integrados ou receba recomendações por dataset.
Projetos
Liste projetos, ambientes, uso e status da organização.
NovaPilot
Inicie análises, leia relatórios e gerencie agendamentos recorrentes.
NovaSynth
Gere personas, inicie simulações e extraia análises.
Recursos
Contexto somente leitura servido como JSON: para que cada id, slug e enum de filtro venha de dados reais, não de suposições.
- noveum://projects
- noveum://scorers
- noveum://filter-values
- noveum://org-status
- noveum://datasets
- noveum://eval-jobs
- noveum://etl-jobs
- noveum://novapilot-schedules
- noveum://novasynth-runs
- noveum://agent-versions
- +6 mais
Prompts
Fluxos de trabalho por comando de barra que especificam quais ferramentas encadear, o que consultar e quando parar.
- /debug_traces
- /run_evaluation
- /analyze_with_novapilot
- /optimize_costs
- /trace_error_triage
- /compare_eval_runs
- /recommend_scorers_for_dataset
- /full_agent_improvement_cycle
- /test_voice_agent
- /download_novapilot_report_markdown
- +10 mais
Fluxos de trabalho reais, em linguagem natural.
Sem dashboards, sem linguagem de consulta. Aponte seu agente para o Noveum e descreva o resultado que você deseja: estas são coisas que as equipes executam todos os dias.
Encontre e faça triagem de falhas
/debug_traces
Deixe seu agente revelar o que está quebrando em produção e por quê, direto dos seus traces ao vivo.
Encontre os traces de erro das últimas 24 horas, agrupe-os por causa raiz e mostre-me os três piores com exemplos de spans.
Transforme traces em uma avaliação
/run_evaluation
Construa um dataset a partir de tráfego real e pontue candidatos de modelo lado a lado com os juízes calibrados do Noveum.
Crie um dataset a partir dos traces com falha de ontem e execute uma avaliação comparando gpt-4.1 e gemini-3-flash, dizendo-me qual vence em precisão e custo.
Reduza os gastos com modelos
/optimize_costs
Peça ao seu agente para ler uma semana de uso e recomendar uma configuração mais barata que mantenha a qualidade.
Analise meu uso de tokens e latência esta semana e recomende uma configuração de modelo mais barata que mantenha a qualidade acima de 90%.
Feche o ciclo de ponta a ponta
/full_agent_improvement_cycle
Execute todo o loop de trace para dataset para eval para correção com NovaPilot para redeploy a partir de um único prompt.
Execute o ciclo completo de melhoria do agente no meu assistente de checkout: faça o trace, construa um dataset, avalie, peça ao NovaPilot para redigir uma correção e resuma o pull request.
As ferramentas estão aqui. O playbook é uma skill.
Um único copiar e colar configura seu agente com o playbook completo do Noveum: dentro do seu ambiente. Seu código nunca sai das suas máquinas.
-
Integre o SDK noveum-trace
LangChain · CrewAI · LiveKit · Pipecat -
Verifique a completude dos traces
boletim, não "traces > 0" -
Construa um dataset a partir de tráfego real
mappers gerados por IA -
Execute avaliações
mais de 100 scorers calibrados -
Diagnostique com NovaPilot
causas raiz + raio de impacto -
Faça backtest das correções como experimentos
validado, não achismo -
Envie a correção como PR
depois verifique em produção
Com portão de aceitação: o agente não pode marcar uma etapa como concluída até que a plataforma confirme.
Copie este prompt para o seu agenteCódigo aberto
Ou conecte apenas pela URL
Clientes interativos entram com OAuth: sem chave para colar.
Perguntas sobre MCP, respondidas.
O que é o servidor MCP do Noveum?
É um servidor remoto do Model Context Protocol em noveum.ai/api/mcp. Conectá-lo dá a qualquer cliente de IA compatível com MCP: Claude, Cursor, VS Code, ChatGPT e mais: acesso seguro, em nível de ferramenta, ao seu workspace do Noveum: traces, datasets, avaliações, scorers e fluxos de trabalho de melhoria de agentes, tudo conduzido em linguagem natural.
Quais clientes de IA podem se conectar?
Qualquer cliente que fale o transporte MCP Streamable HTTP: Claude e Claude Code, Cursor, VS Code, ChatGPT (modo desenvolvedor), Windsurf, Cline, Replit, Zed, Goose e outros. Clientes somente com URL entram com OAuth; clientes headless ou com script, como cURL, Python e CI, usam uma chave de API Bearer.
Preciso de uma chave de API ou ele usa OAuth?
Ambos funcionam no mesmo endpoint. Clientes interativos descobrem OAuth 2.1 automaticamente: você adiciona a URL, aprova uma tela de consentimento uma vez e está conectado sem chave para colar. Configurações headless enviam um cabeçalho Authorization: Bearer com uma chave de API do Noveum.
O que um agente pode realmente fazer por meio dele?
Cerca de 60 ferramentas geradas a partir da API ao vivo do Noveum: buscar e ler traces, criar datasets, executar avaliações, gerenciar scorers e iniciar jobs de ETL, NovaPilot e NovaSynth: além de 16 recursos somente leitura e 20 prompts de fluxo de trabalho guiados. Cada ação respeita os papéis e permissões da sua organização.
É seguro? Como funcionam as permissões e a revogação?
Os tokens OAuth são vinculados a uma única organização que você escolhe no momento do consentimento e a escopos amplos de leitura / escrita / execução que apenas restringem o que um app conectado pode fazer: suas permissões RBAC ainda se aplicam por cima. Revogue qualquer app conectado a qualquer momento em Configurações, Apps conectados, e rotacione chaves de API nas configurações da sua organização.
Conectar tem algum custo extra?
Não: o servidor MCP está incluído no Noveum e não há cobrança separada para conectar. O uso da plataforma subjacente (traces, avaliações e jobs) segue o seu plano normal do Noveum.