ai.turnsignal/turnsignal

Resultados somente leitura do Playwright CI para agentes de codificação: informa se uma falha de teste é nova neste PR, já falhando na main, ou conhecida como flaky, com histórico por teste.

Ver em turnsignal.ai

Documentação

O veredito de merge-or-fix para cada PR de Playwright.

O TurnSignal informa quais falhas sua alteração causou, quais já estavam falhando na main ou são apenas flaky, e quais testes seus shards que travaram descartaram silenciosamente.

O que é TurnSignal? · Grátis durante o beta · Sem cartão de crédito · Sem acesso ao repositório · Limites · Segurança

Ao entrar, você concorda com os termos do beta e o aviso de privacidade.

Exemplo de execução · checkout-web · main ← feature/saved-cards

812 passaram 4 flaky 2 falharam 3 ausentes 14 ignorados

Nova falha checkout › paga com cartão salvo

tests/checkout/payment.spec.ts:42 · chromium

Passou na última execução da main, falha aqui.

Ausente busca › filtra por preço

tests/search/filters.spec.ts:18 · chromium

Começou no worker 3 mas nunca terminou: o runner morreu no meio do teste (crash ou kill por falta de memória).

Flaky conhecido perfil › envia um avatar

tests/profile/avatar.spec.ts:9 · firefox

Falhou na tentativa 1 (Timeout 5000ms excedido), passou na tentativa 2.

Feito para as perguntas que você faz após cada execução

Minha alteração quebrou isso? É só flaky? Perdemos algum resultado?

Um veredito em cada execução e PR

Cada execução começa com uma frase simples: o que falhou, por que importa e o que fazer. No GitHub, o mesmo veredito é postado como um comentário fixo no PR.

Nenhum teste fica ausente

Os resultados são gravados em disco no CI antes de serem enviados. Se um runner travar ou for morto, cada teste que ele não terminou é listado como Ausente, com o motivo provável e a menor memória livre naquela máquina.

Novo, já quebrado ou flaky conhecido

Cada falha é comparada com a branch padrão, para você distinguir uma falha causada pela sua alteração de uma que já existia.

Testes flaky com evidências

Veja quais testes foram flaky nos últimos 7 a 90 dias, com que frequência, e as execuções e tentativas exatas por trás de cada rótulo.

Nunca quebra seu CI

O reporter falha de forma aberta: se nossa API estiver fora do ar, seus testes rodam normalmente e o código de saída não é alterado. Os resultados ficam em disco, e o npx turnsignal upload os envia depois.

Segredos ficam no seu CI

Formatos comuns de segredos (tokens, senhas, chaves) em erros e traces são mascarados antes que qualquer coisa saia do seu CI, e os erros são verificados novamente em nossos servidores. Capturas de tela e vídeos não podem ser mascarados, então você escolhe se quer enviá-los.

Também incluído: o visualizador de traces do Playwright, vídeos e capturas de tela no navegador, quarentena somente de relatório com um responsável e uma expiração, governança do turnsignal para revisar o que agentes de IA alteraram em seus testes, alertas no Slack e Discord, e um servidor MCP para seu agente de codificação. Leia a documentação

Primeira execução em poucos minutos

Adicione uma linha de reporter. Seus reporters existentes continuam funcionando.

  1. Instale o reporter

    npm i -D turnsignal
    Copiar

  2. Adicione-o ao playwright.config.ts

    reporter: [['list'], ['turnsignal']],
    Copiar

  3. Adicione um segredo no CI

    Entre, crie um projeto e copie o token da página de configuração. 
    TURNSIGNAL_TOKEN=<your project token>
    Copiar

Grátis durante o beta público

O TurnSignal está em beta público: todos os recursos são gratuitos enquanto trabalhamos com as primeiras equipes. Sem cartão de crédito.

  • Cada organização pode registrar até 3.000 execuções e 300.000 resultados de teste por mês, em até 5 projetos. Precisa de mais? Envie um e-mail para hello@turnsignal.ai e aumentaremos.
  • Os proprietários da organização são avisados em 80% e 100% do limite: no painel e por e-mail quando temos o endereço deles. Acima do limite, execuções que já começaram ainda terminam; novas execuções não são registradas até o dia 1º do próximo mês (UTC), e seu CI passa ou falha exatamente como passaria sem o TurnSignal.
  • Planos pagos virão depois. Anunciaremos com pelo menos 30 dias de antecedência antes de qualquer mudança. Não há cartão cadastrado, então nada pode ser cobrado automaticamente: você decide se quer migrar para um plano pago.
  • Os planos que pretendemos lançar, e a oferta para equipes fundadoras (12 meses grátis, depois metade do preço para sempre), estão na página de preços. Projetos de código aberto continuam gratuitos.
  • Beta significa que algumas coisas mudarão à medida que aprendemos com você. Veja os termos do beta.

Experimente na sua próxima execução

Guias para equipes de Playwright

Respostas práticas para as perguntas que surgem após uma execução vermelha. Mais no blog do TurnSignal.