Um piloto numa empresa parceira concluiu que os testes de aceitação gerados por um LLM foram úteis na maior parte das vezes, mas um terço dos scripts gerados teve de ser corrigido, regenerado ou descartado por uma pessoa

Data do facto / publicação

Categoria da prova

Tarefas sobre as quais incide

Onde é que isto se aplica

Segundo os investigadores, um piloto com duas ferramentas (AutoUAT para os cenários de teste, Test Flow para os scripts executáveis, ambas assentes em GPT-4 Turbo) foi integrado no fluxo de trabalho de uma empresa parceira e avaliado em projetos reais. Os utilizadores consideraram úteis os cenários de teste de aceitação em linguagem natural do AutoUAT, redigidos a partir de histórias de utilizador, em 95% das vezes, por vezes revelando casos que a equipa tinha deixado passar. Dos scripts executáveis em Cypress gerados pelo Test Flow, 92% foram considerados úteis, mas apenas 60% eram utilizáveis tal como gerados: 8% precisaram de correções menores, 24% precisaram de ser regenerados com informação adicional, e 8% foram descartados por problemas graves. O artigo enquadra isto como os LLM só ajudarem o processo de testes de aceitação «com as ferramentas e a supervisão adequadas». Estabelece que, nesta empresa, gerar os cenários e scripts usados para verificar se o que foi entregue cumpre os requisitos continuou a exigir que uma pessoa aceitasse, corrigisse ou rejeitasse cerca de um terço do resultado; não identifica a empresa, não mede como mudou o tempo total de analistas ou testadores, e não diz nada sobre a gestão de pedidos de alteração nem sobre preparar as pessoas para uma nova forma de trabalhar, o resto desta tarefa.

O que isto significa

O que ainda não mostra

Não diz como os testes de aceitação mudam quando ninguém verifica o resultado, não abrange a gestão de pedidos de alteração nem a preparação das pessoas para uma nova forma de trabalhar, e não diz se isto se mantém fora dos projetos de aplicações web desta empresa.

O que podes verificar

Muda a avaliação?

Fonte