# Um piloto numa empresa parceira concluiu que os testes de aceitação gerados por um LLM foram úteis na maior parte das vezes, mas um terço dos scripts gerados teve de ser corrigido, regenerado ou descartado por uma pessoa

Página: https://flyvolo.ai/pt/changes/ev-20250409-business-analyst-9
Data: 2025-04-09 · Fase: Projeto-piloto
Este registo pode alterar um juízo sobre uma tarefa? só em conjunto com outro registo independente
Profissão: https://flyvolo.ai/pt/careers/business-analyst

## Âmbito

Segundo os investigadores, um piloto com duas ferramentas (AutoUAT para os cenários de teste, Test Flow para os scripts executáveis, ambas assentes em GPT-4 Turbo) foi integrado no fluxo de trabalho de uma empresa parceira e avaliado em projetos reais. Os utilizadores consideraram úteis os cenários de teste de aceitação em linguagem natural do AutoUAT, redigidos a partir de histórias de utilizador, em 95% das vezes, por vezes revelando casos que a equipa tinha deixado passar. Dos scripts executáveis em Cypress gerados pelo Test Flow, 92% foram considerados úteis, mas apenas 60% eram utilizáveis tal como gerados: 8% precisaram de correções menores, 24% precisaram de ser regenerados com informação adicional, e 8% foram descartados por problemas graves. O artigo enquadra isto como os LLM só ajudarem o processo de testes de aceitação «com as ferramentas e a supervisão adequadas». Estabelece que, nesta empresa, gerar os cenários e scripts usados para verificar se o que foi entregue cumpre os requisitos continuou a exigir que uma pessoa aceitasse, corrigisse ou rejeitasse cerca de um terço do resultado; não identifica a empresa, não mede como mudou o tempo total de analistas ou testadores, e não diz nada sobre a gestão de pedidos de alteração nem sobre preparar as pessoas para uma nova forma de trabalhar, o resto desta tarefa.

## Fonte

- Ferreira, Viegas et al. — Acceptance Test Generation with Large Language Models: An Industrial Case Study (arXiv) — https://arxiv.org/abs/2504.07244 (fonte primária)

## O que isto significa

Numa empresa real, as ferramentas de LLM redigiram os cenários e scripts de teste de aceitação usados para verificar se o que foi entregue cumpre os requisitos, e foram úteis na maior parte das vezes (95% e 92%, respetivamente), mas uma pessoa ainda teve de aceitar, corrigir ou rejeitar cerca de um terço dos scripts gerados antes de serem usados.

## O que ainda não demonstra

Não diz como os testes de aceitação mudam quando ninguém verifica o resultado, não abrange a gestão de pedidos de alteração nem a preparação das pessoas para uma nova forma de trabalhar, e não diz se isto se mantém fora dos projetos de aplicações web desta empresa.

## Como o verificar por si

Antes de dar como concluído um teste de aceitação redigido por IA, volte a executá-lo você mesmo contra o requisito real que ele diz verificar, tal como fizeram os revisores deste piloto com o terço que precisou de correção.


Mais: https://flyvolo.ai/llms.txt