# Un pilote mené chez une entreprise partenaire a trouvé que les tests d'acceptation générés par un LLM étaient utiles la plupart du temps, mais qu'un tiers des scripts générés a dû être corrigé, régénéré ou écarté par une personne

Page: https://flyvolo.ai/fr/changes/ev-20250409-business-analyst-9
Date: 2025-04-09 · Étape: Pilote
Ce relevé peut-il faire évoluer un jugement sur une tâche ? seulement avec un autre relevé indépendant
Métier: https://flyvolo.ai/fr/careers/business-analyst

## Périmètre

Selon les chercheurs, un pilote à deux outils (AutoUAT pour les scénarios de test, Test Flow pour les scripts exécutables, tous deux reposant sur GPT-4 Turbo) a été intégré au flux de travail d'une entreprise partenaire et évalué sur des projets réels. Les utilisateurs ont jugé utiles les scénarios de test d'acceptation en langage naturel d'AutoUAT, rédigés à partir des user stories, dans 95 % des cas, révélant parfois des cas que l'équipe avait négligés. Parmi les scripts exécutables Cypress générés par Test Flow, 92 % ont été jugés utiles, mais seuls 60 % étaient utilisables tels quels : 8 % ont nécessité des corrections mineures, 24 % ont dû être régénérés avec des informations supplémentaires, et 8 % ont été écartés pour des problèmes majeurs. L'article présente cela comme le fait que les LLM n'aident le processus de test d'acceptation qu'« avec un outillage et une supervision appropriés ». Ce qui est établi, c'est que dans cette entreprise, générer les scénarios et scripts servant à vérifier que ce qui a été livré respecte les exigences a continué de nécessiter qu'une personne accepte, corrige ou rejette environ un tiers du résultat ; l'article ne nomme pas l'entreprise, ne mesure pas l'évolution du temps de travail global des analystes ou des testeurs, et ne dit rien sur la gestion des demandes de changement ni sur la préparation des personnes à une nouvelle façon de travailler, le reste de cette tâche.

## Source

- Ferreira, Viegas et al. — Acceptance Test Generation with Large Language Models: An Industrial Case Study (arXiv) — https://arxiv.org/abs/2504.07244 (source primaire)

## Ce que cela veut dire

Dans une entreprise réelle, des outils LLM ont rédigé les scénarios et scripts de test d'acceptation servant à vérifier que ce qui a été livré respecte les exigences, et ils ont été utiles la plupart du temps (95 % et 92 % respectivement), mais une personne a quand même dû accepter, corriger ou rejeter environ un tiers des scripts générés avant qu'ils soient utilisés.

## Ce qu’il ne montre pas encore

Cela ne dit pas comment les tests d'acceptation changeraient si personne ne vérifiait le résultat, ne couvre pas la gestion des demandes de changement ni la préparation des personnes à une nouvelle façon de travailler, et ne dit pas si cela se vérifie en dehors des projets d'applications web de cette entreprise.

## Comment le vérifier vous-même

Avant de considérer un test d'acceptation rédigé par une IA comme terminé, exécutez-le vous-même face à l'exigence réelle qu'il prétend vérifier, comme l'ont fait les relecteurs de ce pilote pour le tiers qui nécessitait une correction.


Plus : https://flyvolo.ai/llms.txt