# Un piloto en una empresa colaboradora encontró que las pruebas de aceptación generadas por un LLM fueron útiles la mayor parte del tiempo, pero un tercio de los scripts generados necesitó que una persona los corrigiera, regenerara o descartara

Página: https://flyvolo.ai/es/changes/ev-20250409-business-analyst-9
Fecha: 2025-04-09 · Etapa: Prueba piloto
¿Puede este registro mover un juicio sobre una tarea? solo junto con otro registro independiente
Ocupación: https://flyvolo.ai/es/careers/business-analyst

## Alcance

Según informan los investigadores, un piloto con dos herramientas (AutoUAT para los escenarios de prueba, Test Flow para los scripts ejecutables, ambas sobre GPT-4 Turbo) se integró en el flujo de trabajo de una empresa colaboradora y se evaluó en proyectos reales. Los usuarios consideraron útiles los escenarios de prueba de aceptación en lenguaje natural de AutoUAT, redactados a partir de historias de usuario, el 95% de las veces, y en ocasiones estos sacaron a la luz casos que el equipo había pasado por alto. De los scripts ejecutables en Cypress generados por Test Flow, el 92% se consideraron útiles, pero solo el 60% eran utilizables tal cual se generaron: el 8% necesitó correcciones menores, el 24% necesitó regenerarse con información adicional, y el 8% se descartó por problemas importantes. El artículo enmarca esto como que los LLM solo ayudan al proceso de pruebas de aceptación «con las herramientas y la supervisión adecuadas». Establece que, en esta empresa, generar los escenarios y scripts usados para comprobar que lo entregado cumple los requisitos siguió necesitando que una persona aceptara, corrigiera o rechazara aproximadamente un tercio del resultado; no identifica a la empresa, no mide cómo cambió el tiempo total de analistas o probadores, y no dice nada sobre la gestión de solicitudes de cambio ni sobre preparar a las personas para una nueva forma de trabajar, el resto de esta tarea.

## Fuente

- Ferreira, Viegas et al. — Acceptance Test Generation with Large Language Models: An Industrial Case Study (arXiv) — https://arxiv.org/abs/2504.07244 (fuente primaria)

## Qué significa esto

En una empresa real, las herramientas de LLM redactaron los escenarios y scripts de prueba de aceptación usados para comprobar que lo entregado cumple los requisitos, y fueron útiles la mayor parte del tiempo (95% y 92% respectivamente), pero una persona todavía tuvo que aceptar, corregir o rechazar aproximadamente un tercio de los scripts generados antes de usarlos.

## Lo que todavía no demuestra

No dice cómo cambian las pruebas de aceptación cuando nadie revisa el resultado, no cubre la gestión de solicitudes de cambio ni la preparación de las personas para una nueva forma de trabajar, y no dice si esto se cumple fuera de los proyectos de aplicaciones web de esta empresa.

## Cómo comprobarlo por tu cuenta

Antes de dar por terminada una prueba de aceptación redactada por IA, vuelve a ejecutarla tú mismo contra el requisito real que dice comprobar, igual que hicieron los revisores de este piloto con el tercio que necesitó corrección.


Más: https://flyvolo.ai/llms.txt