# 一项试点研究称:在合作企业里,大模型生成的验收测试大多数时候有用,但三分之一的脚本需要人工修正、重新生成或丢弃

网页: https://flyvolo.ai/zh/changes/ev-20250409-business-analyst-9
日期: 2025-04-09 · 阶段: 试点
这条记录能改变任务判断吗? 要和另一条独立记录一起才能
职业: https://flyvolo.ai/zh/careers/business-analyst

## 适用范围

研究者报告说,一项双工具试点(AutoUAT 生成测试场景、Test Flow 生成可执行脚本,均基于 GPT-4 Turbo)被整合进一家合作企业的工作流程,并在真实项目上做了评估。用户认为 AutoUAT 根据用户故事起草的自然语言验收测试场景有用的比例是 95%,有时还能发现团队此前忽略的情况。在 Test Flow 生成的可执行 Cypress 脚本中,92% 被认为有用,但只有 60% 可以直接使用:8% 需要小修改,24% 需要补充输入后重新生成,8% 因重大问题被丢弃。论文把这概括为:大模型只有在配上合适的工具和监督时才能帮上验收测试流程。它确立的是:在这一家企业里,生成用来核对交付物是否满足需求的测试场景与脚本,仍然需要人去接受、修正或拒绝大约三分之一的产出;它没有点名这家企业,没有测量分析师或测试人员整体工时的变化,也没有涉及这项任务里变更请求处理或帮助人们适应新工作方式的部分。

## 来源

- Ferreira, Viegas et al. — Acceptance Test Generation with Large Language Models: An Industrial Case Study (arXiv) — https://arxiv.org/abs/2504.07244 (一手来源)

## 这意味着什么

在一家真实企业里,大模型工具起草了用来核对交付物是否满足需求的验收测试场景和脚本,大多数时候有用(分别是 95% 和 92%),但在使用前,仍需要人去接受、修正或拒绝大约三分之一生成的脚本。

## 它还不能说明什么

它没有说如果没有人核对产出,验收测试会变成什么样;没有涉及变更请求处理或帮助人们适应新工作方式;也没有说这个结论在这家企业的 web 应用项目之外是否成立。

## 怎么自己核实

在把 AI 起草的验收测试当作完成之前,照这个试点里核验者对那三分之一需要修正的脚本所做的那样,自己对照它声称要核验的真实需求重新跑一遍。


更多: https://flyvolo.ai/llms.txt