# ある提携企業でのパイロットでは、LLM生成の受け入れテストはほとんどの場合役に立ったが、生成されたスクリプトの3分の1は人が修正・再生成・破棄する必要があった

ページ: https://flyvolo.ai/ja/changes/ev-20250409-business-analyst-9
日付: 2025-04-09 · 段階: 試行
この記録は業務の判断を動かせますか? 別の独立した記録と合わせた場合のみ
職業: https://flyvolo.ai/ja/careers/business-analyst

## 適用範囲

2つのツールによるパイロット(テストシナリオ用のAutoUAT、実行可能スクリプト用のTest Flow、どちらもGPT-4 Turboを使用)が、ある提携企業のワークフローに組み込まれ、実際のプロジェクトで評価されたと研究者は報告している。ユーザーは、ユーザーストーリーから起草されたAutoUATの自然言語による受け入れテストシナリオを95%の割合で役に立つと評価し、チームが見落としていたケースを明らかにすることもあった。Test Flowが生成した実行可能なCypressスクリプトのうち、92%は役に立つと評価されたが、そのまま使えたのは60%のみだった:8%は軽微な修正が必要、24%は追加の入力を与えて再生成する必要があり、8%は重大な問題のため破棄された。論文はこれを「適切なツールと監督があって初めて、LLMが受け入れテストの工程を助けられる」とまとめている。この記録が確立するのは、この1社では、納品物が要件を満たしているかを確認するためのシナリオとスクリプトの生成において、産出物のおよそ3分の1を人が承認・修正・却下する必要が今もあるということであり、企業名は明かされておらず、アナリストやテスト担当者全体の工数がどう変わったかは測定しておらず、この業務のうち変更要求への対応や新しい働き方への適応支援についても何も述べていない。

## 出典

- Ferreira, Viegas et al. — Acceptance Test Generation with Large Language Models: An Industrial Case Study (arXiv) — https://arxiv.org/abs/2504.07244 (一次資料)

## これが意味すること

ある実在する企業で、LLMツールが納品物が要件を満たしているかを確認するための受け入れテストのシナリオとスクリプトを起草し、ほとんどの場合(それぞれ95%、92%)役に立ったが、使用前には今も人が生成されたスクリプトのおよそ3分の1を承認・修正・却下する必要があった。

## まだ示していないこと

人が産出物を確認しない場合に受け入れテストがどう変わるかは述べておらず、変更要求への対応や新しい働き方への適応支援は対象外であり、この結果がこの企業のWebアプリケーションプロジェクト以外でも当てはまるかどうかも述べていない。

## 自分で確かめる方法

AI が起草した受け入れテストを完了と見なす前に、このパイロットの確認者が修正が必要だった3分の1に対して行ったのと同じように、それが確認すると謳っている本物の要件と照らし合わせて自分でもう一度実行してみること。


詳しくは: https://flyvolo.ai/llms.txt