# Meta は Instagram と Facebook のテスト集中期間に TestGen-LLM を投入し、適用したクラスの11.5%を改善し、提案されたテストケースの73%をエンジニアが本番に取り込んだと報告した

ページ: https://flyvolo.ai/ja/changes/ev-20240214-software-tester-1
日付: 2024-02-14 · 段階: 試行
この記録は業務の判断を動かせますか? 別の独立した記録と合わせた場合のみ
職業: https://flyvolo.ai/ja/careers/software-tester

## 適用範囲

一社における、既存の単体テストの改善であり、ビルド/合格/網羅の各条件でふるいにかけている。生成されたケースの75%がビルドでき、57%が安定して通り、25%が網羅を増やした。会社自身が書いた論文であり、日常の開発の流れのなかでの利用ではなく、期間を区切った集中期間での設定である。

## 出典

- Meta — industry paper (arXiv 2402.09171, FSE 2024) — https://arxiv.org/abs/2402.09171 (一次資料)

## これが意味すること

絞り込みの様子まで見える、テストケースを書くという業務についての試行の記録である。Meta の test-a-thon で、生成の道具は触れたクラスの11.5%を改善し、技術者はそれが薦めたケースの73%を受け入れた——ビルド、通過、網羅の絞り込みが残りを落としたうえでのことである。業務ページが述べる仕組み——テストは量で生成され、人の段はそれを受け入れるか退けるかである——を支える一方で、75%がビルドでき、57%が安定して通り、25%が網羅を増やした、という並びが、どれだけの出力が捨てられているかを示している。

## まだ示していないこと

これは成熟したテスト基盤を持つ一社での期間を区切った催しであり、その道具の作者自身が書いたものであり、道具は既存の単体テストのクラスを拡張する。要件からテストを書くわけでも、結合や端から端までのテストを担うわけでも、日常の工程で回っているわけでもない。ここには、Meta であれ他社であれ、テスト担当者を何人雇っているかの変化を示すものは何もない。

## 自分で確かめる方法

自分が担当している module を一つ取り、チームが使える生成の道具をその既存の単体テストに当てて、生成されたケースのうち何件がビルドでき、三回続けて通り、網羅を一行分増やすかを記録すること。自分の三つの数字を Meta の75/57/25と比べれば、自分のコードベースが道具にとって彼らのものより易しいか難しいかが分かる。


詳しくは: https://flyvolo.ai/llms.txt