実際の企業データ基盤の問い合わせ記録からつくられた text-to-SQL のベンチマーク Beaver では、素の大規模言語モデルの得点は0、自律的に道具を使う構成でおよそ10%だった。公開ベンチマークでの80-90%超に対して

出来事の日付 / 報じられた日

証拠の段階

これが関わる業務

どこに当てはまるか

このベンチマークの著者自身が書いたものであり、著者らは競合する系(Rubicon)も売り込んでいる——つまりここでの利害関係者は「簡単なベンチマークのほうが間違っている」と論じている。もとになっている主張は確かめられる。Beaver は MIT の1,400テーブルの Oracle 基盤と他の三つの実際の問い合わせ記録からつくられており、順位表は公開されている。挙げられている四つの理由は、モデルの出来ではなく構造に関わるものである——公開ベンチマークのデータは学習資料に入っている、現実のスキーマは腐って「salary」という名の列が六つに増える、基盤にはその土地固有の言い回しがある、そして現実の問い合わせは一つではなく二つ三つのテーブルを結合する。

これが意味すること

これがまだ示していないこと

一つのベンチマーク、四つの倉庫、そして著者たちは代わりの仕組みを売っている。ここには、どこかの会社がアナリストを残したとも、この種の道具を買うのをやめたとも書かれていない——90%という数字で買われるソフトウェアはいくらでもある。この結果はどの倉庫にも当てはまるわけでもない——この記事自身の結論は、素直な問い合わせとその場だけの言い回しの少ない、きれいなスキーマなら働く、というものであり、それは比較的新しい小ぶりのデータ基盤の多くに当てはまる。

あなたに確かめられること

評価を変えるか

出典