# 実際の企業データ基盤の問い合わせ記録からつくられた text-to-SQL のベンチマーク Beaver では、素の大規模言語モデルの得点は0、自律的に道具を使う構成でおよそ10%だった。公開ベンチマークでの80-90%超に対して

ページ: https://flyvolo.ai/ja/changes/ev-20260720-data-analyst-2
日付: 2026-07-20 · 段階: 制限または撤回
この記録は業務の判断を動かせますか? できる
職業: https://flyvolo.ai/ja/careers/data-analyst

## 適用範囲

このベンチマークの著者自身が書いたものであり、著者らは競合する系(Rubicon)も売り込んでいる——つまりここでの利害関係者は「簡単なベンチマークのほうが間違っている」と論じている。もとになっている主張は確かめられる。Beaver は MIT の1,400テーブルの Oracle 基盤と他の三つの実際の問い合わせ記録からつくられており、順位表は公開されている。挙げられている四つの理由は、モデルの出来ではなく構造に関わるものである——公開ベンチマークのデータは学習資料に入っている、現実のスキーマは腐って「salary」という名の列が六つに増える、基盤にはその土地固有の言い回しがある、そして現実の問い合わせは一つではなく二つ三つのテーブルを結合する。

## 出典

- BLOG@CACM (Stonebraker & Chen, MIT) — https://cacm.acm.org/blogcacm/if-you-think-you-can-do-real-world-text-to-sql (一次資料)

## これが意味すること

公開のベンチマークでの90%と、実際の倉庫での10%の差は、次の版で直るモデルの問題ではない。実際の企業のデータの形そのものである。過去三つのテキストからSQLへの製品を自分の仕事が生き延びた理由が、ここに書かれている——腐ったスキーマ、その場だけの言い回し、そして salary という名の列が六つあって、どれがどれかを知っているのは自分だけだという事実である。その知識こそが仕事であり、SQLよりもそちらのほうが多くを占めている。

## まだ示していないこと

一つのベンチマーク、四つの倉庫、そして著者たちは代わりの仕組みを売っている。ここには、どこかの会社がアナリストを残したとも、この種の道具を買うのをやめたとも書かれていない——90%という数字で買われるソフトウェアはいくらでもある。この結果はどの倉庫にも当てはまるとは限らない——挙げられた理由は構造的なものなので、素直な問い合わせとその場だけの言い回しの少ない、きれいなスキーマは別の事例である。

## 自分で確かめる方法

どちらの数字も信じずに、自分の倉庫でこの試験をやること。前四半期の依頼から実際の問いを十個取り、モデルにはスキーマだけを渡し、出てきたSQLを自分が実際に出したものと突き合わせること。どの表を使うかを教えられずに正解したのが何件かを数えること。その数字が、測られた自分の職の安全度であり、それが高く出たなら、文書化する価値のあるものの一覧でもある。


詳しくは: https://flyvolo.ai/llms.txt