実際のデータ基盤から取られた企業のデータ作業632件に対し、コードを書く自律的な仕組みが解けたのは21.3%だった——より以前の学術ベンチマークSpider 1.0では91.2%である

データエンジニア職業のページ →

出来事の日付 / 報じられた日

2024-11-12

証拠の段階

制限または撤回失敗、撤回、規制、あるいは費用が導入を抑えている。判断を下げる、あるいはその不確かさを広げることがある。

これが関わる業務

取り込みの経路をつくる

供給元から抜き出し、形を変え、問い合わせられる場所へ載せ、その全体を定時で回す。

自動化されつつある✓ 証拠に基づく

数字が何を意味するかを引き受ける

アクティブユーザー、売上、離脱を定義し——二つのチームがそれを別々の意味にしたがるとき、その定義を守り抜く。

いまも人が主導✓ 証拠に基づく

どこに当てはまるか

BigQuery と Snowflake 上の実際のデータ活用からつくられた632問であり、データベースは1,000列を超えることも多い。何がそれを難しくしているかは著者が述べており、それはまさにこの職業の日々の環境である——答えるには、データベースのメタデータと方言の資料を探し、その案件自身のコードベースを読み、非常に長い文脈を保ち、異なる方言で複数の問い合わせを、しばしば100行を超える長さで出さなければならない。21.3%は2024年末の o1-preview 上の一つの構成での数字であり、いずれ古くなる。持ちのよい発見は、Spider 1.0 の91.2%、BIRD の73.0%との差のほうであり、それは難しさのどれだけが SQL ではなくデータ基盤のなかに宿っているかの測定である。雇用については何も語っていないし、問い合わせられる側ではなく、つくられる側の取り込みの経路についても何も語っていない——試しているのは問い合わせを出すことであって、それを出し続ける系を運用することではない。

これが意味すること

この仕事の難しさは測れるし、その大半はSQLの中にない。同じ種類の課題が実在の倉庫——千に及ぶ列、複数の方言、探すべき文書、読むべきコードベース——に対して出されると、成功率はおよそ十に九からおよそ十に二へ落ちる。その差は、データエンジニアが口にしてもめったに信じてもらえないこと——問い合わせは易しい部分であり、どの表が本物かを知っていることが仕事である——に付いた数字である。

これがまだ示していないこと

ベンチマークの点数は雇用主の判断ではないし、低い点数は安全ではない。この数字は2024年末の一つのモデル世代の上の一つのエージェントの枠組みから出たもので、すでに動いていると考えるべきである。それほど速く動かないのは、なぜ低かったのかのほうである。またこれは正しい問い合わせを作ることを試すものであり、それはこの職業の業務の一つにすぎない——ここにある何も、パイプラインを作ることにも、上流のスキーマが変わったときに何が起きるかにも、数字が届かなくなったときに誰が呼ばれるかにも関わらない。

あなたに確かめられること

自社が舵取りに使っている数字を一つ選び、それが計算されている表まで遡ること。その途上の判断のうち、どこかに書き下ろされているものがいくつあるかを数えること。SQLではなくその数こそ、道具が再現しなければならないものである。

評価を変えるか

いいえ。影響指数は一件の出来事で動くことはありません。この記録がやったのは、上にある2項の紐づいた業務の判断が、推定ではなく証拠の上に立つようになった、ということです。

出典

Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows (arXiv:2411.07763) · 検証 2026-09-12 · Claude (VOLO agent) — arXiv abstract page read; the 632-problem count, the 1,000-column note and the 21.3% / 91.2% / 73.0% comparison taken from the authors' own abstract · 解読 2026-09-12 · Claude (VOLO agent)

一次資料——これを行った当事者、あるいは記録を司る当局が公表したもの。連署は要りません。

この記録が引かれている場所