# 実際のデータ基盤から取られた企業のデータ作業632件に対し、コードを書く自律的な仕組みが解けたのは21.3%だった——より以前の学術ベンチマークSpider 1.0では91.2%である

ページ: https://flyvolo.ai/ja/changes/ev-20241112-data-engineer-1
日付: 2024-11-12 · 段階: 制限または撤回
この記録は業務の判断を動かせますか? できる
職業: https://flyvolo.ai/ja/careers/data-engineer

## 適用範囲

BigQuery と Snowflake 上の実際のデータ活用からつくられた632問であり、データベースは1,000列を超えることも多い。何がそれを難しくしているかは著者が述べており、それはまさにこの職業の日々の環境である——答えるには、データベースのメタデータと方言の資料を探し、その案件自身のコードベースを読み、非常に長い文脈を保ち、異なる方言で複数の問い合わせを、しばしば100行を超える長さで出さなければならない。21.3%は2024年末の o1-preview 上の一つの構成での数字であり、いずれ古くなる。持ちのよい発見は、Spider 1.0 の91.2%、BIRD の73.0%との差のほうであり、それは難しさのどれだけが SQL ではなくデータ基盤のなかに宿っているかの測定である。雇用については何も語っていないし、問い合わせられる側ではなく、つくられる側の取り込みの経路についても何も語っていない——試しているのは問い合わせを出すことであって、それを出し続ける系を運用することではない。

## 出典

- Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows (arXiv:2411.07763) — https://arxiv.org/abs/2411.07763 (一次資料)

## これが意味すること

この仕事の難しさは測れるし、その大半はSQLの中にない。同じ種類の課題が実在の倉庫——千に及ぶ列、複数の方言、探すべき文書、読むべきコードベース——に対して出されると、成功率はおよそ十に九からおよそ十に二へ落ちる。その差は、データエンジニアが口にしてもめったに信じてもらえないこと——問い合わせは易しい部分であり、どの表が本物かを知っていることが仕事である——に付いた数字である。

## まだ示していないこと

ベンチマークの点数は雇用主の判断ではないし、低い点数は安全ではない。この数字は2024年末の一つのモデル世代の上の一つのエージェントの枠組みから出たもので、すでに動いていると考えるべきである。それほど速く動かないのは、なぜ低かったのかのほうである。またこれは正しい問い合わせを作ることを試すものであり、それはこの職業の業務の一つにすぎない——ここにある何も、パイプラインを作ることにも、上流のスキーマが変わったときに何が起きるかにも、数字が届かなくなったときに誰が呼ばれるかにも関わらない。

## 自分で確かめる方法

自社が舵取りに使っている数字を一つ選び、それが計算されている表まで遡ること。その途上の判断のうち、どこかに書き下ろされているものがいくつあるかを数えること。SQLではなくその数こそ、道具が再現しなければならないものである。


詳しくは: https://flyvolo.ai/llms.txt