LO
データエンジニア
データを、それが起きる場所から、それが問われる場所へ運ぶ——そして、その二つが合わなくなったとき、最初に気づく人である。
これは職を失う確率ではない。その職の業務量のうちどれだけが自動化にさらされているかと、導入が実際にどこまで進んだかを一つの値に合わせたものであり——同じ一つのものさしで職業どうしを比べるためだけに使える。それ以外には使えない。
取り込みの経路、データ基盤、そしてその上に載る模型をつくり回すエンジニアに向けて書いている。その結果に問いを投げる人はデータアナリストのページが扱っており、機械学習エンジニアリングは自分のページを持つ別の職である。このページは一つの借りを返している——アナリストのページの適用範囲は、ずっと「データエンジニアリングは別である」と述べてきた。
実際に何が変わりつつあるか#
分析の単位は肩書ではなく業務です。職が置き換えられるのではなく、その業務の構成が移ります。
これはあなたの仕事ですか。そう言えば、このページはあなたの持ち分に絞られます。
肩書とは、まとめ買いされた業務の束であり、同じ束を持つ人は二人といません。どこにも送られません——このブラウザの中に留まります。
取り込みの経路をつくる
自動化されつつある✓ 証拠に基づく供給元から抜き出し、形を変え、問い合わせられる場所へ載せ、その全体を定時で回す。
よくある供給元へのつなぎは、いまや書くのではなく買うものであり、変換のコードは生成が扱える程度に仕様がはっきりしている。この仕事が二十年にわたり会社をまたいで似た形で繰り返されてきたことこそ、ある業務を安くする条件そのものである。
経路が回っていることは、数字が正しいことと同じではない。成熟したデータのチームで時間が消えていたのは、つくることではなかった。本当であり続けさせることだった。
データが誤っているのに、何もエラーが出ていないとき
いまも人が主導≈ 本サイトの推定上流で項目の意味が変わった、処理が二度走った、時差がずれた——それでも画面はどれも緑のままである。
静かな誤りこそこの仕事を特徴づける失敗であり、それは道具を良くすれば解ける検出の問題ではない——その数字が事業にとって何を意味するはずなのかを知っていることが要り、それはスキーマではなく人のなかにある。テストが捕まえるのは、試そうと思いついたことだけである。
これは失敗の性質についての判断であって、それがどれだけ起きているかの測定ではない。静かなデータの誤りを定量化したチームの記録はこちらにはなく、その一因は、定義からしてそれが遅く見つかるか、まったく見つからないかだからである。
数字が何を意味するかを引き受ける
いまも人が主導✓ 証拠に基づくアクティブユーザー、売上、離脱を定義し——二つのチームがそれを別々の意味にしたがるとき、その定義を守り抜く。
文から SQL を出す道具は問い合わせを安くし、それによって定義をより荷を支えるものにする。誰でも問える瞬間から、答えは、モデルがどの定義を拾ったかに完全に依るからである。アナリストのページの証拠も同じ向きを指している——実際の企業のデータ基盤からつくられたベンチマークで素のモデルの得点は0だった。公開ベンチマークでは80から90%である。そしてその差は SQL ではなく、スキーマと意味づけである。
そのベンチマークは、誰が定義を持つかではなく問い合わせについてのものであり、著者は代替の系を売っている——アナリストのページの記録がそう述べている。示しているのは、企業のスキーマがいまのモデルを打ち負かすということであって、意味づけを維持するために誰かが雇われているということではない。
問い続けるのにいくらかかるか
増強されつつある≈ 本サイトの推定分割、保存の階層、誰かが毎時走らせるようにした全件を舐める問い合わせ、そして月末の請求額。
データ基盤はいまや、高くついている問い合わせを自分から示し、直し方まで提案する。それは本物の助けである。残るのは、その答えにその金を払う価値があるかどうかの判断であり、それには、その数字を誰が何のために使っているかを知っていることが要る。
費用が全体として上がっているのか下がっているのかについては何も言っていない。問い合わせが安くなると問いの数が増えがちであり、それは請求額をどちらの向きにも動かしうる。
何を残し、消し、そもそも集めてはならないか
いまも人が主導≈ 本サイトの推定保存の期間、削除の請求、個人データが置かれてよい場所、そしてそれを示せること。
これは取り込みの経路のなかに実装された法的義務であり、法的義務は仕組みにではなく人につく。誰かが規則を決めたあと、それを強制することは道具にできる。決めること、そしてあとから適合を示せることが、残る部分である。
要件は市場によっても、データの種類によっても大きく違う。この業務を決着させるのは、会社全体ではなくデータのチームの保存や削除の運用を名指しした執行の事例——誰が何を、いつまでに消すはずだったのかを当局が述べたもの——である。
文章で答える仕組みに食べさせる
新しい業務≈ 本サイトの推定正しい文書を、正しい鮮度で、正しい参照の規則とともに、AIの機能が読みに行く先へ届ける。
検索の質はいまや、AIの札を下げたデータの問題であり、それがここに落ちるのは、モデルではなく、取り込みの経路と権限と鮮度の問題だからである。生成の機能が製品に載るまで、職としては存在しなかった。
新しい仕事が現れることは、新しい人員ではない。大半の会社でこれは、すでにデータ基盤を持っている人に吸収されており、ここにはそれ以外のことは何も書かれていない。
ここで効いてくる技術はどれか#
四つの別々の signal です。意識して足し合わせていません——二つの技術にさらされている職が、二倍さらされているわけではありません。
ここに至るまで#
この指数は動かない数字ではありません。これは、ChatGPT 以降の能力の検査点ごとに、それがどこにあったはずかです——再構成されたものであり、そう明記しています。
● この職業についての1件の検証済みの出来事を、それが起きた日付の上に置いてあります——印の近くの線は、確かめられる何かに固定されています。
工学の三つの層のなかで最も高い出発点である。この仕事は生成の道具が存在する前からすでに汎用品化されつつあったからである——買ってくるコネクタと運用込みの倉庫が、何年も前から組み立ての半分を食べてきた。中ほどの上りは、変換のコードが安く起案できるようになったことと、自然言語での問い合わせが到来したことである。最も早く平らになり、2025年以降はまったく上がらなくなる。その理由はページの上に書いてある——問い合わせが安くなると、定義はより荷重を支えるようになるのであって、支えなくなるのではない。こちらが持っている、実際の企業の倉庫から作られた唯一のベンチマークは、公開のベンチマークが80から90と読める場所で素のモデルに零点をつける——その差は意味であり、意味は人の中に住んでいる。
平らな線は、安全の予測ではありません。それは、自動化がこれまでどの業務に届いたかを言っています——ここで最も動かなかった職業は、制約が身体的か規制によるものであり、そしてそのどちらも変わりうります。
最近の変化#
BigQuery と Snowflake 上の実際のデータ活用からつくられた632問であり、データベースは1,000列を超えることも多い。何がそれを難しくしているかは著者が述べており、それはまさにこの職業の日々の環境である——答えるには、データベースのメタデータと方言の資料を探し、その案件自身のコードベースを読み、非常に長い文脈を保ち、異なる方言で複数の問い合わせを、しばしば100行を超える長さで出さなければならない。21.3%は2024年末の o1-preview 上の一つの構成での数字であり、いずれ古くなる。持ちのよい発見は、Spider 1.0 の91.2%、BIRD の73.0%との差のほうであり、それは難しさのどれだけが SQL ではなくデータ基盤のなかに宿っているかの測定である。雇用については何も語っていないし、問い合わせられる側ではなく、つくられる側の取り込みの経路についても何も語っていない——試しているのは問い合わせを出すことであって、それを出し続ける系を運用することではない。
失敗、撤回、規制、あるいは費用が導入を抑えている。判断を下げる、あるいはその不確かさを広げることがある。
これがあなたにとって何を意味するか#
取り込みの経路をつくること——入門の教材が教えることであり、あなたが任されるであろうこと——が晒された半分である。持ちこたえるのは、その数字が何を意味するはずなのかを知っていることであり、それはその数字を使う人の近くにいることで身につく。事業から遠いデータの職は、この職のより危ういほうの姿である。
問い合わせが安くなることは、定義を持つ人の価値を上げ、データを運ぶだけの人の価値を下げる。一週間の大半がつなぎ込みと定時実行なら、それが晒された側の構えである。大半が「何をもって顧客とするか」をめぐる議論なら、それが持ちのよい側である。
選べる道#
四つの方向。それぞれに現実の制約と、今週試せることが一つ付いています。いまのまま続けることも正当な選択です——ただし、選ばれたものでなければなりません。
配管ではなく意味を引き受ける
誰でも言葉で問えるようになったとき、答えは、道具がどの定義を拾ったかに依る。それを決める人であることが、持ちのよい位置である。
技術の仕事であると同じくらい政治の仕事である——定義が争われるのは、チームごとにそれで測られているからである。
社内の画面の指標を一つ取り、二つのチームにそれが何を意味するかを訊く。答えが食い違ったなら、あなたはこの仕事を見つけたのである。
検索の層を取る
社内のどのAIの機能も、いずれ「どの文書を、どれだけ新しく、誰に見せてよいか」という問いになる——それは新しい名前を着たこの職である。
いまのところ華やかさがなく、しばしば誰のものでもない。誰かが予算をつける前に、自分から名乗り出る必要があるかもしれない。
自社のAIの機能を一つ見つけ、それが実際に何から読んでいるかを辿る。その参照の権限が、元の仕組みの権限と一致しているかを確かめる。
判断のほうへ動く
アナリティクスエンジニアリングとプロダクト分析は、データ基盤とそれを使って動く人のあいだに立っており、筋道の立て方はそのまま移る。
ある数字が何を意味するかについて、人前で間違う覚悟が要る。それは、取り込みの経路のなかで間違うのとは別の晒され方である。
自分が出している数字を一つ選び、前四半期にそれによって実際にどんな判断が下されたかを調べる。答えが「何も」であることもある。
よくある問い#
業務ごとに問うこと。一緒に動いていないからである。取り込みの経路をつくり定時で回すことは晒された部分であり、生成の道具よりずっと前から安くなり続けてきた。ある数字が静かに、以前の意味を持たなくなったと気づくことは、まったく動いていない。その知識はデータではなく事業についてのものだからである。自分で確かめられる信号——前四半期に数字が間違っていたとき、誰が、どうやって気づいたか。
このサイトの証拠は逆を、しかも具体的に指している。実際の企業のデータ基盤の問い合わせ記録からつくられたベンチマークで、素のモデルの得点は0、自律的に道具を使う構成でおよそ10%だった。同じ種類のモデルが、公開ベンチマークでは80から90%を取る。その差は SQL ではない——テーブルが数千あるスキーマと、そのスキーマの外側に宿る意味である。問い合わせが安くなることは、その意味を保っている人の価値を上げる。
どちらの半分をやることになるかによる。そしてそれは、移る前に決着させる価値がある。つなぎ込みと定時実行が大半の職は晒された半分にあり、何年も前から汎用品になりつつある。事業に近く、定義について論じることを求められる職が、持ちのよい半分である。どちらの場合も肩書きは同じなので、面接で、直近の三つの議論は何についてだったかを訊くこと。
その事業がどうやって金を稼いでいるかを、ある数字がそれと辻褄が合わなくなったときに気づける程度の細かさで。道具は数年ごとに入れ替わり、どれも数週間で覚えられる。画面を見て「これはおかしい」と言える力こそ、残る人を分けている。しかもそれは、あなたのスキーマを読んだモデルにはできないことでもある。
これを目指して学んでいますか
この専攻がここへ通じています。そのページでは、どの能力が持ち越せて、卒業生に何が欠けがちかを分解しています。
これについて書いたもの#
この文章は、このページが持っているのと同じ記録から論じており、その一節一節が、何の上に立っているかを名指ししています。
方法と出典#
- 評価日
- 2026-09-12
- 業務の判断の根拠
- 証拠に基づく2項 · 本サイトの推定4項 · 証拠が足りない0項
- 検証済みの出来事
- 1