データエンジニア

一つの規制機関、一つのデータセット、法定義務のもとでの報告。個別報告CSVの項目 CFTC-001 で、その全文は二文だけである：「TCRデータにおける誤りの可能性があるデータ読み込みを特定する」ために設計された異常検知モデルで、「集約データを用いたアイソレーションフォレストのモデル」を使い、「毎日自動で実行される」。項目には稼働日も、ベンダーも、量も、モデルが何を捉え何を逃すかの説明もないので、ここでの日付は統合目録の公開日（2026-01-28）であり、導入そのものには日付が一つもない。立てているのは、少なくとも一つのデータチームがこの業務の前半 ── ある読み込みがおかしいと気づくこと ── をスケジュール実行のモデルに委ねたということであり、後半 ── その誤った読み込みが何を意味し、どうすべきか ── については何も語っていない。同じ目録には逆向きに読める項目もある：DOJ-0006、アルコール・タバコ・火器及び爆発物取締局は、異常検知とデータ品質の機能が「ツールに組み込まれている」データ基盤を挙げ、「ただし当局はこれらの機能を直接には使っていない」と付け加えている。掲載された能力と使われている能力は別物であり、この目録の様式は機関がどちらなのかを言えるようになっている。

雇用主がそれを本番に置いた。基準線を動かしうる——規模と、その場がどれだけ似ているかで重みづけされる。

同じ悉皆調査の、20問中の13問目:「知識検索システムで機関の情報を検索する」は45機関中35機関がY。製品の列にはカテゴリではなくシステムそのものの名が並ぶ —— 大半はMicrosoft 365 Copilot、エネルギー省はChatGPT Enterprise、米一般調達局(GSA)のUSAiプラットフォーム経由でClaudeとGemini、保健福祉省はPalantir FoundryとCredal、国土安全保障省はVertex AIとRelativityOne、商務省と運輸省はAWS Bedrock。この業務にはemergingという札が付いている。自動化があったからこそ生まれた仕事、という意味だ。そしてこの悉皆調査が立てているのはその前提である:45機関のうち35機関で、その機関自身の文書に向けられた検索システムが存在し、したがって誰かが新しく保ち、誰かが範囲を決めなければならない資料の集まりがある。立てていないのはその仕事そのものだ。ファイルには「システムが読むものを誰が維持しているか」という列がなく、工数の測定もなく、その役目がデータチームにあるのか記録管理部門にあるのか業者にあるのかも書かれていない。またこれは一つの雇用主であり、しかも特殊な雇用主である:自らのAI目録を公表しなければならず、どの文書を誰が見てよいかについて説明責任を負う機関は、そのどちらの義務も負わない雇用主の代わりにはならない。

雇用主がそれを本番に置いた。基準線を動かしうる——規模と、その場がどれだけ似ているかで重みづけされる。

BigQuery と Snowflake 上の実際のデータ活用からつくられた632問であり、データベースは1,000列を超えることも多い。何がそれを難しくしているかは著者が述べており、それはまさにこの職業の日々の環境である——答えるには、データベースのメタデータと方言の資料を探し、その案件自身のコードベースを読み、非常に長い文脈を保ち、異なる方言で複数の問い合わせを、しばしば100行を超える長さで出さなければならない。21.3%は2024年末の o1-preview 上の一つの構成での数字であり、いずれ古くなる。持ちのよい発見は、Spider 1.0 の91.2%、BIRD の73.0%との差のほうであり、それは難しさのどれだけが SQL ではなくデータ基盤のなかに宿っているかの測定である。雇用については何も語っていないし、問い合わせられる側ではなく、つくられる側の取り込みの経路についても何も語っていない——試しているのは問い合わせを出すことであって、それを出し続ける系を運用することではない。

失敗、撤回、規制、あるいは費用が導入を抑えている。判断を下げる、あるいはその不確かさを広げることがある。

一つの大手テクノロジー企業、自社のビッグデータ基盤。エンジニアリングチームによると、Uberはチームに厳格な上限や予算を課す代わりに、関係者にコストと資源使用の透明性を提供している。コスト効率化プロジェクトは、コスト削減のために自動化されたデータ駆動の判断を行う。その一つはテーブルのアクセスパターンを確認し、データがあまりアクセスされていない場合に削除や有効期限設定を促すチケットを所有者向けに作成する。同様の確認により、未使用の計算資源の削減や停止を求めるチケットも発行される。チケットに対応するのは所有者であり、記事は受け入れられた件数を示していない。

雇用主がそれを本番に置いた。基準線を動かしうる——規模と、その場がどれだけ似ているかで重みづけされる。

取り込みの経路をつくること——入門の教材が教えることであり、あなたが任されるであろうこと——が晒された半分である。持ちこたえるのは、その数字が何を意味するはずなのかを知っていることであり、それはその数字を使う人の近くにいることで身につく。事業から遠いデータの職は、この職のより危ういほうの姿である。

問い合わせが安くなることは、定義を持つ人の価値を上げ、データを運ぶだけの人の価値を下げる。一週間の大半がつなぎ込みと定時実行なら、それが晒された側の構えである。大半が「何をもって顧客とするか」をめぐる議論なら、それが持ちのよい側である。

留まって強くする

配管ではなく意味を引き受ける

誰でも言葉で問えるようになったとき、答えは、道具がどの定義を拾ったかに依る。それを決める人であることが、持ちのよい位置である。

職の形を組み替える

検索の層を取る

社内のどのAIの機能も、いずれ「どの文書を、どれだけ新しく、誰に見せてよいか」という問いになる——それは新しい名前を着たこの職である。

隣へ移る

判断のほうへ動く

アナリティクスエンジニアリングとプロダクト分析は、データ基盤とそれを使って動く人のあいだに立っており、筋道の立て方はそのまま移る。

業務ごとに問うこと。一緒に動いていないからである。取り込みの経路をつくり定時で回すことは晒された部分であり、生成の道具よりずっと前から安くなり続けてきた。ある数字が静かに、以前の意味を持たなくなったと気づくことは、まったく動いていない。その知識はデータではなく事業についてのものだからである。自分で確かめられる信号——前四半期に数字が間違っていたとき、誰が、どうやって気づいたか。

このサイトの証拠は逆を指しており、しかも具体的である。実際の企業データウェアハウスから取った632のデータワークフローで、あるコードエージェントの解決率は21.3%であり、同じ課題の学術版では91.2%だった。差はSQLではなく、しばしば1,000列を超えるスキーマと、その外にある意味にある。問い合わせが安くなれば、その意味を維持する人の価値が上がる。

どちらの半分をやることになるかによる。そしてそれは、移る前に決着させる価値がある。つなぎ込みと定時実行が大半の職は晒された半分にあり、何年も前から汎用品になりつつある。事業に近く、定義について論じることを求められる職が、持ちのよい半分である。どちらの場合も肩書きは同じなので、面接で、直近の三つの議論は何についてだったかを訊くこと。

その事業がどうやって金を稼いでいるかを、ある数字がそれと辻褄が合わなくなったときに気づける程度の細かさで。道具は数年ごとに入れ替わり、どれも数週間で覚えられる。画面を見て「これはおかしい」と言える力こそ、残る人を分けている。しかもそれは、あなたのスキーマを読んだモデルにはできないことでもある。