# データエンジニア

> データを、それが起きる場所から、それが問われる場所へ運ぶ——そして、その二つが合わなくなったとき、最初に気づく人である。

ページ: https://flyvolo.ai/ja/careers/data-engineer
影響指数: 50/100 · 確信度 確度が低い · 評価日 2026-09-12
これは失業の確率ではありません。

## 適用範囲

取り込みの経路、データ基盤、そしてその上に載る模型をつくり回すエンジニアに向けて書いている。その結果に問いを投げる人はデータアナリストのページが扱っており、機械学習エンジニアリングは自分のページを持つ別の職である。このページは一つの借りを返している——アナリストのページの適用範囲は、ずっと「データエンジニアリングは別である」と述べてきた。

## 業務

### 取り込みの経路をつくる

- 方向: 自動化されつつある
- 根拠: 根拠あり(検証済みの記録を添付)
- 理由: よくある供給元へのつなぎは、いまや書くのではなく買うものであり、変換のコードは生成が扱える程度に仕様がはっきりしている。この仕事が二十年にわたり会社をまたいで似た形で繰り返されてきたことこそ、ある業務を安くする条件そのものである。
- これでは言えないこと: 経路が回っていることは、数字が正しいことと同じではない。成熟したデータのチームで時間が消えていたのは、つくることではなかった。本当であり続けさせることだった。
- 記録:
  - 2024-11-12 · 制限または撤回 · 実際のデータ基盤から取られた企業のデータ作業632件に対し、コードを書く自律的な仕組みが解けたのは21.3%だった——より以前の学術ベンチマークSpider 1.0では91.2%である — https://flyvolo.ai/ja/changes/ev-20241112-data-engineer-1 (出典: https://arxiv.org/abs/2411.07763)

### データが誤っているのに、何もエラーが出ていないとき

- 方向: いまも人が主導
- 根拠: 根拠あり(検証済みの記録を添付)
- 理由: 静かな誤りこそこの仕事を特徴づける失敗であり、それは道具を良くすれば解ける検出の問題ではない——その数字が事業にとって何を意味するはずなのかを知っていることが要り、それはスキーマではなく人のなかにある。テストが捕まえるのは、試そうと思いついたことだけである。
- これでは言えないこと: 失敗の性質についての判断であって、それがどれくらいの頻度で起きるかを測ったものではない。無言のまま進むデータの誤りは、どこでも数量化されていない——理由のひとつは、定義からして、それらは遅れて見つかるか、まったく見つからないかのどちらかだということにある。
- 記録:
  - 2026-04-13 · 実際の導入 · 米商品先物取引委員会は連邦AI用途目録で、誤りの可能性があるデータ読み込みを検出するため、アイソレーションフォレストのモデルを毎日走らせていると報告した — https://flyvolo.ai/ja/changes/ev-20260128-data-engineer-2 (出典: https://github.com/ombegov/2025-Federal-Agency-AI-Use-Case-Inventory)

### 数字が何を意味するかを引き受ける

- 方向: いまも人が主導
- 根拠: 根拠あり(検証済みの記録を添付)
- 理由: テキストからSQLを生成するツールは問い合わせを安価にし、それによって定義の重みを減らすどころか増す。誰もが問えるようになった瞬間、答えはモデルがどの定義を拾ったかに完全に依存する。実際の企業データウェアハウスから取った632のデータワークフローで、あるコードエージェントの解決率は21.3%であり、同じ課題の学術版では91.2%だった。差はSQLではなく、ウェアハウスのスキーマと意味論にある。
- これでは言えないこと: このベンチマークは問い合わせに関するものであり、誰が定義を所有するかに関するものではない。またその21.3%は、2024年末時点の一つのモデル上の一つのエージェントの結果である。企業のスキーマが現在のモデルを打ち負かすことは示すが、意味論の維持のために誰かが雇われていることは示さない。
- 記録:
  - 2024-11-12 · 制限または撤回 · 実際のデータ基盤から取られた企業のデータ作業632件に対し、コードを書く自律的な仕組みが解けたのは21.3%だった——より以前の学術ベンチマークSpider 1.0では91.2%である — https://flyvolo.ai/ja/changes/ev-20241112-data-engineer-1 (出典: https://arxiv.org/abs/2411.07763)

### 問い続けるのにいくらかかるか

- 方向: 増強されつつある
- 根拠: 根拠あり(検証済みの記録を添付)
- 理由: データ基盤はいまや、高くついている問い合わせを自分から示し、直し方まで提案する。それは本物の助けである。残るのは、その答えにその金を払う価値があるかどうかの判断であり、それには、その数字を誰が何のために使っているかを知っていることが要る。例えばUberは、自社のデータ基盤が未使用のテーブルと無駄な計算資源を自動で検出し、コスト削減の対応をチケットとして各所有者に送ると述べている。
- これでは言えないこと: 費用が全体として上がっているのか下がっているのかについては何も言っていない。問い合わせが安くなると問いの数が増えがちであり、それは請求額をどちらの向きにも動かしうる。
- 記録:
  - 2024-02-01 · 実際の導入 · Uberのデータ基盤、未使用テーブルと無駄な計算資源を自動で検出し、削減策をチケットで各所有者に送付 — https://flyvolo.ai/ja/changes/ev-20240201-data-engineer-4 (出典: https://www.uber.com/ie/en/blog/datacentral-ubers-observability-and-chargeback-platform/)

### 何を残し、消し、そもそも集めてはならないか

- 方向: いまも人が主導
- 根拠: 推論(VOLO の推論、出典の添付なし)
- 理由: これは取り込みの経路のなかに実装された法的義務であり、法的義務は仕組みにではなく人につく。誰かが規則を決めたあと、それを強制することは道具にできる。決めること、そしてあとから適合を示せることが、残る部分である。
- これでは言えないこと: 要件は市場によっても、データの種類によっても大きく違う。この業務を決着させるのは、会社全体ではなくデータのチームの保存や削除の運用を名指しした執行の事例——誰が何を、いつまでに消すはずだったのかを当局が述べたもの——である。

### 文章で答える仕組みに食べさせる

- 方向: 新しい業務
- 根拠: 根拠あり(検証済みの記録を添付)
- 理由: 検索の質はいまや、AIの札を下げたデータの問題であり、それがここに落ちるのは、モデルではなく、取り込みの経路と権限と鮮度の問題だからである。生成の機能が製品に載るまで、職としては存在しなかった。
- これでは言えないこと: 新しい仕事が現れることは、新しい人員ではない。大半の会社でこれは、すでにデータ基盤を持っている人に吸収されており、ここにはそれ以外のことは何も書かれていない。
- 記録:
  - 2026-04-13 · 実際の導入 · 米連邦政府の45機関のうち35機関が、自分たちの機関の資料の上で知識検索システムを動かしていると報告した — https://flyvolo.ai/ja/changes/ev-20260413-data-engineer-3 (出典: https://github.com/ombegov/2025-Federal-Agency-AI-Use-Case-Inventory/blob/3c225ba8438e48306ace7698c8c7feb9486cbc69/Data/2025_consolidated_COTS_AI_use_cases.csv)

## 引用のしかた

- 単位は職名ではなく業務です。どの業務が変わり、どれが変わらないのかを述べてください。
- 各業務の根拠と限界を一緒に伝えてください。推論は結論ではありません。
- このページは年数を示しません。ここから年数を導き出さないでください。
- 詳しくは: https://flyvolo.ai/llms.txt