データサイエンティスト · 業務ごと

問いと指標を定める

入力は、まだ何を尋ねるべきかを知らない人たちとの会話であり、リスクは、動かしやすく、それを最適化すると誤りになる指標である。O*NET がこの職業に挙げた最も新しい候補タスクは、データ分析が扱うべき問いを特定するために関係者に聞き取りを行うことであり——取り除かれる仕事ではなく、加わる仕事である。

これは仕事の性質と O*NET の候補タスクの一覧に拠っている。問いの立て方や、誰がそれを担うかを測った記録はここにはない。

データを整え、探索する

AIエージェントはデータを整形するコードを書けるが、現実的なデータ分析タスクのベンチマークでは、最良のエージェントでも約三分の一しか解けなかった。モデルが高リスクである場合、EU のAI法はデータの作業そのものを文書化された義務にする——訓練・検証・テストのデータは、クリーニングと起こりうる偏りの検討を含むデータガバナンスの実務に従わなければならない。

ベンチマークのタスクは企業のデータではなく、高リスクの仕組みに対する EU の義務の適用はこれからである。クリーニングに費やす時間を測ったものはここにはない。

モデルを構築し、検証する

ここはAIエージェントが最も力を発揮しながら、なお大きく届かない場所である。公開ベンチマークでは、最良のエージェントでもデータ分析タスクのおよそ三分の一しか解けず、データサイエンスのコーディングタスクでの正答率は約30%にとどまる。データサイエンティストは、すべてを自分で書くよりも、生成されたコードを指示し確かめる側に回りつつある。

ベンチマークはすぐに古くなり、短いタスクしか試さない。実際の案件でモデルがどう作られているか、エージェントがいま仕事のどれだけを担っているかは示さない。

実験を設計し、因果を読む

ここにある証拠のなかで、モデルが最も弱いのが因果の推論である。教科書と論文から取った統計と因果の問いのベンチマークで、最も強いモデルの正答率は58%であり、著者たちは、モデルが因果の知識と与えられたデータを同時に使うことに苦戦すると結論づけた。

このベンチマークは2024年時点のモデルを教科書の問いで試したものである。新しいモデルはもっとよくできるかもしれず、実際の製品での実験は測っていない。

それが何を意味し、何を意味しないかを説明する

判断は、数字が何を意味しどこで止まるかを語る人への信頼の上に成り立つ。米国の労働予測は、組織がAIの仕組みを仕事に取り入れるなかで、データサイエンティストの雇用が2025年から2035年に35%増え、平均をはるかに上回ると見ている。

予測は結果ではなく、数えているのは職であって、その職がどのタスクを含むかではない。

モデルにチャレンジし、監査する

モデルをめぐる規則は人を前提に書かれている。米国の銀行監督当局は、モデルを変えさせるだけの専門性・独立性・立場を備えた個人による有効なチャレンジを期待し、生成AIとエージェント型AIは当面そのガイダンスの外に置いている。ニューヨーク市は、過去一年以内に、そのツールから独立した監査人によるバイアス監査を受けていない自動採用ツールの使用を禁じている。

銀行のガイダンスには強制力がなく、対象は大手銀行である。ニューヨークの規則は一つの市の採用ツールを対象とする。どちらも、この仕事をしている人の数は測っていない。