機械学習エンジニア

構成を選び、自分たちのデータで学習させ、数字が動くまで調整する。

評価用のデータをつくり、指標を選び、これを本物の人に対して使ってよいかを言う。

集め、印をつけ、整え、何を除くかを決める——そしてデータが世界と違うことを言っているときに気づく。

分布のずれ、上流の入力の変化、学習データが一度も見なかった季節の型——そして、学習し直すか、戻すか、止めるかの判断。

モデルが学ぶ派生的な信号を、その分野の知識から、手で設計する。

その仕組みが誰かについて下した判断を説明し、入力がその目的に適っていたことを示し、そして問われたときに名前のある人であること。

機械学習の実務にあたる Kaggle のコンペ75件——モデルを学習させ、データを整え、実験を回す——であり、各コンペの公開順位表にある人の成績を基準に採点されている。つまり比較の相手は、実際に参加した人たちである。執筆時点で最も成績のよかった構成(AIDE の足場に載せた o1-preview)は、コンペの16.9%で少なくとも銅に達した。著者はまた、計算資源の増減も、事前学習への混入も、この数字を変えると報告している。ベンチマークは公開されているので、誰でも新しいモデルで走らせ直せる。限界は二つあり、偶然ではなく構造的である——Kaggle のコンペは、問題がすでに枠取りされ、指標がすでに選ばれ、データがすでに集められた状態で届く。それはこの職のうち、このベンチマークがまったく試せない部分である。そして OpenAI はこのベンチマークをつくり、それで測られるモデルを売っている。

実演、ベンチマーク、あるいは論文が、その業務をやれることを示している。技術に何ができるかを更新するのであって、雇用主が何をするかを更新するのではない。

講座が教えることの大半——構成、調整、特徴量の設計——は、このページが退けられたと印づけている部分であり、しかもそのうち一つは、あなたが学びはじめる前にすでに退けられていた。希少なのは、講座が課題にしにくい部分である——モデルがまだ見ていない試験をつくること、そして「これはまだ十分ではない」と口に出して言うこと。本物の人に対して動いている系に、たとえ小さくてもよいから、無理だと感じるより早く近づくこと。

価値が「どのモデルを取り出すべきかを知っていること」にあったなら、その知識は速く目減りしたし、目減りし続ける。「この領域はどう壊れるか」——ここでの誤答がいくら高くつくか、どの入力が欠けているか、母集団が変わったときにもっともらしい数字が何を意味するか——を知っていることにあるなら、それは希少になった側である。判定される対象が判定しにくくなったからである。居心地の悪い言い方をすれば——この分野の最近の採用の多くは、API をうまく呼べる人に向けられており、それは天井の違う別の職である。

留まって強くする

測る道具を引き受ける

モデルを買ってくるとき、自分たちのものとして残る唯一のものが評価である——そして自分たちの失敗からつくった評価用データは、提供元には供給できない。

職の形を組み替える

モデルを買えない場所へ行く

狭い領域、独自のデータ、厳しい遅延の制約、そして説明のつかない入力が許されない場面——そのどれでも、買ってくる代替品は存在せず、古典的な技能の束がいまも技能の束である。

隣へ移る

割り当てられる前に義務を引き受ける

人に対して使われる学習された系に義務がつきはじめており、それには、モデルが何を食べたのか、なぜそれがその目的に適っていたのかを示せる人が要る。大半のチームで、その人はまだ存在しない。

ここでは部分が逆向きに動いており、一つの数字はそれを隠してしまう。専用のモデルを学習させることは、かなりの割合の問題について退けられた——しかも機械がそれをできるようになったからではなく、その成果物が買えるものになったからであり、それは巻き戻りうる種類の退場である。学習された系が十分に良いかを判断することは、同じ時期に、より難しく、より希少になった。自分で確かめられる信号——直近の三つの仕事のうち、学習されたモデルで終わったものと、誰かが学習させたモデルについての判断で終わったものはそれぞれいくつか。二つ目の数が、この職の動いている向きである。

一部はそうであり、どの部分かを正確にしておく価値がある。仕組みが変わっているからである。去ったのは人の能力ではなく、専用の成果物のほうである——あなたの問題には、いまや買える代替品がある。その種の喪失は巻き戻る——提供元の価格、利用条件、呼び出し制限、能力が動けば仕事は戻ってくる——が、機械が本当にできるようになった仕事はそうはならない。去らなかったのは、その代替品が自分の問題で本当に働いているかを見分けることであり、それはまさに同じ動きのなかで難しくなった。

二つの技能の束の二択として問うことこそ、答えを難しくしている。どちらでも持ちのよい位置は同じである——それが働いているかどうかについての自分の判断を、信じてもらえる人であること。違うのは入り口の値段である。上に載せるほうはいまほとんど値段がかからず、だからその車線は混んでおり、そこでの天井は、良い結果ともっともらしい結果を見分けられるかどうかで決まる。一つしかうまくできないなら、判断のほうをやること。

需要と晒され具合は別の問いであり、このページが答えているのは後者だけである。その二つは日常的に混同されるので、言っておく価値がある。正直な観察はこうである——この肩書きはいま、天井の違う二つの職を覆っている。系を学習させ評価する職と、買ってきたモデルの上に応用を組み立てる職であり、求人はめったにその二つを区別しない。就く前に、そのチームが前四半期に何を出したか、そしてそれに対して誰かが評価用データをつくったかを訊くこと。その答えが、そこでその肩書きがどちらの職を指しているかを教えてくれる。