機械学習エンジニア · 業務ごと

その問題のためのモデルをつくる

働いている力は二つあり、このサイトが普段「自動化」と呼んでいるのはそのうち一つだけである。道具立ては探索を本当に自動化した——構成と超パラメータの選択は、自分でやる仕事から設定する仕事になった。もう一つの、より大きな力は種類が違う。かつて何かを学習させる必要があった多くの問題が、いまや誰かが学習させたモデルを呼ぶことで片づく。この業務は機械にできるようになったのではない。その成果物が買えるものになったのである。

このサイトの四つの向きは、その二つの仕組みを区別できない。そしてこのページを見て計画を立てる人にとって、その違いは効いてくる——買えるようになった業務は、提供元の価格・利用条件・能力が動けば、また買えなくなりうる。機械が学んでできるようになった業務は、そうはならない。また、買ってきたモデルという選択肢がない領域——狭い領域、独自のもの、遅延に厳しいもの、規制のかかったもの——についても何も語っていない。そしてそれは珍しくない。

何をもって十分とするかを決める

学習された系の正しさは定義できず、測ることしかできない——だから測る道具そのものが成果物であり、それは、ここでの誤りがいくら高くつくかを知っている人がつくらなければならない。モデルがすでに見たベンチマークは何も測っていないので、正直な評価用データをつくることは、データを集める仕事ではなく敵対的な仕事である。これは、モデルが良くなるにつれて希少になった業務である。判定される対象が難しくなるほど、判定するほうも難しくなるからである。

仕事の性質についての判断であって、そこに人がどう配されているかを測ったものではない。これをまったくやらず、提供元が公表したベンチマークのまま世に出すチームは数多くあるが、それはここで書いている失敗のしかたそのものであって、反証ではない——ただし「それが何社か」は、どこでも数えられていない。

学べるデータを用意する

モデルの助けを借りた印づけと合成の生成が、ここから量の大半を取り去った。それは本物である。かつてチームで何週間もかかったことが、しばしば午後の一巡で済む。移らなかったのは、その集め方では決して含まれようのなかった事例がどれかを知っていることである——欠けているものは、そこにあるものしか読まない道具には見えない。

あるチームの時間のどれだけがここに使われるかは、ここでは何も測っていない。そして答えは、すでにデータ資産を持つチームとゼロから始めるチームとで一桁違う。モデルを学習させるデータに、モデルを使って印をつけることにも既知の失敗の形があり、この判断はそれを量っていない。

静かに効かなくなったとき

検出は本当に良くなった。監視の道具はいまや、画面を眺めている人より上手に、そして早く分布のずれを示す。それにどう手を打つかは動かなかった。選択肢が事業の言葉で互いに引き換えになるからである——学習し直すには金がかかり、かえって悪くなることもあり、止めれば今日目に見える代償があり、そして何もしないこともまた一つの判断である。

チームが実際に監視しているかについては何も言っていない。一年のあいだ誰にも見られずに動いているモデルはよくあることであり、この判断はそれを捉えていない——誰も見ていない場所では、この業務は人が主導しているのではなく、単に行われていない。

入力を手で組み立てる

これは、このサイトが測っている期間より前におおむね終わっていた。表現の学習は2010年代を通じて、画像・音声・言語にわたり手作りの特徴量を置き換え、その型はその後、表形式や系列の問題にも及んだ。ここに載せているのは、いまも多くの教材がこれを教えており、そのために、これがこの職の手仕事だと思って入ってくる人がいるからである。

2022年から2026年の期間についての証拠ではまったくない。それより古く、見取り図のためにここに記録している。また、説明のつかない入力が許されない一部の規制された場面では、その分野に固有の特徴量の設計がいまも荷を支えており、この判断はそこを切り分けていない。

それが人に何をしたかに答える

新しい仕事であり、能力からではなく規制から到来する。いくつもの市場が、採用・与信・教育・行政サービスに使われる仕組みに義務を課すようになっており、そのなかには、導入する者が、その目的にとって入力データが関連性を持ち十分に代表的であることを確保するという要件も含まれる。その形の義務は、モデルが実際に何を食べたのかを分かっている人に落ちなければならない。そしてこのサイトは、まさにそうした条項が発効した検証済みの記録を持っている——ただしそれは導入者のページ、`business-systems-owner` に付けられている。条項が名指ししているのがそちらだからである。

この説明が指している記録は、この職業には付けられていない。そしてそれは意図的である——義務が名指ししているのは導入者であり、ここに付ければ、それがエンジニアに落ちると主張することになる。しかし大半の組織では、それが自分に落ちると誰もまだ告げられていない。だからこれは、この仕事がどこに座ることになるかについての推論であって、すでにそこに座っている証拠ではない。要件はまた、市場によっても、その仕組みが何に使われるかによっても大きく違う。