# OpenAI は、機械学習の実務における自律的な仕組みを試すため Kaggle のコンペ75件からなるベンチマークをつくった。最も良い構成が銅メダル相当に達したのは、そのうち16.9%だった

ページ: https://flyvolo.ai/ja/changes/ev-20241009-machine-learning-engineer-1
日付: 2024-10-09 · 段階: 技術的能力
この記録は業務の判断を動かせますか? できない
職業: https://flyvolo.ai/ja/careers/machine-learning-engineer

## 適用範囲

機械学習の実務にあたる Kaggle のコンペ75件——モデルを学習させ、データを整え、実験を回す——であり、各コンペの公開順位表にある人の成績を基準に採点されている。つまり比較の相手は、実際に参加した人たちである。執筆時点で最も成績のよかった構成(AIDE の足場に載せた o1-preview)は、コンペの16.9%で少なくとも銅に達した。著者はまた、計算資源の増減も、事前学習への混入も、この数字を変えると報告している。ベンチマークは公開されているので、誰でも新しいモデルで走らせ直せる。限界は二つあり、偶然ではなく構造的である——Kaggle のコンペは、問題がすでに枠取りされ、指標がすでに選ばれ、データがすでに集められた状態で届く。それはこの職のうち、このベンチマークがまったく試せない部分である。そして OpenAI はこのベンチマークをつくり、それで測られるモデルを売っている。

## 出典

- MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering (OpenAI, arXiv:2410.07095) — https://arxiv.org/abs/2410.07095 (一次資料)

## これが意味すること

この仕事のうち最も競技に似た部分——枠のはまった問題、選ばれた指標、用意されたデータ、そして負ける相手となる実在の参加者の順位表——について、いまや公開されていて何度でも走らせられる測定がある。その部分では、2024年末の時点でエージェントはおよそ六つの競技に一つで銅の水準にあり、このベンチマークは公開なので、その数字はベンダーの資料の中ではなく人目の中で動く。

## まだ示していないこと

競技での銅は本番のモデルではないし、このベンチマークには、そこへ届くかどうかを決める段が見えない——誰が問いの枠を決めたのか、なぜ他方ではなくこの指標なのか、その学習データをこう使ってよいのか、そして分布がずれた日に何が起きるのか。この数字は採用についても何も言わない。日付と一緒に読むこと——これは一つのモデル世代の測定であり、著者たち自身が、事前学習への混入がこれを動かすものとして挙げている。

## 自分で確かめる方法

直近に世に出したモデルを取り出し、それが評価される指標を誰が選んだかを書き留めること。それが自分なら、このベンチマークが試しているのは、自分が対価をもらっている部分ではない。ほかの誰かなら、どう選んだのかを尋ねる価値がある。


詳しくは: https://flyvolo.ai/llms.txt