# OpenAI a construit un banc d'essai de 75 compétitions Kaggle pour tester des agents sur l'ingénierie de l'apprentissage automatique ; le meilleur montage a atteint le niveau de la médaille de bronze dans 16,9 % d'entre elles

Page: https://flyvolo.ai/fr/changes/ev-20241009-machine-learning-engineer-1
Date: 2024-10-09 · Étape: Capacité technique
Ce relevé peut-il faire évoluer un jugement sur une tâche ? non
Métier: https://flyvolo.ai/fr/careers/machine-learning-engineer

## Périmètre

Soixante-quinze compétitions Kaggle d'ingénierie de l'apprentissage automatique — entraîner des modèles, préparer des jeux de données, mener des expériences — notées face aux références humaines du classement public de chaque compétition : la comparaison se fait donc avec les gens qui ont réellement concouru. Le montage le plus performant au moment de la rédaction (o1-preview avec l'échafaudage AIDE) a atteint au moins le bronze dans 16,9 % des compétitions ; les auteurs rapportent aussi que la mise à l'échelle des ressources et la contamination du pré-entraînement modifient l'une comme l'autre ce chiffre, et le banc d'essai est en source ouverte, donc n'importe qui peut le relancer sur un modèle plus récent. Deux limites sont structurelles plutôt qu'accessoires : une compétition Kaggle arrive avec le problème déjà posé, la métrique déjà choisie et les données déjà collectées, ce qui est justement la part de ce métier que le banc d'essai ne peut pas tester ; et OpenAI a construit le banc d'essai et vend des modèles qu'il mesure.

## Source

- MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering (OpenAI, arXiv:2410.07095) — https://arxiv.org/abs/2410.07095 (source primaire)

## Ce que cela veut dire

Il existe désormais une mesure publique et reproductible de la part de ce métier qui ressemble le plus à un concours : un problème posé, une métrique choisie, un jeu de données préparé, et un classement de vrais concurrents à qui perdre. Sur cette part, les agents étaient au niveau bronze dans environ une compétition sur six fin 2024, et le banc d'essai est ouvert, donc le chiffre bouge en public plutôt que sur la diapositive d'un vendeur.

## Ce qu’il ne montre pas encore

Un bronze en compétition n'est pas un modèle en production, et le banc d'essai ne voit pas les étapes qui décident si l'on y arrive : qui a posé la question, pourquoi cette métrique et pas l'autre, si les données d'entraînement peuvent être utilisées ainsi, et ce qui se passe le jour où la distribution change. Le chiffre ne dit rien non plus du recrutement. Lisez la date avec lui — c'est la mesure d'une génération de modèles, et les auteurs eux-mêmes signalent la contamination du pré-entraînement comme un facteur qui la déplace.

## Comment le vérifier vous-même

Prenez le dernier modèle que vous avez livré et notez qui a choisi la métrique sur laquelle il est jugé. Si cette personne était vous, la part de votre métier que teste ce banc d'essai n'est pas celle pour laquelle vous êtes payé. Si c'était quelqu'un d'autre, cela vaut la peine de demander comment ce choix a été fait.


Plus : https://flyvolo.ai/llms.txt