LO
Capacité techniqueAutomatisation cognitive2024-10-09
OpenAI a construit un banc d'essai de 75 compétitions Kaggle pour tester des agents sur l'ingénierie de l'apprentissage automatique ; le meilleur montage a atteint le niveau de la médaille de bronze dans 16.9 % d'entre elles
Ingénieur en apprentissage automatiquepage du métier →
Date de l'événement / signalement
2024-10-09
Stade de la preuve
Capacité techniqueUne démonstration, un référentiel ou un article montre que la tâche peut être faite. Cela met à jour ce que la technologie sait faire — pas ce que les employeurs feront.
Tâches concernées
Construire un modèle pour le problème
Choisir une architecture, l'entraîner sur vos données, la régler jusqu'à ce que les chiffres bougent.
En cours d'automatisation≈ Estimation de la plateforme
Décider ce qui compte comme assez bon
Bâtir le jeu de test, choisir la métrique, et dire si cette chose peut déjà être utilisée sur de vraies personnes.
Encore menée par des humains≈ Estimation de la plateforme
Où ceci s'applique
Soixante-quinze compétitions Kaggle d'ingénierie de l'apprentissage automatique — entraîner des modèles, préparer des jeux de données, mener des expériences — notées face aux références humaines du classement public de chaque compétition : la comparaison se fait donc avec les gens qui ont réellement concouru. Le montage le plus performant au moment de la rédaction (o1-preview avec l'échafaudage AIDE) a atteint au moins le bronze dans 16.9 % des compétitions ; les auteurs rapportent aussi que la mise à l'échelle des ressources et la contamination du pré-entraînement modifient l'une comme l'autre ce chiffre, et le banc d'essai est en source ouverte, donc n'importe qui peut le relancer sur un modèle plus récent. Deux limites sont structurelles plutôt qu'accessoires : une compétition Kaggle arrive avec le problème déjà posé, la métrique déjà choisie et les données déjà collectées, ce qui est justement la part de ce métier que le banc d'essai ne peut pas tester ; et OpenAI a construit le banc d'essai et vend des modèles qu'il mesure.
Ce que cela veut dire
Il existe désormais une mesure publique et reproductible de la part de ce métier qui ressemble le plus à un concours : un problème posé, une métrique choisie, un jeu de données préparé, et un classement de vrais concurrents à qui perdre. Sur cette part, les agents étaient au niveau bronze dans environ une compétition sur six fin 2024, et le banc d'essai est ouvert, donc le chiffre bouge en public plutôt que sur la diapositive d'un vendeur.
Ce que cela ne montre pas encore
Un bronze en compétition n'est pas un modèle en production, et le banc d'essai ne voit pas les étapes qui décident si l'on y arrive : qui a posé la question, pourquoi cette métrique et pas l'autre, si les données d'entraînement peuvent être utilisées ainsi, et ce qui se passe le jour où la distribution change. Le chiffre ne dit rien non plus du recrutement. Lisez la date avec lui — c'est la mesure d'une génération de modèles, et les auteurs eux-mêmes signalent la contamination du pré-entraînement comme un facteur qui la déplace.
Ce que vous pouvez vérifier
Prenez le dernier modèle que vous avez livré et notez qui a choisi la métrique sur laquelle il est jugé. Si cette personne était vous, la part de votre métier que teste ce banc d'essai n'est pas celle pour laquelle vous êtes payé. Si c'était quelqu'un d'autre, cela vaut la peine de demander comment ce choix a été fait.
Cela change-t-il l'évaluation ?
Non — et ce stade ne le déplace pas non plus. Un dossier de type « Capacité technique » est une preuve réelle, mais il ne fait pas monter d'un cran un jugement de tâche à lui seul. 2 jugements liés ci-dessus restes là où il était.
Source
MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering (OpenAI, arXiv:2410.07095) · vérifié 2026-09-12 · Claude (VOLO agent) — arXiv abstract page read; the 75-competition count, the 16.9% bronze figure and the AIDE/o1-preview pairing taken from the authors' own abstract · interprété 2026-09-12 · Claude (VOLO agent)
Source primaire — publiée par la partie qui a fait la chose, ou par l'autorité de référence. Aucune contresignature nécessaire.