# OpenAI construyó un banco de pruebas con 75 competiciones de Kaggle para medir a agentes en ingeniería de aprendizaje automático; el mejor montaje llegó a nivel de medalla de bronce en el 16,9% de ellas

Página: https://flyvolo.ai/es/changes/ev-20241009-machine-learning-engineer-1
Fecha: 2024-10-09 · Etapa: Capacidad técnica
¿Puede este registro mover un juicio sobre una tarea? no
Ocupación: https://flyvolo.ai/es/careers/machine-learning-engineer

## Alcance

Setenta y cinco competiciones de Kaggle de ingeniería de aprendizaje automático — entrenar modelos, preparar conjuntos de datos, ejecutar experimentos — puntuadas contra las marcas humanas de la clasificación pública de cada competición, así que la comparación es con la gente que de verdad participó. El montaje que mejor rindió en el momento de escribirlo (o1-preview con el andamiaje AIDE) llegó al menos al bronce en el 16,9% de las competiciones; los autores informan además de que escalar los recursos y la contaminación del preentrenamiento cambian ambos el número, y el banco de pruebas es de código abierto, así que cualquiera puede volver a correrlo sobre un modelo más nuevo. Dos límites son estructurales y no accidentales: una competición de Kaggle llega con el problema ya enmarcado, la métrica ya elegida y los datos ya recogidos, que es justo la parte de este trabajo que el banco de pruebas no puede medir en absoluto; y OpenAI construyó el banco de pruebas y vende modelos medidos con él.

## Fuente

- MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering (OpenAI, arXiv:2410.07095) — https://arxiv.org/abs/2410.07095 (fuente primaria)

## Qué significa esto

Ya existe una medición pública y repetible de la parte de este puesto que más se parece a un concurso: un problema enmarcado, una métrica elegida, un conjunto de datos preparado, y una clasificación de participantes reales contra los que perder. En esa parte, a finales de 2024 los agentes llegaban a nivel de bronce en alrededor de una competición de cada seis, y el banco de pruebas es abierto, así que la cifra se mueve en público y no en la diapositiva de un proveedor.

## Lo que todavía no demuestra

El bronce en una competición no es un modelo en producción, y el banco de pruebas no puede ver los pasos que deciden si uno llega ahí: quién enmarcó la pregunta, por qué esta métrica y no la otra, si los datos de entrenamiento se pueden usar así, y qué pasa el día en que la distribución cambia. La cifra tampoco dice nada de la contratación. Lee la fecha junto a ella: es una medición de una generación de modelos, y los propios autores señalan la contaminación del preentrenamiento como algo que la mueve.

## Cómo comprobarlo por tu cuenta

Coge el último modelo que pusiste en producción y escribe quién eligió la métrica con la que se le califica. Si esa persona fuiste tú, la parte de tu puesto que prueba este banco no es la parte por la que te pagan. Si fue otra persona, merece preguntarle cómo la eligió.


Más: https://flyvolo.ai/llms.txt