OpenAI construyó un banco de pruebas con 75 competiciones de Kaggle para medir a agentes en ingeniería de aprendizaje automático; el mejor montaje llegó a nivel de medalla de bronce en el 16,9% de ellas

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Setenta y cinco competiciones de Kaggle de ingeniería de aprendizaje automático — entrenar modelos, preparar conjuntos de datos, ejecutar experimentos — puntuadas contra las marcas humanas de la clasificación pública de cada competición, así que la comparación es con la gente que de verdad participó. El montaje que mejor rindió en el momento de escribirlo (o1-preview con el andamiaje AIDE) llegó al menos al bronce en el 16,9% de las competiciones; los autores informan además de que escalar los recursos y la contaminación del preentrenamiento cambian ambos el número, y el banco de pruebas es de código abierto, así que cualquiera puede volver a correrlo sobre un modelo más nuevo. Dos límites son estructurales y no accidentales: una competición de Kaggle llega con el problema ya enmarcado, la métrica ya elegida y los datos ya recogidos, que es justo la parte de este trabajo que el banco de pruebas no puede medir en absoluto; y OpenAI construyó el banco de pruebas y vende modelos medidos con él.

Qué significa esto

Qué no muestra todavía

El bronce en una competición no es un modelo en producción, y el banco de pruebas no puede ver los pasos que deciden si uno llega ahí: quién enmarcó la pregunta, por qué esta métrica y no la otra, si los datos de entrenamiento se pueden usar así, y qué pasa el día en que la distribución cambia. La cifra tampoco dice nada de la contratación. Lee la fecha junto a ella: es una medición de una generación de modelos, y los propios autores señalan la contaminación del preentrenamiento como algo que la mueve.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente