El banco de pruebas GDPval de OpenAI recogió entregables reales de agentes de compras e hizo que expertos del sector puntuaran a ciegas el resultado de los modelos frente a ellos

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Los compradores y agentes de compras son una de las 44 ocupaciones estadounidenses del banco de pruebas, repartidas por los nueve sectores que más aportan al PIB de EE. UU.; 1.320 tareas en el conjunto completo con al menos 30 por ocupación, cada una construida a partir de trabajo real de un profesional con 14 años de experiencia de media y cubriendo la mayoría de las actividades laborales de esa ocupación según O*NET. Lo que se puntúa es un entregable, a la primera, mediante una comparación ciega por pares entre expertos — no un trabajo. No hay cliente, ni ronda de revisión, ni negociación, ni consecuencia por equivocarse. La cifra de titular (el 47,6% de los entregables del subconjunto de oro de un modelo puntuados como mejores o igual de buenos que los del experto) es de la generación de modelos de septiembre de 2025 y ya ha sido superada; más útil es que el artículo informa de que las tasas de victoria son más altas en las tareas de 0 a 2 horas y bajan de forma sostenida a medida que la tarea se alarga. Las tasas por ocupación solo se publican como un gráfico, así que aquí no se cita ninguna cifra específica de compras. OpenAI diseñó el banco de pruebas, lo ejecutó y vende modelos medidos con él.

Qué significa esto

Qué no muestra todavía

No muestra a un modelo haciendo tu trabajo, y los autores del banco de pruebas no afirman que lo haga. Una tarea de GDPval llega completamente especificada, con sus ficheros de referencia adjuntos, y se corrige una sola vez. Las partes de esta ocupación que no son un entregable (saber que un proveedor está a punto de fallar, decidir a quién se le deja corto, ser la persona a la que un jefe de fábrica llama a medianoche) no están dentro y nunca se pretendió que lo estuvieran. Tampoco dice que ningún empleador cambiara nada: es una medida de capacidad, y la capacidad no es adopción.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente