El modelo más potente alcanzó un 58% de precisión en preguntas de razonamiento estadístico y causal basadas en datos y tuvo dificultades para combinar el conocimiento causal con los datos, según la prueba de referencia QRData

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Una prueba de referencia académica de 411 preguntas con hojas de datos procedentes de libros de texto, materiales de aprendizaje en línea y artículos académicos, que evalúa el razonamiento estadístico y causal. El modelo más potente, GPT-4, alcanzó un 58 por ciento de precisión; los modelos tuvieron dificultades con el análisis de datos y el razonamiento causal, y les costó usar a la vez el conocimiento causal y los datos proporcionados. Evalúa modelos de la época de 2024 con preguntas de tipo manual, no el trabajo de los estadísticos.

Qué significa esto

Qué no muestra todavía

Una prueba de referencia de 2024 con preguntas de tipo manual; los modelos más recientes pueden puntuar más alto.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente