El modelo más fuerte alcanzó un 58% de acierto en preguntas estadísticas y causales tomadas de manuales y artículos, y a los modelos les costó usar a la vez el conocimiento causal y los datos

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Un banco de pruebas académico de 411 preguntas con hojas de datos tomadas de manuales, materiales de aprendizaje en línea y artículos académicos, que evalúa el razonamiento estadístico y causal. Informa de que el modelo más fuerte, GPT-4, alcanza un 58% de acierto, y de que los modelos tienen dificultades con el análisis de datos y el razonamiento causal y les cuesta usar simultáneamente el conocimiento causal y los datos proporcionados. Evalúa modelos de la época de 2024 con preguntas de estilo manual, no experimentos con productos reales.

Qué significa esto

Qué no muestra todavía

Un banco de pruebas de 2024 con preguntas de manual; los modelos más nuevos pueden hacerlo mejor, y no mide experimentos reales.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente