En una prueba de referencia de planificación de viajes reales, GPT-4 cumplió todas las restricciones solo el 0,6% de las veces, hallaron los investigadores

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Una prueba de referencia en la que agentes de lenguaje deben planificar viajes con muchas restricciones usando herramientas. Los autores informan de que los agentes de lenguaje aún no son capaces de tareas de planificación tan complejas —incluso GPT-4 logró una tasa de éxito del 0,6%— y de que a los agentes les cuesta no desviarse de la tarea, usar las herramientas adecuadas o seguir varias restricciones a la vez. Un entorno de prueba con modelos de 2023–24.

Qué significa esto

Qué no muestra todavía

Una prueba de referencia con modelos de 2023–24; los sistemas más nuevos lo hacen mejor, como muestran trabajos posteriores.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente