En Cornetto, un banco de pruebas de 231 problemas de reparación de configuraciones de red, el mejor de nueve modelos de lenguaje resolvió por completo solo el 25% de los escenarios

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Un banco de pruebas de 231 problemas de corrección de configuraciones en topologías de red de 20 a 754 nodos, comprobados mediante verificación formal, en el que se evaluaron nueve modelos de lenguaje. El artículo informa de que el modelo con mejor rendimiento resolvió solo el 25% de los escenarios, de que las resoluciones estrictamente correctas — todas las averías corregidas sin regresiones — se dieron como mucho en el 25,5% de los casos, y de que lo mejor es desplegar los modelos como asistentes con una persona en el circuito. Es una prepublicación sobre escenarios sintetizados.

Qué significa esto

Qué no muestra todavía

Un banco de pruebas en prepublicación sobre escenarios sintetizados; no mide operaciones reales.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente