No Cornetto, um teste de referência de 231 problemas de reparação de configurações de rede, o melhor de nove modelos de linguagem só resolveu por completo 25% dos cenários

Data do facto / publicação

Categoria da prova

Tarefas sobre as quais incide

Onde é que isto se aplica

Um teste de referência de 231 problemas de correção de configurações em topologias de rede de 20 a 754 nós, verificados por verificação formal, no qual foram avaliados nove modelos de linguagem. O artigo relata que o modelo com melhor desempenho só resolveu 25% dos cenários, que as resoluções estritamente corretas — todas as falhas corrigidas sem regressões — ocorreram no máximo em 25,5% dos casos, e que os modelos são mais bem utilizados como assistentes com uma pessoa no circuito. É uma pré-publicação sobre cenários sintetizados.

O que isto significa

O que ainda não mostra

Um teste de referência em pré-publicação sobre cenários sintetizados; não mede operações reais.

O que podes verificar

Muda a avaliação?

Fonte