Em 392 tarefas de backend, o código do melhor modelo só foi correto e seguro em 35% das vezes, e cerca de metade dos programas funcionais dos modelos podia ser explorada

Data do facto / publicação

Categoria da prova

Tarefas sobre as quais incide

Onde é que isto se aplica

Um teste de referência com revisão por pares, de 392 tarefas de backend, cada uma um conjunto de endpoints a implementar a partir de uma especificação, com testes funcionais e explorações de segurança de ponta a ponta, incluindo controlo de acesso inadequado e autorização incorreta. O melhor modelo em correção chegou aos 62%; em média, cerca de metade dos programas corretos que cada modelo produziu podia ser explorada; e o melhor modelo em código correto e seguro chegou aos 35%. São modelos de 2025 a escrever backends inteiros a partir de uma especificação, não alterações dentro de uma base de código existente, e alguns autores trabalham para uma empresa que constrói agentes de programação com IA.

O que isto significa

O que ainda não mostra

Um teste de referência de backends inteiros escritos a partir de uma especificação por modelos de 2025, não um estudo de defeitos em bases de código reais; vai envelhecer à medida que os modelos melhorarem.

O que podes verificar

Muda a avaliação?

Fonte