Chamadas executáveis a uma ferramenta de simulação comercial foram produzidas por modelos de IA 88% das vezes no FEABench, mas quase nunca um resultado a menos de 10% da resposta correta

Data do facto / publicação

Categoria da prova

Tarefas sobre as quais incide

Onde é que isto se aplica

Um teste de referência de problemas de engenharia que os modelos resolvem comandando o COMSOL Multiphysics, uma ferramenta comercial de elementos finitos, através da sua API. A melhor estratégia gerou chamadas executáveis à API 88% das vezes; mas o artigo diz que o modelo passou o critério estrito — um valor-alvo válido a menos de 10% da resposta correta — num único problema em duas das suas experiências, e nos problemas de referência o Claude 3.5 Sonnet produziu um valor-alvo válido em 1 de 15. É um teste de referência pequeno, em pré-publicação, com modelos de 2024–2025, e o empregador dos autores desenvolve um dos modelos testados.

O que isto significa

O que ainda não mostra

Um teste de referência pequeno, em pré-publicação; não mede o trabalho de simulação em produtos reais.

O que podes verificar

Muda a avaliação?

Fonte