Los modelos de IA generaron en FEABench llamadas ejecutables a una herramienta comercial de simulación el 88% de las veces, pero casi nunca calcularon un resultado a menos del 10% de la respuesta correcta

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Un banco de pruebas de problemas de ingeniería que los modelos resuelven manejando COMSOL Multiphysics, una herramienta comercial de elementos finitos, a través de su API. La mejor estrategia generó llamadas ejecutables a la API el 88% de las veces; pero el artículo dice que el modelo superó el corte estricto —un objetivo válido a menos del 10% de la respuesta correcta— en un solo problema en dos de sus experimentos, y en los problemas de referencia Claude 3.5 Sonnet produjo un objetivo válido en 1 de 15. Es un banco de pruebas pequeño, en preimpresión, con modelos de 2024–2025, y el empleador de los autores desarrolla uno de los modelos evaluados.

Qué significa esto

Qué no muestra todavía

Un banco de pruebas pequeño en preimpresión; no mide el trabajo de simulación en productos reales.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente