Los modelos más avanzados resolvieron como máximo el 34% de los problemas de generación de código en un banco de pruebas escrito por ingenieros de hardware experimentados, y las tareas de verificación resultaron especialmente difíciles

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Un banco de pruebas de 783 problemas en 13 categorías de tareas —generación de RTL, verificación, depuración, alineación con la especificación y preguntas técnicas— redactados por ingenieros de hardware experimentados, en formatos no agénticos y agénticos. Los modelos más avanzados no pasaron del 34% de pass@1 en generación de código, y las tareas agénticas, sobre todo las de reutilización de RTL y verificación, resultaron especialmente difíciles. Un conjunto de pruebas con modelos de 2025; el empleador de los autores diseña chips.

Qué significa esto

Qué no muestra todavía

Un banco de pruebas con modelos de 2025; no mide cómo los usan los ingenieros.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente