En 392 tareas de backend, el código del mejor modelo fue correcto y seguro solo el 35% de las veces, y cerca de la mitad de los programas funcionales de los modelos podían explotarse

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Un banco de pruebas revisado por pares de 392 tareas de backend, cada una un conjunto de endpoints que implementar a partir de una especificación, con pruebas funcionales y exploits de seguridad de extremo a extremo, entre ellos control de acceso indebido y autorización incorrecta. El mejor modelo en corrección llegó al 62%; de media, cerca de la mitad de los programas correctos que producía cada modelo podían explotarse; y el mejor modelo en código correcto y seguro llegó al 35%. Son modelos de 2025 escribiendo backends enteros a partir de una especificación, no cambios dentro de una base de código existente, y algunos autores trabajan para una empresa que construye agentes de programación con IA.

Qué significa esto

Qué no muestra todavía

Un banco de pruebas de backends enteros escritos a partir de una especificación por modelos de 2025, no un estudio de defectos en bases de código reales; quedará desfasado a medida que mejoren los modelos.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente