En un estudio con diez expertos en detección de intrusiones, los modelos grandes escribieron reglas de red sintácticamente válidas hasta en un 90%, pero los expertos solo juzgaron semánticamente correctas y aptas para desplegarse el 37,5%

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Investigadores universitarios que generaron reglas de detección de intrusiones de red con modelos de lenguaje y las sometieron a diez expertos del ámbito. Informan de que los modelos grandes alcanzaron hasta un 90% de validez sintáctica, pero los expertos consideraron semánticamente correctas y aptas para desplegarse solo el 37,5% de las reglas generadas, sobre todo por falta de especificidad, una fuerte dependencia de la coincidencia de contenido y lógica alucinada; los profesionales veían los modelos como herramientas de apoyo para redactar y verificar, no como generadores independientes, y los modelos pequeños resultaron en gran medida ineficaces. Es una prepublicación con un panel de expertos pequeño, en un entorno de laboratorio.

Qué significa esto

Qué no muestra todavía

Un estudio de laboratorio con diez expertos; no muestra qué pasa en un equipo de seguridad en funcionamiento ni cómo cambia con el tiempo la calidad de las reglas.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente