Un estudio en Nature Machine Intelligence con 3.200 participantes halló que los modelos de lenguaje usados en lugar de participantes humanos, también en pruebas con usuarios, representan de forma errónea y homogeneizan a los grupos de identidad

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Un estudio revisado por pares sobre modelos de lenguaje usados como sustitutos de participantes humanos en ciencias sociales computacionales, pruebas con usuarios y anotación. A partir de estudios con 3.200 participantes humanos de 16 identidades demográficas y de cuatro modelos, los autores muestran que los modelos representan de forma errónea y homogeneizan a los grupos demográficos, y que sus propias técnicas aplicadas en el momento de la inferencia reducen esos daños pero no los eliminan. No es específico del trabajo de UX y prueba los modelos vigentes en su momento; los autores declaran no tener conflictos de intereses.

Qué significa esto

Qué no muestra todavía

Un estudio de los modelos de su momento, no específico de las pruebas de usabilidad; no muestra cómo investigan hoy los equipos de diseño.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente