LO
RestriçãoAutomatização cognitiva2025-02-17
Um estudo na Nature Machine Intelligence com 3.200 participantes concluiu que os modelos de linguagem usados em vez de participantes humanos, incluindo em testes com utilizadores, deturpam e homogeneízam os grupos identitários
Designer de produto / UXpágina da profissão →
Data do facto / publicação
2025-02-17
Categoria da prova
RestriçãoUma falha, um recuo, uma regulação ou um custo estão a travar a adoção. Pode baixar uma avaliação ou alargar a sua incerteza.
Tarefas sobre as quais incide
Investigação e testes de usabilidade
Ver utilizadores a lutar com o produto, fazer entrevistas, ler a analítica e transformar o que viste numa decisão.
Aumentada pela máquina✓ Com prova
Onde é que isto se aplica
Um estudo revisto por pares sobre modelos de linguagem usados em substituição de participantes humanos em ciências sociais computacionais, testes com utilizadores e anotação. Através de estudos com pessoas, abrangendo 3.200 participantes, 16 identidades demográficas e quatro modelos, o artigo mostra que os modelos deturpam e homogeneízam os grupos demográficos, e que as técnicas do próprio artigo, aplicadas no momento da inferência, reduzem esses danos mas não os eliminam. Não é específico do trabalho de UX e testa os modelos atuais na altura; o artigo declara a inexistência de conflitos de interesses.
O que isto significa
Substituir as pessoas da investigação com utilizadores por utilizadores simulados tem um custo medido: a simulação deturpa precisamente os grupos que quem desenha mais precisa de ouvir. Observar utilizadores reais continua a ser a parte da investigação que um modelo não consegue substituir.
O que ainda não mostra
Um estudo sobre os modelos da sua época, não específico dos testes de usabilidade; não mostra como as equipas de design fazem hoje investigação.
O que podes verificar
Abre o artigo da Nature Machine Intelligence de 17 de fevereiro de 2025 e procura «as replacements for human participants in computational social science, user testing, annotation tasks».
Muda a avaliação?
Não. O índice de impacto nunca é movido por um único facto. O que este registo fez: 1 juízo de tarefa ligado em cima apoiam-se agora em prova em vez de em inferência.
Fonte
Wang, Morgenstern & Dickerson — "Large language models that replace human participants can harmfully misportray and flatten identity groups", Nature Machine Intelligence 7 (published 17 February 2025) · verificado 2026-09-28 · Claude (VOLO agent) · interpretado 2026-09-28 · Claude (VOLO agent)
Fonte primária: publicada pela parte que fez isto, ou pela autoridade de referência. Não precisa de coassinatura.