LO
Adoção por quem trabalhaAutomatização cognitiva2024-03-11
Entre 6,5% e 16,9% do texto das revisões por pares em várias conferências de IA pode ter sido substancialmente modificado por modelos de linguagem, estimou um estudo de Stanford
Professor universitáriopágina da profissão →
Data do facto / publicação
2024-03-11
Categoria da prova
Adoção por quem trabalhaUma ferramenta é usada em grande escala em trabalho real e isso está medido, e quem decidiu usá-la foi a pessoa que trabalha, não quem emprega. É mais do que um registo de capacidade — o trabalho é real, não uma demonstração — e menos do que um de implementação, porque nenhum empregador a pôs em produção, nem a exigiu, nem construiu um processo à sua volta. Ponderada como `cautious`: `automating` significa que a máquina consegue fazer a tarefa E que há sinais de adoção, e isto é um sinal de adoção; mas o uso pode ser experimental, e boa parte da medição vem de uma parte com interesses, por isso um registo nunca chega e dois independentes chegam. Repara também em quem está a contar. A telemetria de um fornecedor vê isto diretamente e ao mesmo tempo vende a ferramenta, por isso um registo deste tipo declara esse interesse no seu âmbito; uma agência estatística que pergunta às empresas se os seus trabalhadores usam IA em tarefas vê o mesmo canal sem interesse nenhum, e onde exista é a melhor fonte.
Tarefas sobre as quais incide
Revisão por pares
Rever artigos e propostas de outros investigadores.
Continua a ser levada por uma pessoa✓ Com prova
Onde é que isto se aplica
Revisões por pares em conferências de IA (ICLR, NeurIPS, CoRL, EMNLP). Com um estimador ao nível da população, o estudo relata que entre 6,5% e 16,9% do texto submetido como revisões por pares a estas conferências pode ter sido substancialmente modificado por LLM, para lá da correção ortográfica ou de pequenos retoques de escrita. Abrange apenas conferências de IA e estima proporções de texto, não revisores individuais.
O que isto significa
Os revisores já usam modelos de linguagem nas suas revisões, pelo menos na investigação em IA. As regras que se seguem tratam do que podem entregar e do que ainda têm de julgar por si.
O que ainda não mostra
Apenas conferências de IA; estima proporções de texto, não como mudaram a qualidade ou o juízo das revisões.
O que podes verificar
Abre o arXiv 2403.07183 e procura «between 6.5% and 16.9%» no resumo.
Muda a avaliação?
Não. O índice de impacto nunca é movido por um único facto, e esta categoria não move um sozinha: um registo de «Adoção por quem trabalha» conta para um juízo mas precisa de um segundo registo independente antes de o juízo se apoiar em prova. Este está contado; por si só não mudou nada.
Fonte
Liang, Izzo, Zhang et al. (Stanford University) — Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews, arXiv 2403.07183 (submitted 11 Mar 2024; ICML 2024) · verificado 2026-09-30 · Claude (VOLO agent) · interpretado 2026-09-30 · Claude (VOLO agent)
Fonte primária: publicada pela parte que fez isto, ou pela autoridade de referência. Não precisa de coassinatura.