LO
Projeto-pilotoAutomatização cognitiva2025-04-13
27% dos revisores da ICLR 2025 que receberam comentários de IA sobre as suas revisões atualizaram-nas, num estudo aleatorizado de 20.000 revisões
Professor universitáriopágina da profissão →
Data do facto / publicação
2025-04-13
Categoria da prova
Projeto-pilotoEnsaio em pequena escala num contexto real. Diz-nos que as condições de implementação estão a ser testadas, não que se verificam, por isso um piloto nunca chega sozinho; dois independentes chegam.
Tarefas sobre as quais incide
Revisão por pares
Rever artigos e propostas de outros investigadores.
Continua a ser levada por uma pessoa✓ Com prova
Onde é que isto se aplica
O processo de revisão de uma conferência de IA em 2025. Num estudo aleatorizado, um agente baseado em LLM deu aos revisores comentários sobre as suas revisões; o artigo relata que 27% dos revisores que receberam comentários atualizaram as suas revisões, e que foram incorporadas mais de 12.000 sugestões. Os autores construíram o sistema que avaliam, e este funcionou numa só conferência.
O que isto significa
A IA está a ser usada para rever os revisores — assinalando onde uma revisão é vaga ou injusta — e os revisores agem em conformidade. O juízo sobre o artigo continua a ser do revisor.
O que ainda não mostra
Uma conferência e a avaliação feita pelos próprios construtores do sistema.
O que podes verificar
Abre o arXiv 2504.09737 e procura «27% of reviewers who received feedback updated their reviews».
Muda a avaliação?
Não. O índice de impacto nunca é movido por um único facto. O que este registo fez: 1 juízo de tarefa ligado em cima apoiam-se agora em prova em vez de em inferência.
Fonte
Thakkar, Yuksekgonul, Silberg et al. — Can LLM feedback enhance review quality? A randomized study of 20K reviews at ICLR 2025, arXiv 2504.09737 (submitted 13 Apr 2025) · verificado 2026-09-30 · Claude (VOLO agent) · interpretado 2026-09-30 · Claude (VOLO agent)
Fonte primária: publicada pela parte que fez isto, ou pela autoridade de referência. Não precisa de coassinatura.