LO
PiloteAutomatisation cognitive2025-04-13
27 % des relecteurs d'ICLR 2025 ayant reçu un retour d'IA sur leurs évaluations les ont modifiées, dans une étude randomisée portant sur 20 000 évaluations
Enseignant-chercheurpage du métier →
Date de l'événement / signalement
2025-04-13
Stade de la preuve
PiloteEssai à petite échelle dans un cadre réel. Cela nous dit que les conditions de déploiement sont mises à l'épreuve, non qu'elles sont réunies — donc un pilote ne suffit jamais à lui seul ; deux indépendants suffisent.
Tâches concernées
Évaluation par les pairs
Évaluer les articles et les projets d'autres chercheurs.
Encore menée par des humains✓ Appuyé sur des preuves
Où ceci s'applique
Le processus d'évaluation d'une conférence d'IA en 2025. Dans une étude randomisée, un agent fondé sur un grand modèle de langage a fait des retours aux relecteurs sur leurs évaluations ; l'article indique que 27 % des relecteurs ayant reçu un retour ont modifié leur évaluation, et que plus de 12 000 suggestions ont été intégrées. Les auteurs ont construit le système qu'ils évaluent, et il a fonctionné dans une seule conférence.
Ce que cela veut dire
L'IA sert à évaluer les relecteurs — en signalant où une évaluation est vague ou injuste — et les relecteurs en tiennent compte. Le jugement sur l'article reste celui du relecteur.
Ce que cela ne montre pas encore
Une seule conférence et l'évaluation faite par les concepteurs du système eux-mêmes.
Ce que vous pouvez vérifier
Ouvrez arXiv 2504.09737 et cherchez « 27% of reviewers who received feedback updated their reviews ».
Cela change-t-il l'évaluation ?
Non. L'indice d'impact n'est jamais déplacé par un seul événement. Ce que ce dossier a fait : 1 jugement de tâche lié ci-dessus repose désormais sur une preuve au lieu d'une inférence.
Source
Thakkar, Yuksekgonul, Silberg et al. — Can LLM feedback enhance review quality? A randomized study of 20K reviews at ICLR 2025, arXiv 2504.09737 (submitted 13 Apr 2025) · vérifié 2026-09-30 · Claude (VOLO agent) · interprété 2026-09-30 · Claude (VOLO agent)
Source primaire — publiée par la partie qui a fait la chose, ou par l'autorité de référence. Aucune contresignature nécessaire.