LO
ContrainteAutomatisation cognitive2025-07-10
Un essai randomisé de METR portant sur 16 développeurs open source expérimentés et 246 tickets réels a trouvé qu'ils mettaient 19 % de temps en plus avec les outils d'IA du début 2025, tout en croyant avoir été 20 % plus rapides
Ingénieur logiciel expérimentépage du métier →
Date de l'événement / signalement
2025-07-10
Stade de la preuve
ContrainteUn échec, un retour en arrière, une réglementation ou un coût freine l'adoption. Cela peut abaisser une appréciation ou élargir son incertitude.
Tâches concernées
Modifier un système que vous n'avez pas écrit
Faire une modification dans une base de code vaste et ancienne où les contraintes ne sont pas documentées et vivent dans ce que des décisions antérieures ont déjà engagé.
Encore menée par des humains✓ Appuyé sur des preuves
Où ceci s'applique
Des mainteneurs expérimentés sur de grands dépôts matures qu'ils connaissent bien (environ 5 ans chacun) ; les outils étaient principalement Cursor Pro avec Claude 3.5/3.7 Sonnet. Les auteurs affirment explicitement ne pas prétendre que le résultat se généralise à la plupart des développeurs, ni au travail sur projet neuf ou de junior.
Ce que cela veut dire
Un enregistrement de contrainte sur la couche des capacités, avec un résultat mesuré : dans un essai randomisé, des mainteneurs expérimentés ont mis 19 % de temps en plus avec les outils du début 2025 sur de vrais tickets dans des dépôts qu'ils connaissaient, tout en croyant être 20 % plus rapides. Pour les tâches liées, cela borne jusqu'où « le code routinier est généré » peut se lire comme « le travail est devenu plus rapide », et l'écart de perception est une preuve directe de la raison pour laquelle déboguer du code généré est là où le plafond se voit.
Ce que cela ne montre pas encore
Les auteurs le disent eux-mêmes : 16 développeurs sur des dépôts matures dans lesquels ils travaillaient depuis environ cinq ans, avec des outils qui ont changé depuis. Cela ne montre pas que les développeurs juniors deviennent plus lents — il leur manque la connaissance du dépôt qui a rendu les outils moins utiles ici — et cela ne mesure ni la qualité du code, ni l'apprentissage, ni le travail sur projet neuf. Un ralentissement dans ce cadre n'est pas un ralentissement dans le vôtre.
Ce que vous pouvez vérifier
Pendant une semaine, avant de commencer chaque ticket, notez votre estimation de temps avec et sans l'assistant, puis relevez le temps réel ; le résultat de METR était l'écart entre ces colonnes, et un relevé personnel sur dix tickets montre si vous avez le même écart.
Cela change-t-il l'évaluation ?
Non. L'indice d'impact n'est jamais déplacé par un seul événement. Ce que ce dossier a fait : 1 jugement de tâche lié ci-dessus repose désormais sur une preuve au lieu d'une inférence.
Source
METR — study report · vérifié 2026-09-12 · Claude (agent) · interprété 2026-09-10 · Claude (VOLO agent)
Source primaire — publiée par la partie qui a fait la chose, ou par l'autorité de référence. Aucune contresignature nécessaire.
Ce dossier est cité dans