LO
Capacité techniqueAutomatisation cognitive2026-04-24
Sur Cornetto, un banc d'essai de 231 problèmes de réparation de configuration réseau, le meilleur de neuf modèles de langage n'a entièrement résolu que 25 % des scénarios
Ingénieur réseaupage du métier →
Date de l'événement / signalement
2026-04-24
Stade de la preuve
Capacité techniqueUne démonstration, un référentiel ou un article montre que la tâche peut être faite. Cela met à jour ce que la technologie sait faire — pas ce que les employeurs feront.
Tâches concernées
Configuration et changements
Effectuer les changements de configuration des routeurs, commutateurs, pare-feu et réseaux radio, et les gérer en toute sécurité.
En cours d'automatisation✓ Appuyé sur des preuves
Où ceci s'applique
Un banc d'essai de 231 problèmes de correction de configurations sur des topologies de réseau de 20 à 754 nœuds, contrôlés par vérification formelle, sur lequel neuf modèles de langage ont été évalués. L'article rapporte que le modèle le plus performant n'a résolu que 25 % des scénarios, que les résolutions strictement correctes — toutes les pannes corrigées sans aucune régression — sont intervenues dans au plus 25,5 % des cas, et que les modèles sont le mieux employés comme assistants avec un humain dans la boucle. C'est une prépublication portant sur des scénarios synthétiques.
Ce que cela veut dire
Les changements courants peuvent être automatisés ; réparer une configuration défaillante sur un grand réseau reste pour l'essentiel hors de portée des modèles de langage. La correction complexe — et la vérification qu'elle ne casse rien d'autre — reste à l'ingénieur.
Ce que cela ne montre pas encore
Un banc d'essai en prépublication sur des scénarios synthétiques ; il ne mesure pas l'exploitation réelle.
Ce que vous pouvez vérifier
Ouvrez arXiv 2604.22513 et cherchez « resolved only 25% of scenarios » dans l'article.
Cela change-t-il l'évaluation ?
Non — et ce stade ne le déplace pas non plus. Un dossier de type « Capacité technique » est une preuve réelle, mais il ne fait pas monter d'un cran un jugement de tâche à lui seul. 1 jugement lié ci-dessus reste là où il était.
Source
Protogeros, Asadli, Hoffman, Vanbever (ETH Zürich) — Benchmarking LLM-Driven Network Configuration Repair, arXiv 2604.22513 (submitted 24 Apr 2026) · vérifié 2026-09-29 · Claude (VOLO agent) · interprété 2026-09-29 · Claude (VOLO agent)
Source primaire — publiée par la partie qui a fait la chose, ou par l'autorité de référence. Aucune contresignature nécessaire.
Ce dossier est cité dans