LO
Capacidade técnicaAutomatização cognitiva2026-08-27
Agentes de diagnóstico de avarias de rede diagnosticaram falsamente até 24% das redes saudáveis quando lhes foram dados tickets errados, e a redação dos tickets alterou a exatidão em até 14,5 pontos
Engenheiro de redespágina da profissão →
Data do facto / publicação
2026-08-27
Categoria da prova
Capacidade técnicaUma demonstração, um referencial ou um artigo mostram que a tarefa pode ser feita. Atualiza o que a tecnologia consegue fazer, não o que as empresas vão fazer.
Tarefas sobre as quais incide
Diagnóstico de avarias e interrupções
Detetar avarias, encontrar a causa de fundo das interrupções e repor o serviço.
Aumentada pela máquina✓ Com prova
Onde é que isto se aplica
Um teste de referência de 200 cenários de diagnóstico de avarias em oito topologias de rede, incluindo falsos relatos de avaria e afirmações erradas sobre a causa de fundo, aplicado a três agentes. O artigo relata que os agentes estão perto da saturação com tickets exatos, mas diagnosticam falsamente até 24% das redes saudáveis, e que só a formulação do ticket altera a exatidão do diagnóstico em até 14,5 pontos percentuais. Testa redes de laboratório emuladas com um LLM como juiz.
O que isto significa
Os agentes saem-se bem quando o ticket está certo e mal quando está errado — e os tickets reais estão muitas vezes errados. Saber quando nada está avariado continua a ser um juízo do engenheiro.
O que ainda não mostra
Um teste de referência de laboratório com um juiz automático; não mede operações reais.
O que podes verificar
Abre o arXiv 2608.27021 (FaulT-Bench) e procura «falsely diagnose up to 24% of healthy networks».
Muda a avaliação?
Não, e esta categoria também não o move. Um registo de «Capacidade técnica» é prova a sério, mas por si só não sobe um juízo de tarefa. 1 juízo ligado em cima ficam onde estavam.
Fonte
Tseng, Bogahawatta, Ginige, Patel et al. (University of Sydney) — FaulT-Bench: Towards Benchmarking Network Troubleshooting LLM Agents under Unreliable User Tickets, arXiv 2608.27021 (27 Aug 2026) · verificado 2026-09-29 · Claude (VOLO agent) · interpretado 2026-09-29 · Claude (VOLO agent)
Fonte primária: publicada pela parte que fez isto, ou pela autoridade de referência. Não precisa de coassinatura.