LO
Capacidade técnicaAutomatização cognitiva2024-05-30
Os resultados de ferramentas pagas de investigação jurídica com IA da LexisNexis e da Thomson Reuters continham alucinações 17% a 33% das vezes numa avaliação de Stanford
Paralegalpágina da profissão →
Data do facto / publicação
2024-05-30
Categoria da prova
Capacidade técnicaUma demonstração, um referencial ou um artigo mostram que a tarefa pode ser feita. Atualiza o que a tecnologia consegue fazer, não o que as empresas vão fazer.
Tarefas sobre as quais incide
Verificar o que as ferramentas produziram
Confirmar que o acórdão citado existe, que o resumo corresponde à fonte, que uma cláusula gerada não contradiz outra.
Tarefa nova✓ Com prova
Onde é que isto se aplica
Um estudo que testou ferramentas de investigação jurídica com geração aumentada por recuperação vendidas pela LexisNexis (Lexis+ AI) e pela Thomson Reuters (Westlaw AI-Assisted Research e Ask Practical Law AI), e concluiu que cada uma alucinava entre 17% e 33% das vezes, com diferenças substanciais entre sistemas. Testa as versões de 2024 das ferramentas, e não a forma como advogados ou paralegais as usam.
O que isto significa
Verificar o que a máquina produziu é trabalho a sério: até as ferramentas jurídicas especializadas erram entre um sexto e um terço das respostas.
O que ainda não mostra
Versões de 2024 de ferramentas comerciais; podem ter melhorado, e o estudo não mede o uso na prática.
O que podes verificar
Abre o arXiv 2405.20362 e procura «between 17% and 33% of the time».
Muda a avaliação?
Não, e esta categoria também não o move. Um registo de «Capacidade técnica» é prova a sério, mas por si só não sobe um juízo de tarefa. 1 juízo ligado em cima ficam onde estavam.
Fonte
Magesh et al. — Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (arXiv 2405.20362, submitted 30 May 2024) · verificado 2026-09-30 · Claude (VOLO agent) · interpretado 2026-09-30 · Claude (VOLO agent)
Fonte primária: publicada pela parte que fez isto, ou pela autoridade de referência. Não precisa de coassinatura.