LO
Capacidade técnicaAutomatização cognitiva2024-01-02
Modelos de linguagem de uso geral erraram sobre processos aleatórios de tribunais federais entre 58% e 88% das vezes, concluíram investigadores
Juiz / magistrado judicialpágina da profissão →
Data do facto / publicação
2024-01-02
Categoria da prova
Capacidade técnicaUma demonstração, um referencial ou um artigo mostram que a tarefa pode ser feita. Atualiza o que a tecnologia consegue fazer, não o que as empresas vão fazer.
Tarefas sobre as quais incide
Investigar o direito
Encontrar e ler a legislação, a jurisprudência e as fontes de que um processo depende.
Aumentada pela máquina✓ Com prova
Onde é que isto se aplica
Um estudo de modelos de linguagem de uso geral a quem foram feitas perguntas específicas e verificáveis sobre processos aleatórios de tribunais federais, que encontrou alucinações jurídicas entre 58% das vezes com o ChatGPT 4 e 88% com o Llama 2, e que os modelos muitas vezes não corrigem os pressupostos jurídicos errados do utilizador. Modelos mais antigos, de 2023, do mesmo grupo de investigação que o estudo das ferramentas de investigação jurídica desta página.
O que isto significa
Os chatbots genéricos foram piores do que as ferramentas especializadas nos factos dos processos — uma razão para os poderes judiciais alertarem contra os chatbots públicos.
O que ainda não mostra
Modelos mais antigos; do mesmo laboratório que o outro estudo desta página, por isso não é independente dele.
O que podes verificar
Abre o arXiv 2401.01301 e procura «between 58% of the time with ChatGPT 4 and 88% with Llama 2».
Muda a avaliação?
Não, e esta categoria também não o move. Um registo de «Capacidade técnica» é prova a sério, mas por si só não sobe um juízo de tarefa. 1 juízo ligado em cima ficam onde estavam.
Fonte
Dahl et al. — Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models (arXiv 2401.01301, submitted 2 Jan 2024) · verificado 2026-09-30 · Claude (VOLO agent) · interpretado 2026-09-30 · Claude (VOLO agent)
Fonte primária: publicada pela parte que fez isto, ou pela autoridade de referência. Não precisa de coassinatura.