LO
Capacidad técnicaAutomatización cognitiva2024-01-02
Los modelos de lenguaje de propósito general se equivocaron sobre casos aleatorios de tribunales federales entre un 58% y un 88% de las veces, según hallaron unos investigadores
Juez / magistradopágina de la ocupación →
Fecha del hecho / publicación
2024-01-02
Categoría de la evidencia
Capacidad técnicaUna demostración, una prueba de referencia o un artículo muestran que la tarea se puede hacer. Actualiza lo que la tecnología puede hacer, no lo que harán las empresas.
Tareas sobre las que incide
Investigar el derecho
Encontrar y leer las leyes, los precedentes y las fuentes de los que depende un caso.
Aumentada por la máquina✓ Con evidencia
Dónde aplica esto
Un estudio de modelos de lenguaje de propósito general a los que se hicieron preguntas concretas y verificables sobre casos aleatorios de tribunales federales, que halló alucinaciones jurídicas entre un 58% de las veces con ChatGPT 4 y un 88% con Llama 2, y que los modelos a menudo no corrigen las suposiciones jurídicas erróneas del usuario. Son modelos antiguos de 2023, del mismo grupo de investigación que el estudio de herramientas de investigación jurídica de esta página.
Qué significa esto
Los chatbots generales eran peores que las herramientas especializadas con los hechos de los casos — una razón por la que las judicaturas advierten contra los chatbots públicos.
Qué no muestra todavía
Modelos antiguos; es el mismo laboratorio que el del otro estudio de aquí, así que no es independiente de él.
Qué puedes comprobar
Abre arXiv 2401.01301 y busca «between 58% of the time with ChatGPT 4 and 88% with Llama 2».
¿Cambia la evaluación?
No, y esta categoría tampoco lo mueve. Un registro de «Capacidad técnica» es evidencia real, pero por sí solo no sube un juicio de tarea. 1 juicio enlazado de arriba se quedan donde estaban.
Fuente
Dahl et al. — Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models (arXiv 2401.01301, submitted 2 Jan 2024) · verificado 2026-09-30 · Claude (VOLO agent) · interpretado 2026-09-30 · Claude (VOLO agent)
Fuente primaria: publicada por la parte que hizo esto, o por la autoridad de referencia. No necesita cofirma.