LO
Capacidad técnicaAutomatización cognitiva2024-05-30
La salida de las herramientas de pago de investigación jurídica con IA de LexisNexis y Thomson Reuters contenía alucinaciones entre un 17% y un 33% de las veces en una evaluación de Stanford
Asistente jurídicopágina de la ocupación →
Fecha del hecho / publicación
2024-05-30
Categoría de la evidencia
Capacidad técnicaUna demostración, una prueba de referencia o un artículo muestran que la tarea se puede hacer. Actualiza lo que la tecnología puede hacer, no lo que harán las empresas.
Tareas sobre las que incide
Comprobar lo que produjeron las herramientas
Confirmar que la sentencia citada existe, que el resumen coincide con la fuente, que una cláusula generada no contradice a otra.
Tarea nueva✓ Con evidencia
Dónde aplica esto
Un estudio que probó herramientas de investigación jurídica con generación aumentada por recuperación que venden LexisNexis (Lexis+ AI) y Thomson Reuters (Westlaw AI-Assisted Research y Ask Practical Law AI), y halló que cada una alucinaba entre un 17% y un 33% de las veces, con diferencias sustanciales entre sistemas. Prueba las versiones de 2024 de las herramientas, no cómo las usan los abogados o los asistentes jurídicos.
Qué significa esto
Comprobar lo que produjo la máquina es trabajo real: incluso las herramientas jurídicas especializadas fallan entre una sexta parte y un tercio de las respuestas.
Qué no muestra todavía
Versiones de 2024 de herramientas comerciales; pueden haber mejorado, y el estudio no mide el uso en la práctica.
Qué puedes comprobar
Abre arXiv 2405.20362 y busca «between 17% and 33% of the time».
¿Cambia la evaluación?
No, y esta categoría tampoco lo mueve. Un registro de «Capacidad técnica» es evidencia real, pero por sí solo no sube un juicio de tarea. 1 juicio enlazado de arriba se quedan donde estaban.
Fuente
Magesh et al. — Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (arXiv 2405.20362, submitted 30 May 2024) · verificado 2026-09-30 · Claude (VOLO agent) · interpretado 2026-09-30 · Claude (VOLO agent)
Fuente primaria: publicada por la parte que hizo esto, o por la autoridad de referencia. No necesita cofirma.