LO
Capacité techniqueAutomatisation cognitive2024-05-30
Les outils commerciaux de recherche juridique par IA de LexisNexis et Thomson Reuters inventaient encore des éléments dans 17 % à 33 % des réponses, ont rapporté des chercheurs de Stanford
Avocatpage du métier →
Date de l'événement / signalement
2024-05-30
Stade de la preuve
Capacité techniqueUne démonstration, un référentiel ou un article montre que la tâche peut être faite. Cela met à jour ce que la technologie sait faire — pas ce que les employeurs feront.
Tâches concernées
La recherche juridique
Trouver les sources qui gouvernent une question, et celles qui vont dans l'autre sens.
Augmentée✓ Appuyé sur des preuves
Où ceci s'applique
Une étude qui a testé des outils de recherche juridique à génération augmentée par récupération vendus par LexisNexis (Lexis+ AI) et Thomson Reuters (Westlaw AI-Assisted Research et Ask Practical Law AI), et a constaté que chacun hallucinait dans 17 % à 33 % des cas, avec des différences substantielles entre les systèmes. Elle teste les versions 2024 des outils, non la façon dont les avocats ou les assistants juridiques les utilisent.
Ce que cela veut dire
Les outils de recherche que paient les avocats inventent encore des éléments assez souvent pour que chaque source citée doive être vérifiée.
Ce que cela ne montre pas encore
Des versions 2024 d'outils commerciaux ; ils ont pu s'améliorer, et l'étude ne mesure pas l'usage en pratique.
Ce que vous pouvez vérifier
Ouvrez arXiv 2405.20362 et cherchez « between 17% and 33% of the time ».
Cela change-t-il l'évaluation ?
Non — et ce stade ne le déplace pas non plus. Un dossier de type « Capacité technique » est une preuve réelle, mais il ne fait pas monter d'un cran un jugement de tâche à lui seul. 1 jugement lié ci-dessus reste là où il était.
Source
Magesh et al. — Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (arXiv 2405.20362, submitted 30 May 2024) · vérifié 2026-09-30 · Claude (VOLO agent) · interprété 2026-09-30 · Claude (VOLO agent)
Source primaire — publiée par la partie qui a fait la chose, ou par l'autorité de référence. Aucune contresignature nécessaire.