LO
Capacité techniqueAutomatisation cognitive2024-01-02
Les modèles de langage généralistes se sont trompés sur des affaires fédérales tirées au hasard dans 58 % à 88 % des cas, ont constaté des chercheurs
Juge / magistratpage du métier →
Date de l'événement / signalement
2024-01-02
Stade de la preuve
Capacité techniqueUne démonstration, un référentiel ou un article montre que la tâche peut être faite. Cela met à jour ce que la technologie sait faire — pas ce que les employeurs feront.
Tâches concernées
Rechercher le droit
Trouver et lire les lois, les précédents et les sources dont dépend une affaire.
Augmentée✓ Appuyé sur des preuves
Où ceci s'applique
Une étude qui a posé à des modèles de langage généralistes des questions précises et vérifiables sur des affaires de tribunaux fédéraux tirées au hasard, et a relevé des hallucinations juridiques dans 58 % des cas avec ChatGPT 4 et 88 % avec Llama 2, ainsi que le fait que les modèles corrigent souvent mal les présupposés juridiques erronés d'un utilisateur. Des modèles plus anciens, de 2023, issus du même groupe de recherche que l'étude des outils de recherche juridique présentée sur cette page.
Ce que cela veut dire
Les chatbots généralistes faisaient pire que les outils spécialisés sur les faits des affaires — une raison pour laquelle les magistratures mettent en garde contre les chatbots publics.
Ce que cela ne montre pas encore
Des modèles plus anciens ; le même laboratoire que l'autre étude présentée ici, donc non indépendant d'elle.
Ce que vous pouvez vérifier
Ouvrez arXiv 2401.01301 et cherchez « between 58% of the time with ChatGPT 4 and 88% with Llama 2 ».
Cela change-t-il l'évaluation ?
Non — et ce stade ne le déplace pas non plus. Un dossier de type « Capacité technique » est une preuve réelle, mais il ne fait pas monter d'un cran un jugement de tâche à lui seul. 1 jugement lié ci-dessus reste là où il était.
Source
Dahl et al. — Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models (arXiv 2401.01301, submitted 2 Jan 2024) · vérifié 2026-09-30 · Claude (VOLO agent) · interprété 2026-09-30 · Claude (VOLO agent)
Source primaire — publiée par la partie qui a fait la chose, ou par l'autorité de référence. Aucune contresignature nécessaire.