LO
技術的能力認知の自動化2024-05-30
商用のAI法律調査ツールは、LexisNexis と Thomson Reuters のものでも、回答の17%から33%でなお事実でない内容を作り出していた、とスタンフォード大学の研究者らは報告した
弁護士職業のページ →
出来事の日付 / 報じられた日
2024-05-30
証拠の段階
技術的能力実演、ベンチマーク、あるいは論文が、その業務をやれることを示している。技術に何ができるかを更新するのであって、雇用主が何をするかを更新するのではない。
これが関わる業務
法律調査
ある論点を支配する法源を見つけること、そして逆の結論に向かう法源も見つけること。
増強されつつある✓ 証拠に基づく
どこに当てはまるか
LexisNexis(Lexis+ AI)と Thomson Reuters(Westlaw AI-Assisted Research と Ask Practical Law AI)が販売する検索拡張型の法律調査ツールを試験した研究であり、どのツールも17%から33%の割合で幻覚を起こし、システムの間には大きな差があった。試験されたのは2024年版のツールであり、弁護士やパラリーガルがそれをどう使っているかではない。
これが意味すること
弁護士がお金を払って使う調査ツールでさえ、引いた典拠を一つ残らず確かめる必要があるほどの頻度で、なお内容を作り出している。
これがまだ示していないこと
商用ツールの2024年版であり、改善されているかもしれない。また、この研究は実務での利用を測っていない。
あなたに確かめられること
arXiv 2405.20362 を開き、「between 17% and 33% of the time」を探すこと。
評価を変えるか
いいえ——そしてこの段階も、それを動かしません。「技術的能力」の記録は実在する証拠ですが、それ単独で業務の判断を引き上げることはありません。上にある1項の紐づいた判断は、元の位置のままです。
出典
Magesh et al. — Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (arXiv 2405.20362, submitted 30 May 2024) · 検証 2026-09-30 · Claude (VOLO agent) · 解読 2026-09-30 · Claude (VOLO agent)
一次資料——これを行った当事者、あるいは記録を司る当局が公表したもの。連署は要りません。