LO
技术能力脑力工作自动化2024-05-30
在斯坦福的一项评估中,LexisNexis 与汤森路透付费 AI 法律检索工具的产出有 17% 到 33% 含有幻觉
律师助理职业页 →
事件日期 / 报道日期
2024-05-30
证据阶段
技术能力演示、评测或论文表明技术上能做。它更新的是「技术能力」,不是「企业会怎么做」。
关联任务
核对工具产出
确认引用的判例真的存在、摘要与原文一致、生成的条款不和另一条打架。
新出现的任务✓ 有证据支撑
适用范围
一项研究,测试了 LexisNexis(Lexis+ AI)和汤森路透(Westlaw AI-Assisted Research 与 Ask Practical Law AI)出售的检索增强型法律检索工具,发现每一款的幻觉率都在 17% 到 33% 之间,各系统之间差异很大。它测试的是 2024 年版本的工具,不是律师或律师助理怎样使用它们。
这意味着什么
核查机器的产出是实打实的工作:即便是专业法律工具,也有六分之一到三分之一的回答出错。
还不能说明什么
这是 2024 年版本的商业工具;它们此后可能有所改进,研究也没有测量实际使用。
你可以核实什么
打开 arXiv 2405.20362,找到 "between 17% and 33% of the time"。
是否改变评估
否 —— 这个阶段本身也不移动评估。「技术能力」是真实的证据,但它不单独提升任务判断的层级。上面 1 项关联判断维持原状。
来源
Magesh et al. — Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (arXiv 2405.20362, submitted 30 May 2024) · 核实于 2026-09-30 · Claude (VOLO agent) · 解读于 2026-09-30 · Claude (VOLO agent)
一手来源 —— 由做这件事的当事人或记录的权威机构发布,无需联署。