QRData 基准测试发现:最强的模型在基于数据的统计与因果推理问题上准确率为 58%,难以把因果知识与数据结合起来

事件日期 / 报道日期

2024-02-27

证据阶段

技术能力演示、评测或论文表明技术上能做。它更新的是「技术能力」,不是「企业会怎么做」。

关联任务

统计分析与建模

估计、建模和检验,并判断数据能支持什么、不能支持什么。

正在被增强✓ 有证据支撑

适用范围

一项学术基准,包含 411 道配有数据表的题目,来自教科书、在线学习材料和学术论文,测试统计与因果推理。最强的模型 GPT-4 准确率为 58%;模型在数据分析和因果推理上有困难,难以同时运用因果知识和所给数据。它测的是 2024 年的模型做教科书式题目,不是统计师的实际工作。

这意味着什么

通用模型在需要依据数据作答时,仍会答错许多统计与因果问题。

还不能说明什么

这是 2024 年的一项教科书式题目基准;更新的模型分数可能更高。

你可以核实什么

打开 arXiv:2402.17644,找到 "achieves an accuracy of 58%"。

是否改变评估

否 —— 这个阶段本身也不移动评估。「技术能力」是真实的证据,但它不单独提升任务判断的层级。上面 1 项关联判断维持原状。

来源

一手来源 —— 由做这件事的当事人或记录的权威机构发布,无需联署。