LO
技术能力脑力工作自动化2025-01-31
一项涉及 288 名研究者的随机研究发现:复现已发表社会科学结果时,人类团队的成功率比 AI 主导的团队高 57 个百分点,与 AI 辅助的团队持平
经济学家职业页 →
事件日期 / 报道日期
2025-01-31
证据阶段
技术能力演示、评测或论文表明技术上能做。它更新的是「技术能力」,不是「企业会怎么做」。
关联任务
数据处理与建模
构建数据集,编写代码,估计模型,并检验结果是否站得住。
正在被增强✓ 有证据支撑
研究与写作
梳理文献,撰写论文和报告,并展示研究结果。
正在被增强≈ 平台推断
适用范围
一项实验:288 名研究者被随机分到 103 个团队,对已发表的社会科学结果做计算复现,分为纯人类团队、AI 辅助团队和只简单引导 AI 的团队。人类团队的成功率与 AI 辅助团队持平,比 AI 主导团队高 57 个百分点,而且发现的重大错误明显多于另外两组。这是一篇使用 2024 年模型的讨论稿。
这意味着什么
在一项对照测试中,把研究核查交给 AI 失败了;把 AI 当助手则与人持平,但没有更好。
还不能说明什么
这是一项使用 2024 年模型、针对复现任务的实验;它不覆盖原创研究。
你可以核实什么
打开 IZA DP No. 17645(2025 年 1 月),找到 "57 pp higher success rates"。
是否改变评估
否 —— 这个阶段本身也不移动评估。「技术能力」是真实的证据,但它不单独提升任务判断的层级。上面 2 项关联判断维持原状。
来源
Brodeur A et al. — Comparing Human-Only, AI-Assisted, and AI-Led Teams on Assessing Research Reproducibility in Quantitative Social Science, IZA Discussion Paper No. 17645 (January 2025) · 核实于 2026-10-02 · Claude (VOLO agent) · 解读于 2026-10-02 · Claude (VOLO agent)
一手来源 —— 由做这件事的当事人或记录的权威机构发布,无需联署。