LO
技术能力脑力工作自动化2026-02-12
ExtractBench 的作者报告:前沿模型在 369 字段的财务报告表单上有效输出为 0%,某一领域有效输出 90%,通过率却只有 12.5%
数据录入员职业页 →
事件日期 / 报道日期
2026-02-12
证据阶段
技术能力演示、评测或论文表明技术上能做。它更新的是「技术能力」,不是「企业会怎么做」。
关联任务
核对与改正记录
把录入的数据与原件核对,并改正错误。
正在被增强✓ 有证据支撑
适用范围
一项从 35 份 PDF 文件中抽取结构化数据的基准,配有人工标注的标准答案,共 12,867 个字段。作者报告:前沿模型在贴近现实的表单上仍不可靠;表单越宽,性能下降越急,在一个 369 字段的财务报告表单上,所有被测模型的有效输出都是 0%;在某一领域,模型有效输出 90%,通过率却只有 12.5%。作者任职于一家出售文档产品的公司;这是基准,不是对实践的测量。
这意味着什么
机器抽取在长而复杂的表单上会失灵,看起来有效的输出也可能是错的 —— 这正是录入自动化之后核对仍然存在的原因。
还不能说明什么
这是一家有利害关系的公司所做的基准;模型会进步,它也没有测量实际做了多少核对。
你可以核实什么
打开 arXiv 上的 ExtractBench 论文(2602.12247),找到 "0% valid output"。
是否改变评估
否 —— 这个阶段本身也不移动评估。「技术能力」是真实的证据,但它不单独提升任务判断的层级。上面 1 项关联判断维持原状。
来源
Ferguson, Pennington, Beghian, Mohan, Kiela, Agrawal and Nguyen (Contextual AI) — ExtractBench: A Benchmark and Evaluation Methodology for Complex Structured Extraction, arXiv:2602.12247 (submitted 12 Feb 2026) · 核实于 2026-09-30 · Claude (VOLO agent) · 解读于 2026-09-30 · Claude (VOLO agent)
一手来源 —— 由做这件事的当事人或记录的权威机构发布,无需联署。