OpenAI 的 GDPval 基准收集了采购岗真实的交付物,让同行专家盲评模型产出与人的产出

采购 / 供应链专员职业页 →

事件日期 / 报道日期

2025-10-05

证据阶段

技术能力演示、评测或论文表明技术上能做。它更新的是「技术能力」,不是「企业会怎么做」。

关联任务

找供应商、比价

谁能做这个、什么价、什么规格、什么时候能交。

正在自动化✓ 有证据支撑

下单与单据

开单、把订单和发票与收货对上、追那条对不上的。

正在自动化✓ 有证据支撑

适用范围

采购与采买岗是这个基准里 44 个美国职业之一,取自对美国 GDP 贡献最大的九个部门;完整集 1,320 个任务、每个职业至少 30 个,每一个都由一位平均 14 年经验的从业者用真实工作产物构建,并覆盖该职业 O*NET 工作活动的大部分。被评的是一次性的交付物,由同行专家盲评两两比较 —— 不是一份工作。这里没有客户、没有修改轮次、没有谈判,答错也没有后果。标题数字(某个模型在黄金子集上 47.6% 的交付物被评为优于或不亚于专家)属于 2025 年 9 月那一代模型,现已被更新的模型取代;更有用的是论文另一处的报告:胜率在耗时 0-2 小时的任务上最高,并随任务变长稳定下降。按职业拆分的胜率只以图的形式发布,所以这里不引用任何采购专属的数字。这个基准由 OpenAI 设计、运行,而 OpenAI 出售被它测量的模型。

这意味着什么

终于有人把这份工作产出什么写下来了 —— 公开、可复核,任何人都能拿模型去试:三十多件来自一位从业十年以上的采购人的真实交付物。这让这个职业「出交付物」那一侧的描述进入了公开记录。它值得读的地方是那份描述,而不是分数:这个基准本身就是一份清单,列出了这份工作里「出文件」那一半到底由什么构成。

还不能说明什么

它没有展示模型在做你的工作,论文作者也没有这样主张。GDPval 的任务是规格写全了、参考文件附好了送过来的,评一次就结束。这个职业里不是交付物的那些部分 —— 看出一家供应商快撑不住、决定让谁先断货、成为工厂厂长半夜会打电话给的那个人 —— 不在里面,本来也没打算在里面。它同样没有说任何雇主改了什么:这是对能力的测量,而能力不是采用。

你可以核实什么

把上个月的活分成两堆:一堆最后变成了一份别人会读的文件,一堆最后变成了一个决定或一通电话。GDPval 只考第一堆。你这两堆的比例才是要知道的那个数,而没有别人能替你算出来。

是否改变评估

否 —— 这个阶段本身也不移动评估。「技术能力」是真实的证据,但它不单独提升任务判断的层级。上面 2 项关联判断维持原状。

来源

GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks (OpenAI, arXiv:2510.04374) · 核实于 2026-09-12 · Claude (VOLO agent) — PDF downloaded from arXiv and read; the 44-occupation table, the 1,320/30-per-occupation counts, the 14-year figure, the 47.6% headline and the task-duration gradient each located in the paper's own text · 解读于 2026-10-16 · Claude (COO), interpretation audit 2026-10-16

一手来源 —— 由做这件事的当事人或记录的权威机构发布,无需联署。

这条记录被引用在