# OpenAI 的 GDPval 基准收集了采购岗真实的交付物,让同行专家盲评模型产出与人的产出

网页: https://flyvolo.ai/zh/changes/ev-20251005-procurement-specialist-1
日期: 2025-10-05 · 阶段: 技术能力
这条记录能改变任务判断吗? 不能
职业: https://flyvolo.ai/zh/careers/procurement-specialist

## 适用范围

采购与采买岗是这个基准里 44 个美国职业之一,取自对美国 GDP 贡献最大的九个部门;完整集 1,320 个任务、每个职业至少 30 个,每一个都由一位平均 14 年经验的从业者用真实工作产物构建,并覆盖该职业 O*NET 工作活动的大部分。被评的是一次性的交付物,由同行专家盲评两两比较 —— 不是一份工作。这里没有客户、没有修改轮次、没有谈判,答错也没有后果。标题数字(某个模型在黄金子集上 47.6% 的交付物被评为优于或不亚于专家)属于 2025 年 9 月那一代模型,现已被更新的模型取代;更有用的是论文另一处的报告:胜率在耗时 0-2 小时的任务上最高,并随任务变长稳定下降。按职业拆分的胜率只以图的形式发布,所以这里不引用任何采购专属的数字。这个基准由 OpenAI 设计、运行,而 OpenAI 出售被它测量的模型。

## 来源

- GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks (OpenAI, arXiv:2510.04374) — https://arxiv.org/pdf/2510.04374 (一手来源)

## 这意味着什么

终于有人把这份工作产出什么写下来了 —— 公开、可复核,任何人都能拿模型去试:三十多件来自一位从业十年以上的采购人的真实交付物。这让这个职业「出交付物」那一侧的描述进入了公开记录。它值得读的地方是那份描述,而不是分数:这个基准本身就是一份清单,列出了这份工作里「出文件」那一半到底由什么构成。

## 它还不能说明什么

它没有展示模型在做你的工作,论文作者也没有这样主张。GDPval 的任务是规格写全了、参考文件附好了送过来的,评一次就结束。这个职业里不是交付物的那些部分 —— 看出一家供应商快撑不住、决定让谁先断货、成为工厂厂长半夜会打电话给的那个人 —— 不在里面,本来也没打算在里面。它同样没有说任何雇主改了什么:这是对能力的测量,而能力不是采用。

## 怎么自己核实

把上个月的活分成两堆:一堆最后变成了一份别人会读的文件,一堆最后变成了一个决定或一通电话。GDPval 只考第一堆。你这两堆的比例才是要知道的那个数,而没有别人能替你算出来。


更多: https://flyvolo.ai/llms.txt