# OpenAI の GDPval ベンチマークは、購買担当の実際の成果物を集め、業界の専門家にモデルの出力とそれとを伏せたまま比較採点させた

ページ: https://flyvolo.ai/ja/changes/ev-20251005-procurement-specialist-1
日付: 2025-10-05 · 段階: 技術的能力
この記録は業務の判断を動かせますか? できない
職業: https://flyvolo.ai/ja/careers/procurement-specialist

## 適用範囲

バイヤーと購買担当は、このベンチマークに含まれる米国の44職業の一つであり、対象は米国の国内総生産に最も寄与する九つの分野にまたがる。全体で1,320件の課題があり、一職業あたり少なくとも30件。それぞれが、平均14年の経験を持つ専門職の実際の成果物からつくられ、その職業の作業活動の大半を覆っている。採点されるのは成果物であり、一発勝負で、伏せたままの一対比較による——職ではない。依頼人もおらず、手直しの回もなく、交渉もなく、間違ったときの結果もない。見出しの数字(あるモデルの選抜分の成果物のうち47.6%が、専門家のものと同等以上と評価された)は2025年9月時点のモデル世代のものであり、すでに置き換えられている。より役に立つのは、論文が、勝率は0-2時間の課題で最も高く、課題が長くなるにつれて着実に下がると報告している点である。職業別の数字は図としてのみ公表されているので、購買に固有の数字はここには引いていない。OpenAI はこのベンチマークを設計し、走らせ、そしてそれで測られるモデルを売っている。

## 出典

- GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks (OpenAI, arXiv:2510.04374) — https://arxiv.org/pdf/2510.04374 (一次資料)

## これが意味すること

誰かがついに、この仕事が何を生み出すのかを、公けに、誰でもモデルを当てて試せる形で書き下ろした——十年を超える経験のある実務家による、三十点あまりの実在の購買の成果物である。これにより、この職業の成果物の側についての記述が、公けの記録に載った。点数よりもその記述のほうを読む価値がある——このベンチマークは、この仕事のうち文書を生む半分が実際に何でできているかの一覧である。

## まだ示していないこと

モデルが自分の仕事をやっていることを示すものではないし、このベンチマークの著者たちもそう主張していない。GDPval の課題は完全に指定された形で、参照するファイルを添えて届き、一度採点される。この職業のうち成果物ではない部分——ある供給元がもうすぐ倒れると知っていること、誰に足りない分を我慢してもらうかを決めること、工場長が真夜中に電話してくる相手であること——はそこに入っていないし、入れるつもりもなかった。どこかの雇用主が何かを変えたとも言っていない——これは能力の尺度であり、能力は導入ではない。

## 自分で確かめる方法

先月の仕事を取り出し、二つの山に分けること——誰かが読む文書で終わったものと、決定か電話で終わったもの。GDPval が試しているのは前者の山だけである。自分の二つの山の比こそ知るべきものであり、そしてほかの誰にも計算してもらえない。


詳しくは: https://flyvolo.ai/llms.txt