# 直近の SEC 提出書類を題材に専門家が作成した537問の Finance Agent Benchmark で、最も成績のよかったモデル OpenAI o3 の正答率は46.8%、1問あたり3.79ドルだった

ページ: https://flyvolo.ai/ja/changes/ev-20250520-financial-analyst-3
日付: 2025-05-20 · 段階: 制限または撤回
この記録は業務の判断を動かせますか? できる
職業: https://flyvolo.ai/ja/careers/financial-analyst

## 適用範囲

情報の探索から財務モデル作りまで九つの課題区分があり、銀行・ヘッジファンド・未公開株投資の専門家とともに作成された。実行時には Google Search と EDGAR への接続が与えられている。対象は公開書類の調査だけであり、自社のモデルと社内データのなかで働くアナリストではない。

## 出典

- arXiv 2508.00828 (Bigeard, Nashold, Krishnan, Wu) — https://arxiv.org/abs/2508.00828 (一次資料)

## これが意味すること

このエージェントたちは、アナリストが持つ道具——検索と提出書類のデータベース——を持っていて、それでも専門家が書いた問いの半分にも正しく答えられず、一問あたり四ドル近くかかった。それは、いまの線を仕事の周りではなく仕事の内側に引く——取り出しからモデル構築までの九つの業務の区分を通じて、最良のモデルが正しかったのは半分に満たない。そして費用は、量をこなすうえで現に効いてくる制約である。

## まだ示していないこと

ベンチマークは雇用の結果ではないし、これは公開の提出書類だけを扱う——自分の会社のモデルと社内のデータの内側で働くアナリストについては何も言わない。そこでは文脈がもっと豊かで、誤りはもっと高くつく。そしてこれは止まってもいない——これはその日付のモデルを測ったものなので、46.8%は天井ではなく、日付の付いた一つの読みとして扱うこと。

## 自分で確かめる方法

自分が保守しているモデルを一つ、そしてその中の前提を一つ——たとえば成長率を——取り出すこと。いまのモデルに、その数字を提出書類だけから導かせ、そのうえで引かれた数字を一つひとつ原文まで辿って確かめること。測っているのは、それがもっともらしく聞こえるかどうかではなく、その数字のうち何個が辿られることに耐えるかである。


詳しくは: https://flyvolo.ai/llms.txt