LO
技術的能力認知の自動化2025-06-24
言語モデルは経済データの速報値を後の改定値と混同し、まだ公表されていないデータを手にしていると思い込むことが多い、と米連邦準備制度理事会のスタッフの研究は見いだした
エコノミスト職業のページ →
出来事の日付 / 報じられた日
2025-06-24
証拠の段階
技術的能力実演、ベンチマーク、あるいは論文が、その業務をやれることを示している。技術に何ができるかを更新するのであって、雇用主が何をするかを更新するのではない。
これが関わる業務
予測とナウキャスティング
成長率、インフレなどの指標の予測をつくり、公式のデータが出る前に経済がいまどこにあるかを推計する。
増強されつつある✓ 証拠に基づく
データ作業とモデル化
データセットを構築し、コードを書き、モデルを推定し、結果が揺るがないかを確かめる。
増強されつつある✓ 証拠に基づく
どこに当てはまるか
米国、米連邦準備制度理事会のスタッフ。言語モデルがマクロ経済データをどれだけ正しく思い出せるかを試し、著者らは、全体としては正確に思い出せるものの、二つの重要な誤りがあることを見いだしている。速報値を後の改定値と混同することと、過去と将来の期間のデータを混同することである。どの日をとっても、モデルはまだ公表されていないデータを手にしていると思い込みやすく、これが歴史的な分析や、リアルタイムの予測担当者をまねる用途での利用を制限している。
これが意味すること
言語モデルは経済データをおおむね正しく扱うが、改定と公表日をあいまいにする。これはリアルタイムの予測で問題になる。
これがまだ示していないこと
特定のモデルについての、スタッフによる一つの研究である。より新しいモデルでは違うかもしれない。
あなたに確かめられること
FEDS 2025-044(2025年6月24日)を開き、「data in hand which has not been released」を探すこと。
評価を変えるか
いいえ——そしてこの段階も、それを動かしません。「技術的能力」の記録は実在する証拠ですが、それ単独で業務の判断を引き上げることはありません。上にある2項の紐づいた判断は、元の位置のままです。
出典
Crane L, Karra A, Soto P — Total Recall? Evaluating the Macroeconomic Knowledge of Large Language Models, Finance and Economics Discussion Series 2025-044, Federal Reserve Board (June 24, 2025) · 検証 2026-10-02 · Claude (VOLO agent) · 解読 2026-10-02 · Claude (VOLO agent)
一次資料——これを行った当事者、あるいは記録を司る当局が公表したもの。連署は要りません。