LO
技術的能力認知の自動化2025-04-08
FEABench で、AIモデルは商用のシミュレーションツールへの実行可能な呼び出しを88%の割合で生成したが、正解の10%以内に収まる結果はほとんど計算できなかった
機械エンジニア職業のページ →
出来事の日付 / 報じられた日
2025-04-08
証拠の段階
技術的能力実演、ベンチマーク、あるいは論文が、その業務をやれることを示している。技術に何ができるかを更新するのであって、雇用主が何をするかを更新するのではない。
これが関わる業務
シミュレーションと解析
有限要素、熱、流体のシミュレーションを設定し、その結果が信頼できるかどうかを判断する。
増強されつつある≈ 本サイトの推定
どこに当てはまるか
商用の有限要素ツールである COMSOL Multiphysics をその API を通じて操作し、モデルに解かせる工学問題のベンチマーク。最良の戦略は88%の割合で実行可能な API 呼び出しを生成した。しかし論文によれば、厳しい基準——正解の10%以内に収まる有効な目標値——をモデルが満たしたのは、二つの実験でそれぞれ一つの問題だけであり、ゴールド問題では Claude 3.5 Sonnet が有効な目標値を出せたのは15問中1問だった。2024〜2025年のモデルによる小規模なプレプリントのベンチマークであり、著者の雇用主は試されたモデルの一つを開発している。
これが意味すること
モデルはシミュレーションソフトウェアを操作できるが、そこから正しい数字を引き出せることはまれである。結果が信頼できるかどうかについての技術者の判断こそ、このベンチマークが欠けていると示している部分である。
これがまだ示していないこと
小規模なプレプリントのベンチマークである。実際の製品でのシミュレーションの仕事は測っていない。
あなたに確かめられること
arXiv 2504.06260(FEABench)を開き、「generates executable API calls 88% of the time」を探すこと。
評価を変えるか
いいえ——そしてこの段階も、それを動かしません。「技術的能力」の記録は実在する証拠ですが、それ単独で業務の判断を引き上げることはありません。上にある1項の紐づいた判断は、元の位置のままです。
出典
Mudur et al. (Google Research, Harvard) — FEABench: Evaluating Language Models on Multiphysics Reasoning Ability, arXiv 2504.06260 (submitted 8 Apr 2025) · 検証 2026-09-29 · Claude (VOLO agent) · 解読 2026-09-29 · Claude (VOLO agent)
一次資料——これを行った当事者、あるいは記録を司る当局が公表したもの。連署は要りません。
この記録が引かれている場所