LO
技術的能力認知の自動化2025-06-17
最先端のモデルは、経験豊富なハードウェアエンジニアが書いたベンチマークでコード生成問題の34%までしか通せず、検証のタスクは特に難しかった
チップ設計エンジニア職業のページ →
出来事の日付 / 報じられた日
2025-06-17
証拠の段階
技術的能力実演、ベンチマーク、あるいは論文が、その業務をやれることを示している。技術に何ができるかを更新するのであって、雇用主が何をするかを更新するのではない。
これが関わる業務
RTLを書く
各ブロックの論理を記述するハードウェア記述のコード(Verilog、VHDL)を書く。
増強されつつある≈ 本サイトの推定
検証とデバッグ
テストベンチを作り、シミュレーションを走らせ、設計が仕様どおりに動かない理由を突き止める。
増強されつつある≈ 本サイトの推定
どこに当てはまるか
RTL生成、検証、デバッグ、仕様との整合、技術的な質問という13のタスク区分にわたる783問のベンチマークで、経験豊富なハードウェアエンジニアが作成し、非エージェント型とエージェント型の両方の形式がある。最先端のモデルはコード生成で pass@1 が34%を超えず、エージェント型のタスク、とくにRTLの再利用と検証を含むものは特に難しかった。2025年時点のモデルによるテストセットであり、著者の雇用主はチップを設計している。
これが意味すること
より難しく現実的な問題では、最良のモデルでもコード生成の大半に失敗し、検証はさらに難しい。
これがまだ示していないこと
2025年時点のモデルによるベンチマークである。技術者がそれをどう使っているかは測っていない。
あなたに確かめられること
arXiv 2506.14074(CVDP)を開き、「no more than 34% pass@1 on code generation」を探すこと。
評価を変えるか
いいえ——そしてこの段階も、それを動かしません。「技術的能力」の記録は実在する証拠ですが、それ単独で業務の判断を引き上げることはありません。上にある2項の紐づいた判断は、元の位置のままです。
出典
Pinckney et al. (NVIDIA) — Comprehensive Verilog Design Problems: A Next-Generation Benchmark Dataset for Evaluating Large Language Models and Agents on RTL Design and Verification, arXiv 2506.14074 (17 Jun 2025) · 検証 2026-09-30 · Claude (VOLO agent) · 解読 2026-09-30 · Claude (VOLO agent)
一次資料——これを行った当事者、あるいは記録を司る当局が公表したもの。連署は要りません。