物理学の試験のAI採点は、採点量の半分を担ったとき決定係数が約0.91に達し、残りは人に任された

出来事の日付 / 報じられた日

2024-10-25

証拠の段階

技術的能力実演、ベンチマーク、あるいは論文が、その業務をやれることを示している。技術に何ができるかを更新するのであって、雇用主が何をするかを更新するのではない。

これが関わる業務

採点とフィードバック

答案や課題を採点し、学生にフィードバックを返す。

増強されつつある≈ 本サイトの推定

どこに当てはまるか

スイス、一つの大学の物理学の試験。この研究は心理測定上のしきい値を使って、どの答案をAIが採点し、どれを人に回すかを決めており、採点量の半分を担うとき人の採点に対して約0.91、5分の1を担うとき約0.96の決定係数をAIが達成できると報告している。一つの試験形式についての探索的な研究一件である。

これが意味すること

AIは確信の持てるところで採点の一部を担い、残りを人に渡すことができる。その振り分けと成績への責任は、教員に残る。

これがまだ示していないこと

探索的な研究一件であり、採点の実務や節約された時間を測ってはいない。

あなたに確かめられること

arXiv 2410.19409 を開き、「when handling half of the grading load」を探すこと。

評価を変えるか

いいえ——そしてこの段階も、それを動かしません。「技術的能力」の記録は実在する証拠ですが、それ単独で業務の判断を引き上げることはありません。上にある1項の紐づいた判断は、元の位置のままです。

出典

一次資料——これを行った当事者、あるいは記録を司る当局が公表したもの。連署は要りません。