経験のあるオープンソース開発者16人が実際の課題246件に取り組んだ METR の無作為化試験では、2025年初頭のAIの道具を使ったとき19%長くかかり、しかも本人たちは20%速かったと信じていた

経験のあるソフトウェアエンジニア職業のページ →

出来事の日付 / 報じられた日

2025-07-10

証拠の段階

制限または撤回失敗、撤回、規制、あるいは費用が導入を抑えている。判断を下げる、あるいはその不確かさを広げることがある。

これが関わる業務

自分が書いていない系に手を入れる

制約が文書化されておらず、それまでの判断がすでに背負ってしまったもののなかに宿っている、大きく長く生きてきたコードベースの内側で変更を加える。

いまも人が主導✓ 証拠に基づく

どこに当てはまるか

大きく成熟した、自分がよく知るリポジトリ(それぞれおよそ5年)の保守者が対象である。道具は主に Cursor Pro と Claude 3.5/3.7 Sonnet。著者は、この結果が大半の開発者や、新規案件、若手の仕事に一般化できるとは明示的に主張していない。

これが意味すること

能力の層についての constraint の記録であり、測定された結果が付いている。無作為化試験で、経験のある保守者は、自分がよく知るリポジトリの実際の課題に対して、2025年初頭の道具を使うと19%長くかかった——本人たちは20%速いと信じていた。紐づいた業務については、「日常的なコードは生成される」を「仕事が速くなった」と読める範囲に上限をかけるものであり、この認識のずれは、生成されたコードのデバッグこそ天井が見える場所である理由の、直接の証拠である。

これがまだ示していないこと

著者自身がそう言っている——およそ五年関わってきた成熟したリポジトリでの16人の開発者であり、その後に変わってしまった道具を使っている。若手の開発者が遅くなることを示すものではない(ここで道具を役に立ちにくくしたリポジトリの知識を、若手は持っていない)し、コードの品質も、学習も、更地からの開発も測っていない。この場での減速は、あなたの場での減速ではない。

あなたに確かめられること

一週間、案件に取りかかる前に、補助ありとなしの所要時間の見積りを書き出し、そのあと実際にかかった時間を記録すること。METR の発見はその二つの欄の差であり、十件分の個人の記録があれば、自分に同じ差があるかどうかが分かる。

評価を変えるか

いいえ。影響指数は一件の出来事で動くことはありません。この記録がやったのは、上にある1項の紐づいた業務の判断が、推定ではなく証拠の上に立つようになった、ということです。

出典

METR — study report · 検証 2026-09-12 · Claude (agent) · 解読 2026-09-10 · Claude (VOLO agent)

一次資料——これを行った当事者、あるいは記録を司る当局が公表したもの。連署は要りません。

この記録が引かれている場所