実際に自動化されるのは何か、そしてそれを前もって見分ける方法

二つの会社、階層の二つの層、そして同じ機構

Airbnb は、React の部品テストのファイルおよそ3,500件を、あるテストの枠組みから別の枠組みへ移した記録を公開した——手作業なら一年半という見積りに対し六週間、そして最初の四時間の一括実行でファイルの75%が片づいた。Amazon は、自社の本番の Java アプリケーション数万件を新しい Java の版へ移したと公開し、手作業なら4,500年を超える開発作業に相当すると見積もった。

どちらも新しいソフトウェアを書く話ではない。どちらも、すでに存在していて動き続けなければならないソフトウェアを変える話である。そしてどちらも、それぞれの会社が明言している理由で働いた——この仕事のどの段にも自動の審判がついている。コンパイラはビルドできないものを突き返し、テスト一式はビルドできて間違っているものの大半を捕まえ、静的検査と型検査が残りを捕まえる。Airbnb はこの移行を、前の点検を通ったファイルだけが次へ進む状態機械として組み、そしてただ再試行した——大半のファイルは十回以内に片づいた。

これがからくりのすべてであり、平易な言葉で言う価値がある——モデルは、これについて人より優れていたのではない。安く、何千回も、誰にも見られずに間違うことを許されていたのである。人のエンジニアは、一つのファイルについて百回間違うことができない。輪はできる。

Airbnb は天井も公表した。そちらのほうが珍しい

ファイルの3パーセントは通らなかった。その一つひとつが、チームが手を止めて手作業で仕上げるまでに、五十回から百回のあいだ再試行されていた。その数は、その上にある97%より役に立つ。再試行がほとんど無料であってさえ自動化が届かなかった部分の、測定だからである。

難しいファイルで差を生んだと、このチームが述べていることにも注意すること——指示文の言い回しではなく、どの関連ファイルをモデルの前に置くかを選ぶことである。最大で五十ファイル、指示文は十万トークンに及んだ。希少な入力は、コードベースのどの部分が関係しているかを知っていることだった。それはある特定の会社のコードについての判断であり、そしてそれを下したのは、そこで働いている人たちである。

逆の場合——審判を取り去ると、向きが反転する

METR が行った無作為化比較試験は、経験のあるオープンソースの保守者十六人に、彼らがよく知るコードベースの実際の課題246件を与えた。2025年当時の道具を使ったとき、彼らは19%遅かった。本人たちは20%速かったと信じていた。同じ技術を、正解が機械的に確かめられず、しかも開発者がすでに文脈を握っている仕事に当てると、数字は逆へ動いた——そして開発者の実感は、測定とは逆の方向へ動いた。

その最後の部分こそ、このサイトで自己申告を証拠としない理由である。この試験の参加者は経験があり、やる気もあり、そして自分の速さについて、およそ四十パーセントポイント間違っていた。

四つのベンチマークが、反対側から同じことを言っている

Spider 2.0 は、実在の倉庫に対する企業のデータの問いを出す——千に及ぶ列、複数のSQLの方言、文書、そして探すべきプロジェクトのコードベースである。あるコードエージェントはそのうち21.3%を解き、同じ課題の学術版では91.2%だった。実際の企業の倉庫の問い合わせ記録から作られた Beaver は、公開のベンチマークが80から90と読める場所で、素の言語モデルに零点をつける。Finance Agent Benchmark の、近年の提出書類についての専門家が書いた537問では、最良のモデルもアナリストにはるかに及ばない。

44の職業から実際の成果物を集め、業界の専門家にモデルの出力を伏せたまま採点させる OpenAI の GDPval は、その勾配をそのまま報告している——勝率は0時間から2時間で済む業務で最も高く、業務が長くなるほど着実に下がる。ある業務が長く続くほど、その中身のうち、終わるまで何も確かめられない決定の占める割合が増える。

このどれも、モデルがどれだけ賢いかについての言明ではない。審判が働かなくなる場所についての言明である。正しい答えが、この会社のどの表が本物かに、二つある重複記録のどちらを残すかに、あるいは依頼主が実際には何を言いたかったのかに懸かっているとき、それを言えるのは人しかいない。

審判のないまま仕事が世に出ると何が起きるか

米国の連邦裁判所は、存在しない判例への引用に基づいて作られた提出書面について弁護士に制裁を科してきた——ある件では5,000ドルの過料、別の件では資格の取り消しである。配信された夏の読書案内が、書かれたことのない本を載せたまま Chicago Sun-Times と Philadelphia Inquirer に載った。あるアニメの初回配信に付いた Crunchyroll のドイツ語字幕には「ChatGPT が言うには…」という一行が入っていた。フロリダ州最高裁はその後、提出書面に署名すること自体が、そこに引いた法的根拠についての一つの表明である、と規則を改めた。

これらは笑える失敗ではなく、成功と同じ構造である。確認の段が機械的だった場所では、機械がそれをやった。確認の段が人であり、その確認の段を省くためにその人が外された場所では、誤りが外の世界へ出た——そしてそのあと、裁判所や編集者や規制当局が、事後に、はるかに高い費用で、代わりの審判になった。

これを月曜日にどう使うか

自分の仕掛かりの一覧を取り出し、一つひとつに「終わったと何が教えてくれるか」を書き込むこと——自分が見ていなくても現れる緑の印か、それとも人がそれを見ることか。前者の一覧こそ、どの業種にいようと、これから安くなるほうである。その一覧が自分の仕事のなかでどれだけ長いかを知ることは、公表されたどの百分率よりも価値があり、そしてほかの誰にも計算してもらえない。

次に後者の一覧を見て、もっと難しい問いを立てること——自分がやっている確認は、自分の予算を決める人から見えているか。これらの記録に繰り返し現れる型は、確認の段こそ最初に削られるというものである。それは成果物を生まないからであり、そして無くなったことは二四半期のあいだ表に出てこないからである。

ここで引いているものすべて

その一つひとつが記録の全文を開きます——出典と出典の階層、日付、及ぶ適用範囲、誰が検証したか、そして何を立証していないか。

1. Airbnb は、React の部品テストのファイルおよそ3,500件を Enzyme から React Testing Library へ、手作業なら1年半という見積りに対し、六週間で移行したと報告した — The Airbnb Tech Blog (Airbnb's own engineering blog)
2. Amazon は、自社の本番の Java アプリケーション数万件を Java 8 または 11 から Java 17 へ自律的な仕組みで移したと述べ、手作業なら4,500年を超える開発作業と見積もった — AWS DevOps & Developer Productivity Blog (Amazon's own)
3. 経験のあるオープンソース開発者16人が実際の課題246件に取り組んだ METR の無作為化試験では、2025年初頭のAIの道具を使ったとき19%長くかかり、しかも本人たちは20%速かったと信じていた — METR — study report
4. 実際のデータ基盤から取られた企業のデータ作業632件に対し、コードを書く自律的な仕組みが解けたのは21.3%だった——同じ課題の学術版では91.2%である — Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows (arXiv:2411.07763)
5. 実際の企業データ基盤の問い合わせ記録からつくられた text-to-SQL のベンチマーク Beaver では、素の大規模言語モデルの得点は0、自律的に道具を使う構成でおよそ10%だった。公開ベンチマークでの80-90%超に対して — BLOG@CACM (Stonebraker & Chen, MIT)
6. 直近の SEC 提出書類を題材に専門家が作成した537問の Finance Agent Benchmark で、最も成績のよかったモデル OpenAI o3 の正答率は46.8%、1問あたり3.79ドルだった — arXiv 2508.00828 (Bigeard, Nashold, Krishnan, Wu)
7. OpenAI の GDPval ベンチマークは、購買担当の実際の成果物を集め、業界の専門家にモデルの出力とそれとを伏せたまま比較採点させた — GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks (OpenAI, arXiv:2510.04374)
8. 米国の連邦裁判所が、ChatGPT が生成した実在しない6件の判例を引用した書面をめぐり、弁護士2名と所属事務所に5,000ドルの制裁を科し、信頼できるAIの道具を使うこと自体は不当ではないと述べた — Mata v. Avianca, Inc. (S.D.N.Y., 22 June 2023) — opinion and order on sanctions, via CourtListener
9. ワイオミング州の連邦裁判所が、提出された申立てに9件の判例が引かれそのうち8件が存在しなかったとして、弁護士3名に制裁金を科し、うち1名の pro hac vice による出廷許可を取り消した — US District Court, D. Wyo. — Wadsworth v. Walmart, 2:23-cv-118-KHR, ECF No. 181 (order of Judge Kelly H. Rankin)
10. フロリダ州最高裁が規則2.515(d)(2)を改正し、提出書面への署名は引用された法源が実在し正確であることの表明にあたるとし、制裁を可能にした。2026年6月15日施行 — Supreme Court of Florida, No. SC2026-0673 — In re: Amendments to Florida Rule of General Practice and Judicial Administration 2.515 (2026-05-28)
11. シカゴ・サンタイムズ紙とフィラデルフィア・インクワイアラー紙が、存在しない書籍を並べた配信記事の夏の読書リストを掲載した。執筆したフリーランサーはAIの道具を使ったと述べ、その特集面は確認を経ていなかった — NBC News
12. Crunchyrollがあるアニメの初回配信で出したドイツ語字幕に「ChatGPT said…」という行が含まれていた。同社は、第三者のベンダーが契約に違反してAI生成字幕を使ったと説明した — Engadget
13. 人に実際に使ってもらう — 業務、対象 AI導入責任者
14. 数字に意味を持たせる — 業務、対象 業務システムオーナー