実際に自動化されるのは何か、そしてそれを前もって見分ける方法

二つの会社、階層の二つの層、そして同じ機構

Airbnb は、React の部品テストのファイルおよそ3,500件を、あるテストの枠組みから別の枠組みへ移した記録を公開した——手作業なら一年半という見積りに対し六週間、そして最初の四時間の一括実行でファイルの75%が片づいた。Amazon は、自社の本番の Java アプリケーション数万件を新しい Java の版へ移したと公開し、手作業なら4,500年を超える開発作業に相当すると見積もった。

どちらも新しいソフトウェアを書く話ではない。どちらも、すでに存在していて動き続けなければならないソフトウェアを変える話である。そしてどちらも、それぞれの会社が明言している理由で働いた——この仕事のどの段にも自動の審判がついている。コンパイラはビルドできないものを突き返し、テスト一式はビルドできて間違っているものの大半を捕まえ、静的検査と型検査が残りを捕まえる。Airbnb はこの移行を、前の点検を通ったファイルだけが次へ進む状態機械として組み、そしてただ再試行した——大半のファイルは十回以内に片づいた。

これがからくりのすべてであり、平易な言葉で言う価値がある——モデルは、これについて人より優れていたのではない。安く、何千回も、誰にも見られずに間違うことを許されていたのである。人のエンジニアは、一つのファイルについて百回間違うことができない。輪はできる。

Airbnb は天井も公表した。そちらのほうが珍しい

ファイルの3パーセントは通らなかった。その一つひとつが、チームが手を止めて手作業で仕上げるまでに、五十回から百回のあいだ再試行されていた。その数は、その上にある97%より役に立つ。再試行がほとんど無料であってさえ自動化が届かなかった部分の、測定だからである。

難しいファイルで差を生んだと、このチームが述べていることにも注意すること——指示文の言い回しではなく、どの関連ファイルをモデルの前に置くかを選ぶことである。最大で五十ファイル、指示文は十万トークンに及んだ。希少な入力は、コードベースのどの部分が関係しているかを知っていることだった。それはある特定の会社のコードについての判断であり、そしてそれを下したのは、そこで働いている人たちである。

逆の場合——審判を取り去ると、向きが反転する

METR が行った無作為化比較試験は、経験のあるオープンソースの保守者十六人に、彼らがよく知るコードベースの実際の課題246件を与えた。2025年当時の道具を使ったとき、彼らは19%遅かった。本人たちは20%速かったと信じていた。同じ技術を、正解が機械的に確かめられず、しかも開発者がすでに文脈を握っている仕事に当てると、数字は逆へ動いた——そして開発者の実感は、測定とは逆の方向へ動いた。

その最後の部分こそ、このサイトで自己申告を証拠としない理由である。この試験の参加者は経験があり、やる気もあり、そして自分の速さについて、およそ四十パーセントポイント間違っていた。

四つのベンチマークが、反対側から同じことを言っている

Spider 2.0 は、実在の倉庫に対する企業のデータの問いを出す——千に及ぶ列、複数のSQLの方言、文書、そして探すべきプロジェクトのコードベースである。あるコードエージェントはそのうち21.3%を解き、同じ課題の学術版では91.2%だった。実際の企業の倉庫の問い合わせ記録から作られた Beaver は、公開のベンチマークが80から90と読める場所で、素の言語モデルに零点をつける。Finance Agent Benchmark の、近年の提出書類についての専門家が書いた537問では、最良のモデルもアナリストにはるかに及ばない。

44の職業から実際の成果物を集め、業界の専門家にモデルの出力を伏せたまま採点させる OpenAI の GDPval は、その勾配をそのまま報告している——勝率は0時間から2時間で済む業務で最も高く、業務が長くなるほど着実に下がる。ある業務が長く続くほど、その中身のうち、終わるまで何も確かめられない決定の占める割合が増える。

このどれも、モデルがどれだけ賢いかについての言明ではない。審判が働かなくなる場所についての言明である。正しい答えが、この会社のどの表が本物かに、ある指標の二つの定義のうち事業が実際に使っているのはどちらかに、あるいは依頼主が実際には何を言いたかったのかに懸かっているとき、それを言えるのは人しかいない。

審判のないまま仕事が世に出ると何が起きるか

米国の連邦裁判所は、存在しない判例への引用に基づいて作られた提出書面について弁護士に制裁を科してきた——ある件では5,000ドルの過料、別の件では資格の取り消しである。配信された夏の読書案内が、書かれたことのない本を載せたまま Chicago Sun-Times と Philadelphia Inquirer に載った。あるアニメの初回配信に付いた Crunchyroll のドイツ語字幕には「ChatGPT が言うには…」という一行が入っていた。フロリダ州最高裁はその後、提出書面に署名すること自体が、そこに引いた法的根拠についての一つの表明である、と規則を改めた。

これらは笑える失敗ではなく、成功と同じ構造である。確認の段が機械的だった場所では、機械がそれをやった。確認の段が人であり、その確認の段を省くためにその人が外された場所では、誤りが外の世界へ出た——そしてそのあと、裁判所や編集者や規制当局が、事後に、はるかに高い費用で、代わりの審判になった。

身体を使う仕事では、境界があり繰り返す作業から先に手放される

同じ形はソフトウェアの外にも現れる。芝刈りは、緑地の仕事のなかで今や機械が大規模に使われている唯一の作業だ。シンガポールの国立公園局は、造園会社が自律型のロボット芝刈り機に切り替えたあと延べ作業時間を 80% 節約したと述べ、ナッシュビルの市議会は公園向けにロボット芝刈り機を契約した。芝生には機械に教えられる境界があり、誰の目にも見える結果がある。決まった場所でつくる飲み物が次の例だ。韓国ではロボットバリスタのコーヒー店が商業的に営業しており、その客 300 人を調べた研究は、客を引きつけたのは雰囲気と目新しさだったと見いだした。散髪はその逆だ。頭は一人ひとり違い、切り方が正しいかを言えるのは人だけで、見つかったロボットは髪をとかしたり整えたりするだけ、そのうち一台はウィッグの上だった。

建設の職種では、先に動くのは工場だ

大工仕事では、現場を離れる仕事は現場のロボットではなく工場へ向かう。林野庁によれば、2024年には木造軸組住宅の94%が工場でプレカットされた継手を使い、ドイツの連邦統計局は2024年に完成した住宅の22.2%を工場生産と数えている。工場の中の自動化も保証にはならない。高度に自動化された木造枠組みの生産ラインを持つ工場を構えていたKaterraは、約27.8億ドルの損失を報告したうえで破産を申請した。

これを月曜日にどう使うか

自分の仕掛かりの一覧を取り出し、一つひとつに「終わったと何が教えてくれるか」を書き込むこと——自分が見ていなくても現れる緑の印か、それとも人がそれを見ることか。前者の一覧こそ、どの業種にいようと、これから安くなるほうである。その一覧が自分の仕事のなかでどれだけ長いかを知ることは、公表されたどの百分率よりも価値があり、そしてほかの誰にも計算してもらえない。

次に後者の一覧を見て、もっと難しい問いを立てること——自分がやっている確認は、自分の予算を決める人から見えているか。これらの記録に繰り返し現れる型は、確認の段こそ最初に削られるというものである。それは成果物を生まないからであり、そして無くなったことは二四半期のあいだ表に出てこないからである。

ここで引いているものすべて

その一つひとつが記録の全文を開きます——出典と出典の階層、日付、及ぶ適用範囲、誰が検証したか、そして何を立証していないか。

1. Airbnb は、React の部品テストのファイルおよそ3,500件を Enzyme から React Testing Library へ、手作業なら1年半という見積りに対し、六週間で移行したと報告した — The Airbnb Tech Blog (Airbnb's own engineering blog)
2. Amazon は、自社の本番の Java アプリケーション数万件を Java 8 または 11 から Java 17 へ自律的な仕組みで移したと述べ、手作業なら4,500年を超える開発作業と見積もった — AWS DevOps & Developer Productivity Blog (Amazon's own)
3. 経験のあるオープンソース開発者16人が実際の課題246件に取り組んだ METR の無作為化試験では、2025年初頭のAIの道具を使ったとき19%長くかかり、しかも本人たちは20%速かったと信じていた — METR — study report
4. 実際のデータ基盤から取られた企業のデータ作業632件に対し、コードを書く自律的な仕組みが解けたのは21.3%だった——より以前の学術ベンチマークSpider 1.0では91.2%である — Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows (arXiv:2411.07763)
5. 実際の企業データ基盤の問い合わせ記録からつくられた text-to-SQL のベンチマーク Beaver では、素の大規模言語モデルの得点は0、自律的に道具を使う構成でおよそ10%だった。公開ベンチマークでの80-90%超に対して — BLOG@CACM (Stonebraker & Chen, MIT)
6. 直近の SEC 提出書類を題材に専門家が作成した537問の Finance Agent Benchmark で、最も成績のよかったモデル OpenAI o3 の正答率は46.8%、1問あたり3.79ドルだった — arXiv 2508.00828 (Bigeard, Nashold, Krishnan, Wu)
7. OpenAI の GDPval ベンチマークは、購買担当の実際の成果物を集め、業界の専門家にモデルの出力とそれとを伏せたまま比較採点させた — GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks (OpenAI, arXiv:2510.04374)
8. 米国の連邦裁判所が、ChatGPT が生成した実在しない6件の判例を引用した書面をめぐり、弁護士2名と所属事務所に5,000ドルの制裁を科し、信頼できるAIの道具を使うこと自体は不当ではないと述べた — Mata v. Avianca, Inc. (S.D.N.Y., 22 June 2023) — opinion and order on sanctions, via CourtListener
9. ワイオミング州の連邦裁判所が、提出された申立てに9件の判例が引かれそのうち8件が存在しなかったとして、弁護士3名に制裁金を科し、うち1名の pro hac vice による出廷許可を取り消した — US District Court, D. Wyo. — Wadsworth v. Walmart, 2:23-cv-118-KHR, ECF No. 181 (order of Judge Kelly H. Rankin)
10. フロリダ州最高裁が規則2.515(d)(2)を改正し、提出書面への署名は引用された法源が実在し正確であることの表明にあたるとし、制裁を可能にした。2026年6月15日施行 — Supreme Court of Florida, No. SC2026-0673 — In re: Amendments to Florida Rule of General Practice and Judicial Administration 2.515 (2026-05-28)
11. シカゴ・サンタイムズ紙とフィラデルフィア・インクワイアラー紙が、存在しない書籍を並べた配信記事の夏の読書リストを掲載した。新聞社によれば、執筆したフリーランサーはAIの道具を使い、その特集面は確認を経ていなかった — NBC News
12. Crunchyrollがあるアニメの初回配信で出したドイツ語字幕に「ChatGPT said…」という行が含まれていた。同社は、第三者のベンダーが契約に違反してAI生成字幕を使ったと説明した — Engadget
13. 自律型ロボット芝刈り機に切り替えた造園会社は延べ作業時間を80%削減したと、シンガポールの国立公園庁が述べた — National Parks Board (NParks), Singapore — NParks rolls out new model of greenery management for parks and streetscape that leverages suite of digital tools developed with landscape industry (29 Mar 2023)
14. 公園局向けのロボット芝刈り機のリースが、推定額2,000,000ドルの5年契約としてナッシュビル市議会に承認された — Metropolitan Government of Nashville and Davidson County — Resolution RS2025-1015, approving a contract with My Goat, Inc. for robotic mowers for the Department of Parks and Recreation (passed 2025-02-18; Legistar record)
15. 雰囲気と目新しさが韓国のロボットバリスタ・カフェの客を引きつけていたことを、四つの営業中チェーンの来店客300人への調査が明らかにした — Kim, Yoo, Jeon (Gachon University and others) — The role of experiential value, novelty, and satisfaction in robot barista coffee shop in South Korea: COVID-19 crisis and beyond, Service Business (published 31 October 2021)
16. シミュレーションで学んだロボットのヘアスタイリング・システムがその技能をウィッグへ移したと研究者らが報告し、髪は構造が細かいためロボットには難しいとした — Zhao, Yoo, Chaudhury, Nam, Francis, Ichnowski — DYMO-Hair: Generalizable Volumetric Dynamics Modeling for Robot Hair Manipulation, arXiv 2510.06199 (7 Oct 2025)
17. プレカット加工は2024年に木造軸組工法の住宅の94%に達した、と林野庁は白書で報告した — 林野庁 — 令和7年度 森林・林業白書(令和8年6月2日公表), 第III章
18. 工場生産住宅は2024年にドイツで完成した住宅建築の22.2%を占めた、と連邦統計庁は報告した — Statistisches Bundesamt (Destatis) — Pressemitteilung Nr. N039 vom 28. Juli 2025
19. 木造の壁とトラスを高度に自動化されたラインで造る工場は、約27.8億ドルの損失を出して破産を申請した建設会社のものだった、と Katerra は裁判所で申し立てた — U.S. Bankruptcy Court, Southern District of Texas, Case 21-31861 (Katerra Inc.), Document 37 — declaration in support of Chapter 11 petitions, filed 06/07/21 (via CourtListener RECAP)
20. 人に実際に使ってもらう — 業務、対象 AI導入責任者
21. 数字に意味を持たせる — 業務、対象 業務システムオーナー