O que é mesmo automatizado, e como saber de antemão

Duas empresas, duas camadas da pilha, a mesma maquinaria

A Airbnb publicou o relato da migração de quase 3.500 ficheiros de testes de componentes React de um enquadramento de testes para outro: seis semanas contra uma estimativa à mão de um ano e meio, com 75% dos ficheiros resolvidos na primeira leva massiva de quatro horas. A Amazon publicou que moveu dezenas de milhares das suas próprias aplicações Java em produção para uma versão mais recente de Java, estimando o equivalente manual em mais de 4.500 anos de trabalho de desenvolvimento.

Nenhum dos dois é sobre escrever software novo. Os dois são sobre mudar software que já existe e que tem de continuar a funcionar. E os dois resultaram por uma razão que cada empresa enuncia sem rodeios: cada passo do trabalho tem um árbitro automático. O compilador rejeita o que não vai compilar; a bateria de testes apanha a maior parte do que compila e está errado; o analisador de estilo e o verificador de tipos apanham o resto. A Airbnb modelou a migração como uma máquina de estados em que um ficheiro só avança quando passa a verificação anterior, e depois simplesmente tentou de novo: a maioria dos ficheiros acabou em menos de dez tentativas.

É esse todo o truque, e merece ser dito por palavras simples: o modelo não era melhor do que uma pessoa nisto. Foi-lhe permitido errar, barato, milhares de vezes, sem ninguém a ver. Um engenheiro humano não pode errar cem vezes no mesmo ficheiro. Um ciclo pode.

A Airbnb publicou também o teto, que é a coisa mais rara

Três por cento dos ficheiros não foram. A cada um deles tinha sido tentado de novo entre cinquenta e cem vezes antes de a equipa parar e os acabar à mão. Esse número serve mais do que os 97% que tem por cima, porque é uma medição da parte a que a automatização não conseguiu chegar nem sequer quando tentar de novo era quase de graça.

Repara além disso no que a equipa diz que fez a diferença nos ficheiros difíceis: não uma melhor formulação da indicação, mas escolher que ficheiros relacionados pôr à frente do modelo, até cinquenta deles, com indicações a chegar a cem mil unidades de texto. A entrada escassa era saber que partes da base de código eram relevantes. Isso é um juízo sobre o código de uma empresa em concreto, e foi feito pelas pessoas que lá trabalham.

O caso inverso: tira o árbitro e a direção inverte-se

Um ensaio controlado aleatorizado feito pela METR deu a dezasseis mantenedores experientes de código aberto 246 problemas reais em bases de código que eles conheciam bem. Com ferramentas de 2025 ficaram 19% mais lentos. Acreditavam que tinham ido 20% mais rápidos. A mesma tecnologia, aplicada a um trabalho em que a resposta certa não é verificável mecanicamente e quem programa já tem o contexto, moveu o número na outra direção, e moveu a perceção dessas pessoas na direção contrária à medição.

Essa última parte é a razão por que neste sítio aquilo que alguém declara sobre si próprio não é prova. As pessoas do ensaio tinham experiência, tinham motivação, e enganavam-se sobre a própria velocidade em cerca de quarenta pontos percentuais.

Quatro referenciais dizem o mesmo a partir do outro lado

O Spider 2.0 coloca perguntas de dados de empresa sobre armazéns reais: mil colunas, vários dialetos de SQL, documentação e um repositório de projeto onde é preciso procurar. Um agente de código resolveu 21,3% delas, contra 91,2% na versão académica da mesma tarefa. O Beaver, construído a partir de registos de consultas de armazéns empresariais reais, deixa um modelo de linguagem sem mais nada em zero onde os referenciais públicos dão entre 80 e 90. Nas 537 perguntas do Finance Agent Benchmark, escritas por especialistas sobre documentos regulamentares recentes, os melhores modelos ficam muito aquém de um analista.

O GDPval, da OpenAI, que recolhe entregáveis reais de 44 profissões e põe especialistas do setor a avaliar às cegas a produção do modelo contra eles, publica o declive sem rodeios: a taxa de vitórias é mais alta nas tarefas de zero a duas horas e desce de forma sustentada à medida que a tarefa se alonga. Quanto mais tempo dura uma tarefa, maior é a parte dela que consiste em decisões que nada consegue verificar antes do fim.

Nenhum destes números diz seja o que for sobre quão inteligente é um modelo. Dizem onde é que o árbitro deixa de funcionar. Quando a resposta certa depende de qual das tabelas desta empresa é a verdadeira, ou de qual de duas definições de uma métrica o negócio usa de facto, ou do que o cliente queria dizer de facto, não há nada que o possa dizer a não ser uma pessoa.

O que acontece quando o trabalho sai sem árbitro

Tribunais federais dos Estados Unidos sancionaram advogados por peças construídas sobre citações de acórdãos que não existem: uma multa de 5.000 dólares num caso, a revogação da inscrição noutro. Uma lista de leituras de verão distribuída por sindicação saiu no Chicago Sun-Times e no Philadelphia Inquirer com livros que nunca foram escritos. As legendas em alemão da Crunchyroll para a estreia de um anime continham a frase «o ChatGPT disse…». O Supremo Tribunal da Florida alterou entretanto as suas regras para que assinar uma peça seja em si mesmo uma declaração sobre a autoridade legal nela citada.

Não são falhas engraçadas, são a mesma estrutura dos acertos. Onde o passo de verificação era mecânico, a máquina fê-lo. Onde o passo de verificação era uma pessoa, e se retirou essa pessoa precisamente para poupar a verificação, o erro chegou ao mundo lá fora — e então o árbitro passou a ser um tribunal, uma redação ou um regulador, depois do facto e a um custo muito mais alto.

No trabalho físico, o que é delimitado e repetido vai primeiro

A mesma forma aparece fora do software. O corte da relva é a única tarefa de espaços verdes em que as máquinas são agora usadas em escala: o conselho nacional de parques de Singapura diz que as empresas de jardinagem pouparam 80% das horas de trabalho depois de passarem para corta-relvas robóticos autónomos, e o conselho de Nashville contratou corta-relvas robóticos para os seus parques. Um relvado tem limites que se podem indicar a uma máquina e um resultado que qualquer pessoa vê. As bebidas feitas num posto fixo são o caso seguinte: na Coreia do Sul funcionam comercialmente cafés com baristas robô, e um estudo com 300 dos seus clientes concluiu que o ambiente e a novidade os atraíam. Cortar o cabelo é o contrário: cada cabeça é diferente e só uma pessoa diz se o corte está certo, e os robôs encontrados apenas penteiam e dão forma ao cabelo, um deles em perucas.

Nos ofícios da construção, quem se mexe primeiro é a fábrica

Na carpintaria, o trabalho que sai da obra vai para as fábricas, não para robôs na obra. A Agência Florestal do Japão indica que 94 % das casas de estrutura de pilares e vigas usaram em 2024 ligações pré-cortadas em fábrica, e o instituto de estatística da Alemanha conta como pré-fabricadas em fábrica 22,2 % das habitações concluídas em 2024. A automação dentro da fábrica também não é garantia: a Katerra, cuja fábrica tinha linhas de estruturas de madeira altamente automatizadas, declarou cerca de 2,78 mil milhões de dólares de prejuízos antes de pedir a insolvência.

O que fazer com isto na segunda-feira

Pega na tua própria lista de pendentes e marca em cada ponto o que te diria que está terminado: um visto verde que aparece sem ti, ou uma pessoa a olhar para aquilo. A primeira lista é a que está prestes a ficar mais barata, seja qual for o teu setor. Saber que tamanho tem essa lista dentro do teu próprio trabalho vale mais do que qualquer percentagem publicada, e mais ninguém a pode calcular por ti.

Depois olha para a segunda lista e faz uma pergunta mais incómoda: a verificação que fazes é visível para quem decide o teu orçamento? O padrão que se repete nestes registos é que o passo de revisão é a primeira coisa a ser cortada, porque não produz nenhum entregável — e a sua ausência só se nota dois trimestres depois.

Tudo o que é citado aqui

Cada uma abre o registo inteiro: a sua fonte e o seu nível de fonte, as datas, o âmbito a que se aplica, quem o verificou e o que não estabelece.

1. A Airbnb comunica ter migrado quase 3.500 ficheiros de teste de componentes React do Enzyme para a React Testing Library em seis semanas, contra uma estimativa manual de ano e meio — The Airbnb Tech Blog (Airbnb's own engineering blog)
2. A Amazon diz ter movido dezenas de milhares das suas próprias aplicações Java de produção de Java 8 ou 11 para Java 17 com um agente, e estima o equivalente manual em mais de 4.500 anos de trabalho de desenvolvimento — AWS DevOps & Developer Productivity Blog (Amazon's own)
3. Um ensaio aleatorizado da METR com 16 programadores experientes de código aberto sobre 246 problemas reais concluiu que demoraram 19% mais com ferramentas de IA do início de 2025, enquanto acreditavam ter sido 20% mais rápidos — METR — study report
4. Em 632 fluxos de trabalho de dados de empresa retirados de armazéns reais, um agente de código resolveu 21,3% — contra 91,2% no benchmark académico anterior, Spider 1.0 — Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows (arXiv:2411.07763)
5. No Beaver, um teste de referência de texto para SQL construído a partir de registos reais de consultas de armazéns de dados de empresas, um LLM simples teve zero e uma montagem agêntica chegou a cerca de 10%, contra 80-90% e mais nos testes públicos — BLOG@CACM (Stonebraker & Chen, MIT)
6. No Finance Agent Benchmark — 537 perguntas escritas por especialistas sobre documentos recentes entregues à SEC — o melhor modelo, o o3 da OpenAI, chegou a 46,8% de acerto a 3,79 dólares por consulta — arXiv 2508.00828 (Bigeard, Nashold, Krishnan, Wu)
7. O teste de referência GDPval da OpenAI recolheu entregas reais de agentes de compras e pôs especialistas do setor a classificar às cegas o resultado dos modelos face a elas — GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks (OpenAI, arXiv:2510.04374)
8. Um tribunal federal dos EUA multou dois advogados e a sua sociedade em 5.000 dólares por uma peça que citava seis acórdãos inexistentes gerados pelo ChatGPT, notando que usar uma ferramenta de IA fiável não é em si indevido — Mata v. Avianca, Inc. (S.D.N.Y., 22 June 2023) — opinion and order on sanctions, via CourtListener
9. Um tribunal federal do Wyoming multou três advogados e revogou a admissão pro hac vice de um deles depois de um requerimento apresentado citar nove acórdãos, oito dos quais não existiam — US District Court, D. Wyo. — Wadsworth v. Walmart, 2:23-cv-118-KHR, ECF No. 181 (order of Judge Kelly H. Rankin)
10. O Supremo Tribunal da Florida altera a Regra 2.515(d)(2): assinar uma peça equivale a declarar que as fontes jurídicas citadas existem e estão corretas, com sanções possíveis, com efeitos a 15 de junho de 2026 — Supreme Court of Florida, No. SC2026-0673 — In re: Amendments to Florida Rule of General Practice and Judicial Administration 2.515 (2026-05-28)
11. O Chicago Sun-Times e o Philadelphia Inquirer publicaram uma lista sindicada de leituras de verão com livros que não existem; o jornal disse que o colaborador usou uma ferramenta de IA e que a secção não foi revista — NBC News
12. As legendas em alemão da Crunchyroll para a estreia de um anime continham a frase «o ChatGPT disse…»; a empresa afirmou que um fornecedor externo tinha usado legendas geradas por IA em violação do contrato — Engadget
13. Empresas de paisagismo registaram 80% de poupança em horas-homem depois de passarem para corta-relvas robóticos autónomos, disse o conselho nacional de parques de Singapura — National Parks Board (NParks), Singapore — NParks rolls out new model of greenery management for parks and streetscape that leverages suite of digital tools developed with landscape industry (29 Mar 2023)
14. Corta-relvas robóticos alugados para o seu departamento de parques foram aprovados pelo conselho de Nashville num contrato de cinco anos com um valor estimado de 2.000.000 dólares — Metropolitan Government of Nashville and Davidson County — Resolution RS2025-1015, approving a contract with My Goat, Inc. for robotic mowers for the Department of Parks and Recreation (passed 2025-02-18; Legistar record)
15. Os clientes de cafetarias com robôs baristas na Coreia do Sul foram atraídos pelo ambiente e pela novidade, concluiu um inquérito a 300 visitantes de quatro cadeias em funcionamento — Kim, Yoo, Jeon (Gachon University and others) — The role of experiential value, novelty, and satisfaction in robot barista coffee shop in South Korea: COVID-19 crisis and beyond, Service Business (published 31 October 2021)
16. Um sistema robótico de penteado treinado em simulação transferiu a competência para perucas, relataram investigadores, que consideram o cuidado do cabelo difícil para robôs por causa da sua estrutura fina — Zhao, Yoo, Chaudhury, Nam, Francis, Ichnowski — DYMO-Hair: Generalizable Volumetric Dynamics Modeling for Robot Hair Manipulation, arXiv 2510.06199 (7 Oct 2025)
17. O pré-corte em fábrica chegou a 94 por cento das casas de madeira de pilar e viga em 2024, relatou a Agência Florestal do Japão no seu livro branco — 林野庁 — 令和7年度 森林・林業白書(令和8年6月2日公表), 第III章
18. As casas construídas em fábrica representaram 22,2 por cento dos edifícios residenciais concluídos na Alemanha em 2024, relatou o serviço federal de estatística — Statistisches Bundesamt (Destatis) — Pressemitteilung Nr. N039 vom 28. Juli 2025
19. Uma fábrica com linhas altamente automatizadas de paredes de estrutura de madeira e de asnas pertencia a um construtor que perdeu cerca de 2,78 mil milhões de dólares e pediu a falência, declarou a Katerra em tribunal — U.S. Bankruptcy Court, Southern District of Texas, Case 21-31861 (Katerra Inc.), Document 37 — declaration in support of Chapter 11 petitions, filed 06/07/21 (via CourtListener RECAP)
20. Conseguir que as pessoas a usem mesmo — tarefa de Responsável de implementação de IA
21. Fazer os números significarem alguma coisa — tarefa de Responsável de sistemas de negócio