O que é mesmo automatizado, e como saber de antemão

Duas empresas, duas camadas da pilha, a mesma maquinaria

A Airbnb publicou o relato da migração de quase 3.500 ficheiros de testes de componentes React de um enquadramento de testes para outro: seis semanas contra uma estimativa à mão de um ano e meio, com 75% dos ficheiros resolvidos na primeira leva massiva de quatro horas. A Amazon publicou que moveu dezenas de milhares das suas próprias aplicações Java em produção para uma versão mais recente de Java, estimando o equivalente manual em mais de 4.500 anos de trabalho de desenvolvimento.

Nenhum dos dois é sobre escrever software novo. Os dois são sobre mudar software que já existe e que tem de continuar a funcionar. E os dois resultaram por uma razão que cada empresa enuncia sem rodeios: cada passo do trabalho tem um árbitro automático. O compilador rejeita o que não vai compilar; a bateria de testes apanha quase tudo o que compila e está errado; o analisador de estilo e o verificador de tipos apanham o resto. A Airbnb modelou a migração como uma máquina de estados em que um ficheiro só avança quando passa a verificação anterior, e depois simplesmente tentou de novo: quase todos os ficheiros acabaram em menos de dez tentativas.

É esse todo o truque, e merece ser dito por palavras simples: o modelo não era melhor do que uma pessoa nisto. Foi-lhe permitido errar, barato, milhares de vezes, sem ninguém a ver. Um engenheiro humano não pode errar cem vezes no mesmo ficheiro. Um ciclo pode.

A Airbnb publicou também o teto, que é a coisa mais rara

Três por cento dos ficheiros não foram. A cada um deles tinha sido tentado de novo entre cinquenta e cem vezes antes de a equipa parar e os acabar à mão. Esse número serve mais do que os 97% que tem por cima, porque é uma medição da parte a que a automatização não conseguiu chegar nem sequer quando tentar de novo era quase de graça.

Repara além disso no que a equipa diz que fez a diferença nos ficheiros difíceis: não uma melhor formulação da indicação, mas escolher que ficheiros relacionados pôr à frente do modelo, até cinquenta deles, com indicações a chegar a cem mil unidades de texto. A entrada escassa era saber que partes da base de código eram relevantes. Isso é um juízo sobre o código de uma empresa em concreto, e foi feito pelas pessoas que lá trabalham.

O caso inverso: tira o árbitro e a direção inverte-se

Um ensaio controlado aleatorizado feito pela METR deu a dezasseis mantenedores experientes de código aberto 246 problemas reais em bases de código que eles conheciam bem. Com ferramentas de 2025 ficaram 19% mais lentos. Acreditavam que tinham ido 20% mais rápidos. A mesma tecnologia, aplicada a um trabalho em que a resposta certa não é verificável mecanicamente e quem programa já tem o contexto, moveu o número na outra direção, e moveu a perceção dessas pessoas na direção contrária à medição.

Essa última parte é a razão por que neste sítio aquilo que alguém declara sobre si próprio não é prova. As pessoas do ensaio tinham experiência, tinham motivação, e enganavam-se sobre a própria velocidade em cerca de quarenta pontos percentuais.

Quatro referenciais dizem o mesmo a partir do outro lado

O Spider 2.0 coloca perguntas de dados de empresa sobre armazéns reais: mil colunas, vários dialetos de SQL, documentação e um repositório de projeto onde é preciso procurar. Um agente de código resolveu 21,3% delas, contra 91,2% na versão académica da mesma tarefa. O Beaver, construído a partir de registos de consultas de armazéns empresariais reais, deixa um modelo de linguagem sem mais nada em zero onde os referenciais públicos dão entre 80 e 90. Nas 537 perguntas do Finance Agent Benchmark, escritas por especialistas sobre documentos regulamentares recentes, os melhores modelos ficam muito aquém de um analista.

O GDPval, da OpenAI, que recolhe entregáveis reais de 44 profissões e põe especialistas do setor a avaliar às cegas a produção do modelo contra eles, publica o declive sem rodeios: a taxa de vitórias é mais alta nas tarefas de zero a duas horas e desce de forma sustentada à medida que a tarefa se alonga. Quanto mais tempo dura uma tarefa, maior é a parte dela que consiste em decisões que nada consegue verificar antes do fim.

Nenhum destes números diz seja o que for sobre quão inteligente é um modelo. Dizem onde é que o árbitro deixa de funcionar. Quando a resposta certa depende de qual das tabelas desta empresa é a verdadeira, ou de qual de dois registos duplicados se guarda, ou do que o cliente queria dizer de facto, não há nada que o possa dizer a não ser uma pessoa.

O que acontece quando o trabalho sai sem árbitro

Tribunais federais dos Estados Unidos sancionaram advogados por peças construídas sobre citações de acórdãos que não existem: uma multa de 5.000 dólares num caso, a revogação da inscrição noutro. Uma lista de leituras de verão distribuída por sindicação saiu no Chicago Sun-Times e no Philadelphia Inquirer com livros que nunca foram escritos. As legendas em alemão da Crunchyroll para a estreia de um anime continham a frase «o ChatGPT disse…». O Supremo Tribunal da Florida alterou entretanto as suas regras para que assinar uma peça seja em si mesmo uma declaração sobre a autoridade legal nela citada.

Não são falhas engraçadas, são a mesma estrutura dos acertos. Onde o passo de verificação era mecânico, a máquina fê-lo. Onde o passo de verificação era uma pessoa, e se retirou essa pessoa precisamente para poupar a verificação, o erro chegou ao mundo lá fora — e então o árbitro passou a ser um tribunal, uma redação ou um regulador, depois do facto e a um custo muito mais alto.

O que fazer com isto na segunda-feira

Pega na tua própria lista de pendentes e marca em cada ponto o que te diria que está terminado: um visto verde que aparece sem ti, ou uma pessoa a olhar para aquilo. A primeira lista é a que está prestes a ficar mais barata, seja qual for o teu setor. Saber que tamanho tem essa lista dentro do teu próprio trabalho vale mais do que qualquer percentagem publicada, e mais ninguém a pode calcular por ti.

Depois olha para a segunda lista e faz uma pergunta mais incómoda: a verificação que fazes é visível para quem decide o teu orçamento? O padrão que se repete nestes registos é que o passo de revisão é a primeira coisa a ser cortada, porque não produz nenhum entregável — e a sua ausência só se nota dois trimestres depois.

Tudo o que é citado aqui

Cada uma abre o registo inteiro: a sua fonte e o seu nível de fonte, as datas, o âmbito a que se aplica, quem o verificou e o que não estabelece.

1. A Airbnb comunica ter migrado quase 3.500 ficheiros de teste de componentes React do Enzyme para a React Testing Library em seis semanas, contra uma estimativa manual de ano e meio — The Airbnb Tech Blog (Airbnb's own engineering blog)
2. A Amazon diz ter movido dezenas de milhares das suas próprias aplicações Java de produção de Java 8 ou 11 para Java 17 com um agente, e estima o equivalente manual em mais de 4.500 anos de trabalho de desenvolvimento — AWS DevOps & Developer Productivity Blog (Amazon's own)
3. Um ensaio aleatorizado da METR com 16 programadores experientes de código aberto sobre 246 problemas reais concluiu que demoraram 19% mais com ferramentas de IA do início de 2025, enquanto acreditavam ter sido 20% mais rápidos — METR — study report
4. Em 632 fluxos de trabalho de dados de empresa retirados de armazéns reais, um agente de código resolveu 21,3% — contra 91,2% na versão académica da mesma tarefa — Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows (arXiv:2411.07763)
5. No Beaver, um teste de referência de texto para SQL construído a partir de registos reais de consultas de armazéns de dados de empresas, um LLM simples teve zero e uma montagem agêntica chegou a cerca de 10%, contra 80-90% e mais nos testes públicos — BLOG@CACM (Stonebraker & Chen, MIT)
6. No Finance Agent Benchmark — 537 perguntas escritas por especialistas sobre documentos recentes entregues à SEC — o melhor modelo, o o3 da OpenAI, chegou a 46,8% de acerto a 3,79 dólares por consulta — arXiv 2508.00828 (Bigeard, Nashold, Krishnan, Wu)
7. O teste de referência GDPval da OpenAI recolheu entregas reais de agentes de compras e pôs especialistas do setor a classificar às cegas o resultado dos modelos face a elas — GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks (OpenAI, arXiv:2510.04374)
8. Um tribunal federal dos EUA multou dois advogados e a sua sociedade em 5.000 dólares por uma peça que citava seis acórdãos inexistentes gerados pelo ChatGPT, notando que usar uma ferramenta de IA fiável não é em si indevido — Mata v. Avianca, Inc. (S.D.N.Y., 22 June 2023) — opinion and order on sanctions, via CourtListener
9. Um tribunal federal do Wyoming multou três advogados e revogou a admissão pro hac vice de um deles depois de um requerimento apresentado citar nove acórdãos, oito dos quais não existiam — US District Court, D. Wyo. — Wadsworth v. Walmart, 2:23-cv-118-KHR, ECF No. 181 (order of Judge Kelly H. Rankin)
10. O Supremo Tribunal da Florida altera a Regra 2.515(d)(2): assinar uma peça equivale a declarar que as fontes jurídicas citadas existem e estão corretas, com sanções possíveis, com efeitos a 15 de junho de 2026 — Supreme Court of Florida, No. SC2026-0673 — In re: Amendments to Florida Rule of General Practice and Judicial Administration 2.515 (2026-05-28)
11. O Chicago Sun-Times e o Philadelphia Inquirer publicaram uma lista sindicada de leituras de verão com livros que não existem; o colaborador disse ter usado uma ferramenta de IA e que a secção não foi revista — NBC News
12. As legendas em alemão da Crunchyroll para a estreia de um anime continham a frase «o ChatGPT disse…»; a empresa afirmou que um fornecedor externo tinha usado legendas geradas por IA em violação do contrato — Engadget
13. Conseguir que as pessoas a usem mesmo — tarefa de Responsável de implementação de IA
14. Fazer os números significarem alguma coisa — tarefa de Responsável de sistemas de negócio