LO
RestriçãoAutomatização cognitiva2026-07-20
No Beaver, um teste de referência de texto para SQL construído a partir de registos reais de consultas de armazéns de dados de empresas, um LLM simples teve zero e uma montagem agêntica chegou a cerca de 10%, contra 80-90% e mais nos testes públicos
Analista de dadospágina da profissão →
Data do facto / publicação
2026-07-20
Categoria da prova
RestriçãoUma falha, um recuo, uma regulação ou um custo estão a travar a adoção. Pode baixar uma avaliação ou alargar a sua incerteza.
Tarefas sobre as quais incide
Escrever consultas e montar painéis
Traduzir «quantos utilizadores fizeram X no mês passado» para SQL, e ligar o resultado a um gráfico que alguém possa atualizar.
A automatizar-se✓ Com prova
Saber quando os dados estão a mentir
Apanhar o pipeline partido, os eventos duplicados, o erro de fuso horário, a definição que mudou em março.
Continua a ser levada por uma pessoa✓ Com prova
Onde é que isto se aplica
Escrito pelos autores do teste de referência, que têm também um sistema concorrente (Rubicon) para promover — por isso a parte interessada aqui está a argumentar que os testes fáceis estão errados. A afirmação de fundo é verificável: o Beaver é construído a partir de registos reais de consultas do armazém Oracle de 1.400 tabelas do MIT e de outros três, e a sua tabela classificativa é pública. As quatro razões apresentadas são estruturais e não sobre a qualidade do modelo — os dados dos testes públicos estão no corpus de treino, os esquemas reais apodrecem até terem seis colunas diferentes chamadas «salary», os armazéns carregam gíria local, e as consultas reais juntam duas ou três tabelas em vez de uma.
O que isto significa
A distância entre 90% num banco de ensaio público e 10% num armazém real não é um problema de modelo que a versão seguinte resolva; é a forma que os dados empresariais têm de facto. A razão por que o teu posto sobreviveu aos três últimos produtos de texto para SQL está escrita aqui: o esquema apodrecido, o jargão local, o facto de haver seis colunas chamadas salário e só tu saberes qual é qual. Esse saber é o posto, mais do que o SQL o é.
O que ainda não mostra
Um banco de ensaio, quatro armazéns, e os autores vendem uma alternativa. Aqui nada diz que uma empresa tenha ficado com os seus analistas nem que tenha deixado de comprar estas ferramentas: muito software é comprado pelo número dos 90%. O resultado também pode não valer para todos os armazéns: as razões apresentadas são estruturais, por isso um esquema limpo com consultas simples e pouco jargão local é um caso diferente.
O que podes verificar
Faz o teste no teu próprio armazém em vez de confiares em qualquer um dos dois números. Pega em dez perguntas reais dos pedidos do trimestre passado, dá a um modelo o teu esquema e mais nada, e compara o SQL com o que de facto entregaste. Conta quantas acertou sem lhe dizerem que tabelas usar. Esse número é a tua segurança no emprego, medida, e é também a lista de coisas que vale a pena documentar se sair alto.
Muda a avaliação?
Não. O índice de impacto nunca é movido por um único facto. Dos 2 juízos ligados em cima, 1 passaram de inferência a prova com este registo; os outros 1 já se apoiavam em prova anterior.
Fonte
BLOG@CACM (Stonebraker & Chen, MIT) · verificado 2026-09-11 · Claude (CTO/COO) — source read in full 2026-09-11 · interpretado 2026-10-16 · Claude (COO), interpretation audit 2026-10-16
Fonte primária: publicada pela parte que fez isto, ou pela autoridade de referência. Não precisa de coassinatura.
Este registo é citado em