# No Beaver, um teste de referência de texto para SQL construído a partir de registos reais de consultas de armazéns de dados de empresas, um LLM simples teve zero e uma montagem agêntica chegou a cerca de 10%, contra 80-90% e mais nos testes públicos

Página: https://flyvolo.ai/pt/changes/ev-20260720-data-analyst-2
Data: 2026-07-20 · Fase: Restrição
Este registo pode alterar um juízo sobre uma tarefa? sim
Profissão: https://flyvolo.ai/pt/careers/data-analyst

## Âmbito

Escrito pelos autores do teste de referência, que têm também um sistema concorrente (Rubicon) para promover — por isso a parte interessada aqui está a argumentar que os testes fáceis estão errados. A afirmação de fundo é verificável: o Beaver é construído a partir de registos reais de consultas do armazém Oracle de 1.400 tabelas do MIT e de outros três, e a sua tabela classificativa é pública. As quatro razões apresentadas são estruturais e não sobre a qualidade do modelo — os dados dos testes públicos estão no corpus de treino, os esquemas reais apodrecem até terem seis colunas diferentes chamadas «salary», os armazéns carregam gíria local, e as consultas reais juntam duas ou três tabelas em vez de uma.

## Fonte

- BLOG@CACM (Stonebraker & Chen, MIT) — https://cacm.acm.org/blogcacm/if-you-think-you-can-do-real-world-text-to-sql (fonte primária)

## O que isto significa

A distância entre 90% num banco de ensaio público e 10% num armazém real não é um problema de modelo que a versão seguinte resolva; é a forma que os dados empresariais têm de facto. A razão por que o teu posto sobreviveu aos três últimos produtos de texto para SQL está escrita aqui: o esquema apodrecido, o jargão local, o facto de haver seis colunas chamadas salário e só tu saberes qual é qual. Esse saber é o posto, mais do que o SQL o é.

## O que ainda não demonstra

Um banco de ensaio, quatro armazéns, e os autores vendem uma alternativa. Aqui nada diz que uma empresa tenha ficado com os seus analistas nem que tenha deixado de comprar estas ferramentas: muito software é comprado pelo número dos 90%. O resultado também pode não valer para todos os armazéns: as razões apresentadas são estruturais, por isso um esquema limpo com consultas simples e pouco jargão local é um caso diferente.

## Como o verificar por si

Faz o teste no teu próprio armazém em vez de confiares em qualquer um dos dois números. Pega em dez perguntas reais dos pedidos do trimestre passado, dá a um modelo o teu esquema e mais nada, e compara o SQL com o que de facto entregaste. Conta quantas acertou sem lhe dizerem que tabelas usar. Esse número é a tua segurança no emprego, medida, e é também a lista de coisas que vale a pena documentar se sair alto.


Mais: https://flyvolo.ai/llms.txt