# En Beaver, un banco de pruebas de texto a SQL construido con registros reales de consultas de almacenes corporativos, un LLM a secas sacó cero y un montaje agéntico llegó al 10% aproximadamente, frente al 80-90% y más en los bancos de pruebas públicos

Página: https://flyvolo.ai/es/changes/ev-20260720-data-analyst-2
Fecha: 2026-07-20 · Etapa: Restricción
¿Puede este registro mover un juicio sobre una tarea? sí
Ocupación: https://flyvolo.ai/es/careers/data-analyst

## Alcance

Escrito por los autores del banco de pruebas, que además tienen un sistema competidor (Rubicon) que promocionar — así que la parte interesada aquí sostiene que los bancos de pruebas fáciles están mal. La afirmación de fondo es comprobable: Beaver está construido con registros reales de consultas del almacén Oracle de 1.400 tablas del MIT y de otros tres, y su clasificación es pública. Las cuatro razones que dan son estructurales y no van sobre la calidad del modelo — los datos de los bancos públicos están en el corpus de entrenamiento, los esquemas reales se pudren hasta tener seis columnas distintas llamadas «salary», los almacenes arrastran jerga local, y las consultas reales unen dos o tres tablas en vez de una.

## Fuente

- BLOG@CACM (Stonebraker & Chen, MIT) — https://cacm.acm.org/blogcacm/if-you-think-you-can-do-real-world-text-to-sql (fuente primaria)

## Qué significa esto

La distancia entre un 90% en un banco de pruebas público y un 10% en un almacén real no es un problema de modelo que arregle la siguiente versión; es la forma que tienen los datos corporativos de verdad. La razón por la que tu puesto sobrevivió a los tres últimos productos de texto a SQL está escrita aquí: el esquema podrido, la jerga local, el hecho de que hay seis columnas que se llaman salario y solo tú sabes cuál es cuál. Ese conocimiento es el puesto, más de lo que lo es el SQL.

## Lo que todavía no demuestra

Un banco de pruebas, cuatro almacenes, y los autores venden una alternativa. Aquí nada dice que una empresa conservara a sus analistas ni que dejara de comprar estas herramientas: mucho software se compra por la cifra del 90%. Puede que el resultado tampoco valga para todos los almacenes: las razones que se dan son estructurales, así que un esquema limpio con consultas sencillas y poca jerga local es un caso distinto.

## Cómo comprobarlo por tu cuenta

Haz la prueba en tu propio almacén en vez de fiarte de ninguna de las dos cifras. Coge diez preguntas reales de las peticiones del trimestre pasado, dale a un modelo tu esquema y nada más, y compara el SQL con lo que de verdad entregaste. Cuenta cuántas acertó sin que le dijeran qué tablas usar. Esa cifra es tu seguridad laboral, medida, y es también la lista de cosas que merece la pena documentar si sale alta.


Más: https://flyvolo.ai/llms.txt