En Beaver, un banco de pruebas de texto a SQL construido con registros reales de consultas de almacenes corporativos, un LLM a secas sacó cero y un montaje agéntico llegó al 10% aproximadamente, frente al 80-90% y más en los bancos de pruebas públicos

Fecha del hecho / publicación

Categoría de la evidencia

Tareas sobre las que incide

Dónde aplica esto

Escrito por los autores del banco de pruebas, que además tienen un sistema competidor (Rubicon) que promocionar — así que la parte interesada aquí sostiene que los bancos de pruebas fáciles están mal. La afirmación de fondo es comprobable: Beaver está construido con registros reales de consultas del almacén Oracle de 1.400 tablas del MIT y de otros tres, y su clasificación es pública. Las cuatro razones que dan son estructurales y no van sobre la calidad del modelo — los datos de los bancos públicos están en el corpus de entrenamiento, los esquemas reales se pudren hasta tener seis columnas distintas llamadas «salary», los almacenes arrastran jerga local, y las consultas reales unen dos o tres tablas en vez de una.

Qué significa esto

Qué no muestra todavía

Un banco de pruebas, cuatro almacenes, y los autores venden una alternativa. Aquí nada dice que una empresa conservara a sus analistas ni que dejara de comprar estas herramientas: mucho software se compra por la cifra del 90%. Puede que el resultado tampoco valga para todos los almacenes: las razones que se dan son estructurales, así que un esquema limpio con consultas sencillas y poca jerga local es un caso distinto.

Qué puedes comprobar

¿Cambia la evaluación?

Fuente