# Sur Beaver, un banc d'essai de langue naturelle vers SQL construit à partir de vrais journaux de requêtes d'entrepôts d'entreprise, un modèle de langue seul a obtenu zéro et un montage agentique a atteint environ 10 %, contre plus de 80 à 90 % sur les bancs d'essai publics

Page: https://flyvolo.ai/fr/changes/ev-20260720-data-analyst-2
Date: 2026-07-20 · Étape: Contrainte
Ce relevé peut-il faire évoluer un jugement sur une tâche ? oui
Métier: https://flyvolo.ai/fr/careers/data-analyst

## Périmètre

Rédigé par les auteurs du banc d'essai, qui ont aussi un système concurrent (Rubicon) à promouvoir — la partie intéressée soutient ici que les bancs d'essai faciles ont tort. L'affirmation de fond est vérifiable : Beaver est construit à partir de vrais journaux de requêtes de l'entrepôt Oracle de 1 400 tables du MIT et de trois autres, et son classement est public. Les quatre raisons données sont structurelles plutôt que liées à la qualité des modèles — les données des bancs d'essai publics sont dans le corpus d'entraînement, les vrais schémas pourrissent en six colonnes différentes nommées « salary », les entrepôts portent un jargon local, et les vraies requêtes joignent deux ou trois tables plutôt qu'une.

## Source

- BLOG@CACM (Stonebraker & Chen, MIT) — https://cacm.acm.org/blogcacm/if-you-think-you-can-do-real-world-text-to-sql (source primaire)

## Ce que cela veut dire

L'écart entre 90 % sur un banc d'essai public et 10 % sur un vrai entrepôt n'est pas un problème de modèle que la prochaine version corrige ; c'est la forme des données réelles d'entreprise. La raison pour laquelle votre métier a survécu aux trois derniers produits de langue naturelle vers SQL est écrite ici : le pourrissement du schéma, le jargon local, le fait que six colonnes s'appellent salary et que vous seul savez laquelle est laquelle. Ce savoir est le métier — davantage que le SQL ne l'est.

## Ce qu’il ne montre pas encore

Un banc d'essai, quatre entrepôts, et les auteurs vendent une solution de rechange. Rien ici ne dit qu'une entreprise a gardé ses analystes ou a cessé d'acheter ces outils — beaucoup de logiciels s'achètent sur le chiffre de 90 %. Le résultat peut aussi ne pas valoir pour tout entrepôt : les raisons avancées sont structurelles, donc un schéma propre avec des requêtes simples et peu de jargon local est un cas différent.

## Comment le vérifier vous-même

Faites le test sur votre propre entrepôt au lieu de croire l'un ou l'autre chiffre. Prenez dix vraies questions parmi les demandes du trimestre dernier, donnez à un modèle votre schéma et rien d'autre, et comparez le SQL à ce que vous avez réellement livré. Comptez combien il a réussi sans qu'on lui dise quelles tables utiliser. Ce chiffre est votre sécurité d'emploi, mesurée, et c'est aussi la liste de ce qui mérite d'être documenté s'il ressort élevé.


Plus : https://flyvolo.ai/llms.txt