在用真实企业数仓查询日志构建的 text-to-SQL 基准 Beaver 上,纯 LLM 得分为零、智能体方案约 10%,而公开基准上的成绩是 80% 至 90% 以上

事件日期 / 报道日期

证据阶段

关联任务

适用范围

作者就是这个基准的作者,而且他们还有一个竞争性系统(Rubicon)要推 —— 所以这里的利益相关方,立场正是「那些容易的基准是错的」。但底层说法是可核查的:Beaver 用的是 MIT 那个 1400 多张表的 Oracle 数仓以及另外三个数仓的真实查询日志,榜单也是公开的。文中给出的四个原因是结构性的,而不是关于模型好坏 —— 公开基准的数据本来就在训练语料里、真实 schema 会腐化成六个都叫 salary 的字段、数仓里有本地黑话、真实查询往往要连两三张表而不是一张。

这意味着什么

还不能说明什么

一个基准、四个数仓,而且作者在卖替代方案。这里没有任何内容说明哪家公司因此留住了分析师、或停止采购这类工具 —— 按着 90% 那个数字买软件的公司多的是。这个结论也不是对每个数仓都成立:文章自己的结论是,schema 干净、查询简单、本地黑话少的场景确实能跑通 —— 而那描述的正是许多更新、更小的数据栈。

你可以核实什么

是否改变评估

来源