LO
RestriçãoAutomatização cognitiva2024-11-12
Em 632 fluxos de trabalho de dados de empresa retirados de armazéns reais, um agente de código resolveu 21,3% — contra 91,2% no benchmark académico anterior, Spider 1.0
Engenheiro de dadospágina da profissão →
Data do facto / publicação
2024-11-12
Categoria da prova
RestriçãoUma falha, um recuo, uma regulação ou um custo estão a travar a adoção. Pode baixar uma avaliação ou alargar a sua incerteza.
Tarefas sobre as quais incide
Construir o pipeline
Extrair de uma fonte, remodelar, carregar num sítio consultável, e agendar o conjunto todo.
A automatizar-se✓ Com prova
Ser dono do que um número significa
Definir utilizador ativo, receita, abandono — e segurar essa definição quando duas equipas querem que signifique coisas diferentes.
Continua a ser levada por uma pessoa✓ Com prova
Onde é que isto se aplica
632 problemas construídos a partir de aplicações de dados reais em BigQuery e Snowflake, com bases que muitas vezes passam as 1.000 colunas. O que os torna difíceis é dito pelos autores e é exatamente o ambiente diário desta profissão: a resposta exige procurar nos metadados da base e na documentação do dialeto, ler o próprio código do projeto, segurar um contexto muito longo, e emitir várias consultas em dialetos diferentes que frequentemente passam das 100 linhas. Os 21,3% são uma arquitetura de agente sobre o o1-preview no final de 2024 e vão ficar desatualizados; a conclusão duradoura é a distância para os 91,2% no Spider 1.0 e os 73,0% no BIRD, que é uma medição de quanta dificuldade vive no armazém e não no SQL. Nada diz sobre emprego, e nada sobre pipelines que são construídos em vez de consultados — testa produzir a consulta, e não operar o sistema que a continua a produzir.
O que isto significa
A dificuldade deste posto é mensurável e a maior parte dela não está no SQL. Quando a mesma classe de tarefa é colocada sobre um armazém real (mil colunas, vários dialetos, documentação para procurar, uma base de código para ler) a taxa de acerto cai de cerca de nove em dez para cerca de dois em dez. Essa distância é um número para aquilo que a gente de dados diz e em que quase nunca é acreditada: a consulta é a parte fácil, e saber qual é a tabela certa é o posto.
O que ainda não mostra
A pontuação de um banco de ensaio não é a decisão de uma entidade patronal, e uma pontuação baixa não é segurança. O número é de um só enquadramento de agentes sobre uma geração de modelos no final de 2024 e há que assumir que mexeu; o que não se move tão depressa é a razão por que era baixo. Além disso testa produzir uma consulta correta, que é apenas uma das tarefas desta ocupação: aqui nada incide sobre construir uma conduta, sobre o que acontece quando o esquema de origem muda, ou sobre quem é chamado quando os números deixam de chegar.
O que podes verificar
Escolhe um número pelo qual a tua empresa se guie e segue-o para trás até às tabelas a partir das quais é calculado. Conta quantas das decisões pelo caminho estão escritas nalgum sítio. Essa contagem, e não o SQL, é o que uma ferramenta teria de reproduzir.
Muda a avaliação?
Não. O índice de impacto nunca é movido por um único facto. O que este registo fez: 2 juízos de tarefa ligados em cima apoiam-se agora em prova em vez de em inferência.
Fonte
Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows (arXiv:2411.07763) · verificado 2026-09-12 · Claude (VOLO agent) — arXiv abstract page read; the 632-problem count, the 1,000-column note and the 21.3% / 91.2% / 73.0% comparison taken from the authors' own abstract · interpretado 2026-09-12 · Claude (VOLO agent)
Fonte primária: publicada pela parte que fez isto, ou pela autoridade de referência. Não precisa de coassinatura.
Este registo é citado em