# Em 632 fluxos de trabalho de dados de empresa retirados de armazéns reais, um agente de código resolveu 21,3% — contra 91,2% no benchmark académico anterior, Spider 1.0

Página: https://flyvolo.ai/pt/changes/ev-20241112-data-engineer-1
Data: 2024-11-12 · Fase: Restrição
Este registo pode alterar um juízo sobre uma tarefa? sim
Profissão: https://flyvolo.ai/pt/careers/data-engineer

## Âmbito

632 problemas construídos a partir de aplicações de dados reais em BigQuery e Snowflake, com bases que muitas vezes passam as 1.000 colunas. O que os torna difíceis é dito pelos autores e é exatamente o ambiente diário desta profissão: a resposta exige procurar nos metadados da base e na documentação do dialeto, ler o próprio código do projeto, segurar um contexto muito longo, e emitir várias consultas em dialetos diferentes que frequentemente passam das 100 linhas. Os 21,3% são uma arquitetura de agente sobre o o1-preview no final de 2024 e vão ficar desatualizados; a conclusão duradoura é a distância para os 91,2% no Spider 1.0 e os 73,0% no BIRD, que é uma medição de quanta dificuldade vive no armazém e não no SQL. Nada diz sobre emprego, e nada sobre pipelines que são construídos em vez de consultados — testa produzir a consulta, e não operar o sistema que a continua a produzir.

## Fonte

- Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows (arXiv:2411.07763) — https://arxiv.org/abs/2411.07763 (fonte primária)

## O que isto significa

A dificuldade deste posto é mensurável e a maior parte dela não está no SQL. Quando a mesma classe de tarefa é colocada sobre um armazém real (mil colunas, vários dialetos, documentação para procurar, uma base de código para ler) a taxa de acerto cai de cerca de nove em dez para cerca de dois em dez. Essa distância é um número para aquilo que a gente de dados diz e em que quase nunca é acreditada: a consulta é a parte fácil, e saber qual é a tabela certa é o posto.

## O que ainda não demonstra

A pontuação de um banco de ensaio não é a decisão de uma entidade patronal, e uma pontuação baixa não é segurança. O número é de um só enquadramento de agentes sobre uma geração de modelos no final de 2024 e há que assumir que mexeu; o que não se move tão depressa é a razão por que era baixo. Além disso testa produzir uma consulta correta, que é apenas uma das tarefas desta ocupação: aqui nada incide sobre construir uma conduta, sobre o que acontece quando o esquema de origem muda, ou sobre quem é chamado quando os números deixam de chegar.

## Como o verificar por si

Escolhe um número pelo qual a tua empresa se guie e segue-o para trás até às tabelas a partir das quais é calculado. Conta quantas das decisões pelo caminho estão escritas nalgum sítio. Essa contagem, e não o SQL, é o que uma ferramenta teria de reproduzir.


Mais: https://flyvolo.ai/llms.txt