# Sobre 632 flujos de trabajo de datos de empresa sacados de almacenes reales, un agente de código resolvió el 21,3% — frente al 91,2% en el benchmark académico anterior, Spider 1.0 Página: https://flyvolo.ai/es/changes/ev-20241112-data-engineer-1 Fecha: 2024-11-12 · Etapa: Restricción ¿Puede este registro mover un juicio sobre una tarea? sí Ocupación: https://flyvolo.ai/es/careers/data-engineer ## Alcance 632 problemas construidos a partir de aplicaciones de datos reales sobre BigQuery y Snowflake, con bases que a menudo superan las 1.000 columnas. Lo que los hace difíciles lo dicen los autores y es exactamente el entorno diario de esta ocupación: la respuesta exige buscar en los metadatos de la base y en la documentación del dialecto, leer el propio código del proyecto, sostener un contexto muy largo, y emitir varias consultas en dialectos distintos que con frecuencia pasan de las 100 líneas. El 21,3% es un marco de agente sobre o1-preview a finales de 2024 y quedará desfasado; el hallazgo duradero es la distancia hasta el 91,2% en Spider 1.0 y el 73,0% en BIRD, que es una medición de cuánta dificultad vive en el almacén y no en el SQL. No dice nada sobre empleo, ni nada sobre canalizaciones que se construyen en vez de consultarse — mide producir la consulta, no operar el sistema que la sigue produciendo. ## Fuente - Spider 2.0: Evaluating Language Models on Real-World Enterprise Text-to-SQL Workflows (arXiv:2411.07763) — https://arxiv.org/abs/2411.07763 (fuente primaria) ## Qué significa esto La dificultad de este puesto es medible y la mayor parte de ella no está en el SQL. Cuando la misma clase de tarea se plantea sobre un almacén real (mil columnas, varios dialectos, documentación que buscar, una base de código que leer) la tasa de acierto cae de alrededor de nueve de cada diez a alrededor de dos de cada diez. Esa distancia es una cifra para lo que la gente de datos dice y casi nunca se le cree: la consulta es la parte fácil, y saber cuál es la tabla buena es el puesto. ## Lo que todavía no demuestra La puntuación de un banco de pruebas no es la decisión de un empleador, y una puntuación baja no es seguridad. La cifra es de un solo marco de agentes sobre una generación de modelos a finales de 2024 y hay que dar por supuesto que se ha movido; lo que no se mueve tan rápido es por qué era baja. Además prueba producir una consulta correcta, que es solo una de las tareas de esta ocupación: aquí nada incide en construir una tubería, ni en qué pasa cuando cambia el esquema de origen, ni en a quién se llama cuando las cifras dejan de llegar. ## Cómo comprobarlo por tu cuenta Elige una cifra con la que se gobierne tu empresa y síguela hacia atrás hasta las tablas de las que se calcula. Cuenta cuántas de las decisiones del camino están escritas en algún sitio. Ese recuento, y no el SQL, es lo que una herramienta tendría que reproducir. Más: https://flyvolo.ai/llms.txt