LO
Capacidad técnicaAutomatización cognitiva2024-10-09
Los mejores modelos de lenguaje alcanzaron solo un 30,5% de acierto en DA-Code, un banco de pruebas de tareas de programación de ciencia de datos basadas en agentes
Científico de datospágina de la ocupación →
Fecha del hecho / publicación
2024-10-09
Categoría de la evidencia
Capacidad técnicaUna demostración, una prueba de referencia o un artículo muestran que la tarea se puede hacer. Actualiza lo que la tecnología puede hacer, no lo que harán las empresas.
Tareas sobre las que incide
Construir y validar el modelo
Elegir un enfoque, ajustarlo y afinarlo, y comprobar que se sostiene con datos que no ha visto.
Aumentada por la máquina≈ Inferencia de la plataforma
Dónde aplica esto
Un banco de pruebas académico de tareas de programación de ciencia de datos que exigen a un agente trabajar con datos reales y escribir código, incluida la preparación y el análisis. Informa de que, con su agente de referencia, los mejores modelos de lenguaje actuales alcanzan solo un 30,5% de acierto, lo que deja amplio margen de mejora. Evalúa modelos de la época de 2024 en tareas diseñadas.
Qué significa esto
Escribir el código de ciencia de datos es donde los agentes son más capaces, y aun así fallan la mayoría de las tareas de este banco de pruebas. El papel del científico de datos se desplaza hacia dirigir y revisar código generado.
Qué no muestra todavía
Un banco de pruebas de 2024 con tareas diseñadas; los modelos más nuevos pueden puntuar más alto, y no mide proyectos reales.
Qué puedes comprobar
Abre arXiv 2410.07331 (DA-Code) y busca «achieves only 30.5% accuracy».
¿Cambia la evaluación?
No, y esta categoría tampoco lo mueve. Un registro de «Capacidad técnica» es evidencia real, pero por sí solo no sube un juicio de tarea. 1 juicio enlazado de arriba se quedan donde estaban.
Fuente
Huang et al. — DA-Code: Agent Data Science Code Generation Benchmark for Large Language Models, arXiv 2410.07331 (submitted 9 Oct 2024; EMNLP 2024) · verificado 2026-09-29 · Claude (VOLO agent) · interpretado 2026-09-29 · Claude (VOLO agent)
Fuente primaria: publicada por la parte que hizo esto, o por la autoridad de referencia. No necesita cofirma.