LO
Capacidade técnicaAutomatização cognitiva2024-10-09
Os melhores modelos de linguagem chegaram a apenas 30,5% de exatidão no DA-Code, um teste de referência de tarefas de programação de ciência de dados feitas por agentes
Cientista de dadospágina da profissão →
Data do facto / publicação
2024-10-09
Categoria da prova
Capacidade técnicaUma demonstração, um referencial ou um artigo mostram que a tarefa pode ser feita. Atualiza o que a tecnologia consegue fazer, não o que as empresas vão fazer.
Tarefas sobre as quais incide
Construir e validar o modelo
Escolher uma abordagem, ajustá-la e afiná-la, e verificar que se aguenta em dados que não viu.
Aumentada pela máquina≈ Inferência da plataforma
Onde é que isto se aplica
Um teste de referência académico de tarefas de programação de ciência de dados que exigem que um agente trabalhe com dados reais e escreva código, incluindo tratamento e análise de dados. Relata que, com o seu agente de base, os melhores modelos de linguagem atuais atingem apenas 30,5% de exatidão, deixando ampla margem para melhorias. Testa modelos de 2024 em tarefas concebidas para o efeito.
O que isto significa
Escrever o código de ciência de dados é onde os agentes são mais capazes, e mesmo assim erram a maioria das tarefas neste teste de referência. O papel do cientista de dados desloca-se para dirigir e verificar código gerado.
O que ainda não mostra
Um teste de referência de 2024 em tarefas concebidas para o efeito; modelos mais recentes podem pontuar mais alto, e não mede projetos reais.
O que podes verificar
Abre o arXiv 2410.07331 (DA-Code) e procura «achieves only 30.5% accuracy».
Muda a avaliação?
Não, e esta categoria também não o move. Um registo de «Capacidade técnica» é prova a sério, mas por si só não sobe um juízo de tarefa. 1 juízo ligado em cima ficam onde estavam.
Fonte
Huang et al. — DA-Code: Agent Data Science Code Generation Benchmark for Large Language Models, arXiv 2410.07331 (submitted 9 Oct 2024; EMNLP 2024) · verificado 2026-09-29 · Claude (VOLO agent) · interpretado 2026-09-29 · Claude (VOLO agent)
Fonte primária: publicada pela parte que fez isto, ou pela autoridade de referência. Não precisa de coassinatura.