LO
Capacidade técnicaAutomatização cognitiva2024-02-27
O modelo mais forte atingiu 58% de exatidão em perguntas de raciocínio estatístico e causal baseadas em dados e teve dificuldade em combinar conhecimento causal com dados, concluiu o teste de referência QRData
Estatísticopágina da profissão →
Data do facto / publicação
2024-02-27
Categoria da prova
Capacidade técnicaUma demonstração, um referencial ou um artigo mostram que a tarefa pode ser feita. Atualiza o que a tecnologia consegue fazer, não o que as empresas vão fazer.
Tarefas sobre as quais incide
Análise e modelação estatística
Estimar, modelar e testar, e julgar o que os dados permitem e não permitem sustentar.
Aumentada pela máquina✓ Com prova
Onde é que isto se aplica
Um teste de referência académico de 411 perguntas com folhas de dados tiradas de manuais, materiais de aprendizagem em linha e artigos científicos, que avalia o raciocínio estatístico e causal. O modelo mais forte, o GPT-4, atingiu 58 por cento de exatidão; os modelos tiveram dificuldade com a análise de dados e o raciocínio causal e com usar em conjunto o conhecimento causal e os dados fornecidos. Testa modelos da geração de 2024 em perguntas ao estilo de manual, não o trabalho de estatísticos.
O que isto significa
Os modelos generalistas ainda erram muitas perguntas estatísticas e causais quando têm de trabalhar a partir de dados.
O que ainda não mostra
Um teste de referência de 2024 com perguntas ao estilo de manual; modelos mais recentes podem ter melhores resultados.
O que podes verificar
Abre o arXiv:2402.17644 e procura «achieves an accuracy of 58%».
Muda a avaliação?
Não, e esta categoria também não o move. Um registo de «Capacidade técnica» é prova a sério, mas por si só não sobe um juízo de tarefa. 1 juízo ligado em cima ficam onde estavam.
Fonte
Liu et al. — Are LLMs Capable of Data-based Statistical and Causal Reasoning? Benchmarking Advanced Quantitative Reasoning with Data (QRData), arXiv 2402.17644 (submitted 27 Feb 2024) · verificado 2026-10-01 · Claude (VOLO agent) · interpretado 2026-10-01 · Claude (VOLO agent)
Fonte primária: publicada pela parte que fez isto, ou pela autoridade de referência. Não precisa de coassinatura.