LO
Capacidade técnicaAutomatização cognitiva2024-10-09
A OpenAI construiu um teste de referência com 75 competições do Kaggle para medir agentes em engenharia de aprendizagem automática; a melhor montagem chegou a nível de medalha de bronze em 16,9% delas
Engenheiro de aprendizagem automáticapágina da profissão →
Data do facto / publicação
2024-10-09
Categoria da prova
Capacidade técnicaUma demonstração, um referencial ou um artigo mostram que a tarefa pode ser feita. Atualiza o que a tecnologia consegue fazer, não o que as empresas vão fazer.
Tarefas sobre as quais incide
Construir um modelo para o problema
Escolher uma arquitetura, treiná-la com os teus dados, afiná-la até os números mexerem.
A automatizar-se≈ Inferência da plataforma
Decidir o que conta como bom que chegue
Construir o conjunto de teste, escolher a métrica, e dizer se esta coisa já pode ser usada em pessoas reais.
Continua a ser levada por uma pessoa≈ Inferência da plataforma
Onde é que isto se aplica
Setenta e cinco competições do Kaggle de engenharia de aprendizagem automática — treinar modelos, preparar conjuntos de dados, correr experiências — classificadas contra as marcas humanas da tabela pública de cada competição, por isso a comparação é com as pessoas que de facto participaram. A montagem com melhor desempenho à data (o o1-preview com o andaime AIDE) chegou pelo menos ao bronze em 16,9% das competições; os autores indicam também que escalar os recursos e a contaminação do pré-treino mudam ambos o número, e o teste é de código aberto, por isso qualquer pessoa o pode voltar a correr num modelo mais recente. Dois limites são estruturais e não acidentais: uma competição do Kaggle chega com o problema já enquadrado, a métrica já escolhida e os dados já recolhidos, que é exatamente a parte deste trabalho que o teste não consegue medir de todo; e a OpenAI construiu o teste e vende modelos medidos por ele.
O que isto significa
Já existe uma medição pública e repetível da parte deste posto que mais se parece com um concurso: um problema enquadrado, uma métrica escolhida, um conjunto de dados preparado, e uma classificação de participantes reais contra quem perder. Nessa parte, no final de 2024 os agentes chegavam a nível de bronze em cerca de uma competição em cada seis, e o banco de ensaio é aberto, por isso o número mexe-se em público e não no diapositivo de um fornecedor.
O que ainda não mostra
O bronze numa competição não é um modelo em produção, e o banco de ensaio não consegue ver os passos que decidem se um lá chega: quem enquadrou a pergunta, porquê esta métrica e não a outra, se os dados de treino podem ser usados assim, e o que acontece no dia em que a distribuição muda. O número também nada diz sobre contratação. Lê a data ao lado dele: é uma medição de uma geração de modelos, e os próprios autores assinalam a contaminação do pré-treino como algo que a move.
O que podes verificar
Pega no último modelo que puseste em produção e escreve quem escolheu a métrica pela qual ele é avaliado. Se essa pessoa foste tu, a parte do teu posto que este banco testa não é a parte por que te pagam. Se foi outra pessoa, vale a pena perguntar-lhe como a escolheu.
Muda a avaliação?
Não, e esta categoria também não o move. Um registo de «Capacidade técnica» é prova a sério, mas por si só não sobe um juízo de tarefa. 2 juízos ligados em cima ficam onde estavam.
Fonte
MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering (OpenAI, arXiv:2410.07095) · verificado 2026-09-12 · Claude (VOLO agent) — arXiv abstract page read; the 75-competition count, the 16.9% bronze figure and the AIDE/o1-preview pairing taken from the authors' own abstract · interpretado 2026-09-12 · Claude (VOLO agent)
Fonte primária: publicada pela parte que fez isto, ou pela autoridade de referência. Não precisa de coassinatura.