# A OpenAI construiu um teste de referência com 75 competições do Kaggle para medir agentes em engenharia de aprendizagem automática; a melhor montagem chegou a nível de medalha de bronze em 16,9% delas

Página: https://flyvolo.ai/pt/changes/ev-20241009-machine-learning-engineer-1
Data: 2024-10-09 · Fase: Capacidade técnica
Este registo pode alterar um juízo sobre uma tarefa? não
Profissão: https://flyvolo.ai/pt/careers/machine-learning-engineer

## Âmbito

Setenta e cinco competições do Kaggle de engenharia de aprendizagem automática — treinar modelos, preparar conjuntos de dados, correr experiências — classificadas contra as marcas humanas da tabela pública de cada competição, por isso a comparação é com as pessoas que de facto participaram. A montagem com melhor desempenho à data (o o1-preview com o andaime AIDE) chegou pelo menos ao bronze em 16,9% das competições; os autores indicam também que escalar os recursos e a contaminação do pré-treino mudam ambos o número, e o teste é de código aberto, por isso qualquer pessoa o pode voltar a correr num modelo mais recente. Dois limites são estruturais e não acidentais: uma competição do Kaggle chega com o problema já enquadrado, a métrica já escolhida e os dados já recolhidos, que é exatamente a parte deste trabalho que o teste não consegue medir de todo; e a OpenAI construiu o teste e vende modelos medidos por ele.

## Fonte

- MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering (OpenAI, arXiv:2410.07095) — https://arxiv.org/abs/2410.07095 (fonte primária)

## O que isto significa

Já existe uma medição pública e repetível da parte deste posto que mais se parece com um concurso: um problema enquadrado, uma métrica escolhida, um conjunto de dados preparado, e uma classificação de participantes reais contra quem perder. Nessa parte, no final de 2024 os agentes chegavam a nível de bronze em cerca de uma competição em cada seis, e o banco de ensaio é aberto, por isso o número mexe-se em público e não no diapositivo de um fornecedor.

## O que ainda não demonstra

O bronze numa competição não é um modelo em produção, e o banco de ensaio não consegue ver os passos que decidem se um lá chega: quem enquadrou a pergunta, porquê esta métrica e não a outra, se os dados de treino podem ser usados assim, e o que acontece no dia em que a distribuição muda. O número também nada diz sobre contratação. Lê a data ao lado dele: é uma medição de uma geração de modelos, e os próprios autores assinalam a contaminação do pré-treino como algo que a move.

## Como o verificar por si

Pega no último modelo que puseste em produção e escreve quem escolheu a métrica pela qual ele é avaliado. Se essa pessoa foste tu, a parte do teu posto que este banco testa não é a parte por que te pagam. Se foi outra pessoa, vale a pena perguntar-lhe como a escolheu.


Mais: https://flyvolo.ai/llms.txt