Engenheiro de aprendizagem automática

Escolher uma arquitetura, treiná-la com os teus dados, afiná-la até os números mexerem.

Construir o conjunto de teste, escolher a métrica, e dizer se esta coisa já pode ser usada em pessoas reais.

Recolher, etiquetar, limpar e decidir o que deixar de fora — e reparar quando os dados dizem algo diferente do mundo.

Desvio, uma entrada que mudou a montante, um padrão sazonal que os dados de treino nunca viram — e a decisão de voltar a treinar, reverter, ou desligar.

Desenhar à mão, a partir do conhecimento do domínio, os sinais derivados de que um modelo aprende.

Explicar uma decisão que o sistema tomou sobre alguém, mostrar que as entradas eram adequadas ao fim, e ser a pessoa com nome quando isso é contestado.

Setenta e cinco competições do Kaggle de engenharia de aprendizagem automática — treinar modelos, preparar conjuntos de dados, correr experiências — classificadas contra as marcas humanas da tabela pública de cada competição, por isso a comparação é com as pessoas que de facto participaram. A montagem com melhor desempenho à data (o o1-preview com o andaime AIDE) chegou pelo menos ao bronze em 16,9% das competições; os autores indicam também que escalar os recursos e a contaminação do pré-treino mudam ambos o número, e o teste é de código aberto, por isso qualquer pessoa o pode voltar a correr num modelo mais recente. Dois limites são estruturais e não acidentais: uma competição do Kaggle chega com o problema já enquadrado, a métrica já escolhida e os dados já recolhidos, que é exatamente a parte deste trabalho que o teste não consegue medir de todo; e a OpenAI construiu o teste e vende modelos medidos por ele.

Uma demonstração, um referencial ou um artigo mostram que a tarefa pode ser feita. Atualiza o que a tecnologia consegue fazer, não o que as empresas vão fazer.

Quase tudo o que um curso ensina — arquiteturas, afinação, desenho de características — é a parte que esta página assinala como deslocada, e uma delas foi deslocada antes de tu começares a estudar. A parte rara é aquela para que os cursos não conseguem facilmente marcar trabalhos: construir um teste que o modelo ainda não tenha visto, e dizer em voz alta que algo ainda não é bom que chegue. Chega-te a um sistema que esteja a correr sobre pessoas reais, mesmo que pequeno, mais cedo do que parece razoável.

Se o teu valor era saber a que modelo deitar a mão, esse conhecimento depreciou depressa e continua a depreciar. Se é saber como este domínio se parte — quanto custa aqui uma resposta errada, que entradas faltam, o que significa um número plausível quando a população mudou — essa é a metade que ficou mais rara, porque a coisa a julgar ficou mais difícil de julgar. A versão incómoda: boa parte das contratações recentes da área foi de gente que sabe chamar bem uma API, que é outro trabalho com outro teto.

Ficar e reforçar-te

Ser dono do instrumento de medida

Quando o modelo é comprado, a avaliação é a única coisa que resta que seja tua — e um conjunto de teste construído a partir das tuas próprias falhas não é algo que um fornecedor possa fornecer.

Refazer o posto

Ir para onde não se consegue comprar um modelo

Domínios estreitos, dados proprietários, orçamentos de latência apertados, e contextos em que uma entrada inexplicável não é permitida — em todos eles o substituto comprável não existe, e o conjunto de competências clássico continua a ser o conjunto de competências.

Movimento lateral

Assumir a obrigação antes de ta atribuírem

Estão a ligar-se deveres aos sistemas aprendidos que são usados sobre pessoas, e eles exigem alguém que consiga mostrar o que o modelo consumiu e porque é que isso era adequado ao fim. Na maioria das equipas essa pessoa ainda não existe.

Aqui as partes movem-se em sentidos opostos, coisa que um único número esconderia. Treinar um modelo à medida foi deslocado para uma fatia grande dos problemas, e não por uma máquina ter aprendido a fazê-lo — por o produto se ter tornado comprável, que é um género reversível de deslocação. Julgar se um sistema aprendido é bom que chegue tornou-se ao mesmo tempo mais difícil e mais raro. Um sinal que consegues verificar: dos teus três últimos trabalhos, quantos acabaram num modelo treinado e quantos num juízo sobre um que outro treinou. O segundo número é a direção em que o lugar está a ir.

Parte dele, e vale a pena ser preciso sobre que parte, porque o mecanismo é invulgar. O que desapareceu foi o artefacto à medida, e não uma capacidade humana: o teu problema tem agora um substituto comprável. Esse género de perda inverte-se — o preço, a licença, o limite de uso ou a capacidade de um fornecedor mexem e o trabalho volta — o que não é verdade para trabalho que uma máquina aprendeu mesmo a executar. O que não desapareceu foi saber se o substituto está mesmo a funcionar no teu problema, e isso ficou mais difícil exatamente no mesmo movimento.

Pôr a questão como uma escolha entre dois conjuntos de competências é o que a torna difícil de responder. A posição duradoura em ambos é a mesma: ser a pessoa em cujo juízo sobre se a coisa funciona se confia. O que difere é o preço de entrada — construir por cima quase não tem nenhum neste momento, e é por isso que essa faixa está cheia e que o teto nela é fixado por conseguires ou não distinguir um bom resultado de um plausível. Se só conseguires fazer uma coisa bem, faz a de julgar.

A procura e a exposição são perguntas diferentes e esta página só responde à segunda, coisa que vale a pena dizer porque são confundidas com frequência. A observação honesta é que o título cobre agora dois trabalhos com tetos diferentes — um que treina e avalia sistemas, e outro que monta aplicações sobre um modelo comprado — e os anúncios raramente os distinguem. Antes de aceitares um lugar, pergunta o que a equipa lançou no trimestre passado e se alguém construiu um conjunto de teste para isso. A resposta diz-te qual dos dois trabalhos o título significa ali.