LO
Avisa-me quando chegar um registo verificado a esta profissão → · Marque quais destas tarefas são suas (VOLO Pro, gratuito) → · Para uma equipa ou um curso de finalistas →
Engenheiro de dados
Move dados de onde acontecem para onde são perguntados, e é quem descobre primeiro quando as duas coisas deixam de bater certo.
Pega numa métrica de um painel da empresa e pergunta a duas equipas o que significa. Se as respostas diferirem, encontraste o trabalho.
Isto não é uma probabilidade de perder o emprego. Combina que parte da carga de tarefas do posto está exposta à automatização com até onde a adoção chegou de facto: serve para comparar profissões sobre uma base constante, e para mais nada.
Escrito para engenheiros que constroem e operam pipelines, armazéns de dados e os modelos que assentam neles. A página de analista de dados cobre quem consulta o resultado; a engenharia de aprendizagem automática é outro trabalho com página própria. Esta página salda uma dívida: o âmbito da página de analista sempre disse que a engenharia de dados é diferente.
O que está mesmo a mudar#
A unidade de análise é a tarefa, não o nome do posto. Um posto não é substituído: é a mistura de tarefas dele que se move.
Cada quadrado é uma tarefa. O tamanho é o peso que tem no trabalho; a cor, para onde a tarefa está a ir. Clique num quadrado para ver o que esse juízo não estabelece.
O pipeline correr não é o mesmo que os números estarem certos. Construí-lo nunca foi onde o tempo se ia numa equipa de dados madura; mantê-lo verdadeiro é que era.
Um juízo sobre a natureza da falha, não uma medição da frequência com que acontece. Os erros de dados silenciosos não estão quantificados em lado nenhum, em parte porque, por definição, são descobertos tarde ou não são descobertos de todo.
Esse conjunto de referência é sobre consultas e não sobre quem é responsável pelas definições, e os seus 21,3% correspondem a um agente sobre um modelo no final de 2024. Estabelece que os esquemas empresariais derrotam os modelos atuais; não estabelece que alguém esteja a ser contratado para manter a semântica.
Nada diz sobre se os custos estão a subir ou a descer no conjunto, e consultar ser barato tende a aumentar o número de perguntas, o que pode mover a fatura em qualquer sentido.
Os requisitos diferem muito consoante o mercado e o tipo de dados, e o que resolveria esta tarefa seria uma ação de fiscalização que nomeasse a prática de conservação ou de apagamento de uma equipa de dados em vez da empresa como um todo — um regulador a dizer quem devia apagar o quê, e até quando.
Aparecer trabalho novo não é efetivos novos. Na maioria das empresas isto está a ser absorvido por quem já é dono do armazém, e nada aqui diz o contrário.
É este o teu trabalho? Di-lo e esta página estreita-se à tua parte dele.
O nome de um posto é um pacote de tarefas compradas em conjunto, e não há duas pessoas com o mesmo pacote. Não é enviado nada para lado nenhum: fica neste navegador.
Mudanças recentes#
Um regulador, um conjunto de dados, declarado por dever legal. Entrada CFTC-001 no CSV de declaração individual, cujo texto completo são duas frases: um modelo de deteção de anomalias «concebido para identificar carregamentos de dados potencialmente errados nos dados TCR», que usa «um modelo de floresta de isolamento com dados agregados» e «corre automaticamente todos os dias». A entrada não traz data de entrada em produção, nem fornecedor, nem volume, nem explicação do que o modelo apanha ou deixa passar, pelo que a data aqui é a publicação do inventário consolidado (28 de janeiro de 2026) e nada da implementação em si tem data. Estabelece que pelo menos uma equipa de dados entregou a primeira metade desta tarefa, reparar que um carregamento parece errado, a um modelo agendado; nada diz sobre a segunda metade, perceber o que o carregamento errado significa e o que fazer. O mesmo inventário traz uma entrada que se lê ao contrário: DOJ-0006, o Gabinete de Álcool, Tabaco, Armas de Fogo e Explosivos, lista uma plataforma de dados cujas funções de deteção de anomalias e qualidade de dados estão «incorporadas nas ferramentas» e acrescenta «embora não usemos estas funções diretamente». Uma capacidade listada e uma usada são coisas diferentes, e o formato do inventário permite a um organismo dizer qual delas tem.
Uma empresa pô-lo em produção. Pode mover a linha de base, ponderado pela escala e por quanto esse contexto se parece com o teu.
O mesmo recenseamento, décima terceira das 20 perguntas: procurar informação da agência através de um sistema de recuperação de conhecimento tem Sim em 35 de 45. A coluna do produto nomeia os próprios sistemas e não uma categoria: Microsoft 365 Copilot na maioria, ChatGPT Enterprise na Energia, Claude e Gemini através da plataforma USAi da Administração de Serviços Gerais, Palantir Foundry e Credal na Saúde e Serviços Humanos, Vertex AI e RelativityOne na Segurança Interna, AWS Bedrock no Comércio e nos Transportes. Esta tarefa tem o rótulo de emergente, ou seja, trabalho que existe por causa da automatização, e o que o recenseamento estabelece é a sua premissa: em 35 de 45 agências há um sistema de recuperação apontado aos documentos dessa agência, pelo que há um corpus que alguém tem de manter actual e delimitar. O que não estabelece é o trabalho. O ficheiro não tem coluna para quem mantém aquilo que o sistema lê, nem medida de esforço, nem nada que diga se essa tarefa cabe a uma equipa de dados, a um arquivo ou ao fornecedor. É além disso um único empregador, e pouco comum: uma agência obrigada a publicar um inventário da sua IA e a responder por quem pode ver que documento não substitui com justiça um empregador que não tem nenhuma das duas obrigações.
Uma empresa pô-lo em produção. Pode mover a linha de base, ponderado pela escala e por quanto esse contexto se parece com o teu.
632 problemas construídos a partir de aplicações de dados reais em BigQuery e Snowflake, com bases que muitas vezes passam as 1.000 colunas. O que os torna difíceis é dito pelos autores e é exatamente o ambiente diário desta profissão: a resposta exige procurar nos metadados da base e na documentação do dialeto, ler o próprio código do projeto, segurar um contexto muito longo, e emitir várias consultas em dialetos diferentes que frequentemente passam das 100 linhas. Os 21,3% são uma arquitetura de agente sobre o o1-preview no final de 2024 e vão ficar desatualizados; a conclusão duradoura é a distância para os 91,2% no Spider 1.0 e os 73,0% no BIRD, que é uma medição de quanta dificuldade vive no armazém e não no SQL. Nada diz sobre emprego, e nada sobre pipelines que são construídos em vez de consultados — testa produzir a consulta, e não operar o sistema que a continua a produzir.
Uma falha, um recuo, uma regulação ou um custo estão a travar a adoção. Pode baixar uma avaliação ou alargar a sua incerteza.
Um grande empregador tecnológico, a sua própria plataforma de big data. A equipa de engenharia escreve que, em vez de impor limites rígidos e orçamentos às equipas, a Uber dá às partes interessadas transparência sobre custos e utilização de recursos; que os seus projetos de eficiência de custos tomam decisões automatizadas, baseadas em dados, para reduzir custos; e que um deles verifica os padrões de acesso às tabelas e cria tickets para os responsáveis, para promover eliminações e expiração quando os dados não são acedidos com frequência, com verificações semelhantes a abrir tickets para reduzir ou parar computação não utilizada. São os responsáveis que dão seguimento aos tickets; a publicação não dá números sobre quantos são aceites.
Uma empresa pô-lo em produção. Pode mover a linha de base, ponderado pela escala e por quanto esse contexto se parece com o teu.
O que isto significa para ti#
Construir pipelines — o que os tutoriais ensinam e aquilo para que serias contratado — é a metade exposta. O que se aguenta é saber o que um número supostamente significa, e isso aprende-se estando perto de quem o usa. Um lugar de dados longe do negócio é a versão mais arriscada deste trabalho.
Consultar ser barato sobe o valor de quem é dono das definições e baixa o de quem apenas move dados. Se a tua semana é sobretudo conectores e agendamento, essa é a configuração exposta; se é sobretudo discussões sobre o que conta como cliente, essa é a duradoura.
As tuas opções#
Quatro direções, cada uma com as suas restrições reais e com uma coisa que podes testar esta semana. Continuar como estás é uma opção legítima; só tem de ser uma opção escolhida.
Ser dono da semântica, e não dos canos
Quando qualquer pessoa pode fazer uma pergunta por palavras, a resposta depende da definição que a ferramenta apanhou. Ser quem a decide é a posição duradoura.
É trabalho tão político como técnico — as definições são disputadas porque diferentes equipas são medidas por elas.
Pega numa métrica de um painel da empresa e pergunta a duas equipas o que significa. Se as respostas diferirem, encontraste o trabalho.
Ficar com a camada de pesquisa
Todas as funcionalidades de IA de uma empresa acabam por ser uma pergunta sobre que documentos, com que frescura, e quem os pode ver — que é este trabalho com outro nome.
Neste momento é pouco vistoso e muitas vezes não é de ninguém, e podes ter de o reclamar antes de alguém lhe pôr orçamento.
Encontra uma funcionalidade de IA na tua empresa e segue de onde ela lê mesmo. Confirma se as permissões dela batem certo com as do sistema de origem.
Aproximares-te da decisão
A engenharia de analítica e a analítica de produto ficam entre o armazém e quem age a partir dele, e o raciocínio transfere-se diretamente.
Exige estar disposto a errar em público sobre o que um número significa, que é uma exposição diferente de errar num pipeline.
Escolhe um número que produzas e descobre que decisão foi mesmo tomada por causa dele no trimestre passado. Às vezes a resposta é nenhuma.
Perguntas frequentes#
Faz a pergunta por tarefa, porque elas não se movem juntas. Construir e agendar pipelines é a parte exposta e anda a ficar mais barata desde muito antes das ferramentas generativas. Saber que um número deixou em silêncio de significar o que significava não se moveu de todo, porque o conhecimento é sobre o negócio e não sobre os dados. Um sinal que consegues verificar: quando um número esteve errado no trimestre passado, quem reparou, e como.
A evidência deste sítio aponta no sentido contrário, e de forma concreta. Em 632 fluxos de trabalho de dados extraídos de armazéns de dados empresariais reais, um agente de código resolveu 21,3%, contra 91,2% na versão académica da mesma tarefa. A diferença não está no SQL — está em esquemas que muitas vezes ultrapassam as 1000 colunas e em significados que vivem fora deles. Consultas baratas aumentam o valor de quem mantém esse significado.
Depende de qual das duas metades farias, e vale a pena resolver isso antes de te mexeres. Os lugares que são sobretudo conectores e agendamento estão na metade exposta e há anos que se estão a banalizar. Os lugares perto do negócio, onde se espera que discutas definições, são a metade duradoura. O título é o mesmo nos dois casos, por isso pergunta na entrevista sobre o que foram as três últimas discussões.
Como o negócio ganha dinheiro, com detalhe que chegue para reparar quando um número deixa de ser coerente com isso. As ferramentas mudam de poucos em poucos anos e todas se aprendem em semanas; a capacidade de olhar para um painel e dizer que isso não pode estar certo é o que distingue quem fica. E dá-se o caso de ser também aquilo que um modelo a ler o teu esquema não consegue fazer.
A estudar para isto?
Estes cursos levam até aqui. As páginas deles desdobram quais das suas competências se transferem e o que costuma faltar a quem se licencia.
Em que assentam estes juízos#
Dos 6 juízos de tarefa desta página, 5 apoiam-se num evento verificado e 1 são inferência da plataforma, cada um etiquetado onde aparece. Por detrás há 2 dimensões tecnológicas, uma trajectória reconstruída desde que os modelos de linguagem chegaram ao público e 4 eventos verificados.
Ver que tecnologias, como chegou aqui e o método →
Onde se situa na classificação oficial: competências, conhecimentos e profissões afins →
Outros cargos na mesma função#
Uma empresa divide o seu trabalho em funções antes de o dividir em cargos. Estes estão em Tecnologia e dados ao lado deste — um facto sobre organigramas, não um juízo de que sejam parecidos ou de que estejam a mudar na mesma direcção.
Programador de software júnior · Engenheiro de software experiente · Programador frontend · Programador backend · Engenheiro de aprendizagem automática · Investigador de IA · Testador de software / engenheiro de QA · Analista de dados · Cientista de dados · Estatístico · Economista · Analista de negócio · Responsável de sistemas de negócio · Técnico de suporte informático / helpdesk · Analista de segurança (SOC) · Engenheiro de DevOps / engenheiro de plataforma / SRE · Engenheiro de redes · Redator técnico / engenheiro de documentação · Gestor de candidaturas a financiamento