LO
Avisa-me quando chegar um registo verificado a esta profissão →
Engenheiro de dados
Move dados de onde acontecem para onde são perguntados, e é quem descobre primeiro quando as duas coisas deixam de bater certo.
Isto não é uma probabilidade de perder o emprego. Combina que parte da carga de tarefas do posto está exposta à automatização com até onde a adoção chegou de facto: serve para comparar profissões sobre uma base constante, e para mais nada.
Escrito para engenheiros que constroem e operam pipelines, armazéns de dados e os modelos que assentam neles. A página de analista de dados cobre quem consulta o resultado; a engenharia de aprendizagem automática é outro trabalho com página própria. Esta página salda uma dívida: o âmbito da página de analista sempre disse que a engenharia de dados é diferente.
O que está mesmo a mudar#
A unidade de análise é a tarefa, não o nome do posto. Um posto não é substituído: é a mistura de tarefas dele que se move.
É este o teu trabalho? Di-lo e esta página estreita-se à tua parte dele.
O nome de um posto é um pacote de tarefas compradas em conjunto, e não há duas pessoas com o mesmo pacote. Não é enviado nada para lado nenhum: fica neste navegador.
Construir o pipeline
A automatizar-se✓ Com provaExtrair de uma fonte, remodelar, carregar num sítio consultável, e agendar o conjunto todo.
Os conectores para as fontes comuns são hoje comprados em vez de escritos, e o código de transformação está suficientemente bem especificado para a geração o resolver. Duas décadas de este trabalho ser repetitivo entre empresas são exatamente a condição que torna uma tarefa barata.
O pipeline correr não é o mesmo que os números estarem certos. Construí-lo nunca foi onde o tempo se ia numa equipa de dados madura; mantê-lo verdadeiro é que era.
Quando os dados estão errados e nada deu erro
Continua a ser levada por uma pessoa≈ Inferência da plataformaUm campo mudou de significado a montante, um processo correu duas vezes, um fuso horário mexeu — e todos os painéis continuam verdes.
A falsidade silenciosa é a falha que define este trabalho, e não é um problema de deteção que ferramentas melhores resolvam — exige saber o que o número supostamente significa para o negócio, e isso vive nas pessoas e não no esquema. Os testes apanham aquilo em que te lembraste de testar.
É um juízo sobre a natureza da falha mais do que uma medição de quantas vezes acontece. Não temos qualquer registo de equipas a quantificar erros de dados silenciosos, em parte porque por definição são descobertos tarde ou nunca.
Ser dono do que um número significa
Continua a ser levada por uma pessoa✓ Com provaDefinir utilizador ativo, receita, abandono — e segurar essa definição quando duas equipas querem que signifique coisas diferentes.
As ferramentas de texto para SQL tornam consultar barato e com isso fazem as definições sustentar mais carga, e não menos: no momento em que qualquer pessoa pode perguntar, a resposta depende inteiramente de que definição o modelo apanhou. A evidência da página de analista aponta no mesmo sentido — num teste de referência construído a partir de armazéns de empresa reais um modelo simples teve zero, enquanto tinha 80 a 90% nos testes públicos, e a distância é o esquema e a semântica, e não o SQL.
Esse teste de referência é sobre consultar e não sobre quem é dono das definições, e os autores dele vendem um sistema alternativo, coisa que o registo da página de analista diz. Estabelece que os esquemas de empresa derrotam os modelos atuais; não estabelece que alguém esteja a ser contratado para manter a semântica.
O que custa continuar a perguntar
Aumentada pela máquina≈ Inferência da plataformaPartições, níveis de armazenamento, a consulta que alguém agendou de hora a hora e que percorre tudo, e a fatura ao fim do mês.
Os armazéns já trazem à superfície sozinhos a consulta cara e sugerem a correção, o que é ajuda a sério. O que resta é a decisão sobre se a resposta vale o dinheiro, e isso exige saber quem usa o número e para quê.
Nada diz sobre se os custos estão a subir ou a descer no conjunto, e consultar ser barato tende a aumentar o número de perguntas, o que pode mover a fatura em qualquer sentido.
O que tem de ser guardado, apagado, ou nunca recolhido
Continua a ser levada por uma pessoa≈ Inferência da plataformaPrazos de conservação, pedidos de apagamento, onde os dados pessoais podem estar, e conseguir prová-lo.
É uma obrigação legal implementada em pipelines, e as obrigações legais colam-se a uma pessoa e não a um sistema. As ferramentas conseguem fazer cumprir uma regra depois de alguém a ter decidido; decidi-la, e conseguir demonstrar o cumprimento depois, é a parte que fica.
Os requisitos diferem muito consoante o mercado e o tipo de dados, e o que resolveria esta tarefa seria uma ação de fiscalização que nomeasse a prática de conservação ou de apagamento de uma equipa de dados em vez da empresa como um todo — um regulador a dizer quem devia apagar o quê, e até quando.
Alimentar os sistemas que respondem em frases
Tarefa nova≈ Inferência da plataformaPôr os documentos certos, com a frescura certa e com as regras de acesso certas naquilo de que a funcionalidade de IA lê.
A qualidade da pesquisa é hoje um problema de dados com um rótulo de IA, e cai aqui porque é sobre pipelines, permissões e frescura e não sobre modelos. Não existia como trabalho antes de as funcionalidades generativas chegarem aos produtos.
Aparecer trabalho novo não é efetivos novos. Na maioria das empresas isto está a ser absorvido por quem já é dono do armazém, e nada aqui diz o contrário.
Que tecnologias é que importam aqui#
Quatro sinais separados. Deliberadamente não se somam: um trabalho exposto a duas tecnologias não está exposto ao dobro.
Como é que se chegou aqui#
O índice não é um número fixo. Isto é onde ele teria estado em cada marco de capacidade desde o ChatGPT: reconstruído, e etiquetado como tal.
● 1 facto verificado desta profissão, desenhado na data em que aconteceu: os troços da linha perto de uma marca estão ancorados a algo verificável.
O ponto de partida mais alto das três camadas de engenharia, porque este trabalho já estava a tornar-se um produto básico antes de existirem as ferramentas generativas: os conectores comprados e os armazéns geridos andavam há anos a comer a metade de construir. A subida do meio é o código de transformação a ficar barato de redigir e a consulta em linguagem natural a chegar. Achata antes de qualquer outra e deixa de subir de todo depois de 2025, e a razão está na página: consultar barato faz com que as definições sustentem mais peso, não menos. O único referencial que temos construído a partir de armazéns empresariais reais põe um zero a um modelo sem mais nada onde os referenciais públicos dão entre 80 e 90; essa distância é o significado, e o significado vive nas pessoas.
Uma linha plana não é uma previsão de segurança. Diz a que tarefas a automatização chegou até agora: as profissões que menos se mexeram aqui são aquelas em que a restrição é física ou regulamentar, e ambas podem mudar.
Mudanças recentes#
632 problemas construídos a partir de aplicações de dados reais em BigQuery e Snowflake, com bases que muitas vezes passam as 1.000 colunas. O que os torna difíceis é dito pelos autores e é exatamente o ambiente diário desta profissão: a resposta exige procurar nos metadados da base e na documentação do dialeto, ler o próprio código do projeto, segurar um contexto muito longo, e emitir várias consultas em dialetos diferentes que frequentemente passam das 100 linhas. Os 21,3% são uma arquitetura de agente sobre o o1-preview no final de 2024 e vão ficar desatualizados; a conclusão duradoura é a distância para os 91,2% no Spider 1.0 e os 73,0% no BIRD, que é uma medição de quanta dificuldade vive no armazém e não no SQL. Nada diz sobre emprego, e nada sobre pipelines que são construídos em vez de consultados — testa produzir a consulta, e não operar o sistema que a continua a produzir.
Uma falha, um recuo, uma regulação ou um custo estão a travar a adoção. Pode baixar uma avaliação ou alargar a sua incerteza.
O que isto significa para ti#
Construir pipelines — o que os tutoriais ensinam e aquilo para que serias contratado — é a metade exposta. O que se aguenta é saber o que um número supostamente significa, e isso aprende-se estando perto de quem o usa. Um lugar de dados longe do negócio é a versão mais arriscada deste trabalho.
Consultar ser barato sobe o valor de quem é dono das definições e baixa o de quem apenas move dados. Se a tua semana é sobretudo conectores e agendamento, essa é a configuração exposta; se é sobretudo discussões sobre o que conta como cliente, essa é a duradoura.
As tuas opções#
Quatro direções, cada uma com as suas restrições reais e com uma coisa que podes testar esta semana. Continuar como estás é uma opção legítima; só tem de ser uma opção escolhida.
Ser dono da semântica, e não dos canos
Quando qualquer pessoa pode fazer uma pergunta por palavras, a resposta depende da definição que a ferramenta apanhou. Ser quem a decide é a posição duradoura.
É trabalho tão político como técnico — as definições são disputadas porque diferentes equipas são medidas por elas.
Pega numa métrica de um painel da empresa e pergunta a duas equipas o que significa. Se as respostas diferirem, encontraste o trabalho.
Ficar com a camada de pesquisa
Todas as funcionalidades de IA de uma empresa acabam por ser uma pergunta sobre que documentos, com que frescura, e quem os pode ver — que é este trabalho com outro nome.
Neste momento é pouco vistoso e muitas vezes não é de ninguém, e podes ter de o reclamar antes de alguém lhe pôr orçamento.
Encontra uma funcionalidade de IA na tua empresa e segue de onde ela lê mesmo. Confirma se as permissões dela batem certo com as do sistema de origem.
Aproximares-te da decisão
A engenharia de analítica e a analítica de produto ficam entre o armazém e quem age a partir dele, e o raciocínio transfere-se diretamente.
Exige estar disposto a errar em público sobre o que um número significa, que é uma exposição diferente de errar num pipeline.
Escolhe um número que produzas e descobre que decisão foi mesmo tomada por causa dele no trimestre passado. Às vezes a resposta é nenhuma.
Perguntas frequentes#
Faz a pergunta por tarefa, porque elas não se movem juntas. Construir e agendar pipelines é a parte exposta e anda a ficar mais barata desde muito antes das ferramentas generativas. Saber que um número deixou em silêncio de significar o que significava não se moveu de todo, porque o conhecimento é sobre o negócio e não sobre os dados. Um sinal que consegues verificar: quando um número esteve errado no trimestre passado, quem reparou, e como.
A evidência deste sítio aponta ao contrário, e de forma concreta. Num teste de referência construído a partir de registos reais de consultas de armazéns de empresa, um modelo simples teve zero e as abordagens com agentes chegaram a cerca de 10%, enquanto a mesma classe de modelo tem 80 a 90% nos testes públicos. A distância não é o SQL — são esquemas com milhares de tabelas e significados que vivem fora deles. Consultar ser barato sobe o valor de quem mantém esse significado.
Depende de qual das duas metades farias, e vale a pena resolver isso antes de te mexeres. Os lugares que são sobretudo conectores e agendamento estão na metade exposta e há anos que se estão a banalizar. Os lugares perto do negócio, onde se espera que discutas definições, são a metade duradoura. O título é o mesmo nos dois casos, por isso pergunta na entrevista sobre o que foram as três últimas discussões.
Como o negócio ganha dinheiro, com detalhe que chegue para reparar quando um número deixa de ser coerente com isso. As ferramentas mudam de poucos em poucos anos e todas se aprendem em semanas; a capacidade de olhar para um painel e dizer que isso não pode estar certo é o que distingue quem fica. E dá-se o caso de ser também aquilo que um modelo a ler o teu esquema não consegue fazer.
A estudar para isto?
Estes cursos levam até aqui. As páginas deles desdobram quais das suas competências se transferem e o que costuma faltar a quem se licencia.
Escrito sobre isto#
Estes textos argumentam a partir dos mesmos registos que esta página tem, e cada uma das suas secções nomeia aquilo em que se apoia.
Método e fontes#
- Data da avaliação
- 2026-09-12
- Base dos juízos de tarefa
- 2 com prova · 4 inferência da plataforma · 0 sem prova suficiente
- Factos verificados
- 1