Engenheiro de dados — tarefas, uma a uma

Construir o pipeline

Os conectores para as fontes comuns são hoje comprados em vez de escritos, e o código de transformação está suficientemente bem especificado para a geração o resolver. Duas décadas de este trabalho ser repetitivo entre empresas são exatamente a condição que torna uma tarefa barata.

O pipeline correr não é o mesmo que os números estarem certos. Construí-lo nunca foi onde o tempo se ia numa equipa de dados madura; mantê-lo verdadeiro é que era.

Quando os dados estão errados e nada deu erro

A falsidade silenciosa é a falha que define este trabalho, e não é um problema de deteção que ferramentas melhores resolvam — exige saber o que o número supostamente significa para o negócio, e isso vive nas pessoas e não no esquema. Os testes apanham aquilo em que te lembraste de testar.

Um juízo sobre a natureza da falha, não uma medição da frequência com que acontece. Os erros de dados silenciosos não estão quantificados em lado nenhum, em parte porque, por definição, são descobertos tarde ou não são descobertos de todo.

Ser dono do que um número significa

As ferramentas de texto para SQL tornam consultar barato e com isso fazem as definições sustentar mais carga, e não menos: no momento em que qualquer pessoa pode perguntar, a resposta depende inteiramente de que definição o modelo apanhou. A evidência da página de analista aponta no mesmo sentido — num teste de referência construído a partir de armazéns de empresa reais um modelo simples teve zero, enquanto tinha 80 a 90% nos testes públicos, e a distância é o esquema e a semântica, e não o SQL.

Esse teste de referência é sobre consultar e não sobre quem é dono das definições, e os autores dele vendem um sistema alternativo, coisa que o registo da página de analista diz. Estabelece que os esquemas de empresa derrotam os modelos atuais; não estabelece que alguém esteja a ser contratado para manter a semântica.

O que custa continuar a perguntar

Os armazéns já trazem à superfície sozinhos a consulta cara e sugerem a correção, o que é ajuda a sério. O que resta é a decisão sobre se a resposta vale o dinheiro, e isso exige saber quem usa o número e para quê.

Nada diz sobre se os custos estão a subir ou a descer no conjunto, e consultar ser barato tende a aumentar o número de perguntas, o que pode mover a fatura em qualquer sentido.

O que tem de ser guardado, apagado, ou nunca recolhido

É uma obrigação legal implementada em pipelines, e as obrigações legais colam-se a uma pessoa e não a um sistema. As ferramentas conseguem fazer cumprir uma regra depois de alguém a ter decidido; decidi-la, e conseguir demonstrar o cumprimento depois, é a parte que fica.

Os requisitos diferem muito consoante o mercado e o tipo de dados, e o que resolveria esta tarefa seria uma ação de fiscalização que nomeasse a prática de conservação ou de apagamento de uma equipa de dados em vez da empresa como um todo — um regulador a dizer quem devia apagar o quê, e até quando.

Alimentar os sistemas que respondem em frases

A qualidade da pesquisa é hoje um problema de dados com um rótulo de IA, e cai aqui porque é sobre pipelines, permissões e frescura e não sobre modelos. Não existia como trabalho antes de as funcionalidades generativas chegarem aos produtos.

Aparecer trabalho novo não é efetivos novos. Na maioria das empresas isto está a ser absorvido por quem já é dono do armazém, e nada aqui diz o contrário.