Analista de dados

Traduzir «quantos utilizadores fizeram X no mês passado» para SQL, e ligar o resultado a um gráfico que alguém possa atualizar.

Transformar a preocupação vaga de uma chefia numa pergunta mensurável, e saber a que definição de «utilizador ativo» se refere.

Apanhar o pipeline partido, os eventos duplicados, o erro de fuso horário, a definição que mudou em março.

Apresentar uma conclusão de modo que quem tem de agir a perceba, acredite nela e aja.

Manter as definições das métricas, a documentação e a camada semântica que fazem com que consultar em linguagem natural dê respostas certas.

Escrito pelos autores do teste de referência, que têm também um sistema concorrente (Rubicon) para promover — por isso a parte interessada aqui está a argumentar que os testes fáceis estão errados. A afirmação de fundo é verificável: o Beaver é construído a partir de registos reais de consultas do armazém Oracle de 1.400 tabelas do MIT e de outros três, e a sua tabela classificativa é pública. As quatro razões apresentadas são estruturais e não sobre a qualidade do modelo — os dados dos testes públicos estão no corpus de treino, os esquemas reais apodrecem até terem seis colunas diferentes chamadas «salary», os armazéns carregam gíria local, e as consultas reais juntam duas ou três tabelas em vez de uma.

Uma falha, um recuo, uma regulação ou um custo estão a travar a adoção. Pode baixar uma avaliação ou alargar a sua incerteza.

Uma só empresa, com lançamento limitado; a plataforma da Uber corre cerca de 1,2 milhões de consultas interativas por mês, por isso isto é uma fatia pequena. A própria publicação assinala como problemas em aberto as tabelas e colunas alucinadas e a qualidade das instruções.

Uma empresa pô-lo em produção. Pode mover a linha de base, ponderado pela escala e por quanto esse contexto se parece com o teu.

Entrar só com destreza em SQL está mais fraco do que era, porque é essa a parte que as ferramentas fazem. A entrada mais forte é domínio mais dados: aprende uma área de negócio a fundo que chegue para saberes o que os seus números significam e como se partem, e usa as ferramentas para consultar. Oferece-te para o trabalho pouco vistoso de documentar definições — é onde o novo lugar de analista se está a formar, e quase ninguém o quer ainda.

Se a maior parte da tua semana é responder a pedidos de relatórios, conta com essa fila a encolher à medida que quem pede se serve sozinho, e com seres medido pelas decisões que o teu trabalho mudou e não por quantos painéis entregaste. O teu conhecimento acumulado de onde os dados se partem é o ativo. Transforma-o na camada semântica e nas definições, e passas a ser a razão pela qual as ferramentas de autosserviço dão respostas certas.

Refazer o posto

De responder a perguntas a ser dono das definições

A analítica de autosserviço desloca o estrangulamento de escrever consultas para saber se as métricas por baixo estão certas. Ser dono dessa camada é mais duradouro e mais sénior do que ser dono de um painel.

Movimento lateral

Engenharia de analítica

Construir os modelos e os pipelines que limpam os dados a montante é para onde está a ir grande parte do esforço dos analistas, e paga melhor do que fazer relatórios.

Movimento lateral

Analista dentro de uma área do negócio

As equipas de finanças, operações e produto querem cada vez mais o seu próprio analista que conheça o domínio, em vez de um serviço central que atende pedidos. O conhecimento do domínio é o fosso.

Vale, mas por uma razão diferente da de antes. Vais escrever menos e ler e verificar muito mais. Perceber o que uma consulta faz é o que te deixa apanhar a resposta errada e confiante que a ferramenta produziu sobre um esquema ambíguo — e essa apanha é agora o trabalho. Aprende SQL como um editor sabe gramática: não para produzir cada frase, mas para saber de imediato quando uma está errada.

O sinal é quem corre a consulta. Quando as chefias começarem a responder às suas próprias perguntas numa ferramenta de autosserviço em vez de tas enviarem, a mudança já chegou — e a primeira coisa que perdes não é o lugar, é o contacto diário com os dados que te tornava capaz de reparar quando estão errados.

Escrever consultas e montar painéis — a tarefa assinalada aqui como em automatização. Enquadrar a pergunta e saber quando os dados estão a mentir não estão, mas ambas dependem de estares perto que chegue do trabalho para teres o contexto, e o autosserviço afasta-te dele.

É trabalho a sério e este sítio assinala-a como tarefa emergente. É também um lugar por organização e mais pequeno do que responder a perguntas era. Dizer que os efetivos são «redirecionados» para ali é uma forma educada de descrever uma equipa mais pequena a fazer outra coisa.