Ingénieur de données — tâches, une par une

Construire la chaîne de traitement

Les connecteurs vers les sources courantes s'achètent désormais au lieu de s'écrire, et le code de transformation est assez bien spécifié pour que la génération s'en charge. Deux décennies de travail répétitif d'une entreprise à l'autre sont exactement la condition qui rend une tâche bon marché.

Une chaîne qui tourne n'est pas la même chose que des chiffres justes. La construire n'a jamais été là où passait le temps dans une équipe de données mûre ; la maintenir vraie, si.

Quand la donnée est fausse et que rien n'a planté

La fausseté silencieuse est la défaillance qui définit ce travail, et ce n'est pas un problème de détection qu'un meilleur outillage résout — cela exige de savoir ce que le chiffre est censé signifier pour l'entreprise, ce qui vit dans les personnes plutôt que dans le schéma. Les tests attrapent ce que vous avez pensé à tester.

Un jugement sur la nature de la défaillance, non une mesure de sa fréquence. Les erreurs de données silencieuses ne sont quantifiées nulle part, en partie parce que, par définition, on les découvre tard ou pas du tout.

Détenir ce qu'un chiffre veut dire

Les outils de langue courante vers SQL rendent l'interrogation bon marché et rendent par là les définitions plus porteuses, non moins : dès que n'importe qui peut demander, la réponse dépend entièrement de la définition que le modèle a captée. La preuve sur la page de l'analyste pointe dans le même sens — sur un banc d'essai construit à partir de vrais entrepôts d'entreprise, un modèle seul a obtenu zéro, alors qu'il obtient 80 à 90 % sur les bancs d'essai publics, et l'écart tient au schéma et à la sémantique plutôt qu'au SQL.

Ce banc d'essai porte sur l'interrogation plutôt que sur qui détient les définitions, et ses auteurs vendent un système alternatif, ce que l'enregistrement de la page de l'analyste énonce. Il établit que les schémas d'entreprise mettent en échec les modèles actuels ; il n'établit pas que quiconque soit recruté pour entretenir la sémantique.

Ce que coûte le fait de continuer à demander

Les entrepôts font désormais remonter eux-mêmes la requête coûteuse et suggèrent le correctif, ce qui est une aide réelle. Ce qui reste est la décision de savoir si la réponse vaut l'argent, et cela exige de savoir qui utilise le chiffre et pour quoi.

Cela ne dit rien de la hausse ou de la baisse globale des coûts, et une interrogation bon marché tend à augmenter le nombre de questions posées, ce qui peut déplacer la facture dans les deux sens.

Ce qui doit être conservé, supprimé, ou jamais collecté

C'est une obligation légale mise en oeuvre dans des chaînes de traitement, et les obligations légales s'attachent à une personne plutôt qu'à un système. L'outillage peut faire respecter une règle une fois que quelqu'un l'a décidée ; la décider, et pouvoir démontrer la conformité ensuite, est la part qui reste.

Les exigences diffèrent fortement selon le marché et le type de donnée, et ce qui trancherait cette tâche serait une action de contrôle nommant les pratiques de conservation ou de suppression d'une équipe de données plutôt que l'entreprise dans son ensemble — un régulateur disant qui était censé supprimer quoi, et avant quand.

Alimenter les systèmes qui répondent en phrases

La qualité de la recherche documentaire est désormais un problème de données sous étiquette d'IA, et cela retombe ici parce qu'il s'agit de chaînes, de droits et de fraîcheur plutôt que de modèles. Cela n'existait pas comme métier avant que les fonctions génératives n'entrent dans les produits.

Un travail nouveau qui apparaît n'est pas un effectif nouveau. Dans la plupart des entreprises, cela est absorbé par qui détient déjà l'entrepôt, et rien ici ne dit le contraire.