LO
Data scientist — tâches, une par une
L'unité d'analyse est la tâche, non l'intitulé du poste. Chacune ci-dessous porte sa direction, le fait que le jugement repose sur des preuves ou sur une inférence de la plateforme, le raisonnement, et ce qu'elle n'établit pas.
Toutes les tâches de cette page#
Cadrer la question et la métrique
Encore menée par des humains≈ Estimation de la plateformeComprendre ce que le décideur a réellement besoin de savoir, et quelle grandeur mesurable y répondrait sans récompenser la mauvaise chose.
L'entrée est une conversation avec des personnes qui ne savent pas encore quoi demander, et le risque est une métrique facile à faire bouger et qu'on aurait tort d'optimiser. La plus récente tâche candidate d'O*NET pour ce métier consiste à interroger les parties prenantes pour cerner les questions que l'analyse des données doit traiter — du travail qui s'ajoute, non qui disparaît.
Ceci repose sur la nature du travail et sur la liste des tâches candidates d'O*NET ; aucun enregistrement ici ne mesure comment le cadrage est fait ni qui le fait.
Nettoyer et explorer les données
Augmentée✓ Appuyé sur des preuvesTrouver ce qui ne va pas dans les données, décider quoi corriger ou exclure, et se faire une idée de ce qu'elles peuvent dire et ne pas dire.
Les agents d'IA savent écrire le code de préparation, mais sur un banc d'essai de tâches réalistes d'analyse de données le meilleur agent n'en a résolu qu'environ un tiers. Lorsque le modèle est à haut risque, le règlement européen sur l'IA fait du travail sur les données lui-même une obligation documentée : les données d'entraînement, de validation et de test doivent être soumises à des pratiques de gouvernance des données couvrant le nettoyage et l'examen des biais éventuels.
Les tâches d'un banc d'essai ne sont pas les données d'une entreprise, et les obligations européennes pour les systèmes à haut risque s'appliquent plus tard ; rien ici ne mesure le temps passé au nettoyage.
Construire et valider le modèle
Augmentée≈ Estimation de la plateformeChoisir une approche, l'ajuster et la régler, et vérifier qu'elle tient sur des données qu'elle n'a pas vues.
C'est là que les agents d'IA sont les plus capables, et ils restent encore loin du compte : sur les bancs d'essai publics, les meilleurs agents résolvent à peu près un tiers des tâches d'analyse de données et atteignent environ 30 % de précision sur des tâches de programmation en science des données. Le data scientist dirige et vérifie de plus en plus du code généré plutôt que de tout l'écrire.
Les bancs d'essai vieillissent vite et testent des tâches courtes ; ils ne montrent pas comment les modèles sont construits sur de vrais projets ni quelle part du travail les agents font désormais.
Concevoir des expériences et établir les causes
Encore menée par des humains≈ Estimation de la plateformeMettre en place le test A/B ou l'étude pour que la réponse soit fiable, et dire si un changement a causé le résultat ou l'a seulement accompagné.
Le raisonnement causal est le point le plus faible des modèles dans les éléments réunis ici : sur un banc d'essai de questions statistiques et causales tirées de manuels et d'articles, le modèle le plus performant a atteint 58 % de précision, et ses auteurs ont constaté que les modèles peinent à utiliser en même temps les connaissances causales et les données fournies.
Le banc d'essai a testé des modèles de l'époque 2024 sur des questions de manuel ; des modèles plus récents peuvent faire mieux, et il ne mesure pas d'expériences sur de vrais produits.
Expliquer ce que cela signifie, et ce que cela ne signifie pas
Encore menée par des humains≈ Estimation de la plateformePrésenter le résultat pour que la personne qui décide comprenne l'incertitude, les hypothèses et ce qui changerait la réponse.
Une décision repose sur la confiance accordée à la personne qui dit ce que les chiffres signifient et où ils s'arrêtent. Les projections américaines de l'emploi prévoient une hausse de 35 % de l'emploi de data scientist de 2025 à 2035, bien plus rapide que la moyenne, à mesure que les organisations intègrent des systèmes d'IA à leur travail.
Une projection n'est pas un résultat, et elle compte des emplois, non les tâches que ces emplois comportent.
Remettre en question et auditer les modèles
Nouvelle tâche✓ Appuyé sur des preuvesTester de façon indépendante le modèle de quelqu'un d'autre — s'il fonctionne, où il échoue, s'il traite certains groupes de façon inéquitable — et le documenter pour un régulateur ou un auditeur.
Les règles encadrant les modèles sont écrites pour des personnes : les superviseurs bancaires américains attendent une remise en question effective par des personnes ayant l'expertise, l'indépendance et l'autorité nécessaires pour faire modifier un modèle, et laissent pour l'instant l'IA générative et agentique hors de ces lignes directrices ; la ville de New York interdit d'utiliser un outil de recrutement automatisé qui n'a pas fait l'objet, au cours de l'année écoulée, d'un audit de biais par un auditeur indépendant de l'outil.
Les lignes directrices bancaires ne sont pas contraignantes et visent les grandes banques ; la règle new-yorkaise vise les outils de recrutement dans une seule ville. Aucune des deux ne mesure combien de personnes font ce travail.