Garder des données d’une qualité adaptée à leur usage réel, de la collecte à l’élimination

## Définir ce que sont de bonnes données selon l’usage qui en sera fait Considérez la qualité comme le degré auquel les données peuvent étayer une décision, un service, une analyse ou une obligation spécifiques. Un jeu de données peut être bien structuré tout en étant inadapté à un usage particulier. Commencez donc par le contexte plutôt que par une promesse générale selon laquelle les données sont « bonnes ». - Nommez les utilisateurs, les décisions, les résultats et les conséquences des erreurs concernés. - Consignez les seuils minimaux acceptables pour les dimensions de qualité qui comptent pour cet usage. - Distinguez les éléments observables des hypothèses sur l’aptitude à l’usage. - Réévaluez l’adéquation lorsque la finalité, les utilisateurs ou l’environnement opérationnel changent. ## Nommer un responsable pour chaque jeu de données et chaque correction Faites de la qualité une responsabilité opérationnelle partagée, assortie de droits de décision clairs. La haute direction finance et hiérarchise les travaux, les responsables désignés assument le risque résiduel, les spécialistes conçoivent les contrôles et les personnes qui créent ou manipulent les données les appliquent au quotidien. - Attribuez un responsable nommé à chaque jeu de données, contrôle, problème et action corrective importants. - Définissez qui peut accepter les exceptions et qui doit en être informé. - Formez les contributeurs aux normes et aux vérifications pertinentes pour leur rôle. - Examinez régulièrement les lacunes de capacité, les défauts récurrents et les actions en retard. ## Demander comment les données sont vraiment utilisées et classer les corrections par impact Recueillez des éléments probants sur la manière dont les données sont réellement utilisées, et pas seulement sur la manière dont leur producteur prévoit qu’elles le seront. Différents utilisateurs peuvent avoir besoin de niveaux différents de fraîcheur, de détail, de couverture ou de précision, et une amélioration peut profiter à un usage tout en en affaiblissant un autre. - Interrogez un échantillon représentatif de producteurs, de responsables du traitement, d’analystes, d’opérateurs et de destinataires. - Reliez chaque usage aux décisions, aux dépendances, aux conséquences d’une défaillance et à la tolérance à l’incertitude. - Hiérarchisez les améliorations selon leur valeur pour les utilisateurs, les préjudices évités, leur portée et leur coût de mise en œuvre. - Réexaminez les priorités lorsque la demande évolue ou qu’apparaît un nouvel usage aux conséquences importantes. ## Fixer des contrôles pour chaque étape, de la planification à l’élimination Représentez le cycle de vie comme une boucle interconnectée : planifier ; acquérir ; préparer et maintenir ; utiliser ; partager ; puis conserver ou supprimer. Le travail sur la qualité doit suivre les données tout au long de ces étapes, car des défauts introduits en amont peuvent rester cachés jusqu’à une décision ou une publication ultérieure. - Définissez, pour chaque étape, les critères d’entrée et de sortie, la validation, les éléments probants et les responsabilités. - Retracez les champs importants depuis leur origine, à travers les transformations, jusqu’aux résultats finaux. - Renvoyez un problème à l’étape la plus en amont où sa cause peut être éliminée. - Conservez suffisamment d’informations sur la traçabilité et l’historique des décisions pour permettre à un examinateur de reconstituer ce qui s’est passé. ## Bloquer les valeurs erronées dès la collecte des données Prévenez les défauts évitables dès le point de saisie. Les règles de collecte doivent faciliter la fourniture des valeurs attendues, rejeter les valeurs impossibles sans masquer les exceptions légitimes et conserver suffisamment de contexte pour expliquer la source et la signification de chaque enregistrement. - Validez les champs obligatoires, les formats, les plages, les identifiants et les valeurs de référence. - Détectez les enregistrements manquants, répétés, contradictoires ou modifiés de manière inattendue. - Consignez la provenance, l’heure de collecte, les définitions et les transformations connues. - Prévoyez un canal de retour afin que les utilisateurs en aval puissent signaler les défauts au responsable de la source. ## Comparer nombres et totaux avant et après le traitement des données Préservez la signification lorsque les données sont normalisées, liées, transformées, migrées ou actualisées. Automatisez les vérifications stables lorsque cela est possible, mais maintenez un examen humain pour les relations ambiguës, les anomalies significatives et les changements susceptibles de modifier l’interprétation. - Testez les transformations au regard des règles documentées et de cas limites représentatifs. - Rapprochez les décomptes, les totaux, les clés et les attributs critiques avant et après le traitement. - Surveillez la dérive, les enregistrements obsolètes, les modifications de schéma, les liens rompus et les variations de volume inexpliquées. - Gérez les versions des définitions et des contrôles avec celles des systèmes qui les mettent en œuvre. ## Vérifier que les données conviennent encore avant de les utiliser ou de les partager Avant une analyse, une mise à disposition opérationnelle ou un partage externe, vérifiez que les données restent adaptées à cet usage précis. Appliquez conjointement les contrôles d’accès, de confidentialité, de divulgation et de qualité, car des données techniquement valides peuvent néanmoins causer un préjudice lorsque le contexte ou les garanties font défaut. - Comparez les résultats importants avec les éléments probants issus des sources et les limites connues. - Publiez ou transférez avec les données les définitions, la traçabilité, les constats de qualité et les usages autorisés. - Consignez les corrections et informez les destinataires concernés lorsqu’un défaut modifie une conclusion antérieure. - Pendant la conservation ou la suppression, préservez l’intégrité, les éléments probants d’audit et les connaissances essentielles pendant la durée requise. ## Mesurer chaque type de problème de données à part, pas en un seul score Utilisez des mesures distinctes pour différents modes de défaillance au lieu de les réduire à un score unique. Vérifiez au minimum si les valeurs requises sont présentes, si chaque entité n’est représentée qu’une fois, si les valeurs concordent entre les sources, si les données sont suffisamment récentes, si les valeurs respectent les règles énoncées et si les enregistrements reflètent la réalité. - Définissez chaque indicateur avec sa population, son numérateur, son dénominateur, ses exclusions et sa fenêtre temporelle. - Fixez les seuils en fonction du cas d’usage et du risque plutôt que de reprendre un objectif universel. - Distinguez la conformité aux règles de l’exactitude par rapport au réel. - Ajoutez des dimensions spécialisées lorsque la décision dépend de caractéristiques qui ne sont pas couvertes par l’ensemble de base. ## Dire aux utilisateurs ce qui a été vérifié et ce qui ne l’a pas été Donnez aux utilisateurs suffisamment d’informations pour qu’ils puissent juger eux-mêmes de l’aptitude à l’usage. Les rapports sur la qualité doivent indiquer ce qui a été testé, ce qui ne l’a pas été, le résultat, les répercussions sur l’activité, l’incertitude non résolue, ainsi que le responsable et l’échéance de la prochaine action. - Utilisez un langage simple tout en conservant les définitions nécessaires à la reproductibilité. - Indiquez à la fois l’état actuel et le sens de l’évolution. - Expliquez les arbitrages, par exemple entre une publication plus précoce avec une couverture moindre et l’attente d’une assurance plus solide. - Distinguez les défauts confirmés, les risques soupçonnés, les exceptions acceptées et les inconnues. ## Corriger la cause profonde des erreurs récurrentes et clore les cas sur preuve Considérez les défauts récurrents comme les signes d’un processus défaillant plutôt que comme des tâches de nettoyage isolées. Contenez le préjudice immédiat, étudiez comment le défaut est apparu et a échappé à la détection, puis modifiez le premier contrôle efficace en amont et vérifiez que le changement reste efficace dans le temps. - Consignez les problèmes avec leur gravité, les usages concernés, les éléments probants, le responsable, la date d’échéance et le statut. - Analysez les tendances entre les incidents, les étapes, les sources et les contrôles. - Comparez les résultats aux seuils et aux périodes précédentes afin de détecter une dégradation ou une amélioration. - Ne clôturez une action qu’après que des éléments probants ont montré que la cause profonde est maîtrisée et qu’il ne subsiste aucune répercussion significative en aval.