Analyser des données en vérifiant leur collecte et en écartant d’autres explications

## Partir de la question et comprendre comment les données ont été collectées Commencez par une question ou une hypothèse concrète, et non par un outil ou une technique de prédilection. Indiquez la décision que l’analyse doit éclairer et les éléments susceptibles de modifier cette décision. Avant de calculer des indicateurs, documentez : - la population, l’événement ou le processus représenté par les données ; - la manière, le lieu et le moment de la collecte des observations ; - l’affectation expérimentale, l’instrumentation et les règles d’éligibilité ; - les lacunes connues, les enregistrements tardifs, l’échantillonnage et les limites de conservation ; - les événements inhabituels survenus pendant la période de mesure ; - les unités d’analyse et les éventuelles dépendances entre observations. Examinez directement le produit, le processus ou l’expérience dans la mesure du possible. Si vous ne pouvez pas l’utiliser directement, consultez des descriptions fiables du comportement et les spécifications de collecte. Ne supposez pas qu’un tableau représente le phénomène visé au seul motif que ses champs portent des noms plausibles. Consignez la question initiale, les hypothèses et les invariants attendus. Laissez la question évoluer pendant l’exploration, mais distinguez les questions révisées de la question initiale. ## Vérifier d’abord les données, puis séparer la description des résultats de leur jugement Maintenez les trois étapes de l’analyse distinctes, même lorsque le travail passe de l’une à l’autre de manière itérative. 1. La validation détermine si les données sont cohérentes en interne, correctement collectées et représentatives du processus visé. 2. La description énonce ce que montrent les mesures sans leur attribuer de valeur ni de bénéfice. 3. L’évaluation juge si le changement décrit est souhaitable pour les personnes, le système ou l’objectif concernés. Indiquez l’étape correspondant à chaque affirmation dans les notes et rapports, et corrigez les échecs de validation avant de vous appuyer sur les résultats descriptifs. Décrivez la direction, l’ampleur, l’incertitude et la population en termes neutres. Explicitez les critères d’évaluation au lieu de les intégrer aux noms des indicateurs. Avant de répondre à la question principale, vérifiez les variables censées rester stables : - la taille et la composition de la population ; - le nombre d’affectations ou d’expositions ; - le volume d’événements et de requêtes ; - les taux de journalisation et d’erreurs ; - les données manquantes et la latence ; - les indicateurs de référence non affectés. N’interprétez pas une évolution de l’indicateur cible avant d’avoir écarté les changements plausibles de mesure ou de population. ## Regarder au-delà de la moyenne : la dispersion et des exemples réels Ne vous fiez pas uniquement aux moyennes ou à d’autres statistiques résumées. Examinez des représentations qui révèlent la forme, la dispersion, les queues, la multimodalité et les discontinuités. Choisissez des histogrammes, des quantiles, des distributions cumulées ou d’autres vues adaptées de la distribution. Associez aux estimations une incertitude calculée selon des méthodes adaptées à la structure d’échantillonnage et de dépendance. Les grands jeux de données n’éliminent ni le hasard, ni les biais, ni les erreurs de mesure. Distinguez une estimation précise de la mauvaise grandeur d’une estimation valide de la grandeur visée. Examinez des exemples bruts chaque fois qu’une nouvelle logique d’analyse transforme ou classe les données. Échantillonnez : - chaque classe importante ; - les catégories fréquentes et rares ; - les zones centrales et extrêmes des distributions numériques ; - les cas réussis, échoués, manquants et mal formés ; - les enregistrements proches des seuils de décision. Étudiez les valeurs aberrantes avant de les exclure ou de les regrouper ; elles peuvent révéler des défauts d’instrumentation, des comportements non comptabilisés, des hypothèses invalides ou des cas réellement inhabituels. Si vous filtrez ou regroupez des valeurs aberrantes, consignez la règle, le nombre, la justification et l’effet sur les conclusions. Ne limitez l’enquête qu’une fois l’incertitude restante devenue négligeable pour la décision. ## Découper les résultats par groupes et périodes pour voir s’ils tiennent Divisez les résultats agrégés en sous-groupes lorsque le comportement sous-jacent peut varier selon les populations ou les environnements. Choisissez les segments en fonction de la connaissance du domaine, des limites de collecte et des modes de défaillance plausibles, plutôt que de rechercher indéfiniment des résultats frappants. Pour chaque segment important, examinez : - la valeur de l’indicateur et son incertitude ; - la taille de l’échantillon et les données manquantes ; - la part relative des groupes comparés ; - la qualité des données et les différences d’interaction ; - la cohérence avec le résultat agrégé. Lorsque vous comparez des groupes ou des périodes, vérifiez les changements de composition ; une autre répartition des sous-groupes peut inverser ou déformer les conclusions agrégées, même si le comportement reste stable au sein de chaque segment. Ne conditionnez pas l’analyse à des variables modifiées par l’intervention ou par la rétroaction du système, sauf si vous traitez explicitement le biais qui en résulte. Segmentez les données dans le temps afin de détecter les lancements, les pannes, la saisonnalité, les changements de journalisation et les dérives progressives. N’écartez pas une période inhabituelle pour la seule raison qu’elle est inhabituelle ; recherchez d’abord une explication causale. Testez la stabilité sur plusieurs fenêtres temporelles, populations et sous-échantillons aléatoires raisonnables. Séparez la significativité statistique de l’importance pratique en évaluant la taille de l’effet, l’incertitude, la population touchée, le coût de la décision et les conséquences d’une action ou d’une absence d’action. L’absence de significativité statistique ne prouve pas l’absence d’un effet important. ## Noter la définition de chaque indicateur et ce que chaque filtre a retiré Définissez chaque indicateur afin qu’un autre analyste puisse reproduire sa population et son calcul. Pour un rapport, indiquez le numérateur, le dénominateur, l’unité, la fenêtre temporelle et les critères d’éligibilité. Si un indicateur n’existe qu’après la survenue d’un événement, précisez explicitement ce conditionnement. Suivez le filtrage comme une partie de l’analyse et non comme un prétraitement invisible. À chaque étape de filtrage, consignez : - la règle et son objectif ; - le nombre de lignes, d’entités ou d’événements avant et après ; - la proportion supprimée ; - le chevauchement avec les filtres précédents ; - les éventuelles différences de suppression entre les groupes comparés ; - la sensibilité du résultat à la règle. Dans la mesure du possible, calculez des indicateurs de diagnostic pour les populations exclues comme pour les populations incluses. Ne dissimulez pas les cas difficiles à analyser, inconnus ou gênants sans les quantifier. Commencez par des indicateurs établis avant d’en introduire de personnalisés. Si les indicateurs standard et personnalisés ne concordent pas, examinez les définitions, la journalisation et le filtrage avant d’accepter la nouvelle mesure. Appliquez d’abord un nouvel indicateur à des données historiques ou à un cas bien compris dont vous pouvez vérifier le comportement attendu. N’évaluez pas une modification du système à l’aide d’un indicateur que cette même modification réinjecte directement dans le système ou manipule. Utilisez un résultat indépendant ou un dispositif qui tient compte de la boucle de rétroaction. ## Mesurer les résultats importants d’une autre façon et vérifier qu’ils se répètent Mesurez les phénomènes importants de plusieurs manières défendables. Privilégiez les recoupements qui diffèrent par leur mise en œuvre, leur source de données, leur méthode d’échantillonnage ou leur définition opérationnelle. Comparez les résultats avec : - des indicateurs de référence établis ; - des mesures antérieures portant sur des populations connexes ; - des sources de données indépendantes ; - d’autres mises en œuvre ; - des exécutions répétées sur des entrées fixes ; - des périodes proches et des sous-échantillons raisonnables. Une concordance exacte n’est pas nécessaire lorsque les populations ou les méthodes diffèrent, mais les écarts importants exigent une explication. Considérez les résultats surprenants comme non vérifiés jusqu’à l’examen des erreurs de mesure et des facteurs de confusion connus. Pour les modèles et les estimations dérivées, perturbez les entrées dans des limites réalistes et vérifiez si les conclusions restent stables. Lorsque le résultat doit être déterministe, vérifiez que les exécutions répétées produisent le même résultat. Conservez les paramètres d’analyse, les versions des données, les nombres d’éléments filtrés et les révisions du code nécessaires à la reproduction. Effectuez d’abord la validation standard, puis ajoutez des vérifications personnalisées motivées par la question précise. Ne considérez pas une seule exécution réussie comme une preuve de reproductibilité du résultat. ## Tester d’autres explications avant d’affirmer une cause Transformez les anomalies et tendances observées en hypothèses explicites. Pour chaque hypothèse, notez les éléments qui l’étayeraient et ceux qui l’affaibliraient ou la réfuteraient. Recherchez d’autres explications liées à : - la sélection et l’affectation ; - des changements de journalisation ou d’instrumentation ; - la saisonnalité et les événements externes ; - la composition de la population ; - les comparaisons multiples ; - la causalité inverse ; - des causes communes cachées ; - la rétroaction du système. Utilisez des comparaisons, des variations naturelles, des expériences contrôlées ou des éléments externes adaptés à l’affirmation. Vérifiez si l’effet apparaît là où le mécanisme proposé le prédit et s’il est absent là où ce mécanisme ne devrait pas s’appliquer. Comparez l’ampleur observée à la portée et au calendrier plausibles du mécanisme. La corrélation seule n’établit pas la causalité. Ne présentez pas comme stable une relation fondée sur une variable de substitution sans théorie ni éléments expliquant pourquoi elle devrait persister. Indiquez clairement ce que le dispositif permet d’établir, ce qu’il ne permet pas d’établir et les hypothèses nécessaires à une interprétation causale. Recherchez activement les éléments qui infirment l’hypothèse, en particulier lorsque les parties prenantes préfèrent une réponse donnée. Révisez ou abandonnez l’explication lorsque les éléments contradictoires sont plus solides. ## Faire relire par un collègue et présenter les limites avec les résultats Dans un travail exploratoire, terminez rapidement une analyse de bout en bout afin d’apprendre de l’ensemble du processus. Consignez les aspects imparfaits, les exclusions et les cas non résolus, puis améliorez les étapes qui influent réellement sur la conclusion. Ne perfectionnez pas la première transformation tant que la logique de décision finale n’a pas été testée. Sollicitez une revue par les pairs avant de présenter les conclusions aux responsables de décision. Demandez aux réviseurs de remettre en question : - les hypothèses relatives à la collecte et à la population ; - les définitions des indicateurs et des filtres ; - les calculs d’incertitude ; - le choix des segments et les changements de composition ; - le langage causal ; - la reproductibilité ; - la pertinence pratique. Dans le rapport final, distinguez les faits observés, les interprétations, les évaluations et les recommandations. Incluez la question, le périmètre, la fenêtre de données, les définitions des indicateurs, les tailles d’effet, l’incertitude, les exclusions, les analyses de sensibilité et les limites non résolues. Présentez les résultats nuls, contradictoires et non étayés au même titre que les résultats favorables. Utilisez des outils adaptés au problème analytique plutôt que d’imposer une méthode familière à chaque question. Reconnaissez rapidement ce que vous ignorez et vos erreurs ; une certitude sans fondement affaiblit les décisions futures. Terminez par la conclusion utile à la décision, les éléments qui la soutiennent, les principales réserves et la prochaine vérification qui réduirait le plus l’incertitude.