Vérifier si un changement de produit fonctionne en comparant des groupes tirés au sort (test A/B)

## Déterminer si un test comparatif peut répondre à la question Commencer par la décision que les preuves doivent éclairer. Une expérimentation contrôlée en ligne est utile lorsqu’un changement peut être attribué, qu’un résultat peut être mesuré et que l’exposition peut être gérée en toute sécurité. Vérifier que : - l’intervention reste suffisamment stable pendant le test ; - les unités admissibles peuvent être affectées sans interférence inacceptable ; - le résultat peut se produire au cours d’une période observable ; - l’apprentissage attendu justifie le trafic, le temps et le risque ; - l’organisation peut agir face à chaque résultat plausible. Ne pas utiliser une expérimentation pour compenser un problème mal défini ou une instrumentation peu fiable. Recourir à la recherche qualitative, à l’analyse opérationnelle, à la simulation ou à des méthodes d’observation lorsque la question porte sur les raisons d’un comportement, un préjudice rare, des effets à long terme ou un changement qui ne peut pas être attribué. ## Écrire une prévision qui dit quoi faire de chaque résultat Avant la mise en œuvre, énoncer le changement proposé, la population concernée, le mécanisme comportemental attendu, le résultat principal, la direction de l’effet et la conséquence pour la décision. Fonder l’hypothèse sur des preuves antérieures plutôt que de tester des changements superficiels arbitraires. Une hypothèse utile précise : - le problème actuel et l’observation qui l’étaye ; - l’intervention et ce qui demeure inchangé ; - la réponse attendue et son mécanisme ; - l’indicateur principal et la fenêtre d’analyse ; - le plus petit effet qui justifierait d’agir ; - l’action à mener en cas de résultats positifs, neutres et préjudiciables. Distinguer l’exploration de la confirmation. Si l’équipe ne peut pas indiquer quel résultat modifierait la décision, préciser la question avant de consommer du trafic expérimental. ## Choisir qui participe au test et comment répartir les personnes en groupes Préciser l’unité expérimentale, la population admissible à l’inclusion et le moment où l’affectation a lieu. L’unité peut être une personne, un compte, un appareil, une session, un lieu ou une autre entité, mais ce choix doit correspondre à la façon dont l’intervention et les résultats se propagent. Consigner : - les règles d’inclusion et d’exclusion ; - les proportions d’allocation ; - la procédure de randomisation ou d’appariement ; - le maintien de l’affectation d’une visite à l’autre ; - le traitement des unités nouvelles et récurrentes ; - les interactions connues entre les unités. Empêcher une même unité de recevoir des variantes incompatibles, sauf si le plan modélise explicitement l’exposition répétée. Lorsque les membres d’un groupe s’influencent mutuellement, effectuer l’affectation au niveau du groupe ou tenir compte de l’interférence dans le plan et l’analyse. ## Créer des versions de test qui ne changent que ce qu’on veut vérifier Ne modifier que ce qu’exige l’hypothèse et conserver un comportement cohérent pour tout ce qui n’y est pas lié. La comparaison doit isoler une intervention pertinente plutôt que regrouper plusieurs modifications impossibles à retracer. Pour chaque variante, consigner : - la différence exacte visible par les utilisateurs et au niveau du système ; - la personne responsable de la mise en œuvre et la version ; - les conditions d’exposition attendues ; - les risques liés à l’accessibilité, à la confidentialité et au fonctionnement ; - le comportement de repli en cas d’échec de la diffusion ; - les vérifications prouvant que la variante prévue a bien été présentée. Plusieurs changements simultanés peuvent estimer l’effet d’un ensemble, mais ne permettent pas de déterminer quel composant l’a provoqué. N’utiliser un plan factoriel ou multivarié que si l’échantillon, le plan d’analyse et le besoin décisionnel justifient la complexité supplémentaire. ## Fixer à l’avance le chiffre principal et les chiffres qui surveillent les effets néfastes Choisir un indicateur décisionnel principal qui représente le comportement formulé dans l’hypothèse et peut être interprété au niveau de l’unité expérimentale. Définir son numérateur, son dénominateur, son unité, sa fenêtre d’attribution, ses exclusions et le traitement des événements répétés. Ajouter des indicateurs de garde-fou pour les effets que l’indicateur principal pourrait masquer : - la rétention ou l’utilisation répétée ; - l’accomplissement des tâches et les erreurs ; - la latence et la fiabilité ; - les remboursements, les réclamations ou la demande d’assistance ; - le chiffre d’affaires, les coûts ou la marge ; - les indicateurs de confidentialité, d’équité ou de sécurité. Ne pas redéfinir la réussite après avoir observé les données. Qualifier les indicateurs diagnostiques de secondaires et préciser s’ils contribuent à l’explication, à la surveillance ou à la formulation de futures hypothèses. ## Fixer avant le début le nombre de personnes nécessaire et le moment d’arrêter Estimer l’échantillon nécessaire à partir du taux de référence ou de la variance, de l’effet minimal détectable, des critères d’erreur statistique, de l’allocation et de la méthode d’analyse prévue. Choisir l’effet minimal en fonction de sa valeur pratique et du coût de mise en œuvre, et non en fonction de l’échantillon qui se trouve être commode. Avant le lancement, consigner : - le trafic admissible attendu ; - l’échantillon cible par variante ; - la durée minimale nécessaire pour couvrir les cycles connus ; - la durée maximale ou la condition d’expiration ; - la méthode d’analyse à horizon fixe ou séquentielle ; - les règles d’arrêt en cas de préjudice ou de défaillance technique. La significativité statistique ne remplace ni une exposition suffisante ni une période représentative. Ne pas examiner à plusieurs reprises un test ordinaire à horizon fixe pour l’arrêter dès le premier franchissement d’un seuil favorable. ## Vérifier que la répartition en groupes et l’enregistrement des données fonctionnent avant de lire les résultats Vérifier l’affectation, l’exposition, la collecte des événements et le calcul des indicateurs avant d’interpréter les résultats. Exécuter toute la chaîne avec des comptes de test ou des événements synthétiques, puis comparer les données enregistrées au comportement attendu. Vérifier que : - l’allocation correspond aux proportions configurées ; - les identifiants restent stables et les variantes ne se mélangent pas ; - l’exposition est enregistrée avant les résultats qui peuvent lui être attribués ; - les événements ne sont ni dupliqués ni abandonnés silencieusement ; - les horloges, les fuseaux horaires et les fenêtres sont alignés ; - les requêtes d’indicateurs reproduisent des exemples connus. Une comparaison entre variantes identiques peut révéler des défauts d’allocation, d’instrumentation ou d’analyse, mais ne prouve pas la validité de toutes les interventions futures. Définir des tolérances diagnostiques acceptables avant d’examiner le résultat. ## Commencer avec peu d’utilisateurs et surveiller les effets néfastes Commencer par une exposition limitée lorsque l’intervention pourrait affecter le chiffre d’affaires, la fiabilité, la confiance ou le bien-être des participants. N’augmenter l’allocation qu’après avoir constaté que les vérifications de diffusion et des indicateurs de garde-fou restent dans les limites prédéfinies. Surveiller des signaux opérationnels tels que : - le nombre d’affectations et d’expositions ; - les taux d’erreur et la latence ; - les événements manquants ou mal formés ; - les fortes variations des indicateurs de garde-fou ; - les demandes d’assistance ou les signalements d’incidents ; - le déséquilibre des attributs importants antérieurs à l’expérimentation. Séparer la surveillance d’urgence de l’analyse des résultats. Un arrêt motivé par un préjudice avéré ou une diffusion défaillante protège les participants et la qualité des données ; un arrêt motivé par une première estimation peu attrayante modifie le contrat statistique. ## Ne pas modifier le test pendant qu’il tourne Maintenir stables la logique des variantes, les règles d’admissibilité, les indicateurs et le code d’analyse pendant le test prévu, sauf si la sécurité ou l’exactitude exige une intervention. Consigner chaque événement opérationnel susceptible de modifier l’exposition ou la mesure. Éviter : - les expérimentations simultanées comportant des interactions non modélisées ; - les campagnes ou les mises en production qui n’affectent qu’une seule variante ; - la réaffectation manuelle d’unités sélectionnées ; - l’exclusion d’observations en fonction du comportement postérieur à l’affectation ; - l’allongement ou le raccourcissement du test pour obtenir un résultat souhaité. Si un changement substantiel survient, déterminer s’il faut recommencer, modifier le plan d’analyse ou déclarer que le résultat est compromis. Ne pas combiner silencieusement des données recueillies selon des définitions incompatibles. ## Indiquer la taille de l’effet et le degré de certitude Analyser les unités en fonction de la condition qui leur a été affectée, sauf si un plan prédéfini exige une autre quantité à estimer. Présenter la taille de l’effet et l’incertitude, et pas seulement une étiquette liée à un seuil. L’analyse doit comprendre : - le nombre d’unités dans l’échantillon et le nombre d’expositions par variante ; - les vérifications de la qualité et de l’équilibre des données ; - les estimations de l’indicateur principal et des indicateurs de garde-fou ; - les effets absolus et relatifs lorsqu’ils sont pertinents ; - les intervalles de confiance ou de crédibilité ; - l’analyse des données manquantes et l’analyse de sensibilité ; - les écarts par rapport à la méthode prévue. Distinguer la significativité statistique de l’importance pratique. Un effet négligeable estimé avec précision peut ne pas justifier une mise en œuvre, tandis qu’une estimation incertaine peut justifier la recherche de preuves supplémentaires plutôt qu’une affirmation d’absence d’effet. ## Éviter les conclusions dues au hasard en découpant les résultats en petits groupes Traiter avec prudence les résultats concernant les sous-groupes et les indicateurs secondaires, surtout s’ils ont été sélectionnés après que les résultats étaient visibles. Chaque comparaison supplémentaire accroît la probabilité qu’un résultat apparemment notable soit dû au hasard. Avant d’affirmer l’existence d’un effet dans un segment : - définir le segment indépendamment du comportement postérieur au traitement ; - confirmer que l’échantillon et le chevauchement sont suffisants ; - tester l’interaction plutôt que comparer des étiquettes de significativité distinctes ; - appliquer le contrôle de multiplicité prévu ; - rechercher une réplication lorsque le résultat motive une décision lourde de conséquences. Utiliser des découpages exploratoires pour formuler des hypothèses, et non pour réécrire le test initial. Présenter toutes les comparaisons importantes envisagées afin que les lecteurs puissent évaluer le risque de sélection. ## Décider s’il faut lancer le changement et garder une trace écrite Combiner l’estimation expérimentale avec le coût de mise en œuvre, les preuves qualitatives, les contraintes opérationnelles, les considérations éthiques et la durée probable de l’effet. Choisir explicitement de déployer, de rejeter, de réviser, de répéter ou d’approfondir l’étude. Le dossier final doit conserver : - l’hypothèse initiale et la règle de décision ; - la population, les variantes, les dates et l’échantillon ; - les définitions des indicateurs et la méthode d’analyse ; - les estimations des effets et l’incertitude ; - les résultats des indicateurs de garde-fou et les incidents ; - les limites, les exclusions et les écarts ; - la décision, la personne responsable et la mesure de suivi. Ne pas affirmer qu’une seule expérimentation explique pourquoi le comportement a changé ou prouve que l’effet persistera dans une autre population ou un autre contexte. Archiver l’analyse reproductible et surveiller le changement mis en œuvre afin que les preuves ultérieures puissent confirmer, nuancer ou inverser la décision.