Mit zufällig aufgeteilten Gruppen prüfen, ob eine Produktänderung wirkt (A/B-Test)

## Klären, ob ein Vergleichstest die Frage beantworten kann Beginnen Sie mit der Entscheidung, zu der die Belege beitragen müssen. Ein kontrolliertes Onlineexperiment ist sinnvoll, wenn eine Änderung zugewiesen, ein Ergebnis gemessen und die Exposition sicher gesteuert werden kann. Bestätigen Sie Folgendes: - Die Intervention bleibt während des Tests ausreichend stabil. - Geeignete Einheiten können ohne unvertretbare wechselseitige Beeinflussung zugewiesen werden. - Das Ergebnis kann innerhalb eines beobachtbaren Zeitraums eintreten. - Der erwartete Erkenntnisgewinn rechtfertigt Nutzungsaufkommen, Zeit und Risiko. - Die Organisation kann auf jedes plausible Ergebnis reagieren. Verwenden Sie kein Experiment, um ein unklar definiertes Problem oder unzuverlässige Messinstrumente auszugleichen. Nutzen Sie qualitative Forschung, betriebliche Analysen, Simulationen oder Beobachtungsmethoden, wenn es darum geht, warum ein Verhalten auftritt, wenn seltene Schäden oder langfristige Wirkungen untersucht werden oder wenn eine Änderung nicht zugewiesen werden kann. ## Eine Vorhersage schreiben, die für jedes Ergebnis den nächsten Schritt festlegt Halten Sie vor der Umsetzung die vorgeschlagene Änderung, die betroffene Grundgesamtheit, den erwarteten Verhaltensmechanismus, das primäre Ergebnis, die Wirkungsrichtung und die Konsequenz für die Entscheidung fest. Stützen Sie die Hypothese auf vorhandene Belege, statt willkürlich gewählte oberflächliche Änderungen zu testen. Eine zweckmäßige Hypothese benennt: - das aktuelle Problem und die stützende Beobachtung; - die Intervention und das, was unverändert bleibt; - die erwartete Reaktion und ihren Mechanismus; - die primäre Kennzahl und das Analysefenster; - den kleinsten Effekt, der eine Maßnahme rechtfertigt; - die Maßnahme bei positiven, neutralen und schädlichen Ergebnissen. Unterscheiden Sie Exploration und Bestätigung. Wenn das Team nicht angeben kann, welches Ergebnis die Entscheidung verändern würde, präzisieren Sie die Frage, bevor Sie Nutzungsaufkommen für das Experiment einsetzen. ## Festlegen, wer am Test teilnimmt und wie auf Gruppen verteilt wird Legen Sie die Versuchseinheit, die für die Aufnahme geeignete Grundgesamtheit und den Zeitpunkt der Zuweisung fest. Die Einheit kann eine Person, ein Konto, ein Gerät, eine Sitzung, ein Standort oder eine andere Entität sein. Die Wahl muss jedoch dazu passen, wie sich Intervention und Ergebnisse ausbreiten. Dokumentieren Sie: - Ein- und Ausschlussregeln; - Zuteilungsverhältnisse; - das Randomisierungs- oder Abgleichverfahren; - die Beständigkeit der Zuweisung über mehrere Besuche hinweg; - den Umgang mit neuen und wiederkehrenden Einheiten; - bekannte Wechselwirkungen zwischen Einheiten. Verhindern Sie, dass eine Einheit unvereinbare Varianten erhält, sofern die Versuchsplanung wiederholte Exposition nicht ausdrücklich modelliert. Wenn Mitglieder einer Gruppe einander beeinflussen, weisen Sie auf Gruppenebene zu oder berücksichtigen Sie die wechselseitige Beeinflussung in Versuchsplanung und Analyse. ## Testversionen bauen, die nur das zu Prüfende ändern Ändern Sie nur das, was die Hypothese erfordert, und halten Sie davon unabhängiges Verhalten unverändert. Der Vergleich sollte eine aussagekräftige Intervention isolieren, statt mehrere nicht nachvollziehbare Änderungen zu bündeln. Halten Sie für jede Variante fest: - den genauen für Nutzende sichtbaren Unterschied und den Unterschied auf Systemebene; - die für die Umsetzung verantwortliche Person und die Version; - die erwarteten Expositionsbedingungen; - Risiken für Barrierefreiheit, Datenschutz und Betrieb; - das Ersatzverhalten bei fehlgeschlagener Bereitstellung; - Prüfungen, die belegen, dass die vorgesehene Variante ausgeliefert wurde. Mit mehreren gleichzeitigen Änderungen lässt sich die Wirkung eines Gesamtpakets schätzen, aber nicht feststellen, welche Komponente sie verursacht hat. Verwenden Sie einen faktoriellen oder multivariaten Versuchsplan nur, wenn Stichprobe, Analyseplan und Entscheidungsbedarf die zusätzliche Komplexität rechtfertigen. ## Hauptkennzahl und Warnkennzahlen für Schäden vorab festlegen Wählen Sie eine primäre Entscheidungskennzahl, die das in der Hypothese beschriebene Verhalten abbildet und auf Ebene der Versuchseinheit interpretierbar ist. Definieren Sie Zähler, Nenner, Einheit, Zuordnungsfenster, Ausschlüsse und den Umgang mit wiederholten Ereignissen. Ergänzen Sie Schutzkennzahlen für Wirkungen, welche die primäre Kennzahl verdecken könnte: - Bindung oder wiederholte Nutzung; - Aufgabenerledigung und Fehler; - Latenz und Zuverlässigkeit; - Erstattungen, Beschwerden oder Betreuungsbedarf; - Umsatz, Kosten oder Marge; - Kennzahlen zu Datenschutz, Fairness oder Sicherheit. Definieren Sie Erfolg nicht neu, nachdem Sie die Daten gesehen haben. Kennzeichnen Sie diagnostische Kennzahlen als sekundär und geben Sie an, ob sie der Erklärung, der Überwachung oder der Entwicklung künftiger Hypothesen dienen. ## Vor dem Start festlegen, wie viele Personen nötig sind und wann gestoppt wird Schätzen Sie die erforderliche Stichprobengröße anhand der Ausgangsrate oder Varianz, des kleinsten nachweisbaren Effekts, der statistischen Fehlerkriterien, der Zuteilung und des vorgesehenen Analyseverfahrens. Wählen Sie den kleinsten Effekt nach praktischem Nutzen und Umsetzungskosten aus, nicht nach einer zufällig bequemen Stichprobengröße. Halten Sie vor dem Start fest: - das erwartete geeignete Nutzungsaufkommen; - die Zielstichprobe je Variante; - die kürzeste Laufzeit, die bekannte Zyklen abdeckt; - die längste Laufzeit oder eine Ablaufbedingung; - das Verfahren für eine Analyse mit festem Zeithorizont oder eine sequenzielle Analyse; - Regeln für den Abbruch aufgrund von Schäden oder technischen Fehlern. Statistische Signifikanz ist kein Ersatz für ausreichende Exposition oder eine repräsentative zeitliche Abdeckung. Prüfen Sie einen gewöhnlichen Test mit festem Zeithorizont nicht wiederholt, um ihn beim ersten Überschreiten eines günstigen Schwellenwerts abzubrechen. ## Vor dem Lesen der Ergebnisse prüfen, ob Gruppenaufteilung und Datenerfassung richtig funktionieren Prüfen Sie Zuweisung, Exposition, Ereigniserfassung und Kennzahlenberechnung, bevor Sie Ergebnisse interpretieren. Durchlaufen Sie die gesamte Verarbeitungskette mit Testkonten oder synthetischen Ereignissen und vergleichen Sie anschließend die aufgezeichneten Daten mit dem erwarteten Verhalten. Prüfen Sie: - Die Zuteilung entspricht den eingestellten Verhältnissen. - Kennungen bleiben stabil und Varianten vermischen sich nicht. - Die Exposition wird vor den zurechenbaren Ergebnissen aufgezeichnet. - Ereignisse werden weder dupliziert noch unbemerkt verworfen. - Uhren, Zeitzonen und Zeitfenster sind aufeinander abgestimmt. - Kennzahlenabfragen bilden bekannte Beispiele nach. Ein Vergleich identischer Varianten kann Fehler in Zuteilung, Messinstrumenten oder Analyse aufdecken, beweist jedoch nicht die Gültigkeit jeder künftigen Intervention. Legen Sie akzeptable diagnostische Toleranzen fest, bevor Sie das Ergebnis betrachten. ## Mit wenigen Nutzern starten und auf Schäden achten Beginnen Sie mit begrenzter Exposition, wenn die Intervention Umsatz, Zuverlässigkeit, Vertrauen oder das Wohlergehen der Teilnehmenden beeinflussen könnte. Erhöhen Sie die Zuteilung erst, wenn die Prüfungen von Auslieferung und Schutzkennzahlen innerhalb der vorab festgelegten Grenzen bleiben. Überwachen Sie betriebliche Signale wie: - Anzahl der Zuweisungen und Expositionen; - Fehlerraten und Latenz; - fehlende oder fehlerhaft aufgebaute Ereignisse; - starke Veränderungen der Schutzkennzahlen; - Kundendienstmeldungen oder Vorfallberichte; - Ungleichgewichte bei wichtigen Merkmalen vor Experimentbeginn. Trennen Sie die Notfallüberwachung von der Ergebnisanalyse. Ein Abbruch wegen nachgewiesener Schäden oder fehlerhafter Auslieferung schützt Teilnehmende und Datenqualität. Ein Abbruch, weil eine frühe Schätzung ungünstig erscheint, ändert dagegen die statistische Vereinbarung. ## Den Test während der Laufzeit nicht verändern Halten Sie Variantenlogik, Eignungsregeln, Kennzahlen und Analysecode während des geplanten Tests stabil, sofern nicht Sicherheit oder Korrektheit ein Eingreifen erfordern. Zeichnen Sie jedes betriebliche Ereignis auf, das Exposition oder Messung verändern könnte. Vermeiden Sie: - sich überschneidende Experimente mit nicht modellierten Wechselwirkungen; - Kampagnen oder Veröffentlichungen, die nur eine Variante betreffen; - die manuelle Neuzuweisung ausgewählter Einheiten; - den Ausschluss von Beobachtungen aufgrund des Verhaltens nach der Zuweisung; - eine Verlängerung oder Verkürzung des Tests, um ein gewünschtes Ergebnis zu erzielen. Tritt eine wesentliche Änderung ein, entscheiden Sie, ob Sie neu beginnen, den Analyseplan anpassen oder das Ergebnis als beeinträchtigt melden. Fassen Sie Daten, die unter unvereinbaren Definitionen erhoben wurden, nicht stillschweigend zusammen. ## Angeben, wie groß die Wirkung ist und wie sicher sie ist Analysieren Sie die Einheiten entsprechend der ihnen zugewiesenen Bedingung, sofern eine vorab festgelegte Versuchsplanung keine andere Zielgröße der Schätzung verlangt. Berichten Sie Effektgröße und Unsicherheit, nicht nur die Einstufung anhand eines Schwellenwerts. Die Analyse sollte Folgendes umfassen: - Stichproben- und Expositionszahlen je Variante; - Prüfungen von Datenqualität und Ausgewogenheit; - Schätzungen für primäre Kennzahl und Schutzkennzahlen; - absolute und relative Effekte, soweit dies sinnvoll ist; - Konfidenz- oder Kredibilitätsintervalle; - Analysen fehlender Daten und Sensitivitätsanalysen; - Abweichungen vom geplanten Verfahren. Trennen Sie statistische Signifikanz von praktischer Bedeutung. Ein präzise geschätzter, aber belangloser Effekt rechtfertigt möglicherweise keine Umsetzung. Eine unsichere Schätzung kann dagegen weitere Belege rechtfertigen, statt die Behauptung, es gebe keinen Effekt. ## Zufallsfunde vermeiden, wenn Ergebnisse in kleine Gruppen zerlegt werden Behandeln Sie Ergebnisse zu Untergruppen und sekundären Kennzahlen mit Vorsicht, besonders wenn sie ausgewählt wurden, nachdem die Ergebnisse bereits sichtbar waren. Jeder zusätzliche Vergleich erhöht die Wahrscheinlichkeit, dass ein scheinbar bemerkenswertes Ergebnis durch Zufall entsteht. Bevor Sie eine Wirkung in einem Segment behaupten: - Definieren Sie das Segment unabhängig vom Verhalten nach der Behandlung. - Bestätigen Sie eine ausreichende Stichprobe und Überschneidung. - Prüfen Sie die Wechselwirkung, statt getrennte Signifikanzkennzeichnungen zu vergleichen. - Wenden Sie die geplante Kontrolle der Multiplizität an. - Streben Sie eine Wiederholung an, wenn das Ergebnis eine folgenreiche Entscheidung bestimmt. Nutzen Sie explorative Unterteilungen zur Entwicklung von Hypothesen, nicht zum Umschreiben des ursprünglichen Tests. Berichten Sie alle berücksichtigten wesentlichen Vergleiche, damit Lesende das Auswahlrisiko einschätzen können. ## Entscheiden, ob die Änderung eingeführt wird, und das Ergebnis festhalten Verbinden Sie die experimentelle Schätzung mit Umsetzungskosten, qualitativen Belegen, betrieblichen Einschränkungen, ethischen Erwägungen und der voraussichtlichen Wirkungsdauer. Entscheiden Sie ausdrücklich, ob die Änderung eingeführt, verworfen, überarbeitet, erneut getestet oder weiter untersucht werden soll. Die abschließende Dokumentation sollte Folgendes festhalten: - die ursprüngliche Hypothese und Entscheidungsregel; - Grundgesamtheit, Varianten, Datumsangaben und Stichprobe; - Kennzahlendefinitionen und Analyseverfahren; - Effektschätzungen und Unsicherheit; - Ergebnisse der Schutzkennzahlen und Vorfälle; - Einschränkungen, Ausschlüsse und Abweichungen; - die Entscheidung, die verantwortliche Person und die Folgemessung. Behaupten Sie nicht, ein einzelnes Experiment erkläre, warum sich Verhalten geändert hat, oder beweise, dass die Wirkung in einer anderen Grundgesamtheit oder einem anderen Kontext fortbestehen wird. Archivieren Sie die reproduzierbare Analyse und überwachen Sie die umgesetzte Änderung, damit spätere Belege die Entscheidung bestätigen, einschränken oder umkehren können.