Daten analysieren, indem man ihre Erhebung prüft und andere Erklärungen ausschließt

## Von der Frage ausgehen und klären, wie die Daten erhoben wurden Beginne mit einer konkreten Frage oder Hypothese, nicht mit einem bevorzugten Werkzeug oder Verfahren. Benenne die Entscheidung, zu der die Analyse beitragen soll, und die Belege, die diese Entscheidung ändern könnten. Dokumentiere vor der Berechnung von Kennzahlen: - die Grundgesamtheit, das Ereignis oder den Prozess, den die Daten abbilden; - wie, wo und wann die Beobachtungen erhoben wurden; - Versuchszuweisung, Instrumentierung und Einschlussregeln; - bekannte Lücken, verspätete Datensätze, Stichprobenziehung und Aufbewahrungsgrenzen; - ungewöhnliche Ereignisse während des Messzeitraums; - die Analyseeinheiten und alle Abhängigkeiten zwischen Beobachtungen. Untersuche das Produkt, den Prozess oder den Versuch möglichst selbst. Ist eine direkte Nutzung nicht möglich, prüfe verlässliche Verhaltensbeschreibungen und Erhebungsspezifikationen. Gehe nicht allein aufgrund plausibel klingender Feldnamen davon aus, dass eine Tabelle das beabsichtigte Phänomen abbildet. Halte die Ausgangsfrage, Annahmen und erwarteten Invarianten fest. Die Frage darf sich während der Erkundung weiterentwickeln; unterscheide überarbeitete Fragen jedoch von der ursprünglichen. ## Erst die Daten prüfen, dann Beschreibung und Bewertung der Ergebnisse trennen Halte die drei Analysephasen auseinander, auch wenn die Arbeit wiederholt zwischen ihnen wechselt. 1. Die Validierung fragt, ob die Daten in sich schlüssig sind, korrekt erhoben wurden und den beabsichtigten Prozess abbilden. 2. Die Beschreibung gibt wieder, was die Messungen zeigen, ohne ihnen einen Wert oder Nutzen zuzuweisen. 3. Die Bewertung beurteilt, ob die beschriebene Änderung für die betroffenen Menschen, das System oder das Ziel wünschenswert ist. Kennzeichne Aussagen in Notizen und Berichten nach ihrer Phase und behebe Validierungsfehler, bevor du dich auf beschreibende Ergebnisse stützt. Beschreibe Richtung, Größenordnung, Unsicherheit und Grundgesamtheit in neutraler Sprache. Lege Bewertungskriterien ausdrücklich offen, statt sie in Kennzahlennamen einzubauen. Prüfe vor der Beantwortung der Hauptfrage Größen, die stabil bleiben sollten: - Umfang und Zusammensetzung der Grundgesamtheit; - Anzahl der Zuweisungen oder Expositionen; - Ereignis- und Abfragevolumen; - Protokollierungs- und Fehlerraten; - fehlende Werte und Verzögerungen; - unbeeinflusste Referenzkennzahlen. Deute eine Änderung der Zielkennzahl erst, nachdem plausible Mess- oder Populationsänderungen ausgeschlossen wurden. ## Nicht nur Mittelwerte ansehen, sondern auch Streuung und echte Beispiele Verlasse dich nicht nur auf Mittelwerte oder andere zusammenfassende Statistiken. Untersuche Darstellungen, die Form, Streuung, Randbereiche, Multimodalität und Unstetigkeiten sichtbar machen. Wähle geeignete Histogramme, Quantile, kumulative Verteilungen oder andere Verteilungsdarstellungen. Ergänze Schätzwerte mit Unsicherheitsangaben, deren Verfahren zur Stichproben- und Abhängigkeitsstruktur passen. Große Datensätze beseitigen weder Zufall noch Verzerrungen oder Messfehler. Unterscheide eine präzise Schätzung der falschen Größe von einer gültigen Schätzung der beabsichtigten Größe. Untersuche Rohbeispiele immer dann, wenn neue Analyselogik Daten umwandelt oder klassifiziert. Ziehe Stichproben aus: - jeder wichtigen Klasse; - häufigen und seltenen Kategorien; - mittleren und extremen Bereichen numerischer Verteilungen; - erfolgreichen, fehlgeschlagenen, fehlenden und fehlerhaft aufgebauten Fällen; - Datensätzen nahe an Entscheidungsschwellen. Untersuche Ausreißer, bevor du sie ausschließt oder zusammenfasst; sie können auf Instrumentierungsfehler, nicht erfasstes Verhalten, ungültige Annahmen oder tatsächlich ungewöhnliche Fälle hinweisen. Werden Ausreißer gefiltert oder gruppiert, dokumentiere Regel, Anzahl, Begründung und Wirkung auf die Schlussfolgerungen. Begrenze die Untersuchung erst, wenn die verbleibende Unsicherheit für die Entscheidung unerheblich ist. ## Ergebnisse nach Gruppen und Zeiträumen aufteilen und prüfen, ob sie halten Unterteile zusammengefasste Ergebnisse, wenn sich das zugrunde liegende Verhalten zwischen Grundgesamtheiten oder Umgebungen unterscheiden könnte. Wähle Aufteilungen anhand von Fachwissen, Erhebungsgrenzen und plausiblen Fehlerarten, statt unbegrenzt nach auffälligen Ergebnissen zu suchen. Untersuche für jede wichtige Aufteilung: - Kennzahlenwert und Unsicherheit; - Stichprobengröße und fehlende Werte; - den relativen Anteil der Vergleichsgruppen; - Unterschiede bei Datenqualität und Interaktion; - die Übereinstimmung mit dem Gesamtergebnis. Prüfe beim Vergleich von Gruppen oder Zeiträumen Änderungen der Zusammensetzung; ein anderes Mischungsverhältnis der Untergruppen kann Gesamtschlüsse umkehren oder verzerren, obwohl das Verhalten innerhalb der Aufteilungen stabil bleibt. Mache Variablen, die durch die Maßnahme oder eine Systemrückkopplung verändert wurden, nicht zur Bedingung, sofern du die daraus entstehende Verzerrung nicht ausdrücklich berücksichtigst. Teile Daten nach Zeit auf, um Einführungen, Ausfälle, Saisonalität, Änderungen der Protokollierung und schleichende Verschiebungen zu erkennen. Verwirf einen ungewöhnlichen Zeitraum nicht allein deshalb, weil er ungewöhnlich ist; suche zuerst nach einer kausalen Erklärung. Prüfe die Stabilität über mehrere Zeitfenster, Grundgesamtheiten und angemessene zufällige Teilstichproben hinweg. Trenne statistische Signifikanz von praktischer Relevanz, indem du Effektgröße, Unsicherheit, betroffene Grundgesamtheit, Entscheidungskosten und die Folgen von Handeln oder Nichthandeln bewertest. Fehlende statistische Signifikanz ist kein Beleg dafür, dass keine bedeutsame Wirkung vorliegt. ## Festhalten, wie jede Kennzahl definiert ist und was jeder Filter entfernt hat Definiere jede Kennzahl so, dass eine andere Fachkraft ihre Grundgesamtheit und Berechnung reproduzieren kann. Benenne bei einem Verhältnis Zähler, Nenner, Einheit, Zeitfenster und Einschlusskriterien. Ist eine Kennzahl erst nach dem Eintritt eines Ereignisses definiert, lege diese Bedingung ausdrücklich offen. Behandle die Filterung als Bestandteil der Analyse und nicht als unsichtbare Vorverarbeitung. Dokumentiere bei jedem Filterschritt: - die Regel und ihren Zweck; - Zeilen, Entitäten oder Ereignisse davor und danach; - den herausgefilterten Anteil; - Überschneidungen mit früheren Filtern; - ob sich die Filterung zwischen Vergleichsgruppen unterscheidet; - wie empfindlich das Ergebnis auf die Regel reagiert. Berechne nach Möglichkeit Diagnosekennzahlen sowohl für einbezogene als auch für ausgeschlossene Grundgesamtheiten. Verberge schwer auswertbare, unbekannte oder unbequeme Fälle nicht, ohne sie zu quantifizieren. Beginne mit bewährten Kennzahlen, bevor du eigene einführst. Passen bewährte und eigene Kennzahlen nicht zusammen, untersuche Definitionen, Protokollierung und Filterung, bevor du die neue Messgröße annimmst. Wende eine neue Kennzahl zunächst auf historische Daten oder einen gut verstandenen Fall an, bei dem sich ihr erwartetes Verhalten prüfen lässt. Bewerte eine Systemänderung nicht anhand einer Kennzahl, die durch dieselbe Änderung direkt in das System zurückgespeist oder verändert wird. Nutze ein unabhängiges Ergebnis oder einen Versuchsaufbau, der die Rückkopplungsschleife berücksichtigt. ## Wichtige Ergebnisse auf zweitem Weg messen und auf Wiederholbarkeit prüfen Messe wichtige Phänomene auf mehr als eine vertretbare Weise. Bevorzuge Gegenprüfungen, die sich in Umsetzung, Datenquelle, Stichprobenverfahren oder operationaler Definition unterscheiden. Vergleiche Ergebnisse mit: - bewährten Referenzkennzahlen; - früheren Messungen verwandter Grundgesamtheiten; - unabhängigen Datenquellen; - alternativen Umsetzungen; - wiederholten Durchläufen mit festen Eingaben; - benachbarten Zeiträumen und angemessenen Teilstichproben. Bei unterschiedlichen Grundgesamtheiten oder Verfahren ist keine genaue Übereinstimmung erforderlich, doch wesentliche Abweichungen müssen erklärt werden. Behandle überraschende Ergebnisse als unbestätigt, bis Messfehler und bekannte Störfaktoren untersucht wurden. Verändere bei Modellen und abgeleiteten Schätzwerten die Eingaben innerhalb realistischer Grenzen und prüfe, ob die Schlussfolgerungen stabil bleiben. Überprüfe bei erwarteter Determiniertheit, ob wiederholte Ausführungen dasselbe Ergebnis liefern. Bewahre Analyseparameter, Datenstände, Filteranzahlen und Quelltextstände auf, die für eine Reproduktion erforderlich sind. Führe zuerst die Standardvalidierung durch und ergänze anschließend auf die konkrete Frage zugeschnittene Prüfungen. Verwende eine einzige erfolgreiche Berechnung nicht als Beleg für die Reproduzierbarkeit des Ergebnisses. ## Andere Erklärungen prüfen, bevor man eine Ursache behauptet Überführe beobachtete Auffälligkeiten und Entwicklungen in ausdrückliche Hypothesen. Notiere für jede Hypothese Belege, die sie stützen würden, und Belege, die sie schwächen oder widerlegen würden. Suche nach alternativen Erklärungen durch: - Auswahl und Zuweisung; - Änderungen an Protokollierung oder Instrumentierung; - Saisonalität und externe Ereignisse; - Zusammensetzung der Grundgesamtheit; - Mehrfachvergleiche; - umgekehrte Kausalität; - verborgene gemeinsame Ursachen; - Systemrückkopplung. Nutze für die Aussage geeignete Vergleiche, natürliche Schwankungen, kontrollierte Versuche oder externe Belege. Prüfe, ob die Wirkung dort auftritt, wo der vorgeschlagene Mechanismus sie vorhersagt, und dort ausbleibt, wo er nicht gelten sollte. Vergleiche die beobachtete Größenordnung mit der plausiblen Reichweite und dem zeitlichen Verlauf des Mechanismus. Korrelation allein begründet keine Kausalität. Stelle eine Stellvertreterbeziehung nicht als stabil dar, wenn keine Theorie und keine Belege erklären, warum sie fortbestehen sollte. Lege klar dar, was der Versuchsaufbau feststellen kann, was nicht und welche Annahmen eine kausale Deutung voraussetzt. Suche aktiv nach Gegenbelegen, besonders wenn Beteiligte eine bestimmte Antwort bevorzugen. Überarbeite oder verwirf die Erklärung, wenn widersprechende Belege stärker sind. ## Gegenlesen lassen und Grenzen zusammen mit den Ergebnissen berichten Führe bei erkundenden Arbeiten frühzeitig eine vollständige Analyse durch, um aus dem gesamten Ablauf zu lernen. Halte Unfertiges, Ausschlüsse und ungelöste Fälle fest und verbessere anschließend die Phasen, die die Schlussfolgerung wesentlich beeinflussen. Vervollkommne nicht die erste Umwandlung, während die abschließende Entscheidungslogik ungeprüft bleibt. Hole eine fachliche Begutachtung ein, bevor du Entscheidungsträgern Schlussfolgerungen vorlegst. Bitte die Prüfenden, Folgendes zu hinterfragen: - Annahmen zur Erhebung und Grundgesamtheit; - Definitionen von Kennzahlen und Filtern; - Unsicherheitsberechnungen; - Auswahl der Aufteilungen und Änderungen der Zusammensetzung; - kausale Formulierungen; - Reproduzierbarkeit; - praktische Relevanz. Trenne im Abschlussbericht beobachtete Tatsachen, Deutungen, Bewertungen und Empfehlungen. Nenne Frage, Umfang, Datenzeitraum, Kennzahlendefinitionen, Effektgrößen, Unsicherheit, Ausschlüsse, Empfindlichkeitsprüfungen und ungeklärte Grenzen. Berichte Nullbefunde, widersprüchliche und nicht gestützte Ergebnisse ebenso wie günstige. Nutze Werkzeuge, die zum Analyseproblem passen, statt jede Frage in ein vertrautes Verfahren zu zwingen. Räume Unwissen und Fehler umgehend ein; unbegründete Gewissheit schwächt künftige Entscheidungen. Schließe mit der entscheidungsrelevanten Schlussfolgerung, den zugrunde liegenden Belegen, den wichtigsten Vorbehalten und der nächsten Prüfung, die die Unsicherheit am stärksten verringern würde.