Ein signifikantes Problem*

* p<0.05

0) Einleitung

Ich bin nicht jemand, der aus Prinzip eine konträre Meinung vertritt. Das ist irrational. Der “Mainstream” ist oft Mainstream, weil es Sinn macht. Es ist mainstream, Milch zu pasteurisieren, weil damit schädliche Keime abgetötet werden. Es ist mainstream, keinen Asbest in Gebäuden zu verbauen, weil Asbest krebserregend ist. Und so fort. Nur, weil alle etwas tun, ist es darum nicht automatisch suspekt oder falsch.

Im Umkehrschluss gilt aber auch: Nur, weil alle etwas tun, ist es darum nicht automatisch richtig. Das wissen wir natürlich. Nur, weil man früher Hexen verbrannt hat, bedeutet das nicht, dass es Hexen gab und dass sie verbrannt werden sollten.

Auch heute noch gibt es Situationen, in denen die Mehrheitsmeinung eine Art allgemein akzeptierter Mainstream ist, ohne dass es dafür gute Gründe gibt. Ein Beispiel dafür, das ich besonders interessant finde, weil es weitreichende Konsequenzen in allen Bereichen der Gesellschaft hat, ist die Idee der “statistischen Signifikanz”.

Wer Berührungspunkte mit wissenschaftlicher Arbeit hatte, weiss: Ein Effekt ist erst dann bestätigt, wenn er statistisch signifikant ist. Statistische Signifikanz ist so etwas wie ein wissenschaftlicher Filter, um festzustellen, wo es wirklich Zusammenhänge oder Unterschiede in Daten gibt.

Diese Vorstellung ist falsch. Die Idee der statistischen Signifikanz ist philosophisch unsauber und praktisch verzerrend. Mehr noch: Die meisten Menschen, auch gestandene Wissenschaftler, missverstehen, was sie eigentlich tun, wenn sie nach statistischer Signifikanz suchen.

Diesem Problem möchte ich in diesem Newsletter genauer auf den Grund gehen.

1) Wer’s glaubt, wird selig

Die nachfolgende Grafik zeigt die Verteilung von über einer Million sogenannter z-Werte aus medizinischen Studien, die zwischen 1970 und 2019 veröffentlicht wurden. Die Grafik wurde in einer Studie von 2021 erstellt. z-Werte geben an, wie viele Standardabweichungen eine Beobachtung vom Mittelwert entfernt ist.

Die Verteilung in der Grafik ist sehr auffällig. Ganz links und ganz rechts, bei Werten von -10 und 10, gibt es sehr wenige Fälle. Die Anzahl Fälle steigt dann, wenn wir uns von den Rändern in Richtung Mitte bewegen. Die Häufung der Fälle von den Rändern in Richtung Mitte sieht zunächst so aus, als ob um 0 herum die meisten Fälle sein sollten. Aber dem ist nicht so. Die Anzahl der z-Werte bricht vor 0 sehr deutlich ein.

Die Grenzen, bei denen die Verteilung der z-Werte so eigenartig einknickt, lassen sich ganz präzise bestimmen: -1.96 und 1.96. Sehr viele z-Werte aus medizinischen Studien sind ein klein wenig kleiner als -1.96 bzw. ein klein wenig grösser als 1.96. Was hat es mit dieser komischen Verteilung auf sich?

Wenn man z-Werte im Rahmen eines statistischen Tests zu sogenannten p-Werten umrechnet, ergibt ein z-Wert von -1.96 oder 1.96 einen p-Wert von 0.05. Der z-Wert gibt im Rahmen solcher Verfahren an, wie weit entfernt die beobachteten Daten von dem sogenannten Nullmodell (oder Nullhypothese) sind. Das Nullmodell besagt je nach Fragestellung, dass es keinen Unterschied oder keinen Zusammenhang gibt. Wenn der z-Wert ein klein wenig unter -1.96 oder über 1.96 liegt, wird der p-Wert in der Folge kleiner als 0.05 — und mit p<0.05 kann man verkünden, dass das Ergebnis “statistisch signifikant” ist.

Die Verteilung von z-Werten in der Grafik hat nur zwei mögliche Erklärungen.

• Erstens: Wir sehen hier so etwas wie ein medizinisches Wunder. In der Forschung werden dank genialer Eingebung und brillanten Geistesblitzen meistens Effekte gefunden.

• Zweitens: Wir sehen hier ein Artefakt, das sich daraus ergibt, dass Forschende aktiv versuchen, nicht-signifikante Ergebnisse zu vermeiden.

Ich wurde zwar katholisch erzogen, aber an Wunder glaube ich nicht. Die Verteilung, die wir in der Grafik sehen, ist eine Verzerrung. Diese Verzerrung ergibt sich aus einem Fehlanreiz: Weil nur Ergebnisse, die “statistisch Signifikant” sind, als relevant gelten, werden nicht-signifikante Ergebnisse seltener veröffentlicht. Oder noch schlimmer: Daten werden so lange mit verschiedenen Auswertungsmethoden analysiert, bis sie irgendein signifikantes Ergebnis ausspucken.

Um genauer auf diesen verzerrenden Fehlanreiz einzugehen, müssen wir kurz darüber reden, was p-Werte eigentlich sind.

2) p-Werte: Oft eingesetzt, oft missverstanden

Der Dreh- und Angelpunkt der Idee statistischer Signifikanz ist der p-Wert. Wenn der p-Wert kleiner als 0.05 ist, ist ein Ergebnis statistisch signifikant. Aber was genau ist ein p-Wert?

Der p-Wert ist im Rahmen der sogenannten frequentistischen Statistik¹ eine ganz bestimmte Wahrscheinlichkeit: Die Wahrscheinlichkeit, die gleichen oder noch extremere Daten zu erhalten, wenn das Nullmodell (kein Effekt) wahr ist. Das ist nicht besonders intuitiv und wird darum sowohl in der Wissenschaft als auch (und vielleicht vor allem) in der breiteren öffentlichen Wahrnehmung falsch interpretiert.

Die häufigste Fehlinterpretation ist, dass p-Werte die Wahrscheinlichkeit angeben, dass das Nullmodell (kein Effekt) wahr ist. Diese Interpretation ist fundamental falsch. Der p-Wert wird unter der Annahme berechnet, dass das Nullmodell wahr ist. Er kann nicht angeben, wie wahrscheinlich das Nullmodell ist.

Eine andere beliebte Fehlinterpretation ist, dass p-Werte angeben, mit welcher Wahrscheinlichkeit das Ergebnis bloss Zufall ist. Auch das stimmt nicht. p-Werte machen keine Aussage darüber, was für ein Prozess die beobachteten Daten generiert hat. Sie quantifizieren lediglich, wie wahrscheinlich die beobachteten oder noch extremere Daten sind, unter der Annahme, dass das Nullmodell wahr ist.

Die korrekte Interpretation von p-Werten ist ihre formale Definition: Die Wahrscheinlichkeit, die gleichen oder noch extremere Daten zu beobachten, unter der Annahme, dass das Nullmodell wahr ist. Das ist aber nicht besonders intuitiv. Als epistemologische Daumenregel werden p-Werte manchmal als “Ausmass der Überraschung” oder “Ausmass der Ungewöhnlichkeit” beschrieben. Solche Daumenregeln sind mir epistemisch suspekt, weil sie unpräzise und ungenau sind.

Die Bedeutung von p-Werten ist also bereits für sich genommen anspruchsvoll. Aber es wird noch komplizierter. Es gibt mehrere Ansätze, die mit Nullmodellen bzw. Nullhypothesen arbeiten. Sie unterscheiden sich sehr stark voneinander — und werden in der statistischen Praxis sehr unglücklich kombiniert.

3) Zwei Paradigmen und ein Frankenstein-Monster

3.1) Ronald Fisher und p-Werte

Das Konzept des p-Wertes wurde durch den Statistiker Ronald Fisher systematisiert und popularisiert. Sein Buch “Statistical Methods for Research Workers” aus dem Jahr 1925 ist so etwas wie ein frühes Standardwerk zur Arbeit mit p-Werten und frequentistischer Statistik. Fisher verstand p-Werte als ein Mass der Evidenz gegen das Nullmodell (die Nullhypothese).

Der Begriff der statistischen Signifikanz wurde (unglücklicherweise) von Fisher eingeführt. Fisher verstand den p-Wert als kontinuierliches Mass, aber er schlug vor, mit Grenzwerten als Konventionen zu arbeiten. Ein Grenzwert, den er als Konvention vorschlägt, ist 0.05. In “Statistical Methods for Research Workers” (zitiert aus der 11. Ausgabe von 1950) schreibt er:

In practice we do not want to know the exact value of P for any observed χ², but, in the first place, whether or not the observed value is open to suspicion. If P is between ·1 and ·9 there is certainly no reason to suspect the hypothesis tested. If it is below ·02 it is strongly indicated that the hypothesis fails to account for the whole of the facts. We shall not often be astray if we draw a conventional line at ·05, and consider that higher values of χ² indicate a real discrepancy.

In seinem Buch “Statistical Methods and Scientific Inference” von 1956 betont Fisher nochmals expliziter, dass die Arbeit mit p-Grenzwerten zur Ablehnung des Nullmodells nur eine Konvention ist. Er hält am Beispiel eines p-Grenzwerts von 0.01 fest:

A man who “rejects” a hypothesis provisionally, as a matter of habitual p!”actice, when the significance is at the 1 % level or higher, will certainly be mistaken in not more than 1 % of such decisions. For when the hypothesis is correct he will be mistaken in just 1 % of these cases, and when it is incorrect he will never be mistaken in rejection. This inequality statement can therefore be made. However, the calculation is absurdly academic, for in fact no scientific worker has a fixed level of significance at which from year to year, and in all circumstances, he rejects hypotheses; he rather gives his mind to each particular case in the light of his evidence and his ideas. It should not be forgotten that the cases chosen for applying a test are manifestly a highly selected set, nor that in the argument used it would clearly be illegitimate for one to choose the actual level of significance indicated, as though it were his lifelong habit to use just this level.

Die Idee, dass man quasi mechanisch mit dem immer gleichen Signifikanzniveau die Nullhypothese prüfen soll, sei “absurd akademisch”. Stattdessen müsse man von Fall zu Fall überlegen, wie man p-Werte interpretiert.

3.2) Neyman-Pearson und ein binärer Entscheidungsmechanismus

Ein zweites wichtiges frequentistisches Paradigma, das indirekt stark beeinflusst hat, wie wir mit p-Werten umgehen, wurde von den Statistikern Jerzy Neyman und Egon Pearson entwickelt. Unter anderem in ihrem berühmten Paper “On the Problem of the Most Efficient Tests of Statistical Hypotheses” von 1933 entwickelten sie einen Entscheidungsmechanismus für das Testen von Hypothesen. Ihr Ansatz unterscheidet sich dabei grundlegend von Fisher.

Fisher fokussierte auf die Frage, wie gut die beobachteten Daten für oder gegen die Nullhypothese sprechen. Die Ausgangslage bei Neyman-Pearson ist eine andere. Sie entwickeln einen Entscheidungsmechanismus, mit dem entschieden werden soll, ob nach einer Datenerhebung die Nullhypothese H0 oder eine explizite Alternativhypothese H1 akzeptiert werden soll. Bei Fisher geht es nur um die Nullhypothese H0.

Wenn man sich zwischen einer Nullhypothese und einer Alternativhypothese entscheiden muss, können zwei Typen von Fehlern eintreten:

• Fehler Typ 1: Die Nullhypothese wird abgelehnt, obwohl sie wahr ist.

• Fehler Typ 2: Die Nullhypothese wird angenommen, obwohl sie falsch ist.

Neyman und Pearson hatten das Ziel, anhand dieser Fehlertypen eine statistische Entscheidungshilfe zu entwickeln, mit der man über wiederholte Entscheidungen hinweg die Entscheidungen so treffen konnte, dass man im statistischen Durchschnitt nicht mehr Fehler macht als man a priori definiert hat.

Das klingt etwas abstrakt, darum ein konkretes Beispiel. Angenommen, ich habe eine Eiscreme-Fabrik und stelle Eis am Stiel her. Bevor eine neue Ladung Eiscreme die Fabrik verlässt, wird kontrolliert, ob die Eiscreme gut ist. Ich setze folgende Eckpunkte für die Kontrolle:

• H0: Die Ladung ist in Ordnung.

• H1: Die Ladung ist verdorben und muss vernichtet werden.

• Alpha: 1% (Ich akzeptiere, dass 1% von Ladungen, die gut sind, fälschlicherweise vernichtet werden.)

• Beta: 1% (Ich akzeptiere, dass 1% von Ladungen, die verdorben sind, nicht erkannt werden.)

  • Aus diesem Beta ergibt sich eine “Power” von 99%: Die Wahrscheinlichkeit, dass eine schlechte Ladung wirklich erkannt wird, ist 99%.

Anhand dieser vorab definierten Eckpunkte für meinen statistischen Entscheidungsmechanismus wird dann noch die nötige Stichprobe bestimmt. Je nachdem, wie streng oder wie lasch ich meine Qualitätskontrolle durchführen möchte, muss ich bei jeder Ladung mehr oder weniger einzelne Stücke Eis am Stiel kontrollieren. Weil ich im obigen Beispiel Alpha und Beta recht eng setze, wird die notwendige Stichprobe eher grösser ausfallen.

Wenn ich die Qualitätskontrolle mit diesen Eckpunkten aufgegleist habe, ist die Umsetzung immer eine binäre Entscheidung. Wenn das Ergebnis der Stichprobenkontrolle im statistisch vordefinierten Annahmebereich liegt, liefere ich die Ladung aus. Wenn das Ergebnis hingegen im statistisch vordefinierten Ablehnungsbereich liegt, wird die Ladung vernichtet.

Diese Logik ist der philosophische Kern des Neyman-Pearson-Paradigmas. Es gibt keine Einschätzung der Evidenzlage auf einem Kontinuum. Es gibt nur eine binäre Entscheidung, je für oder gegen H0 und H1. Das ist ein starker Kontrast zu Fishers Ansatz. Fisher sieht p-Werte als kontinuierliches Mass, das etwas über H0 (und nur H0) aussagt.

Ein zweiter philosophischer Kontrast zwischen Fisher und Neyman-Pearson ist die Frage, ob eine einzelne Beobachtung für sich genommen überhaupt als Evidenz gedeutet werden kann. Bei Fisher kann sie das: p-Werte sagen etwas über die einzelne Beobachtung an sich aus. Bei Neyman und Pearson sind einzelne Beobachtungen irrelevant: Die binäre Entscheidung sagt nichts darüber aus, wie die Realität tatsächlich ist und wie es um die untersuchten Daten steht. Wenn ich in meiner Eiscreme-Fabrik eine Kontrolle durchführe und der Test sagt, ich soll die Ladung vernichten, bedeutet das nicht, dass die Ladung tatsächlich schlecht ist. Die Testanordnung bedeutet lediglich, dass ich über viele Kontrollen hinweg im Durchschnitt so viele Fehler machen werde, wie ich mit Alpha und Beta vorgegeben habe.

In meinem Beispiel mit der Eiscreme-Fabrik habe ich p-Werte nicht erwähnt. Bewusst nicht. Die konkrete Teststatistik, die man im Rahmen des Neyman-Pearson-Paradigmas anwendet, muss nichts mit p-Werten zu tun haben. Neyman und Pearson verwenden z.B. in ihrem Paper von 1933, das ich oben referenziere, keine p-Werte. Die Art, wie p-Werte heute eingesetzt werden, ist indirekt, aber trotzdem massgeblich von dem Neyman-Pearson-Paradigma beeinflusst.

3.3) NHST, eine unglückliche Ehe

Das dominante Paradigma in der statistischen Praxis ist heute weder der Fisher’sche Ansatz der p-Werte noch der Entscheidungsmechanismus von Neyman und Pearson. Es ist eine Kombination dieser Ansätze, die gemeinhin als “Null Hypothesis Significance Testing”, kurz NHST, bekannt ist.

Der Psychologe Gerd Gigerenzer hat NHST vor über 20 Jahren treffend als ein “Nullritual” beschrieben. Es besteht aus drei Schritten. Erstens: Man geht von einer Nullhypothese aus, die besagt, es gebe keinen Unterschied oder keinen Zusammenhang. Zweitens: Wenn p<0.05 ist, sagt man, dass dieses signifikante Ergebnis eine andere Hypothese stützt oder bestätigt. Drittens: Man macht das immer so.

Das Ritual mit der statistischen Signifikanz ist rein visuell auch eine Spielerei mit Sternchen. Sternchen geben an, wie signifikant ein Befund ist. Sie werden typischerweise folgendermassen gesetzt:

• p<0.05 = *

• p<0.01 = **

• p<0.001 = ***

Ein Sternchen bedeutet, dass etwas statistisch signifikant ist. Wenn es noch mehr Sternchen gibt, ist es noch signifikanter. Spätestens bei drei Sternchen ist das Ergebnis hochsignifikant. Je signifikanter, desto besser.

Das NHST-Ritual verbindet die Perspektiven von Fisher und Neyman-Pearson auf maximal ungünstige Art. NHST hat von Fisher die Idee übernommen, dass man bei der Interpretation von p-Werten einen als Daumenregel Grenzwert von 0.05 für die Unterscheidung nach signifikant und nicht-signifikant auswählen kann. Fisher hat zwar die kontinuierliche Natur von p-Werten betont und erklärt, dass ein immer fixer Grenzwert keinen Sinn macht. Das geht im Rahmen von NHST aber verloren.

Von Neyman und Pearson hat NHST die Idee übernommen, dass ein statistischer Test anhand klar definierter Grenzwerte eine binäre Klassifikation in Annehmen oder Ablehnen von Hypothesen erlaubt. Bei Neyman-Pearson geht es aber ausschliesslich um oft wiederholte Messsituationen und nicht um einzelne Studien. Für Neyman und Pearson erlaubt eine einzelne Beobachtung, die im Rahmen ihres Entscheidungsmechanismus gemacht wird, philosophisch keine Aussagen über die Realität. Der erkenntnistheoretische Gehalt ergibt sich erst aus vielen wiederholten Beobachtungen. Zudem gibt es bei Neyman-Pearson explizit keinen fixen Grenzwert wie 0.05, der grundsätzlich Auskunft darüber gibt, ob eine Hypothese angenommen oder verworfen wird. Die Grenzwerte werden je nach Problemstellung a priori definiert.

In der Konsequenz trägt das NHST-Ritual oft amüsante Blüten. Der Statistiker Andrew Gelman hat eine Studie auf seinem Blog beschrieben, die unlängst im prestigeträchtigen Journal “Science” erschienen ist. Die Studie an sich, “Ideological bias in the production of research findings”, ist interessant. Es geht um die Frage, ob ideologische Einstellungen verzerren, wie Wissenschaftler Daten auswerten.

Auch diese Studie berichtet im Sinne des NHST-Rituals diverse signifikante Ergebnisse, und zwar mit einem Sternchen * oder zwei Sternchen **. Aber wer die Studie genau liest, merkt, dass die Autoren ihre Sternchen anders definieren. Ein Sternchen * steht nicht mehr für p<0.05, sondern für p<0.1. Und zwei Sternchen ** stehen nicht wie gehabt für p<0.01, sondern nur für p<0.05.

Nachdem die Autoren der Studie für diverse methodische Aspekte kritisiert wurden, reagierten sie mit einer Replik. In der Replik verschieben sie noch weiter, was ein statistisch signifikanter Befund ist: Das einzelne Sternchen * steht jetzt sogar für p<0.2. Zwei Sternchen ** stehen neu für p<0.1.

Diese Studie ist ein besonders absurdes Beispiel für das Problem des NHST-Rituals. Was zählt, ist am Schluss zu sagen, dass etwas statistisch signifikant ist. Ob das Sinn macht, ist zweitrangig. NHST ist tief in den Köpfen vieler Forscher verankert, und es ist ein wichtiges Entscheidungskriterium bei wissenschaftlichen Journals. Diese spezifische Studie hätte es nie in das Journal “Science” geschafft, wenn sie keine vermeintlich auffälligen “statistisch signifikanten” Ergebnisse geliefert hätte.

Der Wunsch und der Druck, “statistisch signifikante” Ergebnisse zu präsentieren, sind enorm. Wenn man publizieren will, möchte und muss man Ergebnisse liefern, die zeigen, dass da etwas ist. Das ist das Einzige, was zählt. Darüber hinaus gibt es auch den rein subjektiven Wunsch, möglichst spannende, aufsehenerregende Dinge herauszufinden. Wenn die Daten die gewünschten statistisch signifikanten Ergebnisse nicht hergeben, muss man eben kreativ werden. Sonst hat man sich die ganze Arbeit umsonst gemacht.

Das ist der destruktive Fehlanreiz des NHST-Rituals, der zu der grotesken Verzerrung führt, die einleitend in der Grafik mit der Verteilung von z-Werten visualisiert ist.

4) Die Replikationskrise

Replikation ist ein zentraler Teil wissenschaftlicher Forschung. Eine einzige Studie ist grundsätzlich weniger aussagekräftig als mehrere Studien zur gleichen Fragestellung. Je mehr Replikationen, desto präziser ist das Gesamtbild. Das ist logisch.

In den späten 2000er Jahren begann eine wissenschaftliche Debatte, die als Replikationskrise bekannt ist. In sozialwissenschaftlichen Disziplinen wie Psychologie, Wirtschaftswissenschaften, Soziologie, Politikwissenschaft und anderen zeigte sich, dass viele Befunde nicht replizierbar sind. Aufsehenerregende Ergebnisse aus einzelnen kleinen Studien waren weniger stark oder verschwanden ganz, wenn man grössere Studien mit der gleichen Methodik durchführte. Das Problem betrifft grundsätzlich nicht nur die Sozialwissenschaften — die einleitende Grafik mit den z-Werten stammt aus medizinischen Studien. In den Sozialwissenschaften war die Debatte aber besonders intensiv. Vielleicht auch dank guter Beispiele.

Ein solches sozialwissenschaftliches Beispiel für die Replikationskrise ist die Geschichte des “Power Posing”. Eine kleine Studie aus dem Jahr 2010 mit insgesamt 42 Probanden kam zum Schluss, dass es signifikante Veränderungen gibt, wenn man für eine Minute eine sogenannte Power-Pose einnimmt. Eine Power-Pose bedeutet, dass man ähnlich wie Superhelden in Comics posiert. Die kleine Intervention, so die Studie, verändere sowohl den Hormonhaushalt (mehr Testosteron, weniger Cortisol) als auch das Verhalten der Probanden (mehr Risikofreudigkeit). Eine der Autorinnen, Amy Cuddy, schrieb auf der Grundlage der Studie ein populäres Bestseller-Buch und wurde ein weltweiter Selbsthilfe-Superstar.

Amy Cuddy an einem ihrer Vorträge zu Power-Posen.

In den Jahren danach zeigte sich in Replikationsstudien, dass diese Effekte eine Illusion waren. Power-Posen verändern weder den Hormonhaushalt noch das Verhalten. Das Einzige, was sich verändert, ist das subjektive Gefühl der Probanden. Das kann immer noch ein nützlicher Effekt sein, hat aber mit den bombastischen Befunden aus der Originalstudie nichts mehr zu tun. Dana Carney, die Erstautorin der Originalstudie, erachtet die Theorie der Power-Posen als widerlegt. Amy Cuddy nicht; sie ist immer noch als eine Art Selbsthilfe-Influencerin aktiv.

Die Probleme, die im Rahmen der Replikationskrise diskutiert werden, haben mindestens drei Ursachen: Unpräzise Daten; Publication Bias; p-Hacking.

4.1) Rauschen in den Daten

Eine erste Ursache für schlechte Forschungsergebnisse sind unpräzise Daten, die viel Rauschen enthalten. Bei Datenerhebung kann es Error, also zufällige Fehler geben, die zu Verzerrungen führen. Es gibt unterschiedliche Formen von Fehlern. Messfehler beispielsweise sind Fehler, die auftreten, wenn Messinstrumente nicht gut genug sind. Das ist in sozialwissenschaftlicher Forschung häufig der Fall. Ein typisches Beispiel: Wenn man Menschen zwei Wochen hintereinander die gleiche Frage stellt, wird die Antwort auf individueller Ebene tendenziell nicht die gleiche sein. Es ist schwer, die latenten Konzepte, die man eigentlich messen will, indirekt mit Fragen zu erfassen. Eine andere Form von Messfehlern ist, dass gewisse Faktoren, die man gar nicht auf dem Radar hat, die Messung beeinflussen. Eine andere Form von Fehlern sind Stichprobenfehler. Es kann beispielsweise sein, dass kleine Stichproben im Vergleich zur Gesamtpopulation gröbere Verzerrungen enthalten (die nicht immer offensichtlich sind).

Rauschen in Daten ist in Kombination mit dem NHST-Ritual ein akzentuiertes Problem. Wenn man mit kleinen, unpräzisen Datensätzen arbeitet, können sich rein zufällig signifikante Zusammenhänge oder Unterschiede ergeben, die in grösseren, präziseren Datensätzen nicht enthalten sind. Daten mit viel Rauschen haben aufgrund zufälliger Fehler höhere Variabilität. Signifikante Effekte sind dann ein Artefakt unpräziser Daten.

4.2) Publication Bias

Eine zweite Ursache von Replikationsproblemen ist “Publication Bias”, auf Deutsch Publikationsbias. Der Publication Bias ist der Fehlanreiz, dass Studien, die keine “signifikanten” Ergebnisse haben, deutlich seltener veröffentlicht werden. Der Publication Bias spielt sich auf zwei Ebenen ab. Einerseits lehnen wissenschaftliche Journals eher Studien ab, die keine “signifikanten” Ergebnisse haben. Teilweise geschieht dies aus Prestige- und kommerziellen Gründen. Journals, die viel Impact haben wollen, müssen spektakuläre Ergebnisse liefern. Teilweise dürfte aber auch eine Rolle spielen, dass auch die Gutachter und die Redaktoren der Journals das NHST-Ritual verinnerlicht haben. Sie denken auch so.

Die zweite Ebene von Publication Bias sind die Forschenden selbst. Das verinnerlichte NHST-Ritual ist eine Schere im Kopf: Wenn ich kein signifikantes Ergebnis habe, will ich es nicht publizieren. Es ist zu wenig interessant. Dieser Aspekt kann auch mit finanziellen Anreizen verbunden sein. Forschung zu Medikamenten, die von Pharmaunternehmen bezahlt ist, zeigt deutlich öfter signifikante Ergebnisse als unabhängige Forschung.

4.3) Freiheitsgrade der Forschenden, oder: p-Hacking

Eine dritte Ursache von Replikationsproblemen sind sogenannte Freiheitsgrade der Forschenden. Wissenschaftliches Arbeiten im Allgemeinen, Datenanalyse im Besonderen wird gemeinhin als sehr objektives Verfahren verstanden. Im Alltag orientieren wir uns an unserem Bauchgefühl; in der Wissenschaft orientieren wir uns an harten Fakten.

Von der Stossrichtung her stimmt das. Wissenschaft ist der Versuch, methodisch stringenter über die Welt nachzudenken. Aber auch im wissenschaftlichen Arbeiten gibt es sehr viele subjektive Entscheidungen, die drastisch verändern können, was am Schluss herauskommt. Diese subjektiven Entscheidungsmöglichkeiten werden als “Degrees of Freedom”, als Freiheitsgrade in der Forschung beschrieben. Im Rahmen des NHST-Rituals bedeuten subjektive Freiheitsgrade, dass man Daten auf verschiedene Arten bearbeiten kann, bis man signifikante Ergebnisse erhält. Diese Praktik ist als “p-Hacking” bekannt.

Ein Beispiel. Ich habe in der Statistik-App R einen simulierten Datensatz mit 300 fiktiven Personen erstellt (hier der Code). In diesem simulierten Datensatz haben wir zwei Variablen. Das Alter der Personen, das zwischen 15 und 80 ist. Und die Angabe, wie glücklich sich die Personen fühlen. Die Skala für Glück geht von 0 bis 100.

Mich interessiert, ob es zwischen Alter und Glück einen Zusammenhang gibt. Ich bin im NHST-Ritual geschult und habe den Anreiz, signifikante Ergebnisse zu suchen.

Der erste Schritt ist eine Korrelationsanalyse der unveränderten kontinuierlichen Daten. Ich korreliere Alter und Glück und schaue, was dabei herauskommt.

Pech gehabt. Die Korrelation ist klein und sehr deutlich nicht signifikant. p = 0.47. Autsch. Aber ich habe den NHST-Mindset und gebe noch nicht auf. Ich habe noch einige Freiheitsgrade bei der Datenanalyse, die ich ausprobieren kann.

Darum bilde ich in einem zweiten Schritt Altersgruppen. Es sind genau die gleichen Daten für Alter wie in der obigen Grafik, einfach gruppiert in jung (15 - 35), mittel (36 - 55) und alt (56 - 80). Die Verteilung von Glück in diesen drei Altersgruppen kann ich mit Boxplots visualisieren. Das Ergebnis:

Leider hat auch das nicht geklappt. Die Verteilungen sind insgesamt sehr ähnlich. Die Mittelwerte (kleiner weisser Diamant) unterscheiden sich kaum.

Aber ich mache weiter. Ich versuche, mit den gleichen Daten andere Altersgruppen zu bilden. Anstatt jung, mittel, alt bilde ich einfach Altersgruppen in Schritten von 10 Jahren. Das Ergebnis:

Bingo! Das sieht vielversprechend aus. Es gibt nun stärkere Unterschiede zwischen einzelnen Gruppen. Ich will prüfen, ob ich endlich die ersehnten signifikanten Ergebnisse habe. Darum mache ich in einem ersten Schritt eine sogenannte Anova-Analyse, die z.B. in der Psychologie sehr beliebt ist (Mit Anova werden die Mittelwerte von mehr als zwei Gruppen verglichen). Das Ergebnis:

> summary(aov(Glück ~ Altersgruppe, data = daten3))
              Df Sum Sq Mean Sq F value   Pr(>F)    
Altersgruppe   5   5441  1088.1   4.399 0.000705 ***
Residuals    294  72716   247.3                     
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Wir haben es geschafft! Wir haben ganze drei Sternchen *** erhalten; das Ergebnis ist hochsignifikant. 🥳

Der Vollständigkeit halber mache ich noch einen paarweisen Vergleich der Mittelwerte und korrigiere die p-Werte. Wenn man viele Vergleiche gleichzeitig macht, steigt die Wahrscheinlichkeit, bloss zufällig tiefe p-Werte zu erhalten. Darum muss man bei multiplen Vergleichen p-Werte nach unten korrigieren.

Das Ergebnis der paarweisen Vergleiche:

> pairwise.t.test(daten3$Glück, daten3$Altersgruppe, p.adjust.method = "holm")

	Pairwise comparisons using t tests with pooled SD 

data:  daten3$Glück and daten3$Altersgruppe 

      15-25  26-35  36-45  46-55  56-65 
26-35 0.8742 -      -      -      -     
36-45 1.0000 0.8742 -      -      -     
46-55 1.0000 1.0000 1.0000 -      -     
56-65 0.3747 0.0040 0.3747 0.0168 -     
66-80 0.4024 1.0000 0.4024 1.0000 0.0005

P value adjustment method: holm 

Wir haben definitiv statistische Signifikanz! In zwei Konstellationen habe ich klar signifikante Ergebnisse mit p<0.05 (in den Paaren 26-35 vs 56-65 und 46-55 vs 56-65). Mit diesem Ergebnis kann ich in der Publikation dann schön spekulieren. Menschen zwischen 56 und 65 befinden sich auf dem Höhepunkt ihrer beruflichen Karriere, und die Stressoren durch Familie nehmen ab, weil die Kinder erwachsen sind. Klingt doch super plausibel.

Der nächste typische Schritt im NHST-Ritual ist entsprechend, die Auswertung mit den signifikanten Ergebnissen zu veröffentlichen. Die vorherigen Analysen, die keine signifikanten Ergebnisse gezeigt haben, kehre ich einfach unter den Teppich. So wird im Nachhinein weniger klar, dass die Ergebnisse bloss auf p-Hacking zurückzuführen sind.

Ich habe in diesem Beispiel nicht betrogen. Ich habe die Daten nicht irgendwie manipuliert oder gefälscht. Ich habe einfach so lange nach einer passenden Auswertung gesucht, bis ich ein signifikantes Ergebnis erhalten habe. Ich habe auch nicht unbedingt in böser Absicht gehandelt. Die meisten Menschen, die das NHST-Ritual anwenden, denken einfach, dass wissenschaftliches Arbeiten so funktioniert. Das Ausnutzen von Freiheitsgraden beim Forschen, um signifikante Ergebnisse zu finden, ist einfach die Art, wie man gelernt hat, Daten auszuwerten. Es ist einfach das verinnerlichte NHST-Ritual.

Dieses Minimalbeispiel dient nur zur Illustration. In der Realität gibt es viel, viel mehr Freiheitsgrade als die drei, die ich hier ausgelotet habe.

5) Wie geht es besser?

Ich schreibe diesen Text nicht zuletzt, um in Zukunft auf ihn verweisen zu können, wenn ich in Diskussionen sage, dass “statistische Signifikanz” ein schlechtes Konzept ist. Wenn aber das NHST-Ritual einen verzerrenden Einfluss hat, ist die Frage, wie wir dieses Problem lösen. Es gibt mindestens drei Stossrichtungen für Lösungen: Reproducible Science; p-Werte nur kontinuierlich benutzen; ganz andere Statistik anwenden (z.B. bayesianische).

5.1) Reproducible Science

Die Debatte zur Replikationskrise hatte bereits positive Effekte. Heute werden Studien zum Beispiel häufiger als früher vorregistriert (auf Englisch “Pre-Registration”), bevor die Daten erhoben und ausgewertet werden. Wenn man den Plan für die Datenerhebung und -auswertung schon vorher öffentlich fixiert, werden damit Freiheitsgrade auf eine positive Art eingeschränkt.

Im Zuge der Debatte hat auch die Idee der reproduzierbaren Wissenschaft (“Reproducible Science”) an Popularität gewonnen. Reproduzierbare Wissenschaft bedeutet, dass man als Forscher maximale Transparenz herstellen will: Alle Daten und das Auswertungsverfahren werden öffentlich geteilt.

Das sind sehr positive Entwicklungen, die gerne noch weitergehen dürfen. Vorregistrierung ist aber viel seltener als das blosse Teilen der Daten post hoc. Die meisten Forschenden wollen sich ihre Freiheitsgrade nicht verbauen. Hinzu kommt auch, dass die Menge an veröffentlichten Studien seit Jahren wächst. Es mag immer mehr sauber durchgeführte Studien geben, aber gleichzeitig wächst auch die Menge an zweifelhaften bis schlechten Studien. Ein aktueller Treiber ist künstliche Intelligenz: Wissenschaftliche Journals werden mit KI-generierten Schrott-Studien regelrecht geflutet.

Es mag also eine Entwicklung hin zu stringenter und transparenter Forschung geben, aber parallel dazu nimmt die Menge an schlechten Publikationen auch stark zu.

5.2) Das NHST-Ritual aufgeben und p-Werte kontinuierlich verwenden

p-Werte sind eigentlich ein kontinuierliches Mass. Das NHST-Ritual macht daraus ein binäres Mass. Die Lösung könnte darum einfach sein, NHST komplett aufzugeben und p-Werte als das kontinuierliche Mass, das sie eigentlich sind, zu verwenden. Dafür haben schon vor Jahren diverse Statistiker plädiert. Vgl. z.B. das Paper “Abandon Statistical Significance” und den Kommentar “Remove, Rather than Redefine, Statistical Significance”.

Das ist eine gute Idee. In der Praxis kommt sie leider nicht wirklich vom Fleck. Das NHST-Ritual ist in der wissenschaftlichen Arbeit nach wie vor dominant. Das erlebe ich auch selbst als Dozent. Die Studis, die ich habe, sind methodisch alle auf NHST getrimmt. Und ich muss gestehen: Wenn ich Abschlussarbeiten betreue, lasse ich die Studis mit NHST arbeiten. Ein Stück weit auch, weil die Alternative aufwendig ist. Ich schaue zwar, dass es wenn möglich keine p-Hacking-Eskapaden gibt, aber die Idee der statistischen Signifikanz ist tief in den Köpfen der Studis verankert. Besonders im Bachelor-Stadium wäre es schwer, die Studis aus diesem Ritual herauszuholen. Sie hören im ganzen Studium immer nur, dass man statistisch signifikante Ergebnisse finden muss — und dann kommt der Marko und sagt, dass das mit der “statistischen Signifikanz” alles ganz anders ist. Das würde verunsichern, weil die Studis dann nicht wirklich wissen, was jetzt korrekt ist. Rein praktisch schwierig.

5.3) Zu bayesianischer Statistik wechseln

Ein dritter Weg, um vom NHST-Ritual wegzukommen, ist noch radikaler: Frequentistische Statistik und p-Werte und Nullmodelle / Nullhypothesen ganz aufgeben. Es gibt nämlich ein anderes philosophisches und statistisches Paradigma, das sowohl philosophisch als auch praktisch m.E. oft sinnvoller ist: Bayesianische Statistik. Diesen Ansatz möchte ich ein wenig ausführlicher beschreiben, damit man sich darauf einen Reim machen kann.

6) Tschüss Frequentismus, hallo Bayesianismus

Bayesianische Statistik ist nach dem englischen Statistiker und Philosophen Thomas Bayes benannt, der im 18. Jahrhundert lebte. Bayes beschäftigte sich u.a. mit bedingten Wahrscheinlichkeiten und hat das berühmte Bayes-Theorem entwickelt:

\(\Pr(A\mid B)=\frac{\Pr(B\mid A)\,\Pr(A)}{\Pr(B)}\)

Die Wahrscheinlichkeit für A gegeben B (die “posterior Probability”) berechnet sich als Wahrscheinlichkeit für B gegeben A (die “Likelihood”) mal die Wahrscheinlichkeit für A (die “prior Probability”), geteilt durch die Wahrscheinlichkeit für B (die Beobachtung oder neue Evidenz).

Mit einem Beispiel übersetzt: Was ist die Wahrscheinlichkeit, dass ich eine Krankheit habe (A), wenn der Test positiv ausfällt (die Beobachtung B)? Die Wahrscheinlichkeit berechnet sich aus der Wahrscheinlichkeit, einen positiven Test zu erhalten, wenn man die Krankheit hat, mal die allgemeine Prävalenz der Krankheit geteilt durch die allgemeine Wahrscheinlichkeit, einen positiven Test zu erhalten.

Das klingt auf den ersten Blick vielleicht etwas abstrakt, ist in der statistischen Praxis aber elegant. Anstatt darüber nachzudenken, wie wahrscheinlich die beobachteten oder noch extremere Daten sind, wenn wir die Datenerhebung (unendlich) oft wiederholen würden und es in Wahrheit gar keinen Unterschied oder Zusammenhang gibt, funktioniert bayesianisches Modellieren intuitiver ohne den Umweg der Nullhypothese. Die Frage ist dann einfach: Was ist die “posterior Distribution” des Parameters, angesichts meines Modells und der beobachteten Daten?

Diesen Unterschied können wir mit einem einfachen Beispiel veranschaulichen. Angenommen, zwei Gymnasien — eines in Lausanne und eines in Zürich — wollen vergleichen, wie die Maturaprüfungen im Fach Mathematik ausfallen. Die Gymnasien haben den Vergleich zum ersten Mal im Jahr 2025 gemacht und dann jetzt wieder im Jahr 2026. Die Prüfungsergebnisse sehen für diese beiden Jahre folgendermassen aus (das sind simulierte Daten; der Code findet sich hier):

Wir sehen, dass die Schule in Zürich in beiden Jahren etwas besser abschneidet. Sind diese Unterschiede insgesamt bedeutsam? Um diese Frage im Rahmen des NHST-Rituals zu beantworten, prüfen wir die Unterschiede der Mittelwerte und bestimmen, ob sie statistisch signifikant sind. Das typische frequentistische Vorgehen für den Vergleich von zwei Gruppen ist ein t-Test, der die Mittelwerte vergleicht. Das Ergebnis für 2025:

==== 2025 ====
n Zürich = 215, n Lausanne = 189
Mean Zürich  = 76.37 (SD 16.89)
Mean Lausanne = 72.96 (SD 16.44)
Mean difference = 3.417, 95% CI [0.153, 6.681]
t(397.9) = 2.058, p = 0.0402
Cohen's d = 0.2049

Der Punktedurchschnitt ist in Zürich signifikant höher als in Lausanne. Der p-Wert ist 0.04 und damit gilt p<0.05. Und wie sieht es für 2026 aus?

==== 2026 ====
n Zürich = 198, n Lausanne = 176
Mean Zürich  = 75.57 (SD 17.97)
Mean Lausanne = 72.03 (SD 17.66)
Mean difference = 3.535, 95% CI [-0.092, 7.163]
t(368.3) = 1.916, p = 0.0561
Cohen's d = 0.1983

Die Differenz beim Punktedurchschnitt ist ähnlich (3.5 gegenüber 3.4 im Jahr zuvor) und der Effekt ist ähnlich gross (in beiden Jahren ist die Effektgrösse als Cohen’s d gemessen rund 0.2). Aber im Jahr 2026 ist der Unterschied knapp nicht mehr signifikant. Der p-Wert beträgt 0.056. Diese Ergebnisse können wir visualisiert so zusammenfassen:

Die Interpretation dieser Ergebnisse aus NHST-Sicht ist: Im Jahr 2025 wurden an der Zürcher Schule signifikant mehr Punkte erreicht als an der Lausanner Schule. Im Jahr 2026 gibt es keinen statistisch signifikanten Unterschied.

Diese Interpretation ist philosophisch offensichtlich eigenartig. Der Unterschied ist in beiden Jahren ziemlich ähnlich. Und die p-Werte liegen recht nah beieinander. Es ist unplausibel, dass wir Daten, die so ähnlich sind, erkenntnistheoretisch auf so drastisch unterschiedliche Art begreifen. Das NHST-Ritual versagt hier offenkundig.

In diesem Beispiel würde bereits sehr helfen, wenn wir den Schritt, den ich im vorherigen Abschnitt vorschlage, machen: Das NHST-Ritual einfach aufgeben und nur die p-Werte berichten. Ohne NHST-Ritual und mit p-Werten als Kontinuum kommt man rationalerweise zum Schluss, dass in beiden Jahren ein ähnlich kleiner Unterschied vorhanden ist, der aber potenziell mehr als nur Rauschen ist. Aber p-Werte zu berichten, ohne auf Signifikanz einzugehen, ist, wie ich weiter oben beschreibe, aus verschiedenen Gründen nicht einfach. Und auch die Interpretation von blossen p-Werten ist nicht besonders intuitiv. Darum machen wir noch den Schritt in Richtung Bayesianismus.

6.1) Schritt 1: Zeig mir dein Modell und ich sag dir, wer du bist

Bayesianische Modellierung ist erkenntnistheoretisch einfacher, weil es weder p-Werte noch Signifikanz gibt. Dafür ist die Vorarbeit aber deutlich komplizierter. Sie enthält einige Fallstricke, die es bei frequentistischen Analysen nicht gibt. Der erste und wichtigste Schritt bei bayesianischer Modellierung ist, das zu schätzende Modell zu spezifizieren. Im Unterschied zu Frequentismus gibt es im Bayesianismus keine Modelle “von der Stange”, die man einfach direkt anwenden kann. Jedes Modell, das man schätzt, muss aktiv spezifiziert werden.

Um den Unterschied zwischen den Schulen zu schätzen, mache ich eine einfache bayesianische lineare Regression, die vom Prinzip her so aussieht:

• Punkte ~ Schule

Die Anzahl Prüfungspunkte ist die kontinuierliche abhängige Variable, die Schule (Lausanne vs. Zürich) ist die dichotome unabhängige Variable. In einer frequentistischen Analyse könnte ich diese Regression einfach in einer Statistik-App so formulieren und würde sofort ein Ergebnis erhalten. Beim bayesianischen Ansatz ist aber mehr Modellspezifikation nötig, damit ich den Effekt schätzen kann.

Den übergeordneten Teil meines Modells, die sogenannte Likelihood, formuliere ich wie folgt:

\(\begin{aligned} y_i &\sim \text{Student-}t(\nu,\ \mu_i,\ \sigma_i) \\ \end{aligned}\)

y_i steht für die beobachteten Daten, also die abhängige Variable: Die Anzahl Punkte, die die einzelnen Schüler in Zürich und Lausanne erreicht haben. Den Prozess, der die Verteilung der Punkte hervorgebracht hat, modelliere ich als eine t-Verteilung mit drei Parametern, die ich schätzen muss: μ_i (gelesen als “mu”), σ_i (gelesen als “sigma”) und ν (gelesen als “nu”).

μ_i ist die erwartete Anzahl Punkte pro Schüler. σ_i ist die zu schätzende Standardabweichung der Anzahl Punkte pro Schüler. Und ν ist die Anzahl Freiheitsgrade in der t-Verteilung. Eine t-Verteilung ist ähnlich wie eine Normalverteilung, aber sie hat dickere Enden (Fat Tails) und kann damit besser Ausreisser modellieren. Darum ist die t-Verteilung meistens sinnvoller als eine Normalverteilung.

Im nächsten Schritt muss ich die Formel oder Funktion für μ_i definieren. Sie ist eine einfache lineare Regression.

\(\begin{aligned} \mu_i &= \beta_0 + \beta_1 x_i \\ \end{aligned}\)

μ_i ergibt sich aus der Konstante β_0 (gelesen “Beta”) plus der Steigung β_1, die durch die unabhängige Variable x_i zustande kommt. Da meine unabhängige Variable dichotom ist (die Schule ist entweder in Lausanne oder in Zürich), setze ich einfach den Mittelwert von Lausanne als β_0 und den Effekt von Zürich, also die Differenz zwischen Lausanne und Zürich, als β_1. Das Regressionsmodell gibt damit an, was der Effekt von Schule = Zürich ist. Damit wird der Gruppenunterschied zwischen Zürich und Lausanne geschätzt. Etwas einfacher ausgedrückt: In dieser Regression nehmen wir Lausanne als Referenzkategorie bei der dichotomen Variable Schule und schätzen, was sich verändert, wenn die Variable auf Zürich wechselt.

Der letzte Schritt ist, zu definieren, woraus sich die Standardabweichung σ_i ergibt.

\(\begin{aligned} \log(\sigma_i) &= \gamma_0 + \gamma_1 x_i \end{aligned}\)

Die Logik ist hier ähnlich wie bei μ_i. Die Standardabweichung ergibt sich aus dem Logarithmus der Standardabweichung für Lausanne (γ_0, gelesen als “Gamma”) und den zusätzlichen Effekt, den Zürich auf diese logarithmierte Standardabweichung hat (γ_1x_i).

Der Umweg über den Logarithmus hat einen rein technischen Zweck. Damit wird sichergestellt, dass die geschätzte Standardabweichung σ_i immer positiv ausfällt; egal, welche Werte γ_0 und γ_1 annehmen. Standardabweichungen können nur positiv sein, was mit dieser Schlaufe sichergestellt wird. Um die eigentliche Standardabweichung in Punkten zu erhalten, muss man das Ergebnis der Schätzung “entlogarithmieren”, also exponenzieren. Von der Logik her sieht das dann so aus:

\(\begin{aligned} \sigma_i &= \exp(\gamma_0 + \gamma_1 x_i) \end{aligned}\)

Soweit, so gut. Nun kommt der vielleicht interessanteste Teil beim Erstellen des Modells: Die Bestimmung der Priors für unsere Parameter.

6.2) Schritt 2: Die Priors

Priors zu definieren bedeutet, anzugeben, was unsere bestehenden Überzeugungen über die Parameter sind, die wir schätzen wollen. Wenn es zum Beispiel aus früheren Studien sehr starke Evidenz gäbe, dass die Zürcher Schule genau 13 Punkte besser ist als die Lausanner Schule, kann ich den Prior für β_1 (den Effekt von Zürich) auf genau 13 setzen. Das bedeutet nicht, dass die Schätzung am Schluss ergeben würde, dass der Effekt von Zürich genau 13 ist. Der Prior würde in der bayesianischen Logik probabilistisch mit den neuen Daten, die wir haben, aktualisiert. Am Schluss ergibt sich ein Posterior, der nicht genau 13 ist, sondern eine Kombination aus dem Prior 13 und den neuen Daten.

An dieser Stelle sollten die Alarmglocken erklingen. Denn: Das Bestimmen von Priors ist ein Schritt, der sehr viele Freiheitsgrade enthält. Ähnlich, wie wir im Rahmen von NHST wie oben beschrieben Daten so lange “massieren” können, bis wir etwas Signifikantes finden, kann man bei bayesianischen Modellen Priors so setzen, dass die Wahrscheinlichkeit steigt, jenes Ergebnis zu erhalten, das man erhalten will. Ein Beispiel. Angenommen, ich will aus irgendeinem Grund “beweisen”, dass orangefarbene Katzen 10-mal so gross sind wie andere Hauskatzen. Dann kann ich das so als Prior angeben und meine Analyse entsprechend verzerren.

Priors sind Freiheitsgrade, die wie alle Freiheitsgrade problematisch sein können. Es gibt aber einen zentralen Unterschied im Vergleich zur Situation mit dem NHST-Ritual: Die bayesianische Modellspezifikation ist explizit und transparent. Es ist immer ausgewiesen, was genau das Modell ist. Wenn jemand Priors wählt, die keinen Sinn machen, sieht man das und kann es kritisieren und korrigieren. Wenn ich in meinem Katzenmodell den Prior angebe, dass orangefarbene Katzen 10-mal so gross wie andere Katzen sind, sieht man das und merkt, dass ich bekloppt bin. Wenn jemand hingegen Daten so lange verändert und so viele verschiedene Methoden anwendet, bis etwas Signifikantes herausspringt, sieht man im Nachhinein nicht, was alles gemacht wurde.

Für unser Beispiel wähle ich keine präzisen Priors. Ich mache das Gegenteil. Ich wähle sogenannte vage oder “weakly informative”, schwach informative Priors. Die Priors definiere ich ähnlich wie im allerersten Schritt des Modells als Verteilungen, die zeigen sollen, dass bezüglich der Priors ein grosses Mass an Ungewissheit herrscht. Damit geben die Priors eine relativ grosse Bandbreite plausibler Ausprägungen an, aber sie bleiben so vage, dass die beobachteten Daten die Schätzung dominieren werden. Konkret wähle ich folgende Priors:

\(\begin{aligned} \beta_0 &\sim \text{Normal}(70, 15) \\ \beta_1 &\sim \text{Normal}(0, 10) \\ \gamma_0 &\sim \text{Normal}(\log(20), 1) \\ \gamma_1 &\sim \text{Normal}(0, 1) \\ \nu &\sim \text{Gamma}(2, 0.1) \end{aligned}\)

Für β_0 setze ich eine Normalverteilung mit Mittelwert 70 und Standardabweichung 15 als Prior. Das heisst, dass ich glaube, dass die Schüler in Lausanne im Schnitt 70 Punkte erreichen und dass die meisten Schüler im Bereich von rund 40 bis 100 Punkten liegen².

Für β_1, den Effekt von Zürich auf die Anzahl Punkte, setze ich den Prior als Normalverteilung mit Mittelwert 0 und Standardabweichung 10. Das bedeutet, dass ich glaube, dass der Effekt von Zürich für die meisten Schüler im Bereich von rund -20 bis +20 Punkten liegt. Das ist ein ziemlich breites Spektrum, mit dem ich lediglich absurde Werte als unplausibel beschreibe. Ich glaube nicht, dass der Effekt von Zürich z.B. bei +90 Punkten liegt.

Die Priors für γ_0 und γ_1 sind ebenfalls breite Normalverteilungen. Für γ_0, die logarithmierte Standardabweichung für Lausanne, nehme ich als Ausgangslage eine Standardabweichung von 20 (eine grobe, realistische Schätzung) und eine Prior-Standardabweichung von 1. Das klingt nach wenig, aber wenn man die logarithmierten Zahlen auf die eigentliche Standardabweichung zurückrechnet, ergibt sich eine sehr grosse Bandbreite von rund 3 bis 142 Punkten für die meisten Schüler³.

Für γ_1, den logarithmierten Effekt von Zürich auf die Streuung, setze ich den Prior als Normalverteilung mit Mittelwert 0 und Standardabweichung 1. Wenn man die Log-Skala zurückrechnet, ergibt sich der Faktor, der angibt, wie viel grösser die Standardabweichung für Zürich sein kann. Für die meisten Schüler in Zürich kann gemäss diesem Prior die Standardabweichung zwischen 0.14 und rund 7 mal der Standardabweichung von Lausanne betragen. Auch das ist ein sehr breiter Bereich, der lediglich hochgradig unplausible Werte als unwahrscheinlicher behandelt.

Der Prior für ν (nu) schliesslich ist eine als Standard empfohlene Verteilung für die Freiheitsgrade der t-Verteilung, die robust für Ausreisser und gleichzeitig kompatibel mit allfälliger annähernder Normalverteilung ist. Das ist in dem Sinn der einzige Teil des Modells, der einigermassen von der Stange ist.

Zusammengefasst sieht unser Modell so aus:

\(\begin{aligned} y_i &\sim \text{Student-}t(\nu,\ \mu_i,\ \sigma_i) \\ \mu_i &= \beta_0 + \beta_1 x_i \\ \log(\sigma_i) &= \gamma_0 + \gamma_1 x_i\\ \\ \beta_0 &\sim \text{Normal}(70, 15) \\ \beta_1 &\sim \text{Normal}(0, 10) \\ \gamma_0 &\sim \text{Normal}(\log(20), 1) \\ \gamma_1 &\sim \text{Normal}(0, 1) \\ \nu &\sim \text{Gamma}(2, 0.1) \end{aligned}\)

Auch ich als Verfechter des Bayesianismus muss zugeben: Das war relativ viel Arbeit. In der Zeit, in der ich das Modell spezifiziert habe, hätte ich Dutzende frequentistische Regressionen oder sonstwas durchführen können. Aber, und das ist nicht philosophischer Masochismus: Der Umstand, dass bayesianische Modellierung aufwendiger und damit langsamer ist, ist kein Nachteil, sondern ein Vorteil. Es ist gut, sich nicht unreflektiert in die Datenanalyse zu stürzen, sondern ausführlich zu überlegen, was man eigentlich genau aus welchen Gründen machen will. Wer bayesianisch arbeitet, muss zwangsläufig reflektierter arbeiten als mit frequentistischen Methoden.

Bereits diese inhärente Langsamkeit trägt, glaube ich, zu einem nützlichen Mindset bei. Was zählt, ist nicht, was am Schluss herauskommt. Was zählt, ist, dass die Analyse sorgfältig überlegt und gut begründet ist.

Aber wir sind noch nicht am Schluss. Nach der Modellspezifikation folgt die konkrete Auswertung. Diese geht zum Glück recht flott.

6.3) Schritt 3: Die Schätzung

Einer der Gründe, warum frequentistische Statistik dominant wurde, ist, dass sie relativ wenig Rechenpower benötigt. p-Werte kann man im Prinzip gut von Hand berechnen. Mit Computern kann man frequentistische Verfahren seit Jahrzehnten problemlos einsetzen. Die Berechnung der frequentistischen Gruppenvergleiche oben in Abschnitt 6 dauerte in der Statistik-App R nur einen Bruchteil einer Sekunde.

Bayesianische Modellierung benötigt im Vergleich dazu deutlich mehr Rechenpower, um die Posterior-Verteilungen zu erhalten. Es ist schwer, sie genau von Hand zu berechnen. Darum wird oft ein MCMC-Algorithmus (“Markov Chain Monte-Carlo”) eingesetzt. Das ist für eine mathematisch limitierte Person wie mich so etwas wie Magie. Mit MCMC-Verfahren kann man zufällige Stichproben aus einer Verteilung ziehen, ohne dass die Verteilung vorher schon bekannt ist. Mit genug vielen Stichproben (ein paar Tausend) kann man die Verteilung abbilden. Ich weiss, das klingt verrückt, aber es funktioniert wirklich.

MCMC-Verfahren benötigen also relativ viel Rechenpower. Das war früher eine Limitation. Heute sind die meisten Computer aber mehr als ausreichend stark. Für unser Beispiel mit den Schulen nutze ich erneut die Statistik-App R. Ich lasse 2000 Stichproben (also Datenpunkte) ziehen, in vier separaten Durchgängen; total also 8’000 Stichproben. Das ergibt insgesamt ein präzises Bild über die Posterior-Verteilungen. Die Berechnung dauerte bei mir rund eine Minute. Viel länger als die frequentistische Berechnung, aber insgesamt durchaus akzeptabel.

Das Ergebnis der bayesianischen Schätzung sieht visualisiert so aus:

Der durchschnittliche Unterschied ist 3.36 im Jahr 2025 und 3.38 im Jahr 2026. Die geschätzten Posterior-Verteilungen sehen insgesamt sehr ähnlich aus. Es wäre offensichtlich unplausibel, zu sagen, dass der Unterschied 2025 kategorisch anders ist als jener von 2026.

Die Eleganz des bayesianischen Ansatzes endet damit aber noch nicht. Bei den Verteilungen kann man auch berechnen, welcher Anteil kleiner als null ist. 2025 sind es 2.2% der Verteilung und 2026 sind es 3.2% der Verteilung. Das bedeutet im Umkehrschluss: Gegeben der beobachteten Daten und des Modells ist die Wahrscheinlichkeit, dass der wahre Unterschied zwischen den Gruppen für das Jahr 2025 grösser als null ist, 0.98. Für das Jahr 2026 ist die Wahrscheinlichkeit, dass der Unterschied grösser als null ist, 0.97. Die Grössenordnungen sind ähnlich, und insgesamt sind die Ergebnisse plausible Evidenz, dass es in beiden Jahren tatsächlich einen kleinen Unterschied zwischen der Schule in Lausanne und jener in Zürich gab.

Das ist eine intuitive probabilistische Interpretation, die weder im Rahmen von NHST noch allgemein mit frequentistischen p-Werten möglich ist. Der Weg zu dieser Interpretation ist frei vom Zwang, mit fixen Grenzwerten zu arbeiten, die zu einer binären Einschätzung drängen und damit Fehlanreize schaffen⁴.

7) Paradigmenwechsel vs. rekursive Trägheit

Der Philosoph Thomas Kuhn argumentierte 1962 in seinem Buch “The Structure of Scientific Revolutions”, dass wissenschaftlicher Fortschritt nicht linear stattfindet. Lineare Akkumulation von Fortschritt ist die gängige Vorstellung von Fortschritt: Es gibt schrittweise neue Erkenntnisse, und entsprechend schrittweise mehr Fortschritt.

In Wahrheit, so Kuhn, verlaufe wissenschaftlicher Fortschritt in unterschiedlichen Phasen. Einerseits gebe es eher stabile Phasen, in denen im Rahmen etablierter Paradigmen gearbeitet wird. Andererseits gebe es Krisenphasen, in denen die etablierten Paradigmen hinterfragt und durch neue ersetzt werden. Die destabilisierenden Krisen entstehen, weil sich Anomalien häufen, die mit dem bestehenden Paradigma nicht erklärt oder gelöst werden können.

Wenn wir das NHST-Ritual als ein etabliertes Paradigma verstehen, gäbe es eigentlich mehr als genug Anomalien, die es destabilisieren sollten. Die Probleme rund um Publication Bias und p-Hacking sind seit Jahren bekannt. Sogar von einer Replikationskrise war die Rede, wie ich weiter oben im Kontext von Power-Posen beschreibe. Aber die Replikationskrise hat nicht zu einem Umbruch geführt, denn das NHST-Paradigma dominiert nach wie vor. Sicher auch wegen dessen rekursiver Trägheit. Wenn z.B. eine junge Wissenschaftlerin auf das NHST-Ritual verzichten will, schadet sie ihrer Karriere, weil sie weniger publizieren kann. Das schafft eine kollektive Dynamik hin zum Status Quo.

Ich weiss nicht, wie das derart verfestigte NHST-Paradigma überwunden werden kann. Der erste Schritt ist vielleicht, das nächste Mal, wenn z.B. Medien über ein “statistisch signifikantes” Ergebnis berichten, skeptisch zu bleiben.

1. Frequentismus ist ein Ansatz für Wahrscheinlichkeit, der Wahrscheinlichkeit definiert als die relative Häufigkeit eines Ereignisses in (unendlich) vielen Zufallsexperimenten.

2. Genauer: Wenn der Mittelwert 70 beträgt und die Standardabweichung 15 ist, befinden sich 95% der Schüler innerhalb von +- 1.96 Standardabweichungen.

3. Genauer: Der plausible Bereich für die Standardabweichung selbst liegt bei rund 3 bis 142 Punkten. Diese Bandbreite berechnet sich aus dem Mittelwert +- 1.96 Standardabweichungen. Wenn wir Normal(log(20), 1) als Verteilung setzen, ist die Berechnung: log(20) +- 1.96 * 1. Das gibt logarithmierte Werte von 1.04 bis 4.96. Exponenziert ergeben sich daraus Standardabweichungen zwischen 2.8 und 142.6 Punkten.

4. Manchmal wird auch bei bayesianischer Schätzung mit Grenzwerten gearbeitet, sogenannten Kredibilitätsintervallen (auf Englisch “Credible Intervals”). Meistens kommt ein 95%-Kredibilitätsintervall zum Einsatz. Das gibt die Bandbreite an, in der sich der geschätzte Wert mit 95%-iger Wahrscheinlichkeit befindet. Wenn dieses Intervall den Wert 0 nicht umfasst, würde man daraus schliessen, dass der Effekt wohl echt oder relevant ist.

In der Vergangenheit habe ich auch mit Kredibilitätsintervallen gearbeitet. Aber nicht, weil es dafür einen guten Grund gibt. Sondern schlicht, weil ich aus der NHST-Prägung heraus glaubte, dass der Grenzwert mit 95% bzw. eben 5% irgendwie bedeutsam sei. Das ist er nicht. Kredibilitätsintervalle sind eine unglückliche und unnötige Adaptation der NHST-Logik.

Interessant ist, dass viele Menschen frequentistische Konfidenzintervalle als bayesianische Kredibilitätsintervalle missverstehen. Frequentistische Konfidenzintervalle sind an p-Werte gebunden. Wenn p<0.05, dann ist der Wert 0 nicht im 95%-Konfidenzintervall enthalten und umgekehrt. Aber ein 95%-Konfidenzintervall bedeutet nicht, dass der wahre Wert mit 95%-iger Wahrscheinlichkeit in diesem Intervall enthalten ist. Das wäre ein bayesianisches Kredibilitätsintervall. Ein frequentistisches 95% Konfidenzintervall gibt stattdessen nur an: Wenn man die Datenerhebung (unendlich) oft wiederholen würde, enthält das 95%-Konfidenzintervall, das man für jede Datenerhebung separat berechnet, den wahren Wert in 95% der Fälle. Über die einzelne Datenerhebung sagt ein Konfidenzintervall nichts aus.