Märchenstunde bei SRF

Das Schweizer Fernsehen zeigt mit einer Reportage über medizinische "Wunder", wie irrationales Denken funktioniert.

Das Schweizer Fernsehen SRF hat am 11. Dezember einen Dokumentarfilm mit dem Titel “Unerklärliche Heilungen – Von Wundern in Lourdes und der Schweiz” veröffentlicht. Darin werden Menschen porträtiert, die schwer krank waren und denen es heute besser geht oder die teilweise sogar ganz gesund wurden. Das seien, wie SRF beschreibt, “Fälle, die die Schulmedizin ratlos machen”.

Die Beschreibung der Reportage ist schon mal ein schlechtes Zeichen. Der Begriff “Schulmedizin” wurde von Homöopathie-Verfechtern erfunden, um wissenschaftliche Medizin abzuwerten und den Eindruck zu erwecken, dass “Alternativmedizin” oder (wie heute gerne gesagt wird) “Komplementärmedizin” genauso valide medizinische Ansätze seien. Das sind sie nicht. Wenn Journalisten mit dem Begriff “Schulmedizin” arbeiten, zeugt das bereits von analytischer Verzerrung.

Aber gut. Ich sage immer: Man muss ergebnisoffen sein. Das ist nicht nur eine Floskel. Ich meine das wirklich ernst. In meinem Denken bin ich dezidiert bayesianisch. Die verfügbare Evidenz und damit verbundene Logik spricht meines Erachtens massiv gegen die Wirksamkeit der meisten alternativmedizinischen Heilverfahren, und ich kenne keine guten Argumente für die Existenz von Wundern. Aber rationalerweise muss ich bereit sein, meine bestehenden Überzeugungen zu aktualisieren, wenn es neue Argumente und Evidenz gibt. In bayesianischem Jargon ausgedrückt: Prior Belief plus neue Informationen ergeben einen aktualisierten Posterior Belief. Ob es Wunder gibt oder nicht, ist mir grundsätzlich auch egal — wenn es Wege gibt, um schwere Krankheiten auf naturwissenschaftlich unerklärliche Art zu heilen, umso besser. Nur, weil wir den Wirkmechanismus von etwas noch nicht verstehen, bedeutet das nicht, dass dieses etwas nicht existiert. Sauerkraut und Zitrusfrüchte heilten Skorbut, bevor man wusste, was Vitamin C ist.

Darum habe ich mir den Dokumentarfilm ergebnisoffen angeschaut. Das Ergebnis ist leider ernüchternd: Meinen Prior konnte der Film nicht verschieben. Die medizinischen Wunder blieben definitiv aus. Aber etwas Gutes hat der Dokumentarfilm dann doch. Er ist derart misslungen, dass er gutes Anschauungsmaterial für grundlegende Denkfehler bietet.

Problem 1: Streuung und Wahrscheinlichkeit

In der Reportage werden die bewegenden Geschichten von Menschen erzählt, die eine schwere Krankheit überlebt haben. Der Umstand, dass sie überlebt haben, wird als Wunder interpretiert. Bevor es überhaupt darum geht, was vermeintlich zur Heilung dieser Menschen geführt hat, ist diese Ausgangslage schon grob irrational — weil sie Streuung und damit verbundene Wahrscheinlichkeitsverteilung ignoriert.

Krankheit ist nicht ein klar deterministisches Phänomen. Wenn ein Mensch z.B. an Lungenkrebs erkrankt, ist es nicht im Vorfeld klar, wie die Krankheit verlaufen wird. Lungenkrebs kann bei zwei Menschen, die grundsätzlich sehr ähnlich sind (bezüglich Alter, Geschlecht, medizinischer Vorgeschichte, Stadium der Diagnose u.a.) unterschiedlich verlaufen. Es gibt eine Streuung der Krankheitsverläufe. Um beim Beispiel Lungenkrebs zu bleiben: Bei manchen Menschen verläuft der Lungenkrebs aggressiv und schnell tödlich. Bei anderen Menschen verläuft der Lungenkrebs ceteris paribus weniger aggressiv und die Menschen überleben länger.

Weil es bei Krankheitsverläufen Streuung gibt, ist Krankheit nicht ein deterministisches, sondern ein probabilistisches Phänomen. Das ist natürlich eine triviale Feststellung. Das wissen wir alle. Bei Krebs z.B. kennen wir Statistiken zu Überlebensraten.

Überlebensraten für verschiedene Krebsarten in Deutschland. Quelle.

Wenn die Wahrscheinlichkeit, dass eine Frau mit Lungenkrebs in 5 Jahren noch lebt, rund 0.25 oder 25% beträgt, ist nicht jede Frau mit Lungenkrebs nach 5 Jahren zu 75% tot. Die Wahrscheinlichkeit ist ein Durchschnittswert, der sich aus der Streuung der Krankheitsverläufe ergibt.

Wenn Krankheitsverläufe eine Streuung haben, bedeutet das logischerweise, dass es auch Datenpunkte im unteren und oberen Bereich der Streuung gibt. Diese Logik kann man anhand einer Wahrscheinlichkeitsverteilung visualisieren. Diese Grafik zeigt beispielhaft eine bekannte Wahrscheinlichkeitsverteilung, die Normalverteilung.

Krankheitsverläufe sind meistens nicht normalverteilt. Die schön symmetrische Grafik mit der Normalverteilung dient hier nur als vereinfachte gedankliche Stütze, um das Prinzip zu erläutern. In der Verteilung der Grafik sehen wir einen Mittelwert, der genau in der Mitte bei 0 liegt. Wir sehen, dass die meisten Datenpunkte im Bereich von +- einer Standardabweichung liegen. Die Wahrscheinlichkeit, dass sich ein beliebiger Datenpunkt in diesem Bereich befindet, ist rund 0.68 oder 68%. Darüber hinaus gibt es aber auch extremere Datenpunkte, die zwischen +- einer und zwei Standardabweichungen liegen. Das sind nur noch rund 27% aller Datenpunkte. Es gibt aber noch seltenere Fälle: Rund 4% der Datenpunkte liegen im Bereich von +- 2 bis 3 Standardabweichungen. Und so fort.

Zusammengefasst sehen wir in der Visualisierung also, was Streuung bedeutet: Es gibt Datenpunkte, die relativ weit weg sind von dem Bereich, in dem sich die meisten Datenpunkte befinden. Und zwar nicht optional, sondern zwangsläufig: Wenn es Streuung gibt, muss es Datenpunkte geben, die relativ weit weg von der Mehrheit der Datenpunkte sind. Anders kann es gar nicht sein.

Warum ist das nun im Zusammenhang mit der SRF-Doku relevant? Die Personen, die SRF porträtiert, sind genau solche Datenpunkte. Sie sind Menschen, deren Krankheitsverläufe mehrere Standardabweichungen vom Mittelwert entfernt sind. Und genau darum ist die blosse Prämisse der Doku irrational: Wenn man Menschen porträtiert, die es als Datenpunkte statistisch geben muss, ist es fundamental unsinnig, davon auszugehen, dass die Existenz dieser Datenpunkte ein unerklärbares Wunder ist.

Genauso gut könnte man eine Doku über Lotterie machen und ein paar Lotto-Gewinner porträtieren. Sechs Richtige im Lotto, das muss ein Wunder sein! Nein, natürlich nicht. Das ist erneut bloss Streuung und Wahrscheinlichkeitsverteilung. Wenn genug viele Leute Lotto spielen, gibt es Datenpunkte mit extremeren Ausprägungen. Anders kann es nicht sein.

Problem 2: Survivorship Bias

Das zweite Problem der Doku ist nicht minder kurios als das Ignorieren von Streuung. In der Reportage werden wie gesagt einige Menschen porträtiert, die schwere Krankheit überlebt haben. Anhand dieser Fälle, die überlebt haben, versuchen die Journalisten zu schlussfolgern, was die “wundersame” Heilung verursacht haben könnte. In einem Fall z.B. Gebete an Maria und den katholischen Gott in Lourdes, in einem anderen Fall Dinge wie Heilkräuter und das Loslassen “unterdrückter Emotionen”.

Ich verstehe schon, warum das journalistisch eine spannende Story hergibt. Individuelle Schicksale, einfachste Antworten, schöne Aufnahmen aus Lourdes und anderen Orten, gepaart mit viel Hoffnung und einer guten Prise übersinnlicher Mystery.

Das Problem ist, dass die Verantwortlichen bei SRF bei diesem ganzen Storytelling etwas himmelschreiend Offensichtliches vergessen haben: In der Doku werden keine Menschen porträtiert, die auch in Lourdes gebetet, die auch Heilkräuter gegessen, die auch “unterdrückte Emotionen” losgelassen haben — und trotzdem gestorben sind. Die Doku von SRF ist das in seiner Offensichtlichkeit vielleicht absurdeste Beispiel für Survivorship Bias, das ich jemals gesehen habe.

Survivorship Bias, auf Deutsch die Überlebens-Verzerrung, ist ein Denkfehler der Stichprobenziehung. Er besteht darin, dass man nur Datenpunkte auswählt, die einen bestimmte Filter überstanden haben und dann versucht, anhand nur dieser ausgewählten Datenpunkte zu verstehen, warum diese Datenpunkte den Filter überstanden haben. Das Problem dabei ist, dass man all die Datenpunkte, die den Filter nicht überstanden haben, vergisst — und damit vielleicht übersieht, dass das, was bei den erfolgreichen Datenpunkten zu beobachten ist, vielleicht auch bei den gescheiterten vorhanden ist.

Banales Beispiel: Mark Zuckerberg, Bill Gates und Steve Jobs haben alle ihr Studium abgebrochen und sind danach superreich geworden. In der Logik von SRF können wir daraus schliessen, dass das, was diese Datenpunkte auszeichnet, erklärt, warum sie reich geworden sind — wer reich werden will, muss das Studium abbrechen! Das ist natürlich Unsinn, weil wir all die Datenpunkte ignorieren, die ihr Studium auch abgebrochen haben und nicht reich geworden sind.

Die gesamte Doku ist ein einziges grosses Beispiel für Survivorship Bias. Besonders absurd wird es im Interview mit der Autorin Kelly Turner, die als Krebs-Expertin dargestellt wird.

Turner hat einen Bestseller geschrieben, in dem sie u.a. zu Heilkräutern und dem Loslassen “unterdrückter Emotionen” rät. Turners Buch trägt den Titel “Radical Remission” und zeigt neun “zentrale Faktoren, die einen echten Unterschied machen können”. Was ist das für ein Buch? Es wäre lustig, wenn es nicht um Krebs ginge.

Turner hat über 100 Menschen interviewt, die einen schweren Krebsverlauf überlebt haben. Daraus schliesst sie, dass die Dinge, die diese Menschen gemacht haben, zu ihrem Krebsrückgang geführt haben.

Das ist — wortwörtlich — Survivorship Bias, wie er im Buche steht. All die Leute, die vielleicht genau das Gleiche machten und denen es nicht besser ging, ignoriert Kelly. Das gäbe halt keine so spannende Story mit einfachen Botschaften. Eine Person, die ein unsinniges Survivorship-Bias-Buch schreibt, wird in einer unsinnigen Survivorship-Bias-Doku interviewt. Rekursive Irrationalität.

Der Höhepunkt der Verwirrung ist ein Moment in der Doku, in dem die SRF-Journalisten fast verstehen, dass sie in den seichten Gewässern des Survivorship Bias fischen. Ein italienischer Priester erklärt, es sei “unergründlich”, warum Gott die Gebete einiger kranker Menschen erhört, die Gebete anderer kranker Menschen aber nicht.

Spätestens hier hätten sich die Journalisten fragen müssen: Halt, wenn also alle das Gleiche machen, es aber nur bei einigen Leuten funktioniert, sind das dann wirklich Wunder? Oder fokussieren wir vielleicht auf auffällige Datenpunkte, die in der Streuung “Ausreisser” sind, und suchen irrationalerweise spannende Geschichten zu diesen Datenpunkten?

Zu so viel Einsicht kommt SRF leider nicht. Die Story gewinnt. Auch der Survivorship Bias könnte wunderbar in die Doku zu Lotterie-Gewinnern einfliessen. Das, was die Lotto-Gewinner gemacht haben, muss zu ihrem Lotto-Gewinn geführt haben!

Ein xkcd-Comic zu Survivorship Bias. Lasst uns von den Lotto-Gewinnern lernen, wie man im Lotto gewinnt!

Story schlägt Statistik

Vor vielen Jahren habe ich einen Spruch gehört, der leider zeitlos wahr ist: Story schlägt Statistik.

Einfache, interessante, spannende Geschichten sind bekömmlicher als rationale Auseinandersetzung mit der Realität. Streuung, Standardabweichung, Survivorship Bias — das ist zum Einschlafen. Heilkräuter und Stossgebete? Wow, interessant! Die Realität besteht aus Grautönen, aber einfache Schwarz-Weiss-Schablonen sind attraktiver.

Wie ist das Ganze aus journalistischer Sicht einzuordnen? Die Doku ist für sich genommen natürlich blamabel. Aber sie ist nicht nur blamabel: Sie ist gefährlich. Sie vermittelt Menschen in schlimmst möglichen Lebenssituationen, dass es doch eine ganz einfache Lösung gibt. Ein paar Heilkräuter, ein Besuch in Lourdes, und ruck zuck ist man wieder kerngesund. SRF sagt, die “Schulmedizin” könne das nicht erklären und es seien Wunder. Darum muss etwas dran sein. Hoffnung ist gut, Märchen sind es nicht.

Die Deutungsmuster, die SRF verbreitet, deutet Krankheit zudem zu einer Frage der persönlichen Leistung um. Wenn man ein Wunder will, kann man das selbstständig mit einfachen Mitteln herbeiwirken. Die Kehrseite solcher Heilsversprechen: Wenn das Wunder ausbleibt, hat man entsprechend etwas falsch gemacht. Selber schuld.

Zusätzlich besteht das Risiko, dass Humbug wie in dieser SRF-Doku Menschen dazu bewegt, sich medizinisch nicht mehr oder nicht gut genug versorgen zu lassen. Wenn die Rede von Wundern ist, die explizit nicht der “Schulmedizin” zu verdanken sind, sondern durch Gebete und Heilkräuter und das Loslassen “unterdrückter Emotionen” zustande kamen, fragt man sich vielleicht: Warum brauche ich dann überhaupt noch diese “Schulmedizin”, wenn sie offensichtlich nichts taugt?

Ich unterstelle den Verantwortlichen bei SRF keine böse Absicht. Sie wollen eine gute Story erzählen — und sie glauben den Humbug, den sie verbreiten, durchaus selbst. Sie sind nicht böse. Sie sind lediglich sehr, sehr irrational.

Und was, wenn es doch mehr gibt, als wir uns aktuell vorstellen können? Was, wenn Gebete oder Heilkräuter oder andere Methoden todkranke Menschen doch heilen können? Das will ich gar nicht ausschliessen. Ich bin wie gesagt ergebnisoffen. Aber wenn wir erfahren wollen, ob es solche Dinge wirklich gibt, ist der Ansatz, den SRF wählt, unbrauchbar. Sogar, wenn es Wunder gäbe — die SRF-Methode (Fokus auf statistische Ausreisser, interpretiert durch Survivorship Bias) könnte sie nicht feststellen. Das ist eben das Problem an Irrationalität: Sie ist in alle Richtungen verzerrend.

Wenn wir die Realität wirklich verstehen wollen, muss wohl oder übel die “Schulmedizin” herhalten. Untersuchungsdesigns wie z.B. kontrollierte Studien mit Vergleichsgruppen wurden entwickelt, um Verzerrungen, wie sie in der SRF-Doku zu sehen sind, möglichst zu vermeiden. Die wissenschaftliche Methode ist gewissermassen das Gegenteil der SRF-Methode: Statistik schlägt Story anstatt Story schlägt Statistik.