Humbug in der medizinischen Forschung

Die Grundsätze der Wissenschaftlichkeit - So sollte es sein

Die medizinische Wissenschaft, oft auch nur Schulmedizin genannt, beruht auf dem Grundsatz, dass Ergebnisse reproduzierbar sein müssen, und zwar von jedem, zu jeder Zeit und überall. Deshalb werden empirische Studien durchgeführt, in denen man, meistens zwei Therapien gegeneinander antreten lässt, wobei oft als Vergleich ein Placebo genommen wird.

In der Praxis hat sich herausgestellt, dass Randomisierung und Verblindung, wann immer möglich, eingesetzt werden sollte. Das bedeutet, dass die Patienten zufällig in die Studiengruppen eingeteilt werden sollen, und dass weder der Patient noch der behandelnde Arzt wissen dürfen, in welcher Gruppe sie sind. Außerdem sollte, um der Reproduzierbarkeit willen, genau beschrieben werden sollte, wie die randomisiert und verblindet wurde.

Empirie, also Erfahrung ist hier ein wichtiger Begriff, der nicht mit der umgangssprachlichen Erfahrung verwechselt werden darf. Hier ist damit gemeint, dass man Daten sammelt und auswertet, und nicht, dass man aufgrund persönlicher Erfahrung aus dem "Bauch" heraus entscheidet. Die Gefahr dabei ist, dass es zu einem Confirmation Bias kommt. Achtung: Das bedeutet nicht, dass ein Arzt nicht auf Grundlage seiner eigenen Patientendaten entscheiden kann. Hier gibt es interessante Ansätze aus dem Gebiet der Bayes Statistik.

Es ist zwar in der Praxis nicht nötig einen genauen Wirkungsmechanismus anzugeben, aber immerhin sollte man das Ergebnis trotzdem irgendwie erklären können. Sonst wären nämlich zufälligen Zusammenhängen Tür und Tor geöffnet (das sind sie zwar auch so, aber immerhin nicht ganz so weit, und auch nur weil eben vieles unerklärt bleibt). Deshalb sollte man Anzeichen darauf haben, dass der entdeckte Zusammenhang tatsächlich kausaler Natur ist.

Will man also ein Medikament testen, muss man auch erklären WARUM das überhaupt wirken soll. Und dabei reicht es nicht zu sagen: "Quantenphysik". (Deutsches Ärzteblatt)

Als Nächstes muss es möglich sein, die gemessenen Daten objektiv zu evaluieren. Hier gibt es eine Vielzahl an Ansätzen, Herangehensweisen und Methoden. Im Endeffekt sollen sie aber alle dafür sorgen, dass man verschiedene Ergebnisse miteinander vergleichen kann.

Fassen wir also zusammen, was Wissenschaft ausmachen sollte:

1. Reproduzierbarkeit
2. Empirie
3. Kausalität
4. Evaluierbarkeit

Punkt 4 werde ich hier übrigens nicht weiter beleuchten, da die entsprechenden Methoden jedem zur Verfügung stehen, der in einem solchen Beruf arbeitet, oder sich mal die Zeit genommen hat R zu lernen, eine sehr brauchbare Freeware.

Reproduzierbarkeit

Dieser Punkt ist leider sehr schnell erklärt. Man kann nicht wirklich reproduzieren. Das hat mehrere Gründe.

Zum einen bekommt man schlechter Geldgeber, wenn es nur darum geht, alte Forschung zu überprüfen, da nichts Patentierbares dabei herauskommt. Natürlich gibt es Forschergruppen, die es dennoch tun, deren Budget ist aber viel zu klein.

Als Nächste sind diese Publikationen im Lebenslauf nicht so viel wert, und leider ist es üblich, Bewerber anhand der Zahl ihrer Publikationen zu bewerten.

Als letzten und wichtigsten Punkt muss man sagen, dass es hier um die Gesundheit der Teilnehmer geht. Damit eine Ethikkommission eine Studie bewilligt, muss wirklich unklar sein, welche der Therapien besser ist, oder es muss sonst ein guter Grund vorliegen. Denn sonst würde man eine der beiden Gruppen wissentlich suboptimal behandeln.

Aber die moderne Medizin ist auch dagegen gewappnet, denn falsch positive Ergebnisse bleiben nicht lange bestehen, wenn sie in der Praxis keinen Erfolg bringen, und dann darf das Ergebnis reproduziert werden. (Blogeintrag bei Esowatch)

Außerdem werden oft ähnliche Methoden von verschiedenen Gruppen erforscht, beispielsweise verschiede Operationsformen zur Brustkrebsentfernung. Solche Ergebnisse werden häufig in Metastudien ausgewertet, was nachher ein klareres Bild liefert.

Empirie

Hier gibt es nicht viel zu kritisieren. Alle seriösen Wissenschaftler testen ihre Hypothesen und (in der Medizin) Medikamente in kontrollierten Studien.

Das größere Problem sieht man hier bei den Zeitschriften, die bevorzugt positive Ergebnisse drucken möchten. Das schafft ein Klima, in dem man als Forscher darauf angewiesen ist, entweder durch Glück nur funktionierende Sachen zu testen (vor allem in Grundlagenforschung ein Ding der Unmöglichkeit) oder eben so schwammige Endpunkte, und teilweise unverständlich kompositierte Endpunkte zu wählen.

Ein Endpunkt bedeutet, wie man vermuten kann, das Ende der Beobachtung eines Patienten. Dabei sind beispielsweise für Krebs vor allem Überlebensrate und lokale Heilungsrate ("ist der Krebs wegen dem behandelt wurde weg?") wichtig. Es gibt Krebsarten mit der man noch lange Leben kann, die aber nicht klein zu kriegen ist, während andere wunderbar verschwinden, aber aggressiv Metastasen bilden und so die Überlebensrate drücken.

Außerdem gibt es natürlich schwarze Schafe, die entweder mit Statistik lügen (zum Beispiel: veränderte Skalierung bei Achsen von Vergleichsgrafiken) oder versuchen Studienberichte mehrfach zu veröffentlichen (ich weiß von mindestens einem Fall, doch die Dunkelziffer ist erwartungsgemäß hoch, da es kein Kontrollsystem gibt).

Es entsteht also eine Kette des Aussortierens von negativen Ergebnissen: Der Studienleiter gibt Projekte auf, die keinen Erfolg versprechen, Zeitschriften lehnen negative Ergebnisse öfter ab, Ärzte lesen seltener negative Ergebnisse (damit können sie ja nicht direkt behandeln).

Diese 3 Punkte führen zu einem erheblichen Publicationbias, für das es aber schon lange Lösungsansätze gibt.

Trotzdem wissen viele Forscher, wie wichtig auch negative Ergebnisse sind. Man kann nämlich auch einige Erwarten. Angenommen von 1000 Hypothesen wären 100 wahr, und übliche 5% Toleranz für Fehler erster und 25% für Fehler zweiter Art liefern folgendes Schaubild:

500

und 900 wahren Hypothesen pro 1000.

Das Gesamtbild der Studienlandschaft hängt also entscheidend davon ob, wie gut die Hypothesen sind, die getestet werden und sogar, wenn alles wahr ist, bekommt man negative Ergebnisse. Umso verwunderlicher erscheint es da, dass Naturheiler, alternativ Mediziner o.ä. in allem eine Wirkung finden.

Kausalität

Es gibt den bekannten Placeboeffekt und den, gilt es auszuschließen. Deshalb wird verblindet und randomisiert.

Heutige Computer haben kein Problem damit riesige Datenmengen, auf Korrelationen zu überprüfen. Das Ergebnis sind oft zusammenhänge zwischen irgendwelchen Lebensmitteln und Krankheiten, von denen viele mit hoher Wahrscheinlichkeit zufälliger Natur sind.

Abschließende Bemerkung

Obwohl es einen Haufen Kritik an der medizinischen Forschungspraxis gibt, muss man sagen: Sie funktioniert.

Außerdem darf man nicht den Fehler machen, deswegen mehr von Alternativmedizin zu halten, denn gegenüber dieser ist die Kritik noch um ein Vielfaches stärker.

Wer gerne noch mehr wüsste, der soll die Bücher für Dubben und Beck-Bornholdt lesen. Die sind sehr informativ und sehr leicht geschrieben.