Systematische Reviews zur Homöopathie - Mathie (2014)

Das Ende 2014 veröffentlichte systematische Review zur Homöopathie einer Forschergruppe um Robert T. Mathie ist die bislang letzte Untersuchung dieser Art(Stand: März 2016). Die Arbeit ist Teil eines größeren Projekts der British Homeopathic Association (BHA), in dem die gesamten vorliegenden Forschungsergebnisse zur Homöopathie aufgearbeitet werden sollen. In diesem Review wird die klassische Homöopathie betrachtet, also die Königsdisziplin der Homöopathie, die mit individuell verordneten Einzelmitteln arbeitet und am wirksamsten sein soll. Der als Ergebnis gefundene kleine positive Effekt kommt allerdings nur dadurch zustande, dass die Autoren einige eher ungebräuchliche Methoden angewandt haben.

Hintergrund

Die BHA ist eine seit 1902 in England bestehende Organisation, die zum Ziel hat, die Homöopathie in der Medizin zu verbreiten und sicherzustellen, dass Homöopathie für alle verfügbar ist . Damit verfolgt sie in etwa die gleichen Ziele wie die Carstens-Stiftung in Deutschland. Die BHA arbeitet eng mit der Faculty of Homoeopathy zusammen, die als Plattform für die homöopathischen Therapeuten dient und damit dem Deutschen Zentralverein homöopathischer Ärzte (DZVhÄ) vergleichbar ist.

Die BHA betreibt seit 2011 ein Projekt, in dem die gesamte Literatur zu kontrollierten und randomisierten klinischen Studien der Homöopathie aufgearbeitet werden soll.

Robert T. Mathie selbst arbeitet als wissenschaftlicher Berater für die BHA und hat eine ganze Reihe wissenschaftlicher Artikel veröffentlicht, darunter auch systematische Reviews für die Cochrane Collaboration, einer internationalen Organisation von Ärzten und Wissenschaftlern, die das Ziel verfolgt, dem behandelnden Arzt die bestmögliche Evidenz zu Therapien oder Medikamenten zur Verfügung zu stellen..

Auch die anderen Autoren des Reviews arbeiten entweder für der Homöopathie nahestehende Organisationen oder sind nur an der statistischen Auswertung beteiligt.

Man kann also davon ausgehen, dass die Autoren nicht gegen die Homöopathie voreingenommen sind, ein Vorwurf, der beispielsweise den Autoren des Reviews von Shang et al. gemacht wurde.

Vorbereitung

Eine groß angelegte Sichtung des gesamten Literaturbestandes zu randomisierten Vergleichsstudien ging dem eigentlichen Review voraus. Es wurden insgesamt 489 Datensätze gefunden, in denen über randomisierte klinische Studien berichtet wird. Davon erfüllten 41 die Kriterien für eine Betrachtung in dem hier besprochenen Review, nämlich:

• Kontrollgruppe erhielt Placebo
• Veröffentlichung in Fachzeitschriften mit Peer-Review
• Klassische Homöopathie mit individuell verordneten Einzelmitteln

Das Studienprotokoll wurde zwar nicht in einer Fachzeitschrift veröffentlicht, jedoch auf der Webseite der BHA zur Einsicht zur Verfügung gestellt .

Review

Das Review wurde Ende 2014 in einem internet-basierten Journal veröffentlicht und ist allgemein zugänglich . Die Autoren bemühen sich ganz offensichtlich um äußerste Korrektheit, indem ganz exakt auf eventuelle Interessenkonflikte und auf die Finanzierung durch die homöopathische Klinik in Manchester hingewiesen wird.

Forschungsfrage

Die zu klärende Forschungsfrage wird nur etwas unklar formuliert:

Wir überprüften die Hypothese, dass die Ergebnisse individualisierter homöopathischer Behandlungen unter Verwendung homöopathischer Arzneien von Placebos unterschieden werden können.

Kritik: Schon in der Forschungsfrage klingt der Anspruch an, dass die Homöopathie als Ganzes überprüft werden sollte. Dies kann aber ein Review, das auf einer beschränkten Zahl an Arbeiten mit einer beschränkten Zahl an Krankheitsbildern basiert, nicht leisten. Siehe hier: Aufstellen der Forschungsfrage.

Literaturrecherche

Die vorab durchgeführte Literaturrecherche erbrachte 41 Arbeiten, die placebo-kontrollierte randomisierte Studien umfassten, die unter Peer-Review bis Ende 2011 veröffentlicht worden waren. Eine Aktualisierung während der Arbeiten erbrachte, dass bis Ende 2013 weitere 5 Studien veröffentlicht worden waren, die die bisherigen Einschlusskriterien erfüllten. Von diesen insgesamt 46 Einzelstudien erwiesen sich 15 als nur einfach verblindet und wurden daher ausgeschlossen. Eine Arbeit enthielt Daten von zwei Versuchsreihen, so dass 32 Studien aus 31 Veröffentlichungen in die Betrachtung eingeflossen sind.

Studienbewertung

Die Bewertung der in das Review eingeschlossenen Studien erfolgt, wie die Autoren angeben, nach dem von der Cochrane Collaboration vorgegebenen Schema der Bewertung des Risikos für einen Bias (siehe hier: Studienbewertung). Von diesen Vorgaben wird allerdings im Detail ganz erheblich abgewichen:

Einschluss von Pilotstudien
Bei einem Anteil der betrachteten Arbeiten handelt es sich um sogenannte Pilotstudien. Dies sind Studien, die mit einer reduzierten Anzahl von Teilnehmern oder mit anderen Einschränkungen durchgeführt werden, um die Vorgehensweise einer nachfolgenden Hauptsudie zu erproben.

Eine Pilot-Studie ist keine Haupt-Studie unter erleichterten Bedingungen. Daher können aus dem Ergebnis einer Pilot-Studie in aller Regel keine Konsequenzen für die medizinische Praxis gezogen werden.

Die Cochrane Collaboration macht in ihrem sehr ausführlichen Handbuch keine Aussagen zur Behandlung von Pilotstudien in systematischen Reviews. Offenbar ist dies aus ihrer Sicht so abwegig, dass sie Pilotstudien in diesem Kontext noch nicht einmal erwähnt. Die Einschlusskriterien für die Studien sahen indes nicht vor, dass Pilotstudien ausgeschlossen oder mit eingeschränktem Gewicht betrachtet werden sollten. Von den 32 im Review betrachteten Arbeiten handelt es sich in 10 Fällen um solche Pilotstudien, die per Definition nicht zum Nachweis der Wirksamkeit der verabreichten Präparate dienen können. Dennoch werden sie im weiteren Verlauf des Reviews als völlig gleichwertig behandelt.

Ungewöhnliche Bewertung
Mathie et al. bewerten die Studien hinsichtlich des Risikos eines Bias. Es fällt aber auf, dass sie im Vergleich zu anderen vorliegenden Übersichtsarbeiten zu teilweise erheblich abweichenden Ergebnissen kommen.

Die Münchner Kopfschmerzstudie wird von Mathie et al. extrem schlecht bewertet, sie weise ein hohes Risiko eines Bias auf. In zwei von sieben Kriterien wird sie nur in die schlechteste Kategorie eingestuft ('hohes Risiko'), in zwei weiteren nur in die mittlere (unklares Risiko), in nur vier Kategorien kam sie in die beste Kategorie (geringes Risiko). In Summe haftet somit der Studie ein hohes Risiko eines Bias an und landete im letzten Drittel der Studien.

Dies ist in völligem Widerspruch zu den Bewertungen, die diese Studie in anderen Übersichtsarbeiten erhalten hat:

• Linde (1998): 5 von 5 Punkten im Jadad Score, 6 von 6 Punkten in eigenem Schema
• Shang (2005): Hohe Qualität (zweistufige Skala)
• Dean (2004): 91 von 100 Punkten auf Basis einer Bewertung von 23 Einzelpunkten.
  

Leider werden bei Mathie et al. die Grundlagen für die Abwertung der Studie nicht angegeben, so dass nicht nachvollzogen werden kann, worauf sie beruht.

Zum Vergleich sei eine andere Studie herangezogen, Jacobs(1994), die in den gleichen Übersichtsarbeiten mit kleinen Abstrichen gegenüber der Kopfschmerzstudie ebenfalls sehr gut bewertet wurde. Bei Mathie erhält diese Studie zwar in einem Kriterium eine Abwertung auf ein unklares Risiko, aber dieses Kriterium - unvollständige Wiedergabe der Ergebnisse (incomplete outcome reporting) - wurde bei Shang und Linde nicht angewandt, bei Dean allerdings als voll erfüllt bewertet. Dass diese Studie außer in der früher nicht bewerteten Kategorie die gleichen Bewertungen erhalten hat wie bei den früheren Reviews, lässt darauf schließen, dass der Wechsel der Betrachtungsweise auf die Bewertung des Biasrisikos nicht als Ursache für die abweichende Bewertung in Frage kommt.

Ein ausführlicher Vergleich der beiden Studien und deren Bewertung findet sich hier. Es zeigt sich, dass durchaus gleichwertige Angaben in beiden Studien unterschiedlich bewertet wurden, was durch einen möglichen Bias der Autoren des Reviews verursacht sein könnte.

Nachträgliche Aufwertung
Die Bewertung ergab, dass bei keiner der eingeschlossenen Studien nur mit einem geringen Risiko eines Bias zu rechnen ist. Bei zwölf Studien ergab sich ein mittleres, bei zwanzig ein hohes Risiko (darin die oben betrachtete Münchner Kopfschmerzstudie von Walach et al.). Dennoch wurden drei Studien zu ‚zuverlässigen Nachweisen‘ (reliable evidence) erklärt, die nur in nach Meinung der Autoren weniger bedeutsamen Kriterien ein mittleres Risiko zeigten. Dieser Schritt war im Studienprotokoll nicht vorgesehen und widerspricht auch den Richtlinien der Cochrane Collaboration. Diese Änderung ist demnach nachträglich, vermutlich erst nach Vorliegen der Bewertungsergebnisse beschlossen und ausgeführt worden. Auf jeden Fall hätte diese Abweichung vom Protokoll in der Arbeit erklärt werden müssen, was aber unterblieben ist.

Extraktion der Daten

Bei der Extraktion der Daten aus den Studien wenden Mathie et al. eine ungewöhnliche Methode an. Man verwendet nämlich nicht automatisch die von den Autoren festgelegten Bewertungskriterien (main outcome measure), für das sie normalerweise alle Einzelheiten berichten. Mathie et al. haben stattdessen ein eigenes Hierarchiesystem der Bewertungskriterien eingeführt, das der ICF-Klassifikation der WHO folgt:

Wir werden dem WHO ICF-System folgen, gleichgültig, welches Kriterium die Autoren als ihr Hauptergebnis festgelegt haben

Die Vorgehensweise der WHO ist eine international akzeptierte Methode, um sicherzustellen, dass ein gewähltes Ergebnis das bedeutendste für die Funktion und die Gesundheit des Patienten ist: Auf diese Weise ist die Durchgängigkeit unserer Auswahl der wichtigsten und objektivsten Resultate der Studien sichergestellt.

Dies ist eine in dieser Form nicht vorgesehene Anwendung des ICF-Systems. Es handelt sich nämlich lediglich um ein systematisches und standardisiertes Erfassungs- und Berichtssystem, wie man auf der betreffenden Webseite feststellen kann. Ähnlich wie in einem Telefonbuch die alphabetische Anordnung der Namen keine Hierarchie darstellt, ist die Gliederung des ICF keine Priorisierung und war nie als solche gedacht:

Die ICF dient fach- und länderübergreifend als einheitliche und standardisierte Sprache zur Beschreibung des funktionalen Gesundheitszustandes, der Behinderung, der sozialen Beeinträchtigung und der relevanten Umgebungsfaktoren eines Menschen. Mit der ICF können die bio-psycho-sozialen Aspekte von Krankheitsfolgen unter Berücksichtigung der Kontextfaktoren systematisch erfasst werden.

Die Aufgabe des ICF ist eine international einheitliche Klassifikation zur Beschreibung eines Zustandes, nicht zur Bewertung in wichtigere oder weniger wichtige Kriterien.

Da die Verwendung des ICF-Systems für die Festlegung von Beurteilungskriterien bei klinischen Studien nicht vorgesehen ist, haben sich die Autoren der Einzelstudien auch nicht daran orientiert. Daher ist bei diesem Vorgehen damit zu rechnen, dass es bei einigen Studien Lücken in den Daten gibt. Die Folgen, die Mathie et al. für diesen Fall vorgesehen haben, sind:

Wenn die Originalarbeit nicht die angemessene Informationen enthält, um für das festgelegte Kriterium Mittelwert und/oder Standardabweichung zu entnehmen oder zu errechnen, werden wir das ausgewählte Hauptergebnis als „nicht abschätzbar“ bewerten.

Was dazu führt, dass diese Arbeit nicht in die Metaanalyse eingeschlossen wird.

Nur veröffentlichte Daten kommen für die Auswertung in Frage. Die Autoren der originalen RCTs werden nicht angesprochen, um unklare oder fehlende Angaben zu Methoden oder Daten zu klären.

Effekt: Weil Mathie et al. das Hauptergebnis praktisch auf unvorhersehbare Weise festgelegt, bei den Autoren der Studien auch nicht nachgefragt haben, ob sie eventuell fehlende Daten vielleicht ergänzen könnten, sind mindestens zwei Studien wegen fehlender Daten nicht in die Metaanalyse eingeflossen: Die schon angesprochene Münchner Kopfschmerzstudie und eine Arbeit von White et al. zur homöopathischen Behandlung von Asthma bei Kindern. Auch bei dieser Arbeit hätte es sich um eine qualitativ hochwertige Arbeit gehandelt, wie Mathie in einer Diskussion selbst einräumt:

[An E. Ernst gerichtet, einen der Co-Autoren des fraglichen Papers:] Wie es sich gezeigt hat, wurden nur drei Studien alleine wegen des Kriteriums V [fehlende Daten] gesamthaft mit einem hohen Biasrisiko bewertet [...]; nur eine dieser drei Arbeiten (Ihre wie es sich ergab) wäre zu einem 'zuverlässigen Nachweis' geworden, wenn wir bereit gewesen wären, ein extrahierbares Ergebnis von geringerer klinischer Wichtigkeit zu akzeptieren.

Letztendlich hat die Bewertung der Studien dazu geführt, dass (mindestens) zwei Arbeiten mit anerkannter hoher Qualität und unvorteilhaftem Ausgang für die Homöopathie nicht in die Metaanalyse eingeflossen sind.

Metaanalyse

Als Ergebnis der Studienbewertung ergab sich, dass bei zehn Studien die angegebenen Daten nicht ausreichten, um eine statistische Analyse durchzuführen. Diese wurden folglich ausgesondert, so dass am Ende nur 22 Studien in die Metaanalyse und die weitere Betrachtung eingeflossen sind. Darin sind immer noch acht Pilotstudien enthalten, diese stellen mithin mehr als ein Drittel der Studien in der Metaanalyse. Die Metaanalyse umfasste folgende Krankheitsbilder:

Fibromyalgie, leichte Gehirnerschütterungen, Ekzeme, akute Mittelohrentzündung, Menopause nach Brustkrebs, ADHS, prämenstruelles Syndrom, Ängstlichkeit, rheumatische Arthritis, Juckreiz infolge Urämie, Infektion der oberen Atemwege, Sepsis (Blutvergiftung), Durchfallerkrankungen bei Kindern, Warzen, HIV, zerebrale Bewegungsstörung bei Kindern, Migräne, chronische Müdigkeit.

Es handelt sich also um Krankheitsbilder, die unterschiedlicher kaum sein können. Eine Betrachtung, ob es sinnvoll sein kann, diese alle zusammen einer gemeinsamen Auswertung zu unterziehen, wird nicht angegeben.

Mittels eines Funnelplots und eines weiteren statistischen Tests werden die Daten daraufhin geprüft, ob ein Publication Bias vorliegen könnte. Man kommt zu dem Ergebnis, dass dies nicht der Fall ist.

Mittels einer Metaanalyse der verbliebenen 22 Studien findet man eine gesamte Effektstärke, die als Odds Ratio (OR) von 1,53 angegeben wird. Für die drei als zuverlässige Evidenz ausgewählten Studien ergibt sich sogar eine Odds Ratio von 1,98. Beide Ergebnisse sind statistisch signifikant. Damit hat dieses Review das Ziel erreicht, wie die Autoren in den Kommentaren auch unumwunden zugeben. Eine weitergehende Interpretation des Ergebnisses wird nicht gegeben.

Daneben gibt es noch einige Analysen von Untergruppen, auf die hier nicht eingegangen werden soll.

Was wäre wenn ...
Mit Modellrechnungen kann man zeigen, dass die Effekte noch deutlich kleiner wären, würde man die Pilotstudien nicht berücksichtigen: OR = 1,40 (95% Vertrauensbereich = 1,07 - 1,84) anstelle OR = 1,53 (1,22 - 1,92). Würde man die beiden Studien von White und Walach in die Betrachtung mit einschließen, dann würde der Effekt fast vollständig verschwinden und die statistische Signifikanz wäre nicht mehr gegeben: OR = 1,24 (0,97 - 1,58).

Diskussion

In der Diskussion weisen Mathie et al. durchaus zutreffend darauf hin, dass das zahlenmäßige Ergebnis über den bloßen Zahlenwert hinaus keine tiefere Bedeutung hat:

[Wegen der Betrachtung vieler verschiedener Krankheitsbilder] hat der hier abgeschätzte Gesamteffekt keine klare zahlenmäßige oder klinische Bedeutung: Es ist ein zusammengefasstes Maß, das es erlaubt, statistische Signifikanz und eine mittlere Effektstärke zuzuordnen und bei einem Hypothesentest festzustellen, dass homöopathische Arzneien spezifische Effekte haben.

Die Autoren betrachten es also als völlig ausreichend, positive Zahlen ermittelt zu haben, auch wenn man aus ihnen keine weiteren Rückschlüsse ziehen kann.

Die Entdeckung eines kleinen aber signifikanten Gesamt-Quotenverhältnisses mit Blick darauf, dass nur ein paar wenige einzelne Studien signifikante statistische Effekte zeigten, bestätigt die Vermutung, dass die Wirkung einer individualisierten homöopathischen Verordnung möglicherweise nur schwierig im Zusammenhang mit einer placebo-kontrollierten Untersuchung festzustellen ist.

Die Möglichkeit, dass die Homöopathika sich einfach als unwirksam erwiesen haben könnten, wird nicht in Betracht gezogen.

Zusammenfassung im Klartext

Die Cochrane Collaboration, die als Autorität in Sachen systematischer Übersichtsarbeiten in der Medizin gilt (siehe Artikel zur Review-Methodik), hält es für erforderlich, die Ergebnisse eines Reviews in einem gesonderten Kapitel allgemein verständlich zusammenzufassen (plain language summary). Ein solches Kapitel fehlt hier.

Mathie et al. schreiben in der Zusammenfassung der Arbeit lediglich:

Die in der Homöopathie individuell verschriebenen Mittel zeigen möglicherweise kleine spezifische Behandlungseffekte. [...] Die generell geringe oder zweifelhafte Qualität der Nachweise verlangt, diese Ergebnisse vorsichtig zu interpretieren. Weitere qualitativ hochwertige Forschung mittels RCTs [Randomisierte Kontrollierte Studien, Anm. d. Übers.] ist erforderlich, um zu einer klareren Aussage zu kommen

Rezeption bei den Homöopathen

Stellvertretend für viele Webseiten, die das Ergebnis dieses Reviews als Bestätigung ihrer Aussagen sehen, die folgenden Zitate:

Es wird hier methodisch fundiert belegt, dass die bisherigen Studien zur individualisierenden Homöopathie einen Therapieeffekt aufweisen, der den sogenannten Placebo-Effekt übersteigt. Die Arbeit legt somit nahe, dass es eine spezifische Wirkung homöopathischer Arzneimittel gibt. Zwar weist diese im Vergleich zu Placebos nur einen kleinen zusätzlichen Effekt auf, dieser ist jedoch statistisch signifikant.

Wie erkennbar, wird die Einschränkung der Autoren des Reviews, die Ergebnisse seien wegen der minderen Qualität der Studien nur vorsichtig zu bewerten, nicht aufgenommen. Dazu wird auch eine Schlussfolgerung für die Homöopathie als Ganzes abgeleitet, was angesichts der Datengrundlage nicht gerechtfertigt erscheint.

Die Carstens-Stiftung formuliert deutlich zurückhaltender und weist auch im hier nicht wiedergegebenen Teil des Textes ausführlich auf die Problematik der mangelnden Qualität der Studien hin:

Die Meta-Analyse liefert also keine sicheren Hinweise dafür, dass eine Behandlung nach Methode der klassischen Homöopathie bei einer bestimmten Indikation bessere Resultate liefert als Placebo. Sie deutet lediglich (basierend auf nur drei zuverlässigen Studien) an, dass die individuelle homöopathische Therapie möglicherweise ungleich Placebo sein könnte. (Hervorhebungen im Original)

Der DZVhÄ hingegen nicht:

Eine von Robert Mathie und Kollegen Ende 2014 veröffentlichte Analyse zeigt, dass die individualisierte Homöopathie signifikant besser als Placebo ist.

Insgesamt überwiegt die unkritisch überinterpretierende Bewertung, es sei Mathie et al. ein Wirkungsnachweis für die Homöopathie als Ganzes gelungen.

Kritik am Review

Die Betrachtung des Reviews zeigte, dass in dem Review einige zumindest fragwürdige Methoden angewandt wurden. Diese bewirkten:

• Mindestens zwei sehr gute, aber für die Homöopathie negative Studien wurden ausgesondert.
• Mehr als ein Drittel der Arbeiten in der Metaanalyse sind reine Pilotstudien.
• Keine der drei als belastbare Evidenz eingestuften Studien hat ein geringes Risiko eines Bias.

Dennoch unterstützt das Studienergebnis eher die Thesen der Skeptiker zur Evidenzlage in der Homöopathie:

• Es gibt keine qualitativ guten Studien, die die Wirksamkeit homöopathischer Präparate über Placebo hinaus ergeben hätten, denn auch die besten positiven Studien zeigten ein unklares Risiko für einen Bias. Zwei dieser drei Studien sind sogar nur Pilotstudien.
• Qualitativ bessere Studien kommen zu ungünstigeren Ergebnissen für die Homöopathie, wie die ausgesonderten Arbeiten von Walach und White zeigen. Hätte man diese in die Spitzengruppe der zuverlässigen Evidenz aufgenommen, wäre das Ergebnis dort wesentlich schlechter ausgefallen als für die Gesamtheit der Studien.

Ein weiterer Gesichtspunkt ist das Ergebnis selbst. Die über alle Studien zusammenfassend festgestellte Odds Ratio lag bei 1,57. Diese Kennzahl lässt keine eindeutige Interpretation zu, da es sich um eine sogenannte relative Bewertung handelt; also um ein Verhältnis zwischen den Ergebnissen der Placebo- und der Homöopathie-Gruppe. Die Ergebnisse beziehen sich aber nicht auf die Anteile der geheilten Probanden pro Gruppe (Anzahl geheilt/Gesamtzahl), sondern auf die Heilungsquote (Anzahl geheilt/Anzahl nicht geheilt). Durch eine Simulationsrechnung lässt sich ein Bereich abschätzen, wie viel höher der Anteil der geheilten Patienten in der Homöopathiegruppe gegenüber der Placebogruppe war. Dies ist der Anteil der Patienten, denen die Behandlung tatsächlich nutzt: Die anderen wären entweder auch ohne homöopathisches Mittel genesen oder auch mit dem homöopathischen Mittel nicht.

Für OR = 1,57 liegt dieser Bereich zwischen 0 und 11 % der Patienten, je nachdem wie hoch der Anteil der geheilten Patienten in der Placebogruppe war. Damit unterscheidet sich das Ergebnis der Metaanalyse nicht wesentlich von der Wahrscheinlichkeit eines sogenannten Alpha-Fehlers von 5 %, also eines Zufallsergebnisses, das so aussieht, als wäre es signifikant. Hätte man die Pilotstudien nicht einbezogen aber die beiden ausgesonderten Arbeiten von Walach und White, dann wäre das Ergebnis noch deutlich schlechter ausgefallen, nämlich bei maximal nur mehr 6 % der Patienten.

Dies stützt auch die dritte These der Skeptiker:

• Homöopathika sind insgesamt in ihrer Wirkung nicht deutlich von Placebo zu unterscheiden.

Quellen- und Literaturangaben

Anmerkungen und Originalzitate