Wie lässt sich die Reproduzierbarkeit in der biomedizinischen Forschung verbessern?

In unserem jüngsten Webinar bietet Nuno Henrique Franco, PhD, seine einzigartige Sicht auf die Verbesserung der Reproduzierbarkeit in der biomedizinischen Forschung, wobei er den Schwerpunkt auf die ethische Pflege von Versuchstieren und die Verbesserung des Designs wissenschaftlicher Experimente legt. Darüber hinaus werden die Ursachen für diese Probleme erläutert und Lösungen vorgeschlagen, um den zukünftigen Erfolg der Forschung zu verbessern. Bevor wir jedoch in das Thema einsteigen, sollten wir einige Begriffe durchgehen.

Reproduzierbarkeit: Die Fähigkeit eines Forschers, die Ergebnisse einer früheren Studie zu reproduzieren, indem er das gleiche Material verwendet, das auch der ursprüngliche Forscher benutzt hat.¹

Replizierbarkeit: Erzielung konsistenter Ergebnisse zwischen Studien, die dieselbe wissenschaftliche Fragestellung beantworten.¹

Übertragbarkeit: Übertragung der in Tiermodellen gewonnenen Ergebnisse auf die klinische Praxis beim Menschen.²

Um die Problematik der Reproduzierbarkeit, die alle wissenschaftlichen Bereiche betrifft, richtig zu verstehen und zu verbessern, ist es unerlässlich, diese Begriffe, die Ursachen für einwandfreie Ergebnisse, die Folgen und die Art und Weise, wie diese Ergebnisse verbessert werden können, zu verstehen.

Welche Folgen hat eine schlechte Reproduzierbarkeit in der biomedizinischen Forschung?

Die Folgen einer schlechten Reproduzierbarkeit in der biomedizinischen Forschung schaden Menschen und Tieren auf der ganzen Welt. Dr. Franco unterstreicht diesen Punkt auf eindrucksvolle Weise, indem er eine Studie von Freedman (2015) über die Reproduzierbarkeit präklinischer Daten in der heutigen Zeit teilt. Diese Studie zeigt, dass 50 % der in den USA durchgeführten präklinischen Studien nicht reproduzierbar sind und dass jedes Jahr mindestens 28 Milliarden US-Dollar verschwendet werden.

Dr. Franco erwähnt diesen Punkt nicht, um Forscher zu diskreditieren oder zu entmutigen, sondern er erwähnt ihn, um zu betonen, wie zwingend notwendig es ist, dass die wissenschaftliche Gemeinschaft es besser macht. Milliarden von Menschen- und Tierleben hängen von reproduzierbarer Forschung ab, um in praktikable Behandlungen, Heilmittel und Lösungen umgesetzt zu werden. Eine schlechte Reproduzierbarkeit der Forschung trägt dazu bei, dass die Öffentlichkeit der Wissenschaft misstraut und die Zahl der Behandlungen sinkt. Die Folgen einer schlechten Reproduzierbarkeit der biomedizinischen Forschung machen für viele Menschen den Unterschied zwischen Leben und Tod aus.

Was sind die Ursachen für eine unzureichende Reproduzierbarkeit der biomedizinischen Forschung?

Dr. Franco gibt einen Überblick über das, was die bekannte Psychologin Dorothy Bishop als die vier Hauptbedrohungen für die Reproduzierbarkeit der Forschung beschreibt. Diese Bedrohungen sind folgende:

1. Der Publikationsbias
2. Geringe statistische Aussagekraft
3. Piraterie des P-Werts
4. HARKing (Aufstellung von Hypothesen, nachdem die Ergebnisse bekannt sind).

Zu den obigen Ausführungen fügte er hinzu

1. Schlechte Qualitätskontrolle der Forschung auf Fehler und Verzerrungen im Design des Experiments.
2. Ein fehlerhaftes Belohnungssystem in der Wissenschaft

1. Verzerrung durch Veröffentlichung

Laut Dr. Franco ist der Publikationsbias eine der Bedrohungen für die Reproduzierbarkeit der Wissenschaft. Worum handelt es sich dabei? Publikationsverzerrung bedeutet, dass die Ergebnisse einer Studie aufgrund der Richtung oder Stärke der Schlussfolgerungen der Studie nicht veröffentlicht werden.³ Stellen wir uns zum Beispiel vor, dass eine Forscherin die Hypothese aufstellt, dass ein bestimmtes Medikament auf eine bestimmte Weise wirksam sein wird. Sie führt dann ihre Studie durch und kommt zu dem Schluss, dass das Medikament entgegen ihrer Vorhersage unwirksam ist. Wenn jemand seine Arbeit nicht veröffentlicht (weil sie seiner ursprünglichen Hypothese widerspricht) – entweder weil der Forscher oder die Zeitschrift der Meinung ist, dass sie es nicht wert ist, veröffentlicht zu werden -, ist dies ein Beispiel für Publikationsbias.

Der Publikationsbias ist problematisch, weil er verhindert, dass wertvolle Informationen veröffentlicht werden. Darüber hinaus gibt es laut Franco kein “negatives” Ergebnis. Selbst wenn ein Forschungsergebnis beweist, dass Ihre Hypothese falsch ist, handelt es sich immer noch um eine wertvolle Information. Auch wenn es also schwierig sein mag, zuzugeben, dass man sich geirrt hat, oder etwas wie “Medikament X wirkt nicht” zu veröffentlichen, ist es entscheidend, dies bekannt zu machen.

Dr. Franco fordert eine Änderung der Kultur, die die Veröffentlichung “negativer” Forschungsergebnisse fördert. Er erklärt, dass einige eine große Wirkung haben können, andere eine geringe, aber dass sie zumindest für zukünftige Forschungen berücksichtigt werden, einschließlich Metaanalysen, die die verfügbaren Beweise zusammenfassen.

2. Statistische Potenz

Die statistische Power ist die Wahrscheinlichkeit, dass ein Experiment einen Behandlungseffekt aufdecken kann. Die Power ist gering, wenn die Stichprobengröße nicht ausreicht, um einen Effekt einer bestimmten Größe zu erkennen. Laut Dr. Franco ist es bei Experimenten mit niedriger Power nicht nur wahrscheinlicher, dass es zu falsch negativen Ergebnissen kommt, sondern auch, dass es zu übertriebenen Schätzungen eines Ergebnisses kommt, wie man es erwarten würde, wenn behauptet wird, dass ein Effekt gefunden wurde, obwohl die Wahrscheinlichkeit, dass er gefunden wurde, gering ist.

Laut Dr. Franco sind falsche Ergebnisse eine Quelle der Verschwendung; sie führen dazu, dass Tiere, Zeit und Geld verloren gehen. Sie verringern auch den Vorhersagewert der Tierforschung im Allgemeinen. Schließlich können sie sogar zur ungerechtfertigten Schließung von Forschungseinheiten führen. Aus diesem Grund ist es von entscheidender Bedeutung, bei der Forschung an Tieren auf eine angemessene Stichprobengröße zu achten. Die statistische Aussagekraft ist für eine reproduzierbarere Forschung von entscheidender Bedeutung.

3. Hacking bedroht die Reproduzierbarkeit der biomedizinischen Forschung

Was ist P-Hacking? Beim P-Hacking wird ein Datensatz auf verschiedene Arten und sogar mit zusätzlichen Repliken neu analysiert, bis das gewünschte Ergebnis erzielt wird. Dr. Franco räumt ein, dass sich viele Forscher, auch der junge Mann, der er einmal war, manchmal dieser Praxis schuldig machen. Letztendlich ist es jedoch eine Falle, die man sich selbst stellt. Und, wie Franco sagt, “das muss aufhören, wenn wir reproduzierbarere Forschungsergebnisse erzielen wollen”.

P-Hacking tritt auf, wenn Forscher – meist aus Mangel an Wissen – die Daten neu analysieren oder neu messen, wenn sie nicht die erwarteten Ergebnisse finden, das Experiment “reparieren”, um die Größe zu erhöhen, nur einen Teil der Daten analysieren, weitere Variablen hinzufügen, die Daten anpassen (z. B. an das Gewicht der Tiere), verdächtige Ausreißer entfernen, verschiedene abhängige Variablen vergleichen und vieles mehr. Die Datenverarbeitung ist oft für die Analyse notwendig, muss aber im Voraus entschieden werden. Es ist niemals akzeptabel, dies zu tun, wenn man nicht p<0,05 findet. Das ist unethisch und trägt zur Krise der Reproduzierbarkeit bei.

4. HARKing beeinträchtigt die Reproduzierbarkeit der biomedizinischen Forschung

Dr. Franco vergleicht HARKing mit dem Verschieben der Torpfosten in der Mitte eines Fußballspiels. Im Grunde genommen ist es Betrug! Der Begriff HARKing bezeichnet das Aufstellen von Hypothesen, nachdem die Ergebnisse bekannt sind. Dr. Franco erklärt, dass Sie, wenn Ihre Daten nicht mit Ihrer Hypothese übereinstimmen, trotzdem ein gültiges Ergebnis erhalten! So funktioniert Wissenschaft: Anhand Ihrer Ergebnisse können Sie erkennen, ob Sie richtig oder falsch liegen, und Sie lernen in beiden Fällen dazu. Außerdem ist es nicht verkehrt, mögliche Erklärungen zu nennen oder vorzuschlagen, die man dann später testen kann! Es ist jedoch nie akzeptabel, zu behaupten, dass Ihre neue Hypothese Ihre erste Hypothese ist, ohne sich darauf zu beziehen.

5. Schlechte Kontrolle der Forschungsqualität in Bezug auf Fehler und Verzerrungen bei der Versuchsplanung.

Laut Dr. Franco gibt es viele Möglichkeiten für gängige Fehler und Verzerrungen, die bei der Planung und Durchführung eines Experiments nicht bedacht und kontrolliert werden. Die vier häufigsten sind folgende :

• Selektionsbias
• Leistungsbias
• Entdeckungsbias (detection bias)

Aber das ist noch nicht alles. Hier sind weitere mögliche, nicht berücksichtigte Fehler und Verzerrungen, die sich auf das Design des Experiments auswirken könnten, wie z. B. :

• geschlechtsspezifische Verzerrung
• schlecht konzipierte Kontrollen
• Komorbiditäten
• Stress und Distress
• Meldebias
• nicht offengelegte Interessenkonflikte

Laut Dr. Franco beeinträchtigen diese im experimentellen Design nicht berücksichtigten Verzerrungen die interne Validität der Forschung. Wenn diese Verzerrungen nicht kontrolliert werden, hat dies viele unerwünschte Auswirkungen. Und wenn sie die interne Validität von Tierversuchen beeinträchtigen, führen sie zu nicht reproduzierbaren Ergebnissen, was wiederum die externe Validität beeinträchtigt, und zu Fehlinformationen über den Wert der experimentellen Behandlung, was wiederum zu einer geringen Übertragbarkeit von Tierstudien führt.

Wie kann die Reproduzierbarkeit der biomedizinischen Forschung verbessert werden?

Wie kann man also gegen Harking, P-Hacking und nicht erfasste Verzerrungen vorgehen? Dr. Franco erklärt, dass die Ausbildung und Schulung von Forschern verstärkt werden muss, um die Reproduzierbarkeit der Forschung an Tieren zu verbessern. Beispielsweise könnte eine bessere Ausbildung in Statistik und Versuchsdesign zu einer Verbesserung beitragen. Ebenso könnte es hilfreich sein, mehr Vorträge über die Reproduzierbarkeit von Forschung zu besuchen oder zu halten.

Letztendlich ist Dr. Franco jedoch der Meinung, dass die Forscher bei der Planung, Vorerfassung und Berichterstattung bessere Arbeit leisten müssen! Im Folgenden finden Sie einige zusätzliche Tools, die Dr. Franco empfiehlt, um Forschern bei dieser Aufgabe zu helfen.

1. PREPARE-Leitlinien

Eines der Werkzeuge, die Franco vorschlägt, um die Reproduzierbarkeit Ihrer Forschung zu verbessern, sind die PREPARE-Leitlinien (Planning Research and Experimental Procedures on Animals Recommendations for Excellence), die von NORECOPA, RSPCA und UFAW verfasst wurden.

Die PREPARE-Richtlinien orientieren sich an den präzisen Checklisten, die von Piloten verwendet werden. Es sind genau diese Listen, die dafür sorgen, dass jedes Flugzeug mit möglichst wenig Problemen starten und landen kann. Sie legen den Schwerpunkt auf Genauigkeit, Reproduzierbarkeit, Gesundheit, Sicherheit und Anpassungsfähigkeit. Sie fördert Teamarbeit, Kommunikation und Koordination.

2. Offene Wissenschaft für eine bessere Reproduzierbarkeit der biomedizinischen Forschung

Dr. Franco und viele andere führende Experten sind der Ansicht, dass eine größere Transparenz und Offenheit der Wissenschaft der beste Weg ist, um die Reproduzierbarkeit der Forschung zu verbessern. Er besteht darauf, dass alle Aspekte der Wissenschaft offen sein müssen, einschließlich der Daten, Protokolle und Software. Alles sollte vollständig transparent sein. Er erklärt, dass Ehrlichkeit und Transparenz mehr Möglichkeiten für Wachstum und positive Veränderungen schaffen.

Erfahren Sie mehr über unser Webinar: Die Rolle der Tierpfleger bei Labortieren

Tierpfleger spielen nicht nur eine zentrale Rolle bei der Pflege der Tiere und der Verbesserung ihres Wohlbefindens, sondern auch eine entscheidende Rolle bei der Verbesserung der Reproduzierbarkeit von Tierstudien! Wie Dr. Franco betont, sind Techniker und Tierpfleger die Augen und Ohren der Forschung. Wenn z. B. etwas nicht stimmt, seien es die Bedingungen, die Ausrüstung oder die Pflege, verlassen sich die Forscher darauf, dass sie die Hand heben und etwas sagen. Das kann eine Studie vorantreiben oder zurückwerfen.

Wenn Sie mehr über die Rolle von Labortechnikern erfahren möchten und darüber, wie sie etwas bewirken, lesen Sie unseren aktuellen Blogbeitrag “Labortechniker: Das Herz der biomedizinischen Forschung”.

References:

1. “Subject and Course Guides: Research Reproducibility: About.” About – Research Reproducibility – Subject and Course Guides at University of Illinois at Chicago, researchguides.uic.edu/reproducibility#:~:text=Reproducibility%3A%20%E2%80%9Cthe%20ability%20of%20a,used%20by%20the%20original%20investigator. Accessed 12 May 2023. 
2. Sciences, Engineering National Academies Of, et al. Reproducibility and Replicability in Science. National Academies Press, 2020. 
3. Nair, AbhijitS. “Publication Bias – Importance of Studies with Negative Results!” Indian Journal of Anaesthesia, vol. 63, no. 6, 2019, p. 505, https://doi.org/10.4103/ija.ija_142_19.