Dans notre récent webinaire, Nuno Henrique Franco, PhD, offre son point de vue unique sur l’amélioration de la reproductibilité dans la recherche biomédicale, en mettant l’accent sur les soins éthiques à apporter aux animaux de laboratoire et sur l’amélioration de la conception des expériences scientifiques. En outre, il explique les causes de ces problèmes et propose des solutions pour améliorer le succès futur de la recherche. Mais avant d’entrer dans le vif du sujet, il convient de passer en revue certains termes.
Reproductibilité : capacité d’un chercheur à reproduire les résultats d’une étude antérieure en utilisant le même matériel que celui utilisé par le chercheur initial.1
Réplicabilité : obtention de résultats cohérents entre les études répondant à la même question scientifique.1
Traductibilité : transposer les résultats obtenus dans les modèles animaux à la pratique clinique chez l’homme. 2
Pour bien comprendre et améliorer la problématique de la reproductibilité, qui touche tous les domaines scientifiques, il est essentiel de comprendre ces termes, les causes des résultats irréprochables, les conséquences et la manière de les améliorer.
Quelles sont les conséquences d’une mauvaise reproductibilité dans la recherche biomédicale ?
Les conséquences d’une mauvaise reproductibilité dans la recherche biomédicale sont préjudiciables aux personnes et aux animaux partout dans le monde. Le Dr Franco souligne ce point de manière frappante en partageant une étude de Freedman (2015) sur la reproductibilité des données précliniques à l’heure actuelle. Cette étude montre que 50 % des études précliniques menées aux États-Unis ne sont pas reproductibles et qu’au moins 28 milliards de dollars sont gaspillés chaque année.
Le Dr Franco n’évoque pas ce point pour discréditer ou décourager les chercheurs, mais il le mentionne pour souligner à quel point il est impératif que la communauté scientifique fasse mieux. Des milliards de vies humaines et animales dépendent de la recherche reproductible pour se traduire en traitements, remèdes et solutions viables. Une mauvaise reproductibilité de la recherche contribue à la méfiance du public à l’égard de la science et à la diminution du nombre de traitements. Les conséquences d’une mauvaise reproductibilité de la recherche biomédicale font la différence entre la vie et la mort pour de nombreuses personnes.
Quelles sont les causes d’une reproductibilité insuffisante de la recherche biomédicale ?
Le Dr Franco donne un aperçu de ce que Dorothy Bishop, psychologue de renom, décrit comme les quatre principales menaces pesant sur la reproductibilité de la recherche. Ces menaces sont les suivantes :
- Le biais de publication
- Faible puissance statistique
- Piratage de la valeur P
- HARKing (émission d’hypothèses après que les résultats sont connus)
À ce qui précède, il a ajouté
- Un mauvais contrôle de la qualité de la recherche pour déceler les erreurs et les biais dans la conception de l’expérience
- Un système de récompense défectueux dans le domaine scientifique
1. Biais de publication
Selon le Dr Franco, le biais de publication est l’une des menaces qui pèsent sur la reproductibilité de la science. De quoi s’agit-il ? Le biais de publication consiste à ne pas publier les résultats d’une étude en fonction de l’orientation ou de la force des conclusions de l’étude.3 Par exemple, imaginons qu’un chercheur émette l’hypothèse qu’un médicament particulier sera efficace d’une certaine manière. Elle mène ensuite son étude et conclut que le médicament est inefficace, contrairement à ce qu’elle avait prédit. Le fait de ne pas publier son travail (parce qu’il est contraire à son hypothèse initiale) – soit parce que le chercheur, soit parce que la revue estime qu’il ne mérite pas d’être publié – est un exemple de biais de publication.
Le biais de publication est problématique parce qu’il empêche la publication d’informations précieuses. En outre, selon Franco, il n’existe pas de résultat “négatif”. Même si un résultat de recherche prouve que votre hypothèse est fausse, il s’agit toujours d’une information précieuse. Ainsi, même s’il peut être difficile d’admettre que l’on a tort ou de publier quelque chose comme “le médicament X n’est pas efficace”, il est crucial de le faire savoir.
Le Dr Franco appelle à un changement de culture qui encourage la publication des résultats de recherche “négatifs”. Il explique que certains peuvent avoir un impact considérable, d’autres un effet mineur, mais qu’au moins ils seront pris en compte pour les recherches futures, y compris les méta-analyses synthétisant les preuves disponibles.
2. Puissance statistique
La puissance statisque est la probabilité qu’une expérience permette de détecter un effet de traitement. La puissance est faible lorsque la taille de l’échantillon est insuffisante pour détecter un effet d’une taille donnée. Selon le Dr Franco, non seulement les expériences de faible puissance sont plus susceptibles de donner lieu à des faux négatifs, mais elles sont aussi plus susceptibles de donner lieu à des estimations exacerbées d’un résultat, comme on peut s’y attendre lorsqu’un effet est déclaré avoir été trouvé alors que la probabilité de le trouver est faible.
Selon le Dr Franco, les faux résultats sont source de gaspillage ; ils font perdre des animaux, du temps et de l’argent. Ils réduisent également la valeur prédictive de la recherche sur les animaux en général. Enfin, ils pourraient même entraîner la fermeture injustifiée d’unités de recherche. C’est pourquoi il est essentiel de veiller à ce que la taille des échantillons soit adéquate dans le cadre de la recherche sur les animaux. La puissance statistique est essentielle pour une recherche plus reproductible.
3. Le piratage menace la reproductibilité de la recherche biomédicale
Qu’est-ce que le P-hacking ? Le piratage consiste à réanalyser un ensemble de données de plusieurs façons, voire avec des répliques supplémentaires, jusqu’à ce que l’on obtienne le résultat souhaité. Le Dr Franco admet que de nombreux chercheurs, y compris le jeune homme qu’il a été, sont parfois coupables de cette pratique. Mais au bout du compte, c’est un piège que l’on se joue à soi-même. Et, comme le dit Franco, “cela doit cesser si nous voulons obtenir des résultats de recherche plus reproductibles”.
Le P-Hacking se produit lorsque les chercheurs – le plus souvent par manque de connaissance – réanalysent ou remesurent les données lorsqu’ils ne trouvent pas les résultats attendus, “réparent” l’expérience pour en augmenter la taille, n’analysent qu’une partie des données, ajoutent d’autres variables, ajustent les données (par exemple au poids des animaux), suppriment les valeurs aberrantes suspectes, comparent différentes variables dépendantes, et plus encore. Le traitement des données est souvent nécessaire pour l’analyse, mais il doit être décidé à l’avance. Il n’est jamais acceptable de le faire si l’on ne trouve pas p<0,05. C’est contraire à l’éthique et contribue à la crise de la reproductibilité.
4. HARKing nuit à la reproductibilité de la recherche biomédicale
Le Dr Franco compare le HARKing au déplacement des poteaux de but au milieu d’un match de football. En gros, c’est de la triche ! Le terme HARKing désigne le fait d’émettre des hypothèses une fois que les résultats sont connus. Le Dr Franco explique que si vos données sont incompatibles avec votre hypothèse, vous obtenez tout de même un résultat valable ! C’est ainsi que fonctionne la science : vos résultats vous permettent de savoir si vous avez raison ou si vous avez tort, et vous apprenez dans les deux cas. De plus, il n’y a rien de mal à énoncer ou à proposer des explications possibles à tester par la suite ! Cependant, il n’est jamais acceptable de prétendre que votre nouvelle hypothèse est votre première hypothèse sans y faire référence.
5. Mauvais contrôle de la qualité de la recherche en ce qui concerne les erreurs et les biais dans la conception de l’expérience
Selon le Dr Franco, il existe de nombreuses possibilités d’erreurs et de biais courants non pris en compte et non contrôlés lors de la planification et de l’exécution d’une expérience. Les quatre plus courants sont les suivants :
- biais de sélection
- biais de performance
- biais de détection
Mais ce n’est pas tout. Voici d’autres erreurs et biais possibles non pris en compte qui pourraient avoir un impact sur la conception de l’expérience, tels que :
- le biais lié au sexe
- contrôles mal conçus
- les comorbidités
- stress et détresse
- biais de déclaration
- conflits d’intérêts non divulgués
Selon le Dr Franco, ces biais non pris en compte dans la conception expérimentale affectent la validité interne de la recherche. Le fait de ne pas contrôler ces biais a de nombreux effets indésirables. Et s’ils affectent la validité interne des expériences sur les animaux, ils conduisent à des résultats non reproductibles, affectant ainsi la validité externe, et à une mauvaise information sur la valeur des traitements expérimentaux, conduisant à son tour à une faible transposabilité des études sur les animaux.
Comment améliorer la reproductibilité de la recherche biomédicale ?
Alors, comment lutter contre le Harking, le P-hacking et les biais non comptabilisés ? Le Dr Franco explique qu’il faut renforcer la formation et l’éducation des chercheurs pour améliorer la reproductibilité de la recherche sur les animaux. Par exemple, une formation plus poussée en matière de statistiques et de conception expérimentale pourrait contribuer à améliorer les choses. De même, il peut être utile d’assister ou de donner davantage de conférences sur la reproductibilité de la recherche.
Mais en fin de compte, le Dr Franco pense que les chercheurs doivent faire un meilleur travail de planification, de pré-enregistrement et de rapport ! Vous trouverez ci-dessous quelques outils supplémentaires que le Dr Franco recommande pour aider les chercheurs à accomplir cette tâche.
1. Lignes directrices PREPARE
L’un des outils que Franco suggère d’utiliser pour améliorer la reproductibilité de vos recherches est le guide PREPARE (Planning Research and Experimental Procedures on Animals Recommendations for Excellence) rédigé par NORECOPA, RSPCA et UFAW.
Les lignes directrices PREPARE s’inspirent des listes de contrôle précises utilisées par les pilotes. Ce sont ces mêmes listes qui permettent à chaque avion de décoller et d’atterrir avec un minimum de problèmes. Elles mettent l’accent sur la précision, la reproductibilité, la santé, la sécurité et l’adaptabilité. Elle encourage le travail d’équipe, la communication et la coordination.
2. La science ouverte pour une meilleure reproductibilité de la recherche biomédicale
Le Dr Franco et de nombreux autres experts de premier plan estiment qu’une plus grande transparence et ouverture de la science est le meilleur moyen d’améliorer la reproductibilité de la recherche. Il insiste pour que tous les aspects de la science soient ouverts, y compris les données, les protocoles et les logiciels. Tout devrait être complètement transparent. Il explique que l’honnêteté et la transparence créent davantage d’opportunités de croissance et de changement positif.
En savoir plus sur notre webinaire : Le rôle des soigneurs d’animaux de laboratoire
Les soigneurs jouent non seulement un rôle central dans les soins apportés aux animaux et dans l’amélioration de leur bien-être, mais aussi un rôle essentiel dans l’amélioration de la reproductibilité des études sur les animaux ! Comme le souligne le Dr Franco, les techniciens et les soigneurs sont les yeux et les oreilles de la recherche. Par exemple, si quelque chose ne va pas, qu’il s’agisse des conditions, de l’équipement ou des soins, les chercheurs comptent sur eux pour lever la main et dire quelque chose. Cela peut faire avancer ou reculer une étude.
Pour en savoir plus sur le rôle des techniciens de laboratoire et sur la manière dont ils font la différence, lisez notre récent article de blog intitulé “Techniciens de laboratoire : Le cœur de la recherche biomédicale”.
References:
- “Subject and Course Guides: Research Reproducibility: About.” About – Research Reproducibility – Subject and Course Guides at University of Illinois at Chicago, researchguides.uic.edu/reproducibility#:~:text=Reproducibility%3A%20%E2%80%9Cthe%20ability%20of%20a,used%20by%20the%20original%20investigator. Accessed 12 May 2023.
- Sciences, Engineering National Academies Of, et al. Reproducibility and Replicability in Science. National Academies Press, 2020.
- Nair, AbhijitS. “Publication Bias – Importance of Studies with Negative Results!” Indian Journal of Anaesthesia, vol. 63, no. 6, 2019, p. 505, https://doi.org/10.4103/ija.ija_142_19.