Attention: un chercheur dit que la plupart des études scientifiques sont fausses
Les panélistes de l'inspection sur place discutent de leurs découvertes lors de la conférence International Scientific Studies 2009 à la Hofburg à Vienne. Wikimedia Commons
L'erreur flagrante dans la technocratie est que les données sont pliées pour justifier leurs théories. Cela s'est glissé lorsque les premiers technocrates ont réalisé que leur «science de l'ingénierie sociale» ne pouvait pas être soutenue par des données légitimes. Les nouvelles d'aujourd'hui se déroulent comme le jeu d'enfance «Simon Says» mais remplacé par «Science Says». ⁃ Éditeur TN
Il y a quelques années, deux chercheurs ont pris les ingrédients les plus utilisés de 50 dans un livre de cuisine et ont étudié le nombre de ceux qui étaient associés à un risque ou à un bénéfice pour le cancer, en se basant sur diverses études publiées dans des revues scientifiques.
Le résultat? Quarante sur 50, y compris le sel, la farine, le persil et le sucre. «Tout ce que nous mangeons est-il associé au cancer?» les chercheurs se sont demandé dans un article de 2013 basé sur leurs découvertes.
Leur recherche a abordé un problème connu mais persistant dans le monde de la recherche: trop peu d’études ont suffisamment d’échantillons pour supporter des conclusions généralisées.
Mais la pression exercée sur les chercheurs, la concurrence entre les revues et l'appétit insatiable des médias pour de nouvelles études annonçant des percées révolutionnaires ont fait que de tels articles continuent d'être publiés.
«La majorité des articles publiés, même dans des revues sérieuses, sont assez bâclés», a déclaré John Ioannidis, professeur de médecine à l'Université de Stanford, spécialisé dans l'étude des études scientifiques.
Cet ennemi juré des mauvaises recherches a publié un article largement cité en 2005 intitulé: «Pourquoi la plupart des résultats de recherche publiés sont faux».
Depuis lors, dit-il, seuls des progrès limités ont été accomplis.
Certaines revues insistent maintenant pour que les auteurs pré-enregistrent leur protocole de recherche et fournissent leurs données brutes, ce qui complique la tâche des chercheurs pour manipuler les résultats afin de parvenir à une certaine conclusion. Cela permet également aux autres de vérifier ou de reproduire leurs études.
Parce que lorsque les études sont répliquées, elles aboutissent rarement aux mêmes résultats. Seul un tiers des études 100 publiées dans trois revues de psychologie réputées pourraient être répliquées avec succès dans un grand test 2015.
La médecine, l'épidémiologie, les sciences de la population et les études nutritionnelles ne sont pas meilleures, a déclaré Ioannidis, lorsque des tentatives sont faites pour les reproduire.
«Dans le domaine de la science biomédicale et au-delà, les scientifiques ne sont pas suffisamment formés aux statistiques et à la méthodologie», a déclaré Ioannidis.
Trop d'études reposent uniquement sur quelques individus, ce qui rend difficile la formulation de conclusions plus larges, car les échantillonnages ont si peu d'espoir d'être représentatifs.
«Le régime alimentaire est l'un des domaines les plus horribles de la recherche biomédicale», a ajouté le professeur Ioannidis - et pas seulement en raison de conflits d'intérêts avec diverses industries alimentaires.
«Il est extrêmement difficile de mesurer le régime alimentaire», a-t-il souligné. Comment quantifier précisément ce que les gens mangent?
Dans ce domaine, les chercheurs partent souvent à la recherche de corrélations au sein de vastes bases de données, sans même qu’une hypothèse de départ.
Même lorsque la méthodologie est bonne, l’étalon-or étant une étude où les participants sont choisis au hasard, l’exécution peut ne pas aboutir.
Une étude célèbre du 2013 sur les avantages du régime méditerranéen contre les maladies cardiaques a dû être retirée en juin par le plus prestigieux des journaux médicaux, le New England Journal of Medicine, car tous les participants n’avaient pas été recrutés au hasard; les résultats ont été révisés à la baisse.
Alors, que devrions-nous retirer du flot d’études publiées chaque jour?
Ioannidis recommande de poser les questions suivantes: s'agit-il d'un phénomène qui n'a été observé qu'une fois ou dans plusieurs études? Est-ce une petite ou une grande étude? Est-ce une expérience randomisée? Qui l'a financé? Les chercheurs sont-ils transparents?
Ces précautions sont fondamentales en médecine, où de mauvaises études ont contribué à l’adoption de traitements au mieux inefficaces et au pire néfastes.
Dans leur livre «Ending Medical Reversal», Vinayak Prasad et Adam Cifu offrent des exemples terrifiants de pratiques adoptées sur la base d'études qui ont ensuite été invalidées, comme l'ouverture d'une artère cérébrale avec des stents pour réduire le risque d'un nouvel accident vasculaire cérébral.
Ce n'est qu'après 10 qu'une étude robuste et randomisée a montré que cette pratique augmentait le risque d'accident vasculaire cérébral.
La solution réside dans le resserrement collectif des normes par tous les acteurs du monde de la recherche, pas seulement les journaux, mais également les universités et les organismes de financement publics. Mais ces institutions fonctionnent toutes dans des environnements concurrentiels.
wpDiscuz