22 mars 2016
 

Seules 36 % des études psychologiques publiées sont fiables
 
Une grande analyse des recherches psychologiques a révélé de nombreux problèmes sur leur validité, notamment sur la capacité de reproduire l’étude pour obtenir les mêmes résultats.

La capacité de reproduire une étude et de trouver les mêmes résultats est un prérequis à toute connaissance scientifique. La réplication nous permet de garantir des résultats empiriques et fiables qui nous permettent de comprendre la découverte. Mais il est surprenant de découvrir que de nombreuses études notamment sur la psychologie cognitive et sociale ne sont jamais reproduites.

Les revues scientifiques préfèrent les découvertes et les avancées innovantes. L’avancement professionnel est déterminé par de nouvelles découvertes et non en confirmant des découvertes existantes. Certains scientifiques estiment que la reproduction d’une étude est une perte de temps. Et une fois qu’un article est publié dans une revue, il obtient une sorte d’autorité magique et inébranlable. Les médias et les scientifiques citent ces articles sans aucun esprit critique. Et une telle confiance dans ces études est prématurée. De nombreux chercheurs dans la physique jusqu’à l’économie en passant par la médecine maintiennent que de nombreuses études sont totalement fausses. Mais quelle est l’ampleur du problème ? Et comment déterminer la fiabilité d’une étude ?

270 chercheurs viennent de publier la plus grande analyse sur plus de 100 études sur la psychologie dans la revue Science. Et les résultats sont effarants.

Reproduire les résultats d’une étude psychologique

Brian Nosek, psychologue social du Center for Open Science, a coordonné cette grande analyse avec des chercheurs provenant du monde entier. L’analyse s’est portée sur 100 études qui ont été publiées dans 3 revues réputées de psychologie, à savoir, Psychological Science, Journal of Personality and Social Psychology et Journal of Experimental Psychology : Learning, Memory, and Cognition. Pour effectuer une reproduction optimale de l’étude, l’équipe de recherche a obtenu les matériaux de l’étude de base et elle a même travaillé avec les auteurs d’origine si c’était possible.
 
97 % des études publiées ont eu des résultats positifs. Cela signifie que la plupart des études ont été fiables du moment qu’elles ont été menées par leurs auteurs et leurs matériaux respectifs. Mais quand ces 100 études ont été menées par d’autres chercheurs, seules 36 % ont eu des résultats positifs. Et ce chiffre est dangereusement faible. Cela signifie que seules 36 % des études respectent la méthode scientifique et que leurs résultats sont fiables. Cela sous-entend également que 64 % des études sont fausses ou avec des conclusions incorrectes. On a mentionné qu’on a tendance à citer les études à tout bout de champ, alors imaginez les erreurs qui se sont produites si on tient compte que 64 % des études ne sont pas fiables. Et ce n’est pas le pire. Même si les nouvelles études ont prouvé l’existence des résultats originaux, la magnitude de l’effet était moindre comparé à la conclusion originale. Cela signifie que même les 36 % des études n’ont pas pu être reproduites en obtenant des résultats optimaux. Parfois, la différence des résultats était de 50 % par rapport à l’original.

Mais l’incapacité de reproduction d’une étude ne signifie pas forcément qu’elle est fausse. Certains de ces échecs peuvent être provoqués par la malchance, une mauvaise exécution ou une incompréhension sur les circonstances pour provoquer l’effet désiré. Par exemple, quelqu’un qui répète une tâche peut améliorer sa mémoire, mais uniquement s’il ne connaissait pas la tâche au préalable.

À la recherche de résultats plus fiables

Étant donné ces chiffres alarmants, comment peut-on déterminer la fiabilité d’une étude ? Les résultats de cette analyse appelée Reproducibility Project peuvent donner des indices. Il y a deux principaux moyens pour quantifier la nature des résultats d’une étude. Le premier est la valeur P. La valeur P est la probabilité que le résultat était de la chance ou un faux positif. Si la valeur P est inférieure à 5 % alors on peut dire que l’étude est fiable. Le second moyen est de mesurer la taille de l’effet. Ce n’est pas la fiabilité de la différence, mais sa taille. Par exemple, une étude prétend que des gens de mauvaise humeur ont tendance à dépenser plus d’argent. L’effet de taille est la quantité d’argent dépensé.
 
Les chercheurs ont découvert que si une étude avait une valeur P faible tout en ayant un effet de taille considérable, alors on pourrait la reproduire avec les mêmes résultats. Des preuves statistiques solides dans la première étude déterminent aussi sa capacité de reproduction. Les études, qui étaient difficiles à mener, étaient également les plus difficiles à reproduire. Par exemple, une étude démontre que la lecture affaiblit le Quotient intellectuel, mais l’étude a utilisé des méthodes obscures et cela signifie que la place de cette étude est à la poubelle. Les scientifiques sont récompensés pour des découvertes majeures, mais une découverte extraordinaire nécessite une preuve extraordinaire.

Cette nouvelle analyse innove par son niveau de transparence et son ampleur. Les méthodes et les données de toutes les études reproduites sont disponibles en ligne. Et elles sont pertinentes avec des analyses provenant d’autres études. Par exemple, une analyse similaire a été menée par des biologistes dans le cancer et leur niveau de reproduction est de 11 à 25 % ce qui est catastrophique.

On a un problème, mais quelle est la solution ?

En premier lieu, on doit cesser de considérer des études individuelles comme des autorités de vérité. À moins que cette étude ait pu être reproduite des centaines de fois, on doit toujours la considérer avec scepticisme qui est nécessaire pour la méthode scientifique. Ensuite, un esprit scientifique est d’abord un esprit critique et non crédule. Il y a une place pour des découvertes majeures qui font la une des médias, mais il y en a aussi pour un contrôle systématique de ces découvertes majeures.

Certes, un esprit critique ne suffira pas et il faut inciter les chercheurs à faire en sorte que leurs études puissent être reproduites. Par exemple, l’une des revues de psychologie qu’on a mentionnée donne des badges spéciaux aux chercheurs qui fournissent les données de leur étude. Et le Berkeley Initiative for Transparency dans les sciences sociales donne un prix à ceux qui sont plus transparents dans les études de sciences sociales.

De meilleures pratiques de recherche permettent aussi de reproduire les études avec une grande efficacité. Des hypothèses claires, des données libres et transparentes et des normes rigoureuses de publication permettront de réduire le taux des études non fiables parmi les revues. On ne peut pas avoir une étude qui puisse être reproduite à 100 %, mais les niveaux actuels sont inacceptables. Comme dans toute chose, la première étape est que la communauté scientifique doit admettre qu’elle a un problème et ensuite, on peut réfléchir à d’autres solutions. Si on se contente de laisser les choses en l’état, alors les études scientifiques deviendront rapidement des discours de bonimenteurs afin de recevoir simplement les subventions gouvernementales.

Sources principales :

Estimating the reproducibility of psychological science (Science, Vol. 349, Issue 6251, DOI : 10.1126 / science.aac4716).

Estimating the Reproducibility of Psychological Science (Open Science Framework).

 
 
 

 
 
 
 

Retour

Commentez cet article dans le forum