Suivez-nous sur Twitter Suivez-nous sur Facebook VQ  velo.qc.ca 
Je doute donc je suis

Malaise en psycho

Par Normand Baillargeon - 18/12/2015
-


Pouvoir reproduire un résultat (d’une expérience, d’une recherche, d’une découverte) est non seulement un trait distinctif crucial de la science, mais aussi une condition du progrès scientifique et une garantie de la valeur des applications techniques qui pourraient en découler. Car seule la reproduction d’un résultat, comme l’écrivait le philosophe des sciences Karl Popper, dans La logique de la découverte scientifique, peut nous convaincre que nous ne nous trouvons pas devant une simple coïncidence, mais devant des faits que leur régularité et leur reproductibilité rendent publiquement testables.

C’est dans cet esprit que Brian Nosek, professeur et chercheur au département de psychologie de l’université de Virginie, aux États-Unis, a convaincu 270 de ses collègues de près d’une trentaine de pays de travailler avec lui à un projet de reproduction de résultats de recherches en psychologie.

Il s’agissait de tenter de reprendre 100 recherches récemment publiées dans 3 revues réputées traitant de psychologie générale, de psychologie sociale et de psychologie cognitive. Une grande attention a été portée à la sélection des articles et à la reproduction des expériences, exécutées souvent avec la collaboration de leurs auteurs.

Le projet a été lancé en novembre 2011. Des résultats préliminaires ont commencé à paraître en 2015. Ils ont été systématisés dans un article publié en août dans la prestigieuse revue Science.

Disons-le, ces résultats sont décevants. Pour aller à l’essentiel et à la donnée la plus percutante à retenir de cette étude: si 97% des recherches publiées rapportaient à l’origine des résultats statistiquement significatifs, ce n’était plus le cas que pour 36% d’entre elles quand elles étaient reproduites.

Prenons deux exemples: une recherche a permis de suggérer qu’on serait plus enclin à partager ses opinions avec un groupe de gens qui auraient les mêmes. Brian Nosek a vérifié ça. Autre conclusion de recherche mise sous la loupe: les femmes, plus que les hommes, lorsqu’elles interagissent avec une personne de l’autre sexe, ont la capacité de distinguer entre des signaux qui indiquent l’amitié et ceux qui indiquent une attirance sexuelle. Juste une de ces deux études a été reproduite avec succès. Laquelle, selon vous? (Je vous donne la réponse à la fin de l’article.)

Les nombreux débats qui ont suivi, dans les revues savantes et jusque dans les grands médias, ont été d’autant plus acrimonieux que la psychologie, depuis quelques années, a connu des déboires de ce genre, notamment en raison de l’impossibilité de reproduire certains résultats pourtant admis par la profession, voire présentés dans des manuels. C’est ainsi qu’on n’a pas pu reproduire certaines expérimentations portant sur l’amorçage, cette influence présumée de la présentation préalable d’un stimulus (qui est l’amorce) sur le traitement du stimulus suivant (appelé la cible).

L’affaire d’un chercheur de l’Université Yale, John A. Bargh, a notamment fait grand bruit quand on n’a pu reproduire son résultat publié dans un article fameux, cité près de 2000 fois, qui soutenait que des mots relatifs à la vieillesse (amorce) incitaient les sujets à marcher plus lentement en quittant le laboratoire (cible)!

Mais je pense qu’il sera sage de ne pas précipiter les conclusions, ce qui risquerait de nous faire commettre à notre tour des erreurs, et nous empêcherait d’aller au fond des choses.

L’écart entre les articles publiés et leurs réplications pourrait avoir de nombreuses causes, qu’il faudra soigneusement identifier si on veut porter un jugement sûr. Il peut s’agir de faux positifs (le premier résultat annoncé n’était pas avéré), ou de faux négatifs (la réplication aurait erronément conclu à l’absence d’effet). Cet écart peut aussi être dû à des défauts d’analyse statistique ou d’échantillonnage. Ou encore, dépendre de la méthode d’évaluation utilisée.

Ce faisant, on devra aussi s’assurer que les données quantifiées ne sont pas «détachées» ou «semi-détachées», c’est-à-dire rendues peu signifiantes à cause d’une absence totale ou partielle de référent. Dans quelle mesure, par exemple, peut-on ou non généraliser à l’ensemble de la psychologie les conclusions qu’on en tirera éventuellement? Ou encore – et c’est une question importante –, comment la psychologie se situe-t-elle, sur le plan de la reproductibilité, par rapport à d’autres disciplines des sciences sociales ou des sciences naturelles?

Quand par exemple, Daniele Fanelli, chercheuse à l’université Stanford, en Californie, suggère que la recherche en biologie du cancer ne se porte guère mieux que celle en psychologie, a-t-elle raison? Peut-on tenir pour représentatives les décevantes conclusions de la toute récente tentative de réplication, en économie, des résultats de 67 recherches pourtant publiées dans des revues sérieuses? Et que penser encore, sur ce plan, des recherches en pharmacologie, dont bien des carences ont été documentées?

L’une de ces carences est cette tendance à publier des résultats positifs, d’ailleurs exposée justement par Mme Fanelli, pour un grand nombre de secteurs de la recherche scientifique. Je suggère pour ma part que c’est dans l’avenue qui s’ouvre ici, qui est celle d’une certaine sociopolitique du financement de la recherche et de la science actuelles, qu’il faudra passer pour aller au fond des choses.

Le travail réalisé par Brian Nosek offre en somme une occasion précieuse de nous interroger sur les effets, pas toujours bénéfiques, de cette course à la publication qu’entretient désormais un certain contexte organisationnel et financier dans lequel se déroulent typiquement les activités de recherche scientifique.

Publier, publier sans cesse, ne publier que des résultats positifs, spectaculaires autant que possible, ne plus disposer ni de temps ni de subventions publiques pour vérifier des résultats déjà publiés… Il se peut bien que ces manières de faire mettent à mal quelques-unes des normes qui doivent encadrer l’activité scientifique pour en préserver la rigueur qui est censée la distinguer. Vaste dossier que je n’ouvre que pour aussitôt le refermer.

Il me reste d’ailleurs à dire ce que chacun sait, mais qui mérite d’être rappelé. Des débats, remises en question et questionnements, comme ceux auxquels nous contraint l’entreprise de reproduction menée en psychologie, sont aussi courants que nécessaires en science et font que celle-ci peut aspirer à être une entreprise «autocorrectrice».

Une entreprise humaine, imparfaite sans doute, mais disposant des moyens de s’améliorer, si seulement nous le voulons.

Oh! J’allais oublier : c’est la recherche sur les signaux (d’amitié ou sexuels) qui a été reproduite avec succès !

Illustration: Frefon

Afficher tous les textes de cette section