«

»

Déc 20

Une étude ébranle un pan de la méthode scientifique

Dans un récent article du monde :

http://passeurdesciences.blog.lemonde.fr/2013/11/13/une-etude-ebranle-un-pan-de-la-methode-scientifique/

Pierre Barthélémy pose la question de savoir s’il y a quelque chose de pourri au royaume de la science ? Outre l’article intéressant, quoiqu’un peu technique, on trouve des commentaires où fleurissent les hors-sujets habituels, les insultes et règlements de compte et éventuellement quelques bonnes questions et quelques bonnes idées.

Notre site autoritaire qui interdit les commentaires spontanés en les soumettant à la censure va tenter non pas de répondre à la question posée par l’article mais de donner des éléments d’appréciation.

La statistique est mise en cause et la réponse suggérée est que la statistique peut proposer des outils statistiques pour corriger ses défauts.

Deux remarques :

  1. Il est tout à fait surprenant que ce soit la statistique qui soit en cause, car la statistique est dans le cas présent un outil dont le manuel d’utilisation détaillé est certes long, mais assez clair. Peut-on décemment croire que l’utilisateur d’une scie à onglet ayant démonté la protection de sécurité et omis de mettre des gants puisse se retourner contre Monsieur Métabo pour se faire rembourser sa prothèse ? De la même manière si quiconque utilise mal la statistique (le cas échéant) comment faire porter cette mauvaise utilisation sur la statistique elle-même ?
  2. Si comme le suggère l’article on devient plus sévère (en réduisant la p value évoquée) pour protéger la science, combien de découvertes ne pourront être faites ou seront faites plus tard que ce qui est possible (souhaitable ?), car il en va du beurre et de l’argent du beurre : plus il est difficile de prouver quelque chose, moins on prouve de choses (que ces choses soient vraies ou fausses par ailleurs). La proposition bayésienne n’est donc qu’une réponse formelle à la question posée.

Le problème de fond posé par ce débat est simple : beaucoup de gens pensent que la statistique fonctionne comme les mathématiques (certains même pensent que la statistique fait partie des mathématiques) et que la valeur (p = 0.05) valide une théorie scientifique de la même manière que ln(1) = 0. Il n’en est heureusement rien. De l’autre côté, comme on le voit dans certains commentaires, d’aucun pensent que la statistique est une escroquerie scientifique à l’aide de laquelle on peut valider n’importe quoi. Il n’en est malheureusement rien. On ne peut faire dire que ce qui est, la statistique n’étant à l’instar du microscope ou du télescope qu’un moyen de regarder le monde. Il est évidemment possible de ne pas voir Mars avec un microscope, et de prendre la voisine pour un satellite avec un télescope, mais ceci ne prouve en rien l’inexistence de Mars ou la satellisation de la voisine.

Que fait donc simplement la statistique ? Elle quantifie la probabilité qu’un phénomène que l’on observe et qui nous interpelle soit du au simple hasard.

Lorsque l’on homologue un nouveau produit, la rigueur est de mise (bien que l’on voit parfois des choses inquiétantes) mais lorsque l’on est dans une phase de recherche dans un contexte « publish or perish », la multiplication d’expérimentations de screening devient monnaie courante. Bien sûr, la statistique (même non bayésienne) a depuis longtemps répondu au problème du contrôle du risque global d’une série d’expérimentations, mais qui le sait ? Probablement pas la majorité des biologistes, psychologues et autres pour qui la sacro-sainte règle des 5% est la frontière à atteindre.

Sans, nous espérons, affliger les spécialistes, il faut simplement rappeler que si l’on fait 15 expérimentations au risque de 5%, il y a plus d’une chance sur deux que l’une d’entre elles « tilte » ! Combien de scientifiques le savent ? Et comme, évidemment, seule l’expérimentation qui a tilté fait l’objet d’une publication, qui pourra suspecter qu’il existe une quelconque légèreté derrière tout cela !

Ceci n’empêche pas Pierre Barthélémy d’écrire : La seule consolation de cette étude, le seul point positif, est que le problème de non-reproductibilité pourrait bien n’être qu’un problème de méthode statistique et non pas l’indice d’un laxisme et d’une malhonnêteté galopants dans le milieu des chercheurs, poussés à la découverte par la pression de leurs hiérarchies, de la chasse aux budgets, du fameux « publie ou péris » ou de je ne sais quelle course au prestige.

Effectivement, Monsieur Barthélémy, quand un brillant scientifique se blesse en plantant un clou avec une scie, c’est la faute au marteau !