Utilisation abusive des valeurs p

La valeur p, ou probabilité critique, est fréquemment mal utilisées ou mal interprétée[1].

L'erreur la plus documentée consiste à la lire comme la probabilité que l'hypothèse nulle soit vraie, alors qu'elle mesure la probabilité des données observées sous cette hypothèse[2].

Lire (1 − p) comme la probabilité de répliquer le résultat, ou la significativité statistique comme une indication de l'importance de l'effet, sont d'autres erreurs répandues.

Des enquêtes empiriques montrent l'ampleur du phénomène : 97 % des psychologues académiques interrogés par M. Oakes en 1986 validaient au moins une interprétation erronée, de même en 2002 que la totalité des étudiants, 90 % des chercheurs et 80 % des enseignants de méthodologie interrogés par H. Haller et S. Krauss[3]. Une revue systématique publiée en 2026, couvrant 55 études de 1963 à 2024, conclut que ces erreurs sont persistantes dans toutes les populations étudiées, y compris chez les personnes les plus formées[4].

La liste suivante clarifie certains points souvent mal compris concernant les valeurs p[5],[6],[7] :

  1. La p -valeur n'est pas la probabilité que l'hypothèse nulle soit vraie, ni la probabilité que l'hypothèse alternative soit fausse[5]. L'erreur la plus fréquente consiste à lire la valeur-p comme la probabilité que l'hypothèse nulle soit vraie : « p = 0,03 » est compris comme « il y a 3 % de chances que l'hypothèse nulle soit vraie ». Or la valeur-p mesure la probabilité des données sachant l'hypothèse nulle, et non celle de l'hypothèse nulle sachant les données ; passer de l'une à l'autre suppose le théorème de Bayes et une probabilité a priori.
  2. La valeur p ne représente pas la probabilité que les effets observés soient dus au seul hasard[5]. La valeur p est calculée en supposant qu'un certain modèle, généralement l'hypothèse nulle, est vrai. Cela signifie que la valeur p est une affirmation concernant la relation des données avec cette hypothèse[5].
  3. Le seuil de signification de 0,05 n'est qu'une convention folklorique[6],[8]. Le seuil de signification de alpha= 0,05 (niveau risque de première espèce) est souvent utilisé comme limite entre une valeur p statistiquement significative et une valeur p statistiquement non significative. Toutefois, cela n’implique pas qu’il existe généralement une raison scientifique de considérer les résultats situés de part et d’autre d’un seuil comme qualitativement différents[6],[9].
  4. La valeur p n'indique pas la taille ni l'importance de l'effet observé[5]. La valeur-p ne contient aucune information sur la taille de l'effet ni sur son importance pratique : un effet minuscule mesuré sur un très grand échantillon peut être significatif, un effet important mesuré sur un petit échantillon ne pas l'être. Deux études dont les valeurs-p tombent de part et d'autre de 0,05 ne sont pas nécessairement contradictoires : elles peuvent estimer le même effet avec des précisions différentes, et ne s'opposent réellement que si leurs intervalles de confiance ne se recouvrent pratiquement pas.

 

Réplicabilité et crise de la reproductibilité

modifier

La valeur-p est parfois lue comme une mesure de la réplicabilité d'un résultat, 1 − p étant compris comme la probabilité qu'une répétition de l'expérience produise de nouveau un résultat significatif : « p = 0,03 » est lu comme « 97 % de chances de retrouver un résultat significatif ». Cette lecture est erronée : la probabilité qu'une répétition produise un résultat significatif dépend de la puissance statistique de cette répétition et de la taille réelle de l'effet, et non de la valeur-p observée[10]. Dans une enquête menée auprès de 70 psychologues académiques, 42 croyaient qu'un résultat obtenu avec t = 2,7 (p = 0,01) serait de nouveau significatif dans 99 % des répétitions de l'expérience ; à la puissance usuelle de 0,50, la probabilité que trois réplications indépendantes soient toutes significatives est d'environ une sur huit[10]. Cette interprétation figure parmi les plus fréquentes mesurées par les enquêtes empiriques : 60 % des psychologues académiques interrogés par M. Oakes la validaient[11], ainsi que 41 % des étudiants, 49 % des chercheurs et 37 % des enseignants de méthodologie interrogés par H. Haller et S. Krauss[12].

G. Gigerenzer nomme « mythe de la réplication » (replication delusion) la croyance qu'un résultat jugé significatif par le « rituel statistique », le test mécanique de l'hypothèse nulle contre le seuil de 0,05, établit un résultat qui se répliquera, et voit dans ce rituel l'une des causes de la crise de la réplication[13]. Selon son hypothèse du rituel statistique, la pression pour obtenir des résultats significatifs encourage des pratiques de recherche discutables : dans une enquête anonyme auprès de plus de 2 000 psychologues, 94,0 % des répondants dans la condition incitant à la sincérité, et 91,4 % dans la condition contrôle, admettent au moins une pratique de ce type parmi les dix proposées, par exemple ne rapporter que les mesures donnant p < 0,05[14]. Cette enquête mesure des pratiques déclarées et non la compréhension de la valeur-p ; le lien entre le rituel et ces pratiques reste, chez Gigerenzer, une hypothèse explicative[13].

La confusion entre significativité statistique et réplicabilité s'inscrit dans le contexte plus large de la crise de la reproductibilité, dénoncée dès 2005 par J. P. A. Ioannidis[15] et documentée à partir de 2015 par des projets de réplication à grande échelle : la réplication coordonnée de 100 études expérimentales et corrélationnelles publiées dans trois revues de psychologie n'obtient un résultat statistiquement significatif que dans 36 % des cas[16]. Dans ce contexte, la Société américaine de statistique rappelle en 2016 que la valeur-p ne mesure ni la probabilité que l'hypothèse testée soit vraie, ni la taille d'un effet, ni l'importance d'un résultat[17], et une tribune publiée dans Nature en 2019 et signée par plus de 800 chercheurs demande de renoncer à la classification des résultats en « statistiquement significatifs » ou non[18].

P-hacking

modifier

Le p-hacking désigne les pratiques consistant à collecter ou sélectionner des données ou des analyses statistiques jusqu'à ce qu'un résultat non significatif devienne significatif[19]. La valeur-p n'étant pas une propriété des données seules, mais des données vues à travers un modèle, des choix d'analyse effectués après l'inspection des données, tels que la sélection des variables, des critères d'exclusion ou du critère de jugement, font que la valeur-p rapportée ne correspond plus à un test bien défini, mais à une série de comparaisons implicites dont le risque d'erreur n'est plus celui du seuil affiché[20].

Le p-hacking est cité parmi les facteurs de la crise de la reproductibilité[21]. La Société américaine de statistique recommande en retour un rapport complet et transparent des résultats, sans se limiter aux résultats statistiquement significatifs[17].

Notes et références

modifier
  1. ↑ « P-Values: Misunderstood and Misused », Frontiers in Physics, vol. 4, no 6,‎ , p. 6 (DOI 10.3389/fphy.2016.00006, Bibcode 2016FrP.....4....6V, arXiv 1601.06805)
  2. ↑ (en) Steven Goodman, « A Dirty Dozen: Twelve P-Value Misconceptions », Seminars in Hematology, vol. 45, no 3,‎ , p. 135–140 (DOI 10.1053/j.seminhematol.2008.04.003, lire en ligne, consulté le )
  3. ↑ (en) Haller, Heiko et Krauss, Stefan, « Misinterpretations of Significance: A Problem Students Share with Their Teachers? », DOI.org (Datacite), IPN - Institute for Science Education at the University of Kiel, Germany,‎ (DOI 10.23668/PSYCHARCHIVES.12769, lire en ligne, consulté le )
  4. ↑ (en) Per Lytsy, Per Johansson, Ronnie Pingel et Jenny Berg, « Inferences of p-values, statistically significant results, and confidence intervals – A systematic review of empirical studies », PLOS One, vol. 21, no 11,‎ , e0362071 (ISSN 1932-6203, PMID 43013518, PMCID 13754157, DOI 10.1371/journal.pone.0362071, lire en ligne, consulté le )
  5. 1 2 3 4 5 « The ASA's statement on p-values: context, process, and purpose », The American Statistician, vol. 70, no 2,‎ , p. 129–133 (DOI 10.1080/00031305.2016.1154108, S2CID 124084622, lire en ligne)
  6. 1 2 3 « Sifting the evidence-what's wrong with significance tests? », BMJ, vol. 322, no 7280,‎ , p. 226–31 (PMID 11159626, PMCID 1119478, DOI 10.1136/bmj.322.7280.226)
  7. ↑ « P values: What they are and what they are not », The American Statistician, vol. 50, no 3,‎ , p. 203–206 (DOI 10.2307/2684655, JSTOR 2684655)
  8. ↑ « Semantic and cognitive tools to aid statistical science: replace confidence and significance by compatibility and surprise », BMC Medical Research Methodology, vol. 20, no 1,‎ , p. 244 (PMID 32998683, PMCID 7528258, DOI 10.1186/s12874-020-01105-9, arXiv 1909.08579)
  9. ↑ « p > 0.05: significance thresholds and the crisis of unreplicable research », PeerJ, vol. 5,‎ (PMID 28698825, PMCID 5502092, DOI 10.7717/peerj.3544)
  10. 1 2 (en) Jacob Cohen, « The Earth Is Round (p < .05) », American Psychologist, vol. 49, no 12,‎ (DOI 10.1037/0003-066X.49.12.997)
  11. ↑ (en) M. Oakes, Statistical Inference: A Commentary for the Social and Medical Sciences, Wiley,
  12. ↑ (en) H. Haller et S. Krauss, « Misinterpretations of Significance: A Problem Students Share with Their Teachers? », Methods of Psychological Research Online, vol. 7, no 1,‎ (DOI 10.23668/psycharchives.12769)
  13. 1 2 (en) G. Gigerenzer, « Statistical Rituals: The Replication Delusion and How We Got There », Advances in Methods and Practices in Psychological Science, vol. 1, no 2,‎ (DOI 10.1177/2515245918771329)
  14. ↑ (en) L. K. John, G. Loewenstein et D. Prelec, « Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling », Psychological Science, vol. 23, no 5,‎ (DOI 10.1177/0956797611430953)
  15. ↑ (en) John P. A. Ioannidis, « Why Most Published Research Findings Are False », PLoS Medicine, vol. 2, no 8,‎ , article no e124 (DOI 10.1371/journal.pmed.0020124)
  16. ↑ (en) Open Science Collaboration, « Estimating the reproducibility of psychological science », Science, vol. 349, no 6251,‎ , article no aac4716 (DOI 10.1126/science.aac4716)
  17. 1 2 (en) R. L. Wasserstein et N. A. Lazar, « The ASA Statement on p-Values: Context, Process, and Purpose », The American Statistician, vol. 70, no 2,‎ (DOI 10.1080/00031305.2016.1154108)
  18. ↑ (en) V. Amrhein, S. Greenland et B. B. McShane, « Scientists rise up against statistical significance », Nature, vol. 567,‎ (DOI 10.1038/d41586-019-00857-9)
  19. ↑ (en) M. L. Head, L. Holman, R. Lanfear, A. T. Kahn et M. D. Jennions, « The Extent and Consequences of P-Hacking in Science », PLoS Biology, vol. 13, no 3,‎ , article no e1002106 (DOI 10.1371/journal.pbio.1002106)
  20. ↑ (en) M. O. Johansen et K. S. Fjællingsdal, « The tyranny of the p: when significance misleads », Humanities and Social Sciences Communications, vol. 13,‎ (DOI 10.1057/s41599-026-08318-1)
  21. ↑ (en) Megan L. Head, Luke Holman, Rob Lanfear et Andrew T. Kahn, « The Extent and Consequences of P-Hacking in Science », PLOS Biology, vol. 13, no 3,‎ , e1002106 (ISSN 1545-7885, PMID 25768323, PMCID 4359000, DOI 10.1371/journal.pbio.1002106, lire en ligne, consulté le )