Scepticisme

Rigueur statistique

Pour mieux comprendre notre monde, l’usage de statistiques est essentiel. Rien n’est précis à 100 %, rien n’est efficace à 100 %. Il y a toujours une marge d’erreur, il y a toujours une variabilité de rendement. Dans un monde complexe et imparfait, on doit tout de même savoir si les choses s’améliorent de façon marquée, si une nouvelle politique a les effets et l’efficacité escomptés, si un nouveau procédé donne les résultats attendus. Différentes mesures statistiques tentent de combler ce besoin.

La valeur-p est l’un de ces outils statistiques. Elle est souvent utilisée par des chercheurs pour comparer une situation présente à une proposition d’amélioration. Elle tient compte de la moyenne de l’échantillon, de l’écart moyen (écart-type) des données à cette moyenne et de la taille de l’échantillon. Toutefois, elle ne convient pas à toutes les situations et elle est souvent mal comprise et mal interprétée.

Courte définition contextuelle

La valeur-p est la probabilité qu’une série d’observations donnent par hasard un résultat statistique si improbable qu’il nous fait douter de la justesse d’une hypothèse courante (nulle) considérée comme vraie. L’hypothèse de recherche (alternative) devient alors une candidate à une évaluation positive. Cette mesure est si souvent avancée dans des études scientifiques de toutes sortes qu’il faut bien en comprendre la signification et l’impact.

Dans les articles de ce numéro, vous retrouverez souvent l’expression « valeur-p ». La lettre « p » est l'abréviation de « probabilité ». La valeur-p représente la probabilité qu’un événement improbable arrive dans un contexte particulier, celui du test d’une hypothèse alternative. Par exemple, la possibilité qu’un nouveau médicament diminue ou non de façon significative les symptômes d’une maladie. C’est une technique statistique employée dans plusieurs champs de recherche, notamment la pharmaceutique, la médecine, la psychologie et la sociologie. Elle tente d’estimer s’il y a une différence marquée entre deux hypothèses.

Concepts fondamentaux

Voici, en bref, quelques notions de base qui pourraient aider à mieux comprendre les articles suivants. La probabilité s’exprime par un nombre entre 0 et 1 inclusivement. Si un événement n’a aucune chance d’arriver, on dira que la probabilité qu’il se manifeste est de 0, ou 0 %. Si on est sûr qu’il se produira, on évaluera sa probabilité à 1 entier, ou 100 %. Tous les degrés d’incertitude sont possibles et ils sont représentés par une fraction entre 0 et 1. Une probabilité s’exprime normalement en décimale ou en pourcentage. Par exemple, elle pourrait être égale à 0,05 ou 5 %, à 0,5 ou 50 %, à 0,95 ou 95 %.

La valeur-p se fonde sur les propriétés de la courbe normale en forme de cloche (courbe de Gauss, figure 1). La surface sous la courbe égale 100 %. Si le résultat moyen (normalisé) de l’échantillon s’éloigne de façon importante de la moyenne (0) de la courbe normale, on pourra conclure que ce résultat moyen est peu probable, compte tenu de l’hypothèse nulle préalablement supposée. Par exemple, si ce résultat moyen se situe à deux fois l’écart-type (figure 1), il aurait moins de 5 % de chance de se produire par hasard en ayant supposé l’hypothèse nulle vraie.

La valeur-p représente la probabilité d’obtenir par hasard un échantillon aussi improbable. Une petite valeur-p tend à nous faire rejeter l’hypothèse nulle, il y aurait ainsi une différence significative entre les deux hypothèses. Toutefois, elle ne nous prouve pas que l’hypothèse nulle soit fausse ni que l’hypothèse alternative (représentée par les résultats de l’échantillon) soit vraie. Cette dernière devient alors une candidate à une analyse plus poussée.

Prudence élémentaire requise

Les quelques textes qui suivent tenteront d’expliquer les limites de la valeur-p. Elle peut ne pas être l’outil approprié si les processus étudiés ne suivent pas une distribution normale. Elle peut s’appuyer sur des données biaisées. Elle peut être trafiquée de façon subtile. Et on peut laisser entendre qu’elle démontre plus que ce qu’elle a été conçue pour indiquer. De nécessaires précautions doivent accompagner son utilisation. Rigueur et scepticisme doivent guider son interprétation.