Page principale Dossiers La nécessité du hasard - Le principe d'un test
La nécessité du hasard - Le principe d'un test Imprimer Envoyer
Écrit par Florent TOURNUS   
Dimanche, 06 Avril 2008 01:00
Index de l'article
La nécessité du hasard
Qu'est-ce qu'une série aléatoire ?
Nous sommes de mauvais générateurs aléatoires
Le principe d'un test
Pourquoi utiliser un tirage au sort ?
Répondre par hasard, oui, mais comment ?
Tous les tirages au sort ne se valent pas
Une probabilité de réussite, conditionnelle
Une ou plusieurs expériences ?
Martingale ? Vous avez dit martingale ?
Tirage aléatoire sans contrainte
Un tirage peut-il nuire à l'expression d'un phénomène ?
Mauvais tirage et échec de test
Une situation dissymétrique
Pour résumer : l'essentiel à retenir
Toutes les pages

Le principe d'un test


Pour illustrer l'importance du hasard, et les conséquences d'un mauvais tirage au sort, dans des expériences cherchant à mettre en évidence un phénomène « extraordinaire », il me semble nécessaire de préciser certains points concernant le principe d'un test statistique. Nous invitons également le lecteur à consulter le poster grand public réalisé par l'Observatoire zététique sur ce thème [21], à l'occasion de la Fête de la science. Nous allons voir quelle est la signification de la probabilité critique [22] associée à un test statistique. Cette notion est véritablement quelque chose d'incontournable dans l'interprétation des résultats d'une expérience : j'invite donc le lecteur à s'assurer qu'il l'a bien comprise, en prenant le temps de bien réfléchir, d'éventuellement relire les explications, voire en cherchant des informations à ce sujet ailleurs [23]...

Voici, dans les grandes lignes, comment peut se dérouler le test d'un phénomène ou d'une prétention « extraordinaire » [24]. La première chose à faire, qui peut s'avérer en pratique très difficile, est de mettre en place un protocole permettant de s'assurer qu'aucune méthode « normale » ne peut être utilisée. Le test consiste alors en une ou plusieurs expériences où il s'agit pour le sujet testé [25] de trouver la « bonne réponse » et éventuellement d'obtenir le meilleur « score » possible sur une série d'expériences. Même dans des conditions strictement contrôlées, il reste toujours une possibilité que le résultat de l'expérience soit positif, juste par hasard : le hasard est toujours une hypothèse concurrente de l'explication « extraordinaire ».

La question est alors : comment trancher entre l'hypothèse du hasard et celle d'un phénomène extraordinaire ? Pour cela on tient le raisonnement suivant : si l'explication du hasard est la bonne, on peut calculer quelle était la probabilité d'obtenir un score [26] aussi bon que celui observé [27]. Lorsque cette probabilité, appelée probabilité critique et notée p, est suffisamment faible (inférieure à un seuil choisi arbitrairement, de 5 % ou de 1 % par exemple), on considère que le hasard n'est pas à l'origine du résultat observé [28]. Autrement dit, on prend le risque de se tromper dans 5 % des cas (si on a choisi un seuil de 5 %) et de rejeter à tort l'hypothèse du hasard. J'insiste sur le fait qu'avec le seuil de 5 % généralement utilisé en parapsychologie, un résultat qui a moins d'une chance sur 20 de se produire est jugé « extraordinaire » : on dit alors qu'il est significativement différent du hasard, que l'expérience montre un résultat significatif en faveur de l'hypothèse « extraordinaire ». Personnellement, suivant le principe d'économie, je pense qu'il faut que la probabilité p soit bien plus faible avant de valider une hypothèse si « extraordinaire » qu'elle bouleverserait les théories physiques actuelles... Mais ceci est une opinion personnelle donnée en passant, qui n'influe en rien sur la suite de mon propos.

 


Notes (cliquez sur les nombres pour revenir dans le texte là où vous en étiez)

[21] Cf. ../divers/Statistiques.pdf

[22] Aussi appelée « niveau de dépassement » ou « niveau de signification ».

[23] Voir par exemple les liens donnés ici : ../stats/liens.php

[24] Ceci ne concerne qu'une catégorie de phénomènes. Pour mettre en évidence la capacité d'une personne à léviter ou à déplacer des objets par la pensée on procèdera différemment. Dans ce cas pas besoin de double aveugle ni de tirage au sort !

[25] Je parle ici de « sujet testé », même si ce type d'expérience peut s'appliquer sans qu'il y ait réellement de sujet, lorsque l'on teste directement la validité d'une théorie. Ou encore, ce « sujet testé » n'est pas forcément celui qui doit trouver la « bonne réponse », par exemple avec des protocoles qui font appel à des juges... Formellement, tout cela revient au même.

[26] D'une manière plus générale, le test statistique permettant d'évaluer la pertinence de l'hypothèse du hasard porte sur une grandeur statistique, appelée variable de décision, qui n'est pas forcément le score. Selon le test statistique, cette variable est construite de manière plus ou moins complexe à partir des données (en les comparants éventuellement aux données « idéales » attendues d'après un modèle), mais l'idée maîtresse est toujours la même : lorsque l'hypothèse du hasard est vraie, on connaît (moyennant parfois quelques hypothèses supplémentaires...) la distribution statistique de la variable de décision. On peut alors chiffrer la probabilité que cette dernière avait de se trouver, par hasard, au-delà d'une certaine limite : c'est ce que l'on appelle la probabilité critique. Dans la suite, je me limiterai à prendre le score comme variable de décision, mais mon propos peut s'appliquer plus généralement à d'autres cas de tests statistiques (comparaisons de moyenne, test du chi2, etc.).

[27] Par souci de simplicité, je me restreins ici, et dans la suite, au cas d'un test dit unilatéral : seuls les scores significativement meilleurs que le hasard sont considérés comme des succès. À l'opposé, un test bilatéral s'intéresse à la fois aux scores significativement meilleurs et à ceux moins bons que le hasard.

28] Il faut bien retenir que la probabilité p n'est pas la probabilité que l'hypothèse du hasard soit vraie. C'est la probabilité, si l'hypothèse du hasard est vraie, qu'un résultat tel que celui observé soit obtenu. Évidemment, plus cette probabilité est faible, moins on estime que l'hypothèse du hasard est valide.