Page principale Dossiers La nécessité du hasard - Une ou plusieurs expériences ?
La nécessité du hasard - Une ou plusieurs expériences ? Imprimer Envoyer
Écrit par Florent TOURNUS   
Dimanche, 06 Avril 2008 01:00
Index de l'article
La nécessité du hasard
Qu'est-ce qu'une série aléatoire ?
Nous sommes de mauvais générateurs aléatoires
Le principe d'un test
Pourquoi utiliser un tirage au sort ?
Répondre par hasard, oui, mais comment ?
Tous les tirages au sort ne se valent pas
Une probabilité de réussite, conditionnelle
Une ou plusieurs expériences ?
Martingale ? Vous avez dit martingale ?
Tirage aléatoire sans contrainte
Un tirage peut-il nuire à l'expression d'un phénomène ?
Mauvais tirage et échec de test
Une situation dissymétrique
Pour résumer : l'essentiel à retenir
Toutes les pages

Une ou plusieurs expériences ?


Dans certains cas, plusieurs expériences identiques avec un même « sujet psi » peuvent aussi être vues comme une seule expérience comprenant plusieurs essais. Par exemple 5 tirages à « pile ou face » à deviner, peuvent être vus comme plusieurs expériences où la «bonne réponse » est soit « pile » soit « face » à chaque fois, ou comme une seule expérience où la « bonne réponse » est une série de cinq « pile » ou « face » (ou de 0 et de 1, en notant 0 pour « pile » et 1 pour « face »). Comme on l'a vu plus haut, toutes les séries à cinq « bits », n'ont pas du tout la même probabilité d'être choisies (cf. paragraphe « Nous sommes de mauvais générateurs aléatoires »). Dès lors que les combinaisons 00101 et 11010 sont équiprobables [63] et représentent à elles deux 15 % des prédictions [64], si on ne fait qu'une seule expérience et que 00101 est la « bonne réponse », tirée par hasard, alors la probabilité de tomber juste est de 7 % environ. Il serait alors faux de considérer qu'il y a une chance sur 32 de tomber juste [65] si le « sujet psi » répond « par hasard [66] ». Il serait donc abusif, mais en fait quasiment inattaquable, de déclarer que le résultat est en faveur d'une hypothèse « extraordinaire » puisqu'il avait moins de 5 % de chances de se produire par hasard (1 chance sur 32 correspond à une probabilité de 3,1 % environ). À nouveau, ce problème est intimement lié au fait que, même quand un « sujet psi » répond « par hasard », « au pif », il n'agit pas réellement comme un générateur aléatoire [67].

Ainsi, le problème de l'aspect « conditionnel » de la probabilité critique peut se poser même dans le cas d'expériences multiples avec une bonne randomisation. Comment en tenir en compte ? On ne peut pas forcément savoir quelle était précisément la probabilité que le « sujet psi » donne « par hasard » telle ou telle réponse. En revanche, en augmentant le nombre d'expériences (et en prenant soin de déterminer aléatoirement la « bonne réponse » à chaque fois, comme il a déjà été discuté plus haut) on finira par s'affranchir [68] d'un effet de réponse préférentielle du « sujet psi » : on pourra réussir à « gommer » l'influence des tirages particuliers sur l'issue d'une expérience. Il peut être aussi fortement conseillé d'utiliser un « groupe de contrôle [69] », ou de faire des expériences « à blanc » : on mesure la réponse des « sujet psi » dans une situation, identique en tous points à une vraie expérience, mais où il n'y a pas de « bonne réponse », en supprimant par exemple la cause de l'effet que l'on cherche à mettre en évidence. De cette façon, on sera en mesure d'étudier la distribution des réponses « au hasard » (puisqu'il n'y a plus d'effet, les réponses sont faites « au pif » et reflètent juste la façon dont les sujets choisissent leur réponse) des « sujets psi » et de voir si l'existence d'une « bonne réponse » (et de la cause du phénomène étudié) modifie leur réponse.

D'une manière générale, le problème d'une mauvaise estimation de la probabilité critique n'est crucial que lorsque p est proche du seuil qu'on s'est fixé pour considérer qu'un résultat est significatif [70]. En effet, l'aspect « conditionnel » de la probabilité critique, ainsi que l'existence de stratégies optimales de réponse « au hasard » discutée plus haut, modifie p de manière relativement modérée : sauf cas particulier (mais il faut rester vigilant pour détecter de tels cas !) on ne peut pas vraiment se tromper d'un facteur 100 ou 1000 sur la valeur de p, calculée en utilisant un modèle de réponse « au hasard » inapproprié. Par contre, ces remarques incitent à beaucoup de prudence quand aux conclusions à tirer d'un résultat correspondant à une probabilité critique relativement élevée [71] : l'identification d'un biais « statistique » (par opposition à une faille dans le protocole expérimental) peut alors facilement rendre « conforme au hasard » un résultat jugé « extraordinaire » dans un premier temps.

 


Notes (cliquez sur les nombres pour revenir dans le texte là où vous en étiez)

63] Bizarrement, comme on peut le voir dans l'article « Les dés pipés du cerveau » (dont la référence est donnée en note 16), la combinaison 01011 qui est l'« inverse », pris à l'envers, de 00101 est pourtant beaucoup moins citée... en revanche 01100 et 00110 (même combinaison prise à l'envers) sont citées quasiment avec la même fréquence.

[64] Ce qui est fort possible, d'après ce que l'on peut lire dans l'article dont la référence est donnée en note 16.

[65] Il y a 25=32 possibilités.

[66] « par hasard » pour le « sujet psi » signifie « selon les probabilités de choix humain », où toutes les combinaisons n'ont pas les mêmes chances d'êtres choisies.

[67] Pour un sujet qui répondrait en tirant réellement au sort, la question de l'influence de la valeur de la « bonne réponse » ne se poserait pas (par contre, il resterait la possibilité de tirer au sort selon une stratégie optimale compte tenu de la structure de la « bonne réponse », comme on l'a vu précédemment...).

[68] Mais au bout de combien d'expériences ? Pour répondre à cette question, il faut examiner chaque situation au cas par cas. D'une manière générale il faut garder en tête que le tirage de la « bonne réponse » a son importance et peut entraîner une sous-estimation de la probabilité critique...

[69] Ce qui n'a malheureusement pas été fait dans les expériences de Sheldrake sur la sensation d'être observé, par exemple...

[70] Je rappelle que ce seuil représente la probabilité de rejeter à tort l'hypothèse du hasard. Il est généralement fixé à 5 % en psychologie et en parapsychologie.

[71] Il faut par ailleurs garder à l'esprit qu'on n'obtient pas la même valeur de probabilité critique selon le test statistique choisi pour analyser les résultats... Il ne faut donc pas avoir une confiance aveugle dans la valeur de p.