Page principale Dossiers La nécessité du hasard - Tous les tirages au sort ne se valent pas
La nécessité du hasard - Tous les tirages au sort ne se valent pas Imprimer Envoyer
Écrit par Florent TOURNUS   
Dimanche, 06 Avril 2008 01:00
Index de l'article
La nécessité du hasard
Qu'est-ce qu'une série aléatoire ?
Nous sommes de mauvais générateurs aléatoires
Le principe d'un test
Pourquoi utiliser un tirage au sort ?
Répondre par hasard, oui, mais comment ?
Tous les tirages au sort ne se valent pas
Une probabilité de réussite, conditionnelle
Une ou plusieurs expériences ?
Martingale ? Vous avez dit martingale ?
Tirage aléatoire sans contrainte
Un tirage peut-il nuire à l'expression d'un phénomène ?
Mauvais tirage et échec de test
Une situation dissymétrique
Pour résumer : l'essentiel à retenir
Toutes les pages

Tout ça pour en venir où ? Tous les tirages au sort ne se valent pas


Cet exemple, où un problème peut apparaître dans la détermination de la probabilité p, vous semble peut-être « tiré par les cheveux »... Il vous paraît peut-être peu crédible qu'un « sujet psi » applique une stratégie particulière pour optimiser sa probabilité de réussite au test. À cela on peut répondre deux choses. Tout d'abord, le principe d'économie nous impose de considérer toutes les explications « normales », compatibles avec les connaissances actuelles bien établies, avant d'envisager une explication nouvelle « extraordinaire » : dans le doute, comme on ne pourra pas prouver que le « sujet psi » n'a pas suivi une stratégie de réponse au hasard, on doit considérer la probabilité p la plus grande [52]. Ensuite, il n'est pas nécessaire d'envisager que le « sujet psi » a choisi une certaine stratégie, en connaissance de cause : les remarques exposées ci-dessus restent parfaitement valables dans le cas où, quelles qu'en soient les raisons, le « sujet psi » répond cinq fois qu'il se sent observé sur les huit essais. Le problème de la « stratégie optimale » et du calcul de la valeur de p la plus favorable se pose donc, même dans le cas où le « sujet psi » n'a pas connaissance de la structure de la « bonne réponse ».

Si vous pensez toujours que cette discussion est trop éloignée de la réalité, je vous invite à réfléchir sur les expériences de Sheldrake : des séries de 20 expériences « équilibrées » ont été utilisées (10 situations d'observation et 10 de non-observation) et il s'avère que les gens répondent systématiquement plus souvent [53] (environ 55 % des cas) qu'ils se sentent observés [54].

D'une manière générale, si la « bonne réponse » présente une structure particulière [55], il peut être difficile de calculer la probabilité critique p, sans la sous-estimer : il faut en effet imaginer toutes les structures que pourraient présenter les réponses « au hasard » des sujets testés, structures qui, comme on l'a déjà fait remarquer, ne reflètent pas forcément celles de la « bonne réponse ». L'idéal, pour éviter ce problème de détermination difficile et parfois ambiguë de p, est d'utiliser des tirages aléatoires sans contraintes, et donc sans structure particulière pour la détermination des « bonnes réponses ».

Mais vous voyez peut-être poindre là un autre problème : chaque série prise individuellement, même si elle provient d'un générateur aléatoire, peut être vue comme présentant une structure particulière ! Par exemple, que l'on choisisse consciemment de se restreindre à des séries de 8 expériences équilibrées ou que, par un vrai tirage aléatoire, on obtienne une série équilibrée, la situation est en fait inchangée. Sauf si, et c'est là un point crucial qui a apparemment échappé à Sheldrake [56] (et certainement à d'autres), on n'utilise pas le même tirage pour plusieurs expériences distinctes (c'est-à-dire qu'à chaque nouvelle expérience on refait un tirage au sort, ce qui donne une nouvelle « bonne réponse »). J'insiste sur ce point : faire plusieurs tests avec le même tirage, mais sur plusieurs sujets différents, n'est pas du tout équivalent à faire plusieurs tests avec des tirages différents (sur plusieurs sujets ou sur le même sujet). Dans le premier cas, des biais peuvent apparaître, faussant complètement l'interprétation des résultats. Le fait de changer de « sujet psi » à chaque test ne « gommera » pas les effets d'une structure particulière présente dans le tirage utilisé (même s'il a été obtenu par un bon générateur aléatoire) !

 


Notes (cliquez sur les nombres pour revenir dans le texte là où vous en étiez)

[52] Et ce pour chaque score. C'est-à-dire que par exemple, pour le score de 7 sur 8 elle correspond au modèle de réponse au hasard avec 5 « oui » et 3 « non », tandis que pour le score de 8 sur 8 elle correspond au modèle de réponse au hasard avec 4 « oui » et 4 « non ». En pratique, cela impose de déterminer pour chaque score quelle est la stratégie de réponse au hasard optimale... C'est un travail qui, selon les conditions expérimentales, peut être très difficile.

[53] Ce biais en faveur de la réponse « oui » est certainement lié à celui plus général, mentionné dans le paragraphe « Nous sommes de mauvais générateurs aléatoires », d'une préférence pour la réponse « oui »...

[54] Pour ceux qui n'auront pas le courage de faire les calculs, voilà ce qu'on observe dans le cas de séries équilibrées de 20 expériences : avec un seuil de 5 %, un score de 15 ou plus sera considéré comme extraordinaire, si l'on se fie à la loi binomiale (et donc à un modèle de hasard pur, pour chaque essai). En effet la probabilité d'obtenir 15 ou plus est alors de 2,1 %. Or, avec une « stratégie » de réponse au hasard de 11 « oui » et 9 « non », la probabilité d'avoir un score d'au moins 15, par hasard, est de 3,5 %. Cela reste inférieur à 5 % : le but n'est pas ici de réfuter les conclusions de Sheldrake, mais de pointer du doigt un problème potentiel.

[55] Il semblerait que les grilles de tirages aléatoires utilisées par Sheldrake, dans certains cas au moins, présentent plus d'alternances que ce qu'il est « normal » d'obtenir par hasard. Or, on a vu qu'un humain répondant « au hasard » a aussi tendance à produire trop d'alternances... C'est un exemple de structure dans la « bonne réponse », qu'on peut aussi retrouver dans les réponses des sujets testés. Cette structure peut fausser une analyse effectuée avec un modèle de « hasard pur ».

[56] Toujours dans le cas de ses recherches sur la « sensation d'être observé » (voir note 45 pour les références), nous en reparlerons plus loin.