Page principale Dossiers La nécessité du hasard - Mauvais tirage et échec de test
La nécessité du hasard - Mauvais tirage et échec de test Imprimer Envoyer
Écrit par Florent TOURNUS   
Dimanche, 06 Avril 2008 01:00
Index de l'article
La nécessité du hasard
Qu'est-ce qu'une série aléatoire ?
Nous sommes de mauvais générateurs aléatoires
Le principe d'un test
Pourquoi utiliser un tirage au sort ?
Répondre par hasard, oui, mais comment ?
Tous les tirages au sort ne se valent pas
Une probabilité de réussite, conditionnelle
Une ou plusieurs expériences ?
Martingale ? Vous avez dit martingale ?
Tirage aléatoire sans contrainte
Un tirage peut-il nuire à l'expression d'un phénomène ?
Mauvais tirage et échec de test
Une situation dissymétrique
Pour résumer : l'essentiel à retenir
Toutes les pages

Est-ce qu'un mauvais tirage au sort peut diminuer la probabilité de réussir un test ?


Nous avons discuté des différentes raisons d'utiliser un tirage aléatoire lors d'une expérience où l'on cherche à mettre en évidence un phénomène « extraordinaire ». En particulier, du fait que la « bonne réponse » est imprévisible, il est plus difficile pour un « sujet psi » ne possédant en fait aucune capacité « extraordinaire » de passer le test avec succès, par hasard. Même avec un bon tirage au sort, nous avons vu que des difficultés pouvaient se présenter dans le calcul et l'interprétation de la probabilité critique p correspondant à un test statistique (qui a pour but de comparer les résultats à ceux que l'on obtiendrait par hasard). Le tirage au sort de la « bonne réponse » n'est pas la panacée : il ne garantit pas qu'on ne fait pas d'erreur dans l'estimation de la valeur de p. Même s'il est toujours préférable d'utiliser une bonne randomisation, il existe des cas où des expériences ont été menées avec un « mauvais » tirage au sort, voire sans même tirer au sort la « bonne réponse » (elle peut avoir été choisie par un individu). Que peut-on dire de telles expériences ? Les résultats sont-ils inexploitables, simplement parce que l'expérimentateur n'a pas utilisé de générateur aléatoire [87] ? Est-ce que l'absence de tirage au sort peut être une cause de l'échec du « sujet psi » (c'est-à-dire qu'il a obtenu des résultats conformes au hasard) ?

Comme nous venons de le rappeler au paragraphe précédent, on ne peut pas savoir, au vu de la « bonne réponse », de quelle façon celle-ci a été obtenue. Comme on l'a déjà noté plus haut, le fait qu'elle ait été tirée au sort ou non, ne change rien du point de vue du sujet testé. Le nombre de « bonnes réponses » possibles reste le même, qu'on utilise un générateur aléatoire ou non. En fait, nous avons vu que ne pas utiliser de générateur aléatoire implique que ces « bonnes réponses » n'ont pas toutes la même probabilité d'être choisies, ce qui peut entraîner une augmentation (mais aussi une diminution) de la probabilité de réussir le test « par hasard ». Ainsi, comme illustré précédemment par plusieurs exemples, un mauvais tirage au sort peut entraîner une interprétation faussée des résultats d'une expérience : un résultat peut paraître « extraordinaire » (et être interprété comme tel, du fait de l'utilisation d'un mauvais modèle de réussite « par hasard ») alors qu'il est « normal ». D'une manière générale, une mauvaise randomisation peut modifier la probabilité d'obtenir « par hasard » un certain résultat. Un résultat peut s'avérer significativement meilleur [88] (d'après la valeur de la probabilité critique) que ce qu'on attend par « hasard pur », simplement parce que le modèle de « hasard pur » n'était pas adapté (pour le choix de la « bonne réponse » d'une part et/ou pour le choix de la réponse donnée par le « sujet psi » d'autre part).

Si le « sujet psi » possède réellement une capacité « extraordinaire », est-ce qu'une mauvaise randomisation peut aussi modifier sa probabilité d'obtenir un certain résultat ? Un résultat peut-il être conforme au hasard (lorsque la probabilité critique est calculée avec un modèle de « hasard pur »), alors que si on avait utilisé une bonne randomisation il aurait été « extraordinaire » ? De la même façon qu'on peut augmenter la probabilité du « sujet psi » de tomber juste, en choisissant une « bonne réponse » fréquemment choisie « au pif », on peut imaginer influencer l'issue d'un test (de manière à obtenir un résultat conforme au hasard) en choisissant une « bonne réponse » difficile à trouver pour le « sujet psi ». Notez que ceci n'est envisageable que lorsque la capacité « extraordinaire » est censée dépendre de la « bonne réponse » à trouver : une théorie du phénomène en question devra donc en rendre compte. Là encore, on pourra toujours proposer une explication a posteriori, dire que l'échec est dû à la valeur particulière de la « bonne réponse », et on risque d'aboutir à une théorie irréfutable... Cerner les limites de la capacité « extraordinaire » permet aussi d'avancer et de proposer par la suite de nouvelles expériences.

Mais qu'est-ce qu'une « bonne réponse » difficile à trouver pour le « sujet psi » ? Si les résultats obtenus sont malgré tout meilleurs que le hasard, alors très bien, l'hypothèse « extraordinaire » sera privilégiée. Mais invoquer une mauvaise randomisation comme cause de l'échec d'un « sujet psi » lors d'une expérience signifie : la « bonne réponse » qui a été choisie était justement si difficile pour le « sujet psi » que ses résultats sont conformes au hasard [89] ! Finalement, une véritable capacité « extraordinaire » n'est intéressante, et ne peut être considérée comme probante, que si elle donne de meilleurs résultats que le « hasard pur ». En effet, pourquoi invoquer une hypothèse « extraordinaire » lorsqu'un résultat est conforme au « hasard pur » ? Le « sujet psi » a peut-être véritablement utilisé une capacité « extraordinaire » (on ne pourra jamais le savoir), mais il a aussi pu répondre réellement au hasard [90].

Reprenons sans plus attendre le fameux exemple où le « sujet psi » doit deviner un chiffre (entre 0 et 9). Nous avons déjà mentionné que si le chiffre à deviner était le 7, alors la probabilité de tomber juste en répondant « au pif » était supérieure à ce qu'on attend par « hasard pur » (1 chance sur 10), tandis que si le chiffre à deviner est le 1, alors celle-ci est au contraire inférieure. Imaginons qu'après avoir mené toute une série d'expériences où le chiffre à deviner était à chaque fois le 1, on obtienne un taux de réussite de 10 % pour une certaine population de « sujets psi ». Ce résultat est indéniablement conforme au hasard : des réponses au « hasard pur » (vraiment tirées au sort, et non choisies par des êtres humains), donneraient un taux de réussite comparable. Pourtant, comme on l'a vu précédemment, des individus répondant « au pif » devraient répondre moins fréquemment 1 que d'autres chiffres et ainsi avoir finalement un taux de réussite inférieur au « hasard pur ». La population de « sujets psi » testée a finalement obtenu un meilleur taux de réussite que la population moyenne [91]. Peut-être s'agit-il effectivement de personnes ayant un « don » pour deviner les 1 ! Et pourtant, leur « don » ne fait pas mieux qu'un simple tirage au sort, d'ailleurs on ne peut pas être certains qu'ils n'ont pas donné justement leur réponse au hasard... Dans ce cas, puisque le résultat est conforme au hasard, même s'il n'est pas dit que les « sujet psi » ont réellement donné des réponses aléatoires, l'hypothèse « extraordinaire » sera rejetée. Toujours avec cet exemple, on peut imaginer que les « sujets psi », apprenant que le chiffre à trouver n'avait pas été tiré au sort à chaque fois, justifient leur échec en disant que le 1 est plus difficile à détecter que d'autres chiffres... On ne peut pas répondre grand-chose à cela ! Mais l'expérience nous aura tout de même appris une chose : ces « sujets psi » ne font pas mieux que le hasard, en ce qui concerne le chiffre 1. Il restera à mettre en place un nouveau protocole expérimental en tenant compte de cette information.

J'ajoute une remarque concernant l'utilisation d'un groupe de contrôle, qui a déjà été abordée précédemment. Dans le cas où la « bonne réponse » n'est pas déterminée aléatoirement, comparer les résultats de « sujets psi » avec ceux d'un groupe de contrôle peut permettre d'obtenir des conclusions fiables. On peut ainsi essayer d'observer une différence significative entre les deux groupes, mais il faut rester vigilant quand à l'interprétation des résultats : les deux groupes peuvent avoir des résultats significativement différents, mais tous les deux conformes au hasard !

Pour résumer ce paragraphe, j'insiste sur le fait qu'une mauvaise randomisation peut aider le « sujet psi » à réussir par hasard, mais ne peut pas lui rendre la tâche plus difficile s'il a une capacité « extraordinaire » (ou alors il faut revoir sa prétention). Il n'y a aucune raison de voir un résultat conforme au hasard comme une « mauvaise performance » d'une capacité « extraordinaire ». Pour répondre à la question posée dans cet article : oui, on peut parfaitement conclure quelque chose d'une expérience effectuée avec un « mauvais » tirage aléatoire.

 


Notes (cliquez sur les nombres pour revenir dans le texte là où vous en étiez)

[87] Auquel cas, un grand nombre de résultats de parapsychologie serait inexploitable...

[88] Ou significativement moins bon... Ce qui revient à dire qu'on peut « forcer » l'apparition de « psi-missing » !

[89] Cet argument pour expliquer un échec a posteriori peut aussi être utilisé si la « bonne réponse » a été tirée au sort. Cela ne fait que traduire le fait que la probabilité de réussite au test est conditionnée par la valeur de la « bonne réponse »

[90] Le « sujet psi » a très bien pu s'appliquer à donner des réponses « aléatoires », quitte à utiliser pour cela un générateur aléatoire... Cela rejoint la problématique des « stratégies » de réponse optimales : du moment qu'il existe une stratégie « normale » (ici un simple tirage au sort) rendant compte des résultats obtenus, il n'est pas nécessaire d'envisager une capacité « extraordinaire » du « sujet psi ».

[91] À supposer qu'on ait déterminé précisément (donc, sur une grande population) les fréquences de réponse « au pif » pour chaque chiffre...