Bienvenue, Invité
Merci de vous identifier ou de vous inscrire.    Mot de passe perdu?
signifie que ce forum est verrouillé; pas de nouveaux messages possibles.
Qu'est-ce qu'un résultat significatif signifie que ce forum est verrouillé; pas de nouveaux messages possibles.
(1 lecteur(s)) (1) Invité(s)
Aller en basPage: 12
SUJET: Qu'est-ce qu'un résultat significatif
   13/02/12 à 15:37 #27758
Totoche
Contributeur extraordinaire !
Messages: 327
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
 Qu'est-ce qu'un résultat significatif
Je viens de lire le petit sujet sur le protocole expérimental développé par l'OZ pour E=M6 (), et ça me rappelle que je me sent profondément sinistré du bulbe concernant la notion de résultat significatif.

Après tout, l'équipe qui lance la pièce peut tout à fait faire un 100% sur un coup de bol. J'imagine que si un magnétiseur (ou un lanceur de pièce) obtient un résultat exceptionnel, on fera l'expérience à nouveau avant de conclure au miracle.

Mais jusqu'ou aller exactement? A partir de combien d'essais peut on raisonnablement cesser les efforts de vérification et décider qu'il se passe quelque chose? J'imagine bien que la réponse n'est pas simple, qu'une expérience doit être répétée encore et encore par de nombreuses équipes, qu'on devrait trouver des résultats consistants si on ne choisi pas d'analyser les petites portion de résultats qui nous arrangent, et qu'une expérience surprenante peut toujours venir remettre en doute un phénomène qu'on prenait pour acqui...

J'aimerais donc assez pouvoir m'aproprier un peu les modèles et outils mathématique sur lesquels on s'appuie pour traiter ces questions. Quelques lectures à me conseiller? Pas trop ardues si possible (j'ai arrêté les maths après le deug, et c'était y'a un moment déjà... ça rouille)? Ces questions sont-elle vraiment accessibles au commun des mortels, ou faut-il une maitrise en maths pour les aborder?
 
Le sujet a été verrouillé.
   13/02/12 à 17:09 #27760
yquemener
Contributeur extraordinaire !
Messages: 1596
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
 Re:Qu'est-ce qu'un résultat significatif
Tout d'abord:
Totoche écrit:
J'aimerais donc assez pouvoir m'aproprier un peu les modèles et outils mathématique sur lesquels on s'appuie pour traiter ces questions. Quelques lectures à me conseiller? Pas trop ardues si possible (j'ai arrêté les maths après le deug, et c'était y'a un moment déjà... ça rouille)? Ces questions sont-elle vraiment accessibles au commun des mortels, ou faut-il une maitrise en maths pour les aborder?
C'est accessible. Comme la plupart des mathématiques, elles deviennent accessibles dés qu'on cesse de se persuader qu'elles sont ardues. Malheureusement, d'un point de vue littérature, je trouve les librairies très dégarnies. Elles semblent n'avoir à offrir que des livres de cours plutôt arides.

Pour ma part j'utilise beaucoup la wikipedia, mais dans sa version anglophone, que je trouve bien plus complète. Peut être que pour un domaine aussi consensuel que les maths, c'est correct des deux cotés, mais la version Française me semble souvent faite pour être spécialement alambiquée.

Totoche écrit:
J'imagine que si un magnétiseur (ou un lanceur de pièce) obtient un résultat exceptionnel, on fera l'expérience à nouveau avant de conclure au miracle.Oui, et c'est l'aspect essentiel.

Qu'est ce qu'un résultat significatif ? Il est plus facile de répondre à ce qui n'en est pas un : généralement, on considère qu'à plus de 5% de chance de survenir par hasard, un résultat ne vaut pas la peine qu'on s'y intéresse plus que ça. Ce nombre est totalement arbitraire mais permet de faire un premier filtrage : toute expérience répétable sur-performant le hasard doit pouvoir réussir à passer en dessous des 5% avec un nombre d'expériences suffisant. Si ce critère n'est pas rempli, pas la peine d'aller plus loin.

Ensuite, on se contente rarement d'étudier et d'admettre des phénomènes qui sont difficiles à discerner du hasard. La plupart du temps on va essayer d'obtenir quelque chose d'observable près de 100% du temps, d'isoler le phénomène afin de l'étudier.

Le résultat significatif n'est qu'un outil vers l'établissement d'un modèle qui, lui devra être fiable à 100% dans le domaine qu'il définit. Lorsque l'on obtient pas cela, ou que c'est matériellement impossible (comme en médecine par exemple) on intègre le pourcentage d'incertitude au modèle : 94% (+/-3%) de rémission chez les malades utilisant le médicament A, 65% des porteurs de tel gène présentent telle caractéristique, etc...
 
Le sujet a été verrouillé.
   14/02/12 à 18:43 #27769
nikoteen
Administrateur
Messages: 972
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
Sexe: Masculin Date anniversaire: 30/07
 Re:Qu'est-ce qu'un résultat significatif
Bonjour,

Juste pour préciser, le critère (intervalle de confiance) que nous utilisons est de 99%, c'est à dire que, dans le cadre de notre expérience, il y a moins de 1% de chance qu'un résultat statistiquement significatif (c.a.d supérieur ou égal à 64 réussites pour 100 essais) soit du au hasard.

Autrement dit, il y a moins de 1% de chances que le magnétiseur obtienne un résultat positif dans l'expérience alors que sa performance est due au hasard. On peut dire aussi que si nous répétons cette expérience 100 fois, il est probable que nous obtenions une expérience qui serait un succès alors qu'il n'y a pas de phénomène.

En général, l'intervalle de confiance est de 95% mais à phénomène extraordinaire, preuve extraordinaire.

Cordialement,
nikoteen
 
"La nature, lorsqu'elle s'égare, produit beaucoup d'imbéciles,quelques rares génies, mais aucun surhomme."
-- C. Navis, fr.sci.zetetique, Août 2009
Le sujet a été verrouillé.
   14/02/12 à 23:13 #27774
Totoche
Contributeur extraordinaire !
Messages: 327
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
 Re:Qu'est-ce qu'un résultat significatif
Ok, je crois que ça m'aide à comprendre le truc.
Question 1: est-ce que ces deux propositions sont équivalentes:
- il y a mois de 1% de chance qu'un résultat statistiquement significatif soit du au hasard;
- si on admet qu'aucun phénomène autre que le hasard n'est en action, il y a moins de 1% de chance d'obtenir un résultat statistiquement significatif.
Comme ça, instinctivement, j'aurais dit non. Mais en te lisant, je pense comprendre que oui. J'ai toujours été nul en stats et probas, va falloir que je révise.
Question 2: Donc le protocole est le suivant: on détermine l'interval de conscience souhaité. A partir de ça et des probas d'obtenir un positif par hasard, on détermine le résultat significatif voulu. J'ai bon, ou je suis à coté de la plaque?
 
Le sujet a été verrouillé.
   15/02/12 à 07:06 #27778
yquemener
Contributeur extraordinaire !
Messages: 1596
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
 Re:Qu'est-ce qu'un résultat significatif
Question 1 : j'ai peut être loupé quelque chose mais je ne vois pas de différence entre les deux propositions.

Question 2 : je reformulerai comme ça : "on détermine l'interval de conscience souhaité. A partir de ça et des probas d'obtenir un positif par hasard, on détermine le nombre d'expériences nécessaires et le nombre de succès minimum à observer".
 
Le sujet a été verrouillé.
   15/02/12 à 09:28 #27779
Totoche
Contributeur extraordinaire !
Messages: 327
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
 Re:Qu'est-ce qu'un résultat significatif
Q1: Dans la proposition 1, on part d'un résultat significatif, et on donne la probabilité que ça soit arrivé par hasard. Dans la proposition 2, on part de l'hypothèse qu'il n'y a pas de phènomène inconnu à l'oeuvre, et on donne la probabilité d'obtenir un résultat significatif.
On ne part donc pas des mêmes hypothèses, et on n'exprime pas la même proba.
Q2: Ca me parrait un peu plus compliqué que ça. Il n'y a pas à priori un nombre d'expérience au bout duquel on est certain du résultat. La pièce peut très bien exploser le résultat significatif 100 fois de suites, si on a pas de bol. Il y a juste une probabilité qui recule à mesure qu'on répète l'expérience. La méthode de Nikoteen ne nous assure pas qu'au bout de 100 expérience, on aura à coup sur tranché sur le sujet. Elle donne juste un référentiel permettant de confronter les résultats à une norme théorique évoluant en fonction du nombre d'expérience (houlà, c'est clair cette phrase).

PS: interval de conscience? C'est vraiment moi qui ai écrit ça? Faudrait que je me repose, moi... On dirait Rouleau m.
 
Le sujet a été verrouillé.
   15/02/12 à 11:22 #27781
yquemener
Contributeur extraordinaire !
Messages: 1596
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
 Re:Qu'est-ce qu'un résultat significatif
Q1: Si je comprends bien, dans le premier cas on a fait une observation d'abord et on calcule ensuite sa probabilité, alors que dans la deuxième, on crée une expérience après avoir défini ce que serait un résultat significatif ?

Je ne suis pas sur de bien cerner la question. En théorie, si tu as un scientifique sans biais (on est d'accord que c'est à peu près la même approximation qu'une vache sphérique), tu calculeras la même probabilité pour l'événement A, que A ait été observé ou non.

Q2: En partant de ce principe, rien n'est absolument tranché en sciences. Une expérience ne nous fournit qu'un degré de certitude d'une affirmation. Au delà d'un certain degré de certitude, on peut y trouver des applications pratiques, et encore au delà, on peut même confier sa vie à cette "certitude".

Si tu te places sur cette position philosophique, il n'y a aucune certitude dans notre l'étendue de notre savoir, mais la science permet d'établir quels sont les portions les plus solides sur lesquelles il est le plus raisonnable de s'appuyer.

Ce qui peut te donner une idée fausse, c'est le critère de 1%, ou plutôt de 99%. Il a l'air très strict mais il est extrêmement généreux. Tu refuserais d'utiliser une chose qui a 1% de chances de te tuer. Même la navette spatiale a une meilleure fiabilité. Dans la pratique, que demande-t-on ? Une chance sur un million, dans ces eaux là.

Le critère de 1% est un risque calculé : je pense que l'OZ est conscient qu'un tel résultat peut tout à fait survenir durant leur existence, et ils sont prêts à, une fois sur cent, prendre la peine de demander à des personnes indépendantes de reproduire leur expérience.

Via cette reproduction, on tentera d'arriver à un critère bien plus strict que 1%. Un critère aussi généreux sert de guide pour des chercheurs, mais ne suffit pas à convaincre de la validité d'une théorie.
 
Le sujet a été verrouillé.
   15/02/12 à 12:20 #27782
Totoche
Contributeur extraordinaire !
Messages: 327
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
 Re:Qu'est-ce qu'un résultat significatif
Q1: Non, dans les deux cas, on fait des calculs de probabilité avant de faire l'expérience, hein.
Par contre, j'ai l'impression que les deux propositions ne sont pas les mêmes. Je vais essayer une pseudo-formulation mathématique pour tenter d'être plus clair.
Propo 1:
on a obtenu un résultat significatif => p(seul le hasard intervient)<1%

propo2:
seul le hasard intervient => p(résultat significatif)<1%

La question est de vérifier que propo1 <=> propo 2.

J'imagine qu'on doit pouvoir démontrer ça assez facilement, en fait. Les deux doivent pouvoir se ramener à un truc du genre: probabilité( (le résultat est significatif) ET (seul le hasard est intervenu) ) < 1%.

Bon, j'imagine que le plus simple va être de me retapper un cours de proba. Ca serait de la flemmite aigue de demander qu'on me fasse un cours sur un forum. En tout cas, la post de nikoteen m'a aidé à cerner le type d'info qui vont m'intéresser en reprendant mes cours.

Q2: Je pense qu'on est d'accord sur le fond. En fait, c'est surtout que comme on parle de proba et de formalisation, je ne veux pas aller jusqu'aux énoncés du genre "ce nombre de succès nous suffit/ne nous suffit pas". Juste parceque ce n'est pas mathématique. Les math s'arrètent au "n succès=>n% de chances que".
C'est pas du tout une remise en cause de la démarche de l'OZ, hein. Je cherche juste à comprendre un peu les maths qui se cachnent derrière la notion de reproductibilité des expériences.
 
Le sujet a été verrouillé.
   15/02/12 à 15:32 #27784
yquemener
Contributeur extraordinaire !
Messages: 1596
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
 Re:Qu'est-ce qu'un résultat significatif
Q1. Je crois que je parviens à distinguer ce que tu veux dire. Si on obtient un résultat X alors qu'il a 1% de chances de se produire, est ce que ça veut dire que lorsque ce résultat X survient, il a 1% de chance d'être dû au hasard ?

Je dirais que oui, mais que les deux propositions ne sont pas exactement équivalentes. Tu mesures dans un cas la probabilité de l'événement X et dans l'autre la probabilité qu'il ne soit pas indépendant d'une autre variable (le medium qui pousse mentalement la pièce par exemple). Identiques sur une expérience unique, ces deux probabilités deviennent différentes dés qu'on répète l'expérience.


Q2. Mais on n'est pas en train de se disputer :) Note que la formulation qu'utilise l'OZ est précise. Je ne la retrouve plus mais c'est quelque chose du genre en cas de succès : "Nous avons obtenu un résultat remarquable, doté d'une probabilité inférieure à 1% et nous invitons à la reproduction de cette expérience dés que possible." Et en cas d'echec "Nous avons obtenu un résultat en conformité avec ce qu'obtiendrait un tirage aléatoire, nous ne pouvons donc conclure à l'existence d'un effet."
 
Le sujet a été verrouillé.
   15/02/12 à 16:55 #27786
Totoche
Contributeur extraordinaire !
Messages: 327
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
 Re:Qu'est-ce qu'un résultat significatif
Q1: Je crois qu'on s'est compris. Je dit bien je crois, à défaut d'avoir un vrais langage formel pour s'exprimer. Mais en te lisant, il me semble bien que tu exprime l'idée que j'avais en tête.
Comme je comprend le post de nikoteen, son premier paragraphe, c'est ma proposition 1. Le second, c'est ma proposition 2. Le second paragraphe commençant par "autrement dit", je me dit qu'il doit y avoir une démonstration d'équivalence entre les deux propositions, et elle ne me saute pas aux yeux.
Q2: On est d'accord, mais en fait on a un peu dérivé. Je cherchais surtout à vérifier que j'avais bien compris dans quel ordre on faisait les choses. Cad: je choisi d'abord un interval de confiance (je ne veux retenir comme succès qu'un résultat qui aurait moins de n% de chances de se produire par hasard), puis je calcule le résultat correspondant (si mon interval de confiance est 99%, alors un succès correspond à 64 réussites sur 100 essais).

A force de tourner ce truc dans ma tête, une troisème question me vient à l'esprit.

Q3: Serait-il vraiment dangereux pour l'expérience que l'interval de confiance soit déterminé après coup par une personne complaisante qui cherche à prouver la réalité du phènomène. Je serais tenté de dire que même pas. Si les résultats ne vont pas dans son sens, il sera obligé de fixer un interval de confiance trop bas et ne sera pas crédible. Si les résultats sont quelque peu improbables (et s'il n'y a pas phènomène inabituel, bien entendu), les expériences à venir remettront rapidement les choses en place. Donc, tout au plus, on risque de faire travailler des gens pour rien en forçant un peu l'interprétation pour provoquer une réitération de l'expérience.
Tout ça pour dire que ce sont des données d'interprétation des résultats, qui peuvent éventuellement être trafiqués après coup sans fausser l'expérience. Contrairement à un trafic des résultats eux mêmes (agréger les résultats de plusieurs expériences avant d'oublier comme par hasard les 99 médiums qui se sont plantés dans chacune d'entre elles) qui ote toute validité scientifique à l'opération.
Je suis dans le juste ou je me plante, sur ce point? (Je sais pas si je suis bien clair... vous me dites si je dois reformuler)
 
Le sujet a été verrouillé.
Revenir en hautPage: 12
Modérateur: Bobby, Jerem
Développé par KunenaObtenir les derniers messages directement sur votre PC - Version française:SFK