Bienvenue, Invité
Merci de vous identifier ou de vous inscrire.    Mot de passe perdu?
signifie que ce forum est verrouillé; pas de nouveaux messages possibles.
l'évolution du Peer Review... mieux comprendre ce système. signifie que ce forum est verrouillé; pas de nouveaux messages possibles.
(1 lecteur(s)) (1) Invité(s)
Aller en basPage: 1
SUJET: l'évolution du Peer Review... mieux comprendre ce système.
   10/04/14 à 16:16 #43248
Jerem
Moderateur
Messages: 948
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
Sexe: Masculin Observatoire Zététique jeremy.royaux@hotmail.be Lieu: Bruxlles - Belgique Date anniversaire: 24/02
 l'évolution du Peer Review... mieux comprendre ce système.
le blog Skeptom a publié une traduction d'un article de Neuroskeptic concernant l'évolution des méthodes de Peer Review, assez intéressant

voila l'article FR :
sceptom.wordpress.com/2014/01/05/un-nouv...review-neuroskeptic/
 
Modérateur
Observatoire Zététique
Le sujet a été verrouillé.
   10/04/14 à 16:57 #43250
Pandora
Contributeur extraordinaire !
Messages: 378
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
Lieu: A l'horizon des évenements
 Re:l'évolution du Peer Review... mieux comprendre ce système.
Un sujet intéressant, cependant plusieurs chose me chagrine personnellement.

L’idée de Smulders est que les manuscrits scientifiques devraient être soumis au peer-review en omettant les résultats et la discussion. Les reviewers2 donneraient leur avis uniquement sur base de la robustesse de la méthode et de l’introduction. S’ils sont en faveur de la publication, les auteurs enverraient alors l’article complet.

Bon ça me fait un peu rigoler, j'ai du mal à voir comment on pourrait analyser un papier sur la simple base de l'intro (qui est généralement construite uniquement pour vendre le contenu de l'article et qui n'a pas grand intérêt autre que le remplissage) et le matériel et méthode, qui à l'exception de papier sur la méthodologie (!), n'est jamais très original et très souvent incomplet (ce qui amène d'ailleurs souvent à des retraits d'article par la suite, les omissions n'étant pas toujours involontaires, surtout sur la manière de faire les stats .... =)). A la rigueur on peut reprocher aux reviewers de ne pas être assez sévère sur la manière de présenter les méthodes (partie pourtant très importante) et de ne s’intéresser qu'aux résultats, mais ce n'est pas en enlevant les résultats que l'on va enlever un quelconque biais de publication.

2 cas de figures à mon avis :

- On annonce dans l'intro que les résultats sont négatifs... Je ne vois pas la différence avec l'ancienne méthode.
- On annonce pas dans l'intro, mais alors la "seconde" étape de validation rejettera les résultats jugés peu intéressants anyway.

Donc je ne saisis vraiment pas ou peut-être l'amélioration...!

Le problème dans le processus de publications est plus profond que ça :
- > La course à la publication des chercheurs pour plusieurs raison : Compétition augmentée par le prix de la recherche élevée car de plus en plus technologique et complexe, ce qui engendre un "besoin" d'innover (plus grosses publications) permanent plutôt qu'à reproduire simplement les résultats.
Ensuite les grosses revue publie des papiers qui font "nouveaux" car ces papiers là au sommet de la vague seront beaucoup plus cités que les autres, et elle maintiendra sont taux d'abonnement etc... Quitte à publier des papiers mauvais ou débiles à la Séralini, car la revue en tire de l'argent (ça buzz), bien que dans ce cas là c'est peut-être allé un peu loin. Contrairement à ce que les gens pensent, c'est beaucoup plus facile de publier des choses absurdes (mais bien présentées et "novatrices") que des choses intelligentes mais aux résultats négatifs/mitigés (disons que seuls les petits journaux s'en occuperont et donc ça n'attire pas les chercheurs).

Je me souviens d'un papier (nature) qui présentait une méthode révolutionnaire pour diagnostiquer l'Alzheimer avec un test sanguin très pratique (cela avait même buzzé dans les médias classiques). L'article en question, bien que juste sur le fond et la méthode, était une farce statistique. Nature l'a publié car savait très bien que c'était très vendeur.

L'indexation pose problème, le besoin de retour sur investissement pose problème (qui veut investir des millions pour plusieurs années pour de la recherche fonda qui coûte de plus en plus chère ?), et enfin le nombre croissants de papiers non-reproduits qui polluent la recherche pose problème (recherche absolue du résultat scoop). Ce n'est que dans cette troisième section que le biais de publication du peer reviewing apparait. Cependant si les deux autres points ne se posaient pas il n'existerait pas.

Bon heureusement il reste encore beaucoup de bonne science, mais ombragée et entachée par les articles "scoop". Il faut juste garder en tête que la presse scientifique... Est de la presse avant tout. Pour se renseigner sur un sujet il faut déjà faire le tri dans la presse scientifique pour enlever l'aspect presse. Imaginez la presse classique...
 
Le sujet a été verrouillé.
   10/04/14 à 23:03 #43256
tguiot
Nouveau venu
Messages: 2
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
 Re:l'évolution du Peer Review... mieux comprendre ce système.
Bonjour Pandora,

Ne confonds-tu pas intro et abstract? Selon moi, l'intro sert surtout à poser le contexte, évaluer les travaux antérieurs, poser la question qui intéresse le chercheur et parler des moyens pour y répondre. La section materials and methods est, je suis d'accord, trop souvent insuffisamment complète.

Il va de soi qu'avec le processus de publication proposé par Neuroskeptic, cette section sur la méthodologie doit être détaillée au maximum. Je ne vois pas en quoi le processus ne serait pas une amélioration. Aujourd'hui, les papiers sont acceptés en fonction de critères qui dépassent largement le seul intérêt académique et la qualité méthodologique. Tu l'as bien expliqué dans ton intervention. Si un tel processus était modifié dans le sens de ce que propose Neuroskeptic, il n'y aurait plus que ces deux aspects précisément qui seraient évalués et sur lesquels une décision de publication serait prise. En résumé, le processus serait semblable à ce qui suit:
1. le chercheur dit au journal:
1a. voici la question que je me pose dans tel contexte
1b. voici les moyens que je compte mettre en oeuvre pour y répondre
2. l'éditeur se demande:
2a. la question est-elle intéressante? (oublions ici comment décider de ce qui est intéressant ou pas)
2b. les moyens proposés sont-ils pertinents? la réponse qu'il obtiendra avec ces moyens sera-t-elle fiable?
3. si la réponse à ces deux question est oui, le journal s'engage à publier l'article, sans connaître à l'avance les résultats. Si non, le chercheur trouve une meilleure question ou améliore sa méthodologie.

Evidemment, la clé de voûte de ce processus est surtout d'arriver à faire accepter ce nouveau processus par les éditeurs (et les chercheurs). S'ils l'acceptent, ils doivent également accepter de perdre l'élément "buzz", l'élement médiatique (l'élement "nouveau" pourrait être conservé par le point 2a); et d'un autre côté, les chercheurs doivent accepter de perdre un peu l'élément prestige. S'ils l'acceptent, ce sera le signe d'un changement de mentalité, d'état d'esprit, de philosophie de la recherche. C'est, in fine, la mentalité actuelle régnante qui fait découler les problèmes que tu cites, y compris le biais de publication. Tout le monde y participe, parfois à contre-coeur puisqu'il y a des chercheurs qui sont préoccupés par ces divers biais, mais tout le monde se dit qu'on n'a pas le choix.

Je ne crois pas que modifier seul le processus de publication soit suffisant; il faudra modifier plus en profondeur toute la philosophie de la recherche, et notamment la façon dont les fonds sont attribués. Mais je pense qu'il s'agit tout de même d'une condition nécessaire.

(NB: je suis sceptom, c'est moi qui ai traduit l'article de Neuroskeptic)
 
Dernière édition: 10/04/14 à 23:24 Par Jerem.
Le sujet a été verrouillé.
   10/04/14 à 23:25 #43257
Jerem
Moderateur
Messages: 948
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
Sexe: Masculin Observatoire Zététique jeremy.royaux@hotmail.be Lieu: Bruxlles - Belgique Date anniversaire: 24/02
 Re:l'évolution du Peer Review... mieux comprendre ce système.
Bienvenue à toi, content de te voir participer
 
Modérateur
Observatoire Zététique
Le sujet a été verrouillé.
   11/04/14 à 09:51 #43263
Pandora
Contributeur extraordinaire !
Messages: 378
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
Lieu: A l'horizon des évenements
 Re:l'évolution du Peer Review... mieux comprendre ce système.
Salut tguiot, bienvenu ici !

Ne confonds-tu pas intro et abstract? Selon moi, l'intro sert surtout à poser le contexte, évaluer les travaux antérieurs, poser la question qui intéresse le chercheur et parler des moyens pour y répondre.

Oui enfin rappeler les travaux antérieur d'accord, sauf que je ne vois pas trop en quoi cela permet de savoir si un article est intéressant ou non. Ceci pour plusieurs raisons :
-> La personne lisant l'article est du domaine (enfin j'espère pour le reviewer....!) et connait les travaux antérieurs.
-> On pourra essayer de mettre en perspective travaux antérieurs - nouvelles questions. Mais cela me semble ténu, et dans ce cas on favorisera une fois de plus les "questions nouvelles" par rapport aux anciens travaux, donc on retombe dans la même logique qu'avant.

Il va de soi qu'avec le processus de publication proposé par Neuroskeptic, cette section sur la méthodologie doit être détaillée au maximum. Je ne vois pas en quoi le processus ne serait pas une amélioration.

la question est-elle intéressante? (oublions ici comment décider de ce qui est intéressant ou pas)

C'est précisément ce qui pose problème dans ce processus. Au lieu de sélectionner sur les résultats positifs versus négatifs on sélectionne sur nouvelle question vs reproductibilité d'une ancienne manip / infirmation d'une hypothèse (les potentiels résultats négatifs d'avant...). Pour moi ça n'empire pas les choses certes, mais cela ne fait que déplacer le problème. A moins d'imaginer un monde parfait ou toutes les questions sont acceptées d'emblée si elle sont soutenues par une bonne méthode mais on sait très bien que ça n'arrivera pas.


Évidemment, la clé de voûte de ce processus est surtout d'arriver à faire accepter ce nouveau processus par les éditeurs (et les chercheurs). S'ils l'acceptent, ils doivent également accepter de perdre l'élément "buzz", l'élement médiatique (l'élement "nouveau" pourrait être conservé par le point 2a); et d'un autre côté, les chercheurs doivent accepter de perdre un peu l'élément prestige. S'ils l'acceptent, ce sera le signe d'un changement de mentalité, d'état d'esprit, de philosophie de la recherche. C'est, in fine, la mentalité actuelle régnante qui fait découler les problèmes que tu cites, y compris le biais de publication. Tout le monde y participe, parfois à contre-coeur puisqu'il y a des chercheurs qui sont préoccupés par ces divers biais, mais tout le monde se dit qu'on n'a pas le choix.


Bon là je ne peux être que plus d'accord avec ça ! Mais c'est très idéaliste...
Le problème de mentalité et à mon avis un problème impossible à résoudre, car l'humain veut qu'on parle de lui. Heureusement il y a toujours d'autres méchants qui veulent casser l'ambiance. Tout système aura toujours des biais, le seul moyen de les éviter est la bonne foi (haha...). Heureusement la science repose aussi sur le fait qu'il y ai assez de scientifiques différents pour que ces biais de publication se noient dans la masse, bien que cela ne facilite pas le travail des autres chercheurs. Paradoxalement c'est aussi ce nombre important de scientifiques qui exacerbe la compétition pour les bourses et qui créé les biais de publication au départ.

A mon avis un des moyens les plus simples d'améliorer le système est de revoir l'indexage reposant sur la quantité de citations (avec les abus que ça amène, comme par exemple l'explosion des articles "revue" énormément cités et qui n'apportent rien de neuf), avec un système évaluant plus de critères (plus de complexité veut généralement dire plus difficile de tricher). Mais le problème est que c'est beaucoup plus compliqué à automatiser et que ça coûtera probablement plus cher.

Après je te concède un point (je suis pas si têtue... =)) : ça aurait le mérite d'être essayé, et avec un N suffisant on pourrait appliquer quelques stats pour voir si c'est significativement meilleur que la méthode précédente =) Malheureusement je ne crois pas.


(NB: je suis sceptom, c'est moi qui ai traduit l'article de Neuroskeptic)


Sympa je ne connaissais pas l'adresse, je vais peut-être y trainer un peu...
 
Le sujet a été verrouillé.
   12/04/14 à 17:48 #43274
tguiot
Nouveau venu
Messages: 2
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
 Re:l'évolution du Peer Review... mieux comprendre ce système.
C'est précisément ce qui pose problème dans ce processus. Au lieu de sélectionner sur les résultats positifs versus négatifs on sélectionne sur nouvelle question vs reproductibilité d'une ancienne manip / infirmation d'une hypothèse (les potentiels résultats négatifs d'avant...). Pour moi ça n'empire pas les choses certes, mais cela ne fait que déplacer le problème. A moins d'imaginer un monde parfait ou toutes les questions sont acceptées d'emblée si elle sont soutenues par une bonne méthode mais on sait très bien que ça n'arrivera pas.
La définition de quelle question est intéressante ou pas est primordiale. Le problème sous-jacent au biais de publication, c'est que les éditeurs décident a posteriori, càd au moment où ils ont les résultats sous les yeux. Si le résultat est positif, il a d'office plus de chances d'être considéré comme intéressant que s'il est négatif. C'est un drôle d'effet; personnellement, je ne comprends pas pourquoi il devrait en être ainsi. Mais apparemment, c'est le cas.
Cet effet-là, qui n'est sans doute qu'un seul des nombreux aspects problématiques du processus de publication en recherche, est probablement celui-là même que Neuroskeptic cherchait à annuler par sa proposition. Ne pouvant connaître à l'avance si les résultats seront positifs ou non, les éditeurs seront obligés de décider de l'intérêt d'une question scientifique avec d'autres critères.

J'aime bien la distinction que tu fais entre les études "nouvelles" et celles "de réplication". Il me paraît clair que les études de réplication sont moins prisées par les éditeurs. Imagine, en plus, si les résultats de la réplication sont négatifs! (Quoique... s'ils contredisent des résultats précédents, ils pourraient servir à un nouveau buzz).

En tout cas, on est bien d'accord qu'un changement drastique est naïf. Mais je ne peux pas blâmer Neuroskeptic d'essayer vraiment, en proposant un processus différent, qui, même s'il ne pourra pas résoudre tous les problèmes, fournira probablement une amélioration quand même.
 
Le sujet a été verrouillé.
   14/04/14 à 10:13 #43282
Pandora
Contributeur extraordinaire !
Messages: 378
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
Lieu: A l'horizon des évenements
 Re:l'évolution du Peer Review... mieux comprendre ce système.
C'est un drôle d'effet; personnellement, je ne comprends pas pourquoi il devrait en être ainsi. Mais apparemment, c'est le cas.

L'idée que "ça marche" est simplement plus positive que "ça ne marche pas" à mon avis =)
Bien que cela soit un biais de pensée évident...

En tout cas, on est bien d'accord qu'un changement drastique est naïf. Mais je ne peux pas blâmer Neuroskeptic d'essayer vraiment, en proposant un processus différent, qui, même s'il ne pourra pas résoudre tous les problèmes, fournira probablement une amélioration quand même.

Et bien le temps nous le dira ! J'espère un jour voir un remaniement (meilleurs) de tout ça mais j'ai peu d'espoir. Après je suis peut-être pessimiste car l'ancienneté du système laisse croire à quelque chose d'indestructible, mais rien ne l'est en science.
 
Le sujet a été verrouillé.
   14/04/14 à 18:10 #43286
Bobby
Moderateur
Messages: 2847
Personne n'est hors ligne Cliquez ici pour voir le profil de cet utilisateur
Sexe: Féminin Lieu: Paris Date anniversaire: 01/01
 Re:l'évolution du Peer Review... mieux comprendre ce système.
C'était dans mon fil d'actu et je ne l'ai pas encore lu :
blogs.scientificamerican.com/information...hing-stays-the-same/

Si ça intéresse quelqu'un.
 
Retrouvez-nous sur facebook :
www.facebook.com/groups/pseudo.scepticisme/
Le sujet a été verrouillé.
Revenir en hautPage: 1
Modérateur: Bobby, Jerem
Développé par KunenaObtenir les derniers messages directement sur votre PC - Version française:SFK