Read on Twitter
1/
[THREAD]
https://abs.twimg.com/emoji/v2/... draggable="false" alt="⬇️" title="Pfeil nach unten" aria-label="Emoji: Pfeil nach unten">https://abs.twimg.com/emoji/v2/... draggable="false" alt="⬇️" title="Pfeil nach unten" aria-label="Emoji: Pfeil nach unten">https://abs.twimg.com/emoji/v2/... draggable="false" alt="⬇️" title="Pfeil nach unten" aria-label="Emoji: Pfeil nach unten">
Aujourd& #39;hui : comment ça marche, une publi scientifique ?
(parce qu& #39;on m& #39;a cherché avec ça...)
Vous savez, la phrase de journaliste : "Selon une étude..."
Mais c& #39;est quoi une "étude" ?
(spoil : on va parler du "Lancet-Gate", du #Raoult, et même d& #39;une députée...)
[THREAD]
Aujourd& #39;hui : comment ça marche, une publi scientifique ?
(parce qu& #39;on m& #39;a cherché avec ça...)
Vous savez, la phrase de journaliste : "Selon une étude..."
Mais c& #39;est quoi une "étude" ?
(spoil : on va parler du "Lancet-Gate", du #Raoult, et même d& #39;une députée...)
2/
J& #39;entends parfois: "Ca vient du Lancet ? Ah bah oui mais c& #39;est pourri paskeu le Lancet il avait dit aussi que..."
Sauf qu& #39;un journal scientifique ne marche pas du tout comme un journal classique. Le Lancet s& #39;est planté comme une bouse mais n& #39;a aucune opinion. Et voici pourquoi
J& #39;entends parfois: "Ca vient du Lancet ? Ah bah oui mais c& #39;est pourri paskeu le Lancet il avait dit aussi que..."
Sauf qu& #39;un journal scientifique ne marche pas du tout comme un journal classique. Le Lancet s& #39;est planté comme une bouse mais n& #39;a aucune opinion. Et voici pourquoi
3/
Dans un journal classique, vous avez un proprio (l& #39;actionnaire) qui embauche un rédac-chef (plus ou moins "libre" selon l& #39;humeur du proprio), qui lui-même embauche des journalistes en général assez en accord avec lui.
Dans un journal classique, vous avez un proprio (l& #39;actionnaire) qui embauche un rédac-chef (plus ou moins "libre" selon l& #39;humeur du proprio), qui lui-même embauche des journalistes en général assez en accord avec lui.
4/
Dans un journal scientifique, le proprio (l& #39;éditeur, mais ça se dit "publisher" en anglais) cherche à faire avancer la science par une grande diffusion, donc à ce que les articles soient très cités par d& #39;autres (et au passage, ça fait vendre, bien entendu).
Dans un journal scientifique, le proprio (l& #39;éditeur, mais ça se dit "publisher" en anglais) cherche à faire avancer la science par une grande diffusion, donc à ce que les articles soient très cités par d& #39;autres (et au passage, ça fait vendre, bien entendu).
5/
Le proprio (l& #39;éditeur) nomme un rédac-chef (attention : ça se dit "editor" en anglais...) qui est toujours un chercheur et qui n& #39;a en théorie aucun lien avec l& #39;éditeur.
Le proprio (l& #39;éditeur) nomme un rédac-chef (attention : ça se dit "editor" en anglais...) qui est toujours un chercheur et qui n& #39;a en théorie aucun lien avec l& #39;éditeur.
6/
Puis le rédac-chef (un chercheur, donc) nomme le "tableau éditorial" (en gros : l& #39;ensemble de ses rédac-chefs-adjoints) qui sont aussi des chercheurs, appartenant souvent à d& #39;autres unités de recherche, pour diversifier.
Puis le rédac-chef (un chercheur, donc) nomme le "tableau éditorial" (en gros : l& #39;ensemble de ses rédac-chefs-adjoints) qui sont aussi des chercheurs, appartenant souvent à d& #39;autres unités de recherche, pour diversifier.
7/
Le rédac-chef reçoit alors peu ou beaucoup (selon le succès du journal) d& #39;articles "candidats" venant d& #39;autres chercheurs qui n& #39;ont souvent AUCUN LIEN avec les rédac-chefs (mais on y reviendra...) : l& #39;article soumis n& #39;est pas encore publié: c& #39;est un "pre-print" ou "manuscrit".
Le rédac-chef reçoit alors peu ou beaucoup (selon le succès du journal) d& #39;articles "candidats" venant d& #39;autres chercheurs qui n& #39;ont souvent AUCUN LIEN avec les rédac-chefs (mais on y reviendra...) : l& #39;article soumis n& #39;est pas encore publié: c& #39;est un "pre-print" ou "manuscrit".
8/
Pour chaque manuscrit (article) soumis (candidat), le rédac-chef ou un de ses adjoints choisit plusieurs peer-reviewers (revue par les pairs) : ce sont d& #39;autres chercheurs TOTALEMENT INDEPENDANTS des auteurs, qui vont décortiquer, vérifier le manuscrit.
Pour chaque manuscrit (article) soumis (candidat), le rédac-chef ou un de ses adjoints choisit plusieurs peer-reviewers (revue par les pairs) : ce sont d& #39;autres chercheurs TOTALEMENT INDEPENDANTS des auteurs, qui vont décortiquer, vérifier le manuscrit.
9/
Chaque peer-reviewer envoie alors son rapport de vérification avec la mention : "à rejeter" ou "à accepter" ou "à accepter mais avec modifications", et ils y ajoutent un argumentaire et des suggestions
Chaque peer-reviewer envoie alors son rapport de vérification avec la mention : "à rejeter" ou "à accepter" ou "à accepter mais avec modifications", et ils y ajoutent un argumentaire et des suggestions
10/
La plupart des manuscrits soumis (articles candidats) sont rejetés (pas assez de données, pas novateur...): c& #39;est un gage de sérieux et de bonne sélection. Ca dépend aussi de la renommée du journal. Donc pour les auteurs, il y a une stratégie de choix du journal où on soumet.
La plupart des manuscrits soumis (articles candidats) sont rejetés (pas assez de données, pas novateur...): c& #39;est un gage de sérieux et de bonne sélection. Ca dépend aussi de la renommée du journal. Donc pour les auteurs, il y a une stratégie de choix du journal où on soumet.
11/
Au final c& #39;est le rédac-chef qui décide de publier l& #39;article ou non, en fonction des rapports des peer-reviewers. Et parfois il y a des allers-retours avec les auteurs pour améliorer la publication. Tout ça prend beaucoup de temps (en moyenne plusieurs mois): gage de sérieux.
Au final c& #39;est le rédac-chef qui décide de publier l& #39;article ou non, en fonction des rapports des peer-reviewers. Et parfois il y a des allers-retours avec les auteurs pour améliorer la publication. Tout ça prend beaucoup de temps (en moyenne plusieurs mois): gage de sérieux.
12/
Je rêêêve que le journalisme classique s& #39;impose à lui-même ne serait-ce qu& #39;un tout petit peu de règles de vérifications comme celles-ci...
Alors me direz-vous : mais avec tant de précautions, pourquoi ça foire complètement parfois ? Voyons voir...
Je rêêêve que le journalisme classique s& #39;impose à lui-même ne serait-ce qu& #39;un tout petit peu de règles de vérifications comme celles-ci...
Alors me direz-vous : mais avec tant de précautions, pourquoi ça foire complètement parfois ? Voyons voir...
13/
Tout d& #39;abord il est utile de préciser que les publis pourries ou frauduleuses sont une toute petite minorité, même si évidemment elles font le buzz quand l& #39;enjeu est grand.
Tout d& #39;abord il est utile de préciser que les publis pourries ou frauduleuses sont une toute petite minorité, même si évidemment elles font le buzz quand l& #39;enjeu est grand.
14/
La première cause de foirage, c& #39;est l& #39;invention ou falsification de données (celle du "Lancet-Gate") mais aussi la plus difficile à détecter (chaque peer-reviewer ne va pas s& #39;amuser à prendre l& #39;avion pour vérifier si les patients sont réels, par exemple).
La première cause de foirage, c& #39;est l& #39;invention ou falsification de données (celle du "Lancet-Gate") mais aussi la plus difficile à détecter (chaque peer-reviewer ne va pas s& #39;amuser à prendre l& #39;avion pour vérifier si les patients sont réels, par exemple).
15/
Dans l& #39;étude de Mehra et al. publiée dans le Lancet, c& #39;était assez bien ficelé. Ceci dit, je suis pas spécialiste et j& #39;avais vu quelques trucs zarbi. Exemple le même % de diabétiques en Afrique et en Amérique du Nord. Ca aurait dû mettre la puce à l& #39;oreille des peer-reviewers
Dans l& #39;étude de Mehra et al. publiée dans le Lancet, c& #39;était assez bien ficelé. Ceci dit, je suis pas spécialiste et j& #39;avais vu quelques trucs zarbi. Exemple le même % de diabétiques en Afrique et en Amérique du Nord. Ca aurait dû mettre la puce à l& #39;oreille des peer-reviewers
16/
Si vous voulez mon avis : le Lancet a foutu la pression aux peer-reviewers pour qu& #39;ils vérifient en 48h. Résultat : ils ont fait ça avec les pieds. Donc le Lancet ne DIT PAS que l& #39;hydroxychloroquine marche ou pas (il s& #39;en fout, le Lancet) : il s& #39;est juste pris la méga-honte.
Si vous voulez mon avis : le Lancet a foutu la pression aux peer-reviewers pour qu& #39;ils vérifient en 48h. Résultat : ils ont fait ça avec les pieds. Donc le Lancet ne DIT PAS que l& #39;hydroxychloroquine marche ou pas (il s& #39;en fout, le Lancet) : il s& #39;est juste pris la méga-honte.
17/
Mais les fraudes les plus fréquentes consistent plutôt à contourner le peer-reviewing (la vérification indépendante par les pairs).
Mais les fraudes les plus fréquentes consistent plutôt à contourner le peer-reviewing (la vérification indépendante par les pairs).
18/
Première méthode pour contourner cette vérification indépendante: choisir une revue "prédatrice" (peer-reviewing fantôme): suffit de payer pour être publié. (Dédicace à la députée et médecin Martine Wonner). Un site recense ces revues mais n& #39;est pas à jour (elles pullulent).
Première méthode pour contourner cette vérification indépendante: choisir une revue "prédatrice" (peer-reviewing fantôme): suffit de payer pour être publié. (Dédicace à la députée et médecin Martine Wonner). Un site recense ces revues mais n& #39;est pas à jour (elles pullulent).
19/
Ou alors on tente dans une revue où on est soi-même rédac-chef ou adjoint! Vous voyez le conflit d& #39;intérêt: même si les peer-reviewers disent de rejeter l& #39;article, vous l& #39;acceptez quand même (et comme par hasard c& #39;est le vôtre !). Raoult et copains sont au top de la technique
Ou alors on tente dans une revue où on est soi-même rédac-chef ou adjoint! Vous voyez le conflit d& #39;intérêt: même si les peer-reviewers disent de rejeter l& #39;article, vous l& #39;acceptez quand même (et comme par hasard c& #39;est le vôtre !). Raoult et copains sont au top de la technique
20/
Alors quand Raoult et son équipe ont sorti leurs publis sur l& #39;hydroxychloroquine, la Terre entière a été tellement étonnée de ces publis (dont la première peer-reviewée en 24h !) de nombreux chercheurs leur ont demandé les rapports de peer-review. Ben... on attend toujours...
Alors quand Raoult et son équipe ont sorti leurs publis sur l& #39;hydroxychloroquine, la Terre entière a été tellement étonnée de ces publis (dont la première peer-reviewée en 24h !) de nombreux chercheurs leur ont demandé les rapports de peer-review. Ben... on attend toujours...
21/
Dans l& #39;affaire du Lancet, l& #39;un des auteurs est un méga-fraudeur, mais n& #39;était pas copain ou directement rédac-chef ou adjoint du Lancet. Donc : Bim ! Publi rétractée (l& #39;arme atomique dans le domaine de la publi scientifique).
Dans l& #39;affaire du Lancet, l& #39;un des auteurs est un méga-fraudeur, mais n& #39;était pas copain ou directement rédac-chef ou adjoint du Lancet. Donc : Bim ! Publi rétractée (l& #39;arme atomique dans le domaine de la publi scientifique).
22/
Alors qu& #39;avec le Pr Raoult et son équipe, plusieurs sont à la fois auteurs et rédac-chef ou rédac-chef adjoints. Donc évidemment : aucune chance que le rédac-chef ou rédac-chef-adoint décide de rétracter l& #39;article... Il en est l& #39;auteur !
Alors qu& #39;avec le Pr Raoult et son équipe, plusieurs sont à la fois auteurs et rédac-chef ou rédac-chef adjoints. Donc évidemment : aucune chance que le rédac-chef ou rédac-chef-adoint décide de rétracter l& #39;article... Il en est l& #39;auteur !
23/
Etre à la fois auteur et rédac-chef ou adjoint est donc un conflit d& #39;intérêt. Les liens d& #39;intérêts avec des firmes, eux, doivent être mentionnés dans l& #39;article. Raoult a félicité des articles dont les auteurs ont des liens d& #39;intérêts avec Gilead. Ca relativise les choses.
Etre à la fois auteur et rédac-chef ou adjoint est donc un conflit d& #39;intérêt. Les liens d& #39;intérêts avec des firmes, eux, doivent être mentionnés dans l& #39;article. Raoult a félicité des articles dont les auteurs ont des liens d& #39;intérêts avec Gilead. Ca relativise les choses.
24/
Il y aurait encore plein de choses à dire. Par exemple il faudrait que tous les journaux adoptent le peer-reviewing en double aveugle (l& #39;auteur et les peer-reviewers ne peuvent pas connaitre leurs identités respectives) : cela empêcherait d& #39;être "influencé".
Il y aurait encore plein de choses à dire. Par exemple il faudrait que tous les journaux adoptent le peer-reviewing en double aveugle (l& #39;auteur et les peer-reviewers ne peuvent pas connaitre leurs identités respectives) : cela empêcherait d& #39;être "influencé".
25/
Enfin, les journalistes appellent "études" des choses qui n& #39;en sont pas. Exemple : la toute première "étude chinoise" dont parlait Didier Raoult, dans BioScienceTrends, était en fait un compte-rendu de réunion sans aucune donnée-patient.
Enfin, les journalistes appellent "études" des choses qui n& #39;en sont pas. Exemple : la toute première "étude chinoise" dont parlait Didier Raoult, dans BioScienceTrends, était en fait un compte-rendu de réunion sans aucune donnée-patient.
26/
Il y a aussi les "letter to the editor" (lettre au rédac-chef) qui n& #39;est qu& #39;une lettre même si elle est souvent peer-reviewée. On ne peut pas parler d& #39;"étude". Il y a les "short-communication", etc...
Il y a aussi les "letter to the editor" (lettre au rédac-chef) qui n& #39;est qu& #39;une lettre même si elle est souvent peer-reviewée. On ne peut pas parler d& #39;"étude". Il y a les "short-communication", etc...
27/
Et il est important de parler des pre-print en ligne (sur MedRxiv, BioRxiv...) qui ont connu un succès croissant : ces sites permettent de mettre en ligne un manuscrit pas encore peer-reviewé (pas encore vérifié de façon indépendante).
Et il est important de parler des pre-print en ligne (sur MedRxiv, BioRxiv...) qui ont connu un succès croissant : ces sites permettent de mettre en ligne un manuscrit pas encore peer-reviewé (pas encore vérifié de façon indépendante).
28/
L& #39;avantage des pre-print en ligne est : l& #39;info est rapide, libre. Sauf qu& #39;il y a le meilleur comme le pire. La preuve : ces sites préviennent qu& #39;il ne faut surtout pas prendre cela comme des guides de pratique clinique, et PAS REPRIS DANS LES MEDIAS comme info établie. Hum...
L& #39;avantage des pre-print en ligne est : l& #39;info est rapide, libre. Sauf qu& #39;il y a le meilleur comme le pire. La preuve : ces sites préviennent qu& #39;il ne faut surtout pas prendre cela comme des guides de pratique clinique, et PAS REPRIS DANS LES MEDIAS comme info établie. Hum...
29/
Enfin, en ce moment, on voit du grand n& #39;importe quoi : des sondages présentés comme des études, etc...
Enfin, en ce moment, on voit du grand n& #39;importe quoi : des sondages présentés comme des études, etc...
30/
Mais alors : quelle frénésie à publier des études, me direz-vous ! Et parfois pourries ! Pourquoi donc ? Et là on en vient au nombre de citations, au H-index, à l& #39;impact-factor... Et on verra si certains sont des "star mondiales" ou les "n°1". Mais dans un prochain thread...
Mais alors : quelle frénésie à publier des études, me direz-vous ! Et parfois pourries ! Pourquoi donc ? Et là on en vient au nombre de citations, au H-index, à l& #39;impact-factor... Et on verra si certains sont des "star mondiales" ou les "n°1". Mais dans un prochain thread...
Liens :
ICMJE : http://www.icmje.org/conflicts-of-interest/
Revues">https://www.icmje.org/conflicts... prédatrices (mais liste pas à jour car elles pullulent) : https://predatoryjournals.com/
Un">https://predatoryjournals.com/">... chercheur spécialiste de la fraude et qui n& #39;hésite pas à dézinguer (voir dans "catégories" par mots-clés en bas à droite) : https://www.h2mw.eu/ ">https://www.h2mw.eu/">...
ICMJE : http://www.icmje.org/conflicts-of-interest/
Revues">https://www.icmje.org/conflicts... prédatrices (mais liste pas à jour car elles pullulent) : https://predatoryjournals.com/
Un">https://predatoryjournals.com/">... chercheur spécialiste de la fraude et qui n& #39;hésite pas à dézinguer (voir dans "catégories" par mots-clés en bas à droite) : https://www.h2mw.eu/ ">https://www.h2mw.eu/">...
Et les peer-reviewers de ce thread sont : @MarieBayle77 et @lionel_case !
@threadreaderapp et les autres... FIN (provisoire sans doute) DE CE THREAD,
A RETWEETER autant que vous voulez...
A RETWEETER autant que vous voulez...
@threadreaderapp unroll
On me donne une idée pour un futur thread: le problème du modèle économique des publis scientifiques. Mais j& #39;ai déjà au chaud un futur thread sur les facteurs de confusion, un autre sur les index de citation (pour voir si Raoult est vraiment une "star mondiale n°1"). On verra...
AJOUT : Oups, j& #39;ai oublié : ça vaut carrément le coup de connaitre pubpeer : http://pubpeer.com"> http://pubpeer.com , la plus grande invention anti-fake scientifique. Site internet où chacun peut commenter les erreurs qu& #39;il a détectées dans un publi (et avec mots feutrés, parfois, ça déglingue!)
