Read on Twitter
1/
[THREAD]
Aujourd'hui : comment ça marche, une publi scientifique ?
(parce qu'on m'a cherché avec ça...)
Vous savez, la phrase de journaliste : "Selon une étude..."
Mais c'est quoi une "étude" ?
(spoil : on va parler du "Lancet-Gate", du #Raoult, et même d'une députée...)
[THREAD]
Aujourd'hui : comment ça marche, une publi scientifique ?
(parce qu'on m'a cherché avec ça...)
Vous savez, la phrase de journaliste : "Selon une étude..."
Mais c'est quoi une "étude" ?
(spoil : on va parler du "Lancet-Gate", du #Raoult, et même d'une députée...)
2/
J'entends parfois: "Ca vient du Lancet ? Ah bah oui mais c'est pourri paskeu le Lancet il avait dit aussi que..."
Sauf qu'un journal scientifique ne marche pas du tout comme un journal classique. Le Lancet s'est planté comme une bouse mais n'a aucune opinion. Et voici pourquoi
J'entends parfois: "Ca vient du Lancet ? Ah bah oui mais c'est pourri paskeu le Lancet il avait dit aussi que..."
Sauf qu'un journal scientifique ne marche pas du tout comme un journal classique. Le Lancet s'est planté comme une bouse mais n'a aucune opinion. Et voici pourquoi
3/
Dans un journal classique, vous avez un proprio (l'actionnaire) qui embauche un rédac-chef (plus ou moins "libre" selon l'humeur du proprio), qui lui-même embauche des journalistes en général assez en accord avec lui.
Dans un journal classique, vous avez un proprio (l'actionnaire) qui embauche un rédac-chef (plus ou moins "libre" selon l'humeur du proprio), qui lui-même embauche des journalistes en général assez en accord avec lui.
4/
Dans un journal scientifique, le proprio (l'éditeur, mais ça se dit "publisher" en anglais) cherche à faire avancer la science par une grande diffusion, donc à ce que les articles soient très cités par d'autres (et au passage, ça fait vendre, bien entendu).
Dans un journal scientifique, le proprio (l'éditeur, mais ça se dit "publisher" en anglais) cherche à faire avancer la science par une grande diffusion, donc à ce que les articles soient très cités par d'autres (et au passage, ça fait vendre, bien entendu).
5/
Le proprio (l'éditeur) nomme un rédac-chef (attention : ça se dit "editor" en anglais...) qui est toujours un chercheur et qui n'a en théorie aucun lien avec l'éditeur.
Le proprio (l'éditeur) nomme un rédac-chef (attention : ça se dit "editor" en anglais...) qui est toujours un chercheur et qui n'a en théorie aucun lien avec l'éditeur.
6/
Puis le rédac-chef (un chercheur, donc) nomme le "tableau éditorial" (en gros : l'ensemble de ses rédac-chefs-adjoints) qui sont aussi des chercheurs, appartenant souvent à d'autres unités de recherche, pour diversifier.
Puis le rédac-chef (un chercheur, donc) nomme le "tableau éditorial" (en gros : l'ensemble de ses rédac-chefs-adjoints) qui sont aussi des chercheurs, appartenant souvent à d'autres unités de recherche, pour diversifier.
7/
Le rédac-chef reçoit alors peu ou beaucoup (selon le succès du journal) d'articles "candidats" venant d'autres chercheurs qui n'ont souvent AUCUN LIEN avec les rédac-chefs (mais on y reviendra...) : l'article soumis n'est pas encore publié: c'est un "pre-print" ou "manuscrit".
Le rédac-chef reçoit alors peu ou beaucoup (selon le succès du journal) d'articles "candidats" venant d'autres chercheurs qui n'ont souvent AUCUN LIEN avec les rédac-chefs (mais on y reviendra...) : l'article soumis n'est pas encore publié: c'est un "pre-print" ou "manuscrit".
8/
Pour chaque manuscrit (article) soumis (candidat), le rédac-chef ou un de ses adjoints choisit plusieurs peer-reviewers (revue par les pairs) : ce sont d'autres chercheurs TOTALEMENT INDEPENDANTS des auteurs, qui vont décortiquer, vérifier le manuscrit.
Pour chaque manuscrit (article) soumis (candidat), le rédac-chef ou un de ses adjoints choisit plusieurs peer-reviewers (revue par les pairs) : ce sont d'autres chercheurs TOTALEMENT INDEPENDANTS des auteurs, qui vont décortiquer, vérifier le manuscrit.
9/
Chaque peer-reviewer envoie alors son rapport de vérification avec la mention : "à rejeter" ou "à accepter" ou "à accepter mais avec modifications", et ils y ajoutent un argumentaire et des suggestions
Chaque peer-reviewer envoie alors son rapport de vérification avec la mention : "à rejeter" ou "à accepter" ou "à accepter mais avec modifications", et ils y ajoutent un argumentaire et des suggestions
10/
La plupart des manuscrits soumis (articles candidats) sont rejetés (pas assez de données, pas novateur...): c'est un gage de sérieux et de bonne sélection. Ca dépend aussi de la renommée du journal. Donc pour les auteurs, il y a une stratégie de choix du journal où on soumet.
La plupart des manuscrits soumis (articles candidats) sont rejetés (pas assez de données, pas novateur...): c'est un gage de sérieux et de bonne sélection. Ca dépend aussi de la renommée du journal. Donc pour les auteurs, il y a une stratégie de choix du journal où on soumet.
11/
Au final c'est le rédac-chef qui décide de publier l'article ou non, en fonction des rapports des peer-reviewers. Et parfois il y a des allers-retours avec les auteurs pour améliorer la publication. Tout ça prend beaucoup de temps (en moyenne plusieurs mois): gage de sérieux.
Au final c'est le rédac-chef qui décide de publier l'article ou non, en fonction des rapports des peer-reviewers. Et parfois il y a des allers-retours avec les auteurs pour améliorer la publication. Tout ça prend beaucoup de temps (en moyenne plusieurs mois): gage de sérieux.
12/
Je rêêêve que le journalisme classique s'impose à lui-même ne serait-ce qu'un tout petit peu de règles de vérifications comme celles-ci...
Alors me direz-vous : mais avec tant de précautions, pourquoi ça foire complètement parfois ? Voyons voir...
Je rêêêve que le journalisme classique s'impose à lui-même ne serait-ce qu'un tout petit peu de règles de vérifications comme celles-ci...
Alors me direz-vous : mais avec tant de précautions, pourquoi ça foire complètement parfois ? Voyons voir...
13/
Tout d'abord il est utile de préciser que les publis pourries ou frauduleuses sont une toute petite minorité, même si évidemment elles font le buzz quand l'enjeu est grand.
Tout d'abord il est utile de préciser que les publis pourries ou frauduleuses sont une toute petite minorité, même si évidemment elles font le buzz quand l'enjeu est grand.
14/
La première cause de foirage, c'est l'invention ou falsification de données (celle du "Lancet-Gate") mais aussi la plus difficile à détecter (chaque peer-reviewer ne va pas s'amuser à prendre l'avion pour vérifier si les patients sont réels, par exemple).
La première cause de foirage, c'est l'invention ou falsification de données (celle du "Lancet-Gate") mais aussi la plus difficile à détecter (chaque peer-reviewer ne va pas s'amuser à prendre l'avion pour vérifier si les patients sont réels, par exemple).
15/
Dans l'étude de Mehra et al. publiée dans le Lancet, c'était assez bien ficelé. Ceci dit, je suis pas spécialiste et j'avais vu quelques trucs zarbi. Exemple le même % de diabétiques en Afrique et en Amérique du Nord. Ca aurait dû mettre la puce à l'oreille des peer-reviewers
Dans l'étude de Mehra et al. publiée dans le Lancet, c'était assez bien ficelé. Ceci dit, je suis pas spécialiste et j'avais vu quelques trucs zarbi. Exemple le même % de diabétiques en Afrique et en Amérique du Nord. Ca aurait dû mettre la puce à l'oreille des peer-reviewers
16/
Si vous voulez mon avis : le Lancet a foutu la pression aux peer-reviewers pour qu'ils vérifient en 48h. Résultat : ils ont fait ça avec les pieds. Donc le Lancet ne DIT PAS que l'hydroxychloroquine marche ou pas (il s'en fout, le Lancet) : il s'est juste pris la méga-honte.
Si vous voulez mon avis : le Lancet a foutu la pression aux peer-reviewers pour qu'ils vérifient en 48h. Résultat : ils ont fait ça avec les pieds. Donc le Lancet ne DIT PAS que l'hydroxychloroquine marche ou pas (il s'en fout, le Lancet) : il s'est juste pris la méga-honte.
17/
Mais les fraudes les plus fréquentes consistent plutôt à contourner le peer-reviewing (la vérification indépendante par les pairs).
Mais les fraudes les plus fréquentes consistent plutôt à contourner le peer-reviewing (la vérification indépendante par les pairs).
18/
Première méthode pour contourner cette vérification indépendante: choisir une revue "prédatrice" (peer-reviewing fantôme): suffit de payer pour être publié. (Dédicace à la députée et médecin Martine Wonner). Un site recense ces revues mais n'est pas à jour (elles pullulent).
Première méthode pour contourner cette vérification indépendante: choisir une revue "prédatrice" (peer-reviewing fantôme): suffit de payer pour être publié. (Dédicace à la députée et médecin Martine Wonner). Un site recense ces revues mais n'est pas à jour (elles pullulent).
19/
Ou alors on tente dans une revue où on est soi-même rédac-chef ou adjoint! Vous voyez le conflit d'intérêt: même si les peer-reviewers disent de rejeter l'article, vous l'acceptez quand même (et comme par hasard c'est le vôtre !). Raoult et copains sont au top de la technique
Ou alors on tente dans une revue où on est soi-même rédac-chef ou adjoint! Vous voyez le conflit d'intérêt: même si les peer-reviewers disent de rejeter l'article, vous l'acceptez quand même (et comme par hasard c'est le vôtre !). Raoult et copains sont au top de la technique
20/
Alors quand Raoult et son équipe ont sorti leurs publis sur l'hydroxychloroquine, la Terre entière a été tellement étonnée de ces publis (dont la première peer-reviewée en 24h !) de nombreux chercheurs leur ont demandé les rapports de peer-review. Ben... on attend toujours...
Alors quand Raoult et son équipe ont sorti leurs publis sur l'hydroxychloroquine, la Terre entière a été tellement étonnée de ces publis (dont la première peer-reviewée en 24h !) de nombreux chercheurs leur ont demandé les rapports de peer-review. Ben... on attend toujours...
21/
Dans l'affaire du Lancet, l'un des auteurs est un méga-fraudeur, mais n'était pas copain ou directement rédac-chef ou adjoint du Lancet. Donc : Bim ! Publi rétractée (l'arme atomique dans le domaine de la publi scientifique).
Dans l'affaire du Lancet, l'un des auteurs est un méga-fraudeur, mais n'était pas copain ou directement rédac-chef ou adjoint du Lancet. Donc : Bim ! Publi rétractée (l'arme atomique dans le domaine de la publi scientifique).
22/
Alors qu'avec le Pr Raoult et son équipe, plusieurs sont à la fois auteurs et rédac-chef ou rédac-chef adjoints. Donc évidemment : aucune chance que le rédac-chef ou rédac-chef-adoint décide de rétracter l'article... Il en est l'auteur !
Alors qu'avec le Pr Raoult et son équipe, plusieurs sont à la fois auteurs et rédac-chef ou rédac-chef adjoints. Donc évidemment : aucune chance que le rédac-chef ou rédac-chef-adoint décide de rétracter l'article... Il en est l'auteur !
23/
Etre à la fois auteur et rédac-chef ou adjoint est donc un conflit d'intérêt. Les liens d'intérêts avec des firmes, eux, doivent être mentionnés dans l'article. Raoult a félicité des articles dont les auteurs ont des liens d'intérêts avec Gilead. Ca relativise les choses.
Etre à la fois auteur et rédac-chef ou adjoint est donc un conflit d'intérêt. Les liens d'intérêts avec des firmes, eux, doivent être mentionnés dans l'article. Raoult a félicité des articles dont les auteurs ont des liens d'intérêts avec Gilead. Ca relativise les choses.
24/
Il y aurait encore plein de choses à dire. Par exemple il faudrait que tous les journaux adoptent le peer-reviewing en double aveugle (l'auteur et les peer-reviewers ne peuvent pas connaitre leurs identités respectives) : cela empêcherait d'être "influencé".
Il y aurait encore plein de choses à dire. Par exemple il faudrait que tous les journaux adoptent le peer-reviewing en double aveugle (l'auteur et les peer-reviewers ne peuvent pas connaitre leurs identités respectives) : cela empêcherait d'être "influencé".
25/
Enfin, les journalistes appellent "études" des choses qui n'en sont pas. Exemple : la toute première "étude chinoise" dont parlait Didier Raoult, dans BioScienceTrends, était en fait un compte-rendu de réunion sans aucune donnée-patient.
Enfin, les journalistes appellent "études" des choses qui n'en sont pas. Exemple : la toute première "étude chinoise" dont parlait Didier Raoult, dans BioScienceTrends, était en fait un compte-rendu de réunion sans aucune donnée-patient.
26/
Il y a aussi les "letter to the editor" (lettre au rédac-chef) qui n'est qu'une lettre même si elle est souvent peer-reviewée. On ne peut pas parler d'"étude". Il y a les "short-communication", etc...
Il y a aussi les "letter to the editor" (lettre au rédac-chef) qui n'est qu'une lettre même si elle est souvent peer-reviewée. On ne peut pas parler d'"étude". Il y a les "short-communication", etc...
27/
Et il est important de parler des pre-print en ligne (sur MedRxiv, BioRxiv...) qui ont connu un succès croissant : ces sites permettent de mettre en ligne un manuscrit pas encore peer-reviewé (pas encore vérifié de façon indépendante).
Et il est important de parler des pre-print en ligne (sur MedRxiv, BioRxiv...) qui ont connu un succès croissant : ces sites permettent de mettre en ligne un manuscrit pas encore peer-reviewé (pas encore vérifié de façon indépendante).
28/
L'avantage des pre-print en ligne est : l'info est rapide, libre. Sauf qu'il y a le meilleur comme le pire. La preuve : ces sites préviennent qu'il ne faut surtout pas prendre cela comme des guides de pratique clinique, et PAS REPRIS DANS LES MEDIAS comme info établie. Hum...
L'avantage des pre-print en ligne est : l'info est rapide, libre. Sauf qu'il y a le meilleur comme le pire. La preuve : ces sites préviennent qu'il ne faut surtout pas prendre cela comme des guides de pratique clinique, et PAS REPRIS DANS LES MEDIAS comme info établie. Hum...
29/
Enfin, en ce moment, on voit du grand n'importe quoi : des sondages présentés comme des études, etc...
Enfin, en ce moment, on voit du grand n'importe quoi : des sondages présentés comme des études, etc...
30/
Mais alors : quelle frénésie à publier des études, me direz-vous ! Et parfois pourries ! Pourquoi donc ? Et là on en vient au nombre de citations, au H-index, à l'impact-factor... Et on verra si certains sont des "star mondiales" ou les "n°1". Mais dans un prochain thread...
Mais alors : quelle frénésie à publier des études, me direz-vous ! Et parfois pourries ! Pourquoi donc ? Et là on en vient au nombre de citations, au H-index, à l'impact-factor... Et on verra si certains sont des "star mondiales" ou les "n°1". Mais dans un prochain thread...
Liens :
ICMJE : http://www.icmje.org/conflicts-of-interest/
Revues prédatrices (mais liste pas à jour car elles pullulent) : https://predatoryjournals.com/
Un chercheur spécialiste de la fraude et qui n'hésite pas à dézinguer (voir dans "catégories" par mots-clés en bas à droite) : https://www.h2mw.eu/
ICMJE : http://www.icmje.org/conflicts-of-interest/
Revues prédatrices (mais liste pas à jour car elles pullulent) : https://predatoryjournals.com/
Un chercheur spécialiste de la fraude et qui n'hésite pas à dézinguer (voir dans "catégories" par mots-clés en bas à droite) : https://www.h2mw.eu/
Et les peer-reviewers de ce thread sont : @MarieBayle77 et @lionel_case !
@threadreaderapp et les autres... FIN (provisoire sans doute) DE CE THREAD,
A RETWEETER autant que vous voulez...
A RETWEETER autant que vous voulez...
@threadreaderapp unroll
On me donne une idée pour un futur thread: le problème du modèle économique des publis scientifiques. Mais j'ai déjà au chaud un futur thread sur les facteurs de confusion, un autre sur les index de citation (pour voir si Raoult est vraiment une "star mondiale n°1"). On verra...
AJOUT : Oups, j'ai oublié : ça vaut carrément le coup de connaitre pubpeer : http://pubpeer.com , la plus grande invention anti-fake scientifique. Site internet où chacun peut commenter les erreurs qu'il a détectées dans un publi (et avec mots feutrés, parfois, ça déglingue!)
