Read on Twitter
[THREAD]
Introduction à la pyramide des preuves en médecine
Biais potentiels à chaque étage : indication, publication, évaluation, temps immortel...
Pourquoi l'essai contrôlé randomisé double aveugle est-il le gold standard de l'essai clinique ?
Méta-analyse ?
![[THREAD]Introduction à la pyramide des preuves en médecine Biais potentiels à chaque étage : indication, publication, évaluation, temps immortel... Pourquoi l'essai contrôlé randomisé double aveugle est-il le gold standard de l'essai clinique ? Méta-analyse ?](https://pbs.twimg.com/media/EgWciYcWsAACmCU.png "[THREAD]Introduction à la pyramide des preuves en médecine Biais potentiels à chaque étage : indication, publication, évaluation, temps immortel... Pourquoi l'essai contrôlé randomisé double aveugle est-il le gold standard de l'essai clinique ? Méta-analyse ?")
Introduction à la pyramide des preuves en médecine
Biais potentiels à chaque étage : indication, publication, évaluation, temps immortel... Pourquoi l'essai contrôlé randomisé double aveugle est-il le gold standard de l'essai clinique ? Méta-analyse ?
1/
Disclaimer : Je suis chercheur (mais pas en médecine), et ce thread est une introduction à la pyramide, donc incomplet. Je ne décris pas ici tous les types d'essais cliniques, ni tous les biais possibles. Je ne parle pas non plus d'études théoriques, in vitro, animales...
Disclaimer : Je suis chercheur (mais pas en médecine), et ce thread est une introduction à la pyramide, donc incomplet. Je ne décris pas ici tous les types d'essais cliniques, ni tous les biais possibles. Je ne parle pas non plus d'études théoriques, in vitro, animales...
2/
Niveau -1 : L'opinion de l'oncle qui a une amie qui a vu une vidéo YouTube qui explique que ça marche
Pas besoin d'explications ici
Niveau -1 : L'opinion de l'oncle qui a une amie qui a vu une vidéo YouTube qui explique que ça marche
Pas besoin d'explications ici
3/
Niveau 0 : Les opinions d'experts
Même dans les domaines avec consensus, vous trouverez toujours un expert qui raconte n'importe quoi, pour différentes raisons (par exemple médiatique)
Il existe aussi un phénomène intéressant : l'ultracrépidarianisme
Niveau 0 : Les opinions d'experts
Même dans les domaines avec consensus, vous trouverez toujours un expert qui raconte n'importe quoi, pour différentes raisons (par exemple médiatique)
Il existe aussi un phénomène intéressant : l'ultracrépidarianisme
4/
L'ultracrépidarianisme, c'est le fait de croire qu'être compétent dans un domaine rend compétent dans un domaine différent, et est souvent couplé à un argument d'autorité
Exemple : "je suis compétent en économie donc je suis compétent en politique"
https://fr.wikipedia.org/wiki/Ultracrepidarianisme
L'ultracrépidarianisme, c'est le fait de croire qu'être compétent dans un domaine rend compétent dans un domaine différent, et est souvent couplé à un argument d'autorité
Exemple : "je suis compétent en économie donc je suis compétent en politique"
https://fr.wikipedia.org/wiki/Ultracrepidarianisme
5/
La maladie du Nobel est un cas particulier d'ultracrépidarianisme. Après avoir reçu un prix Nobel, il est facile de s'imaginer avoir raison sur tout
Luc Montagnier en est une excellente illustration, avec sa théorie sur la "mémoire de l'eau"
https://fr.wikipedia.org/wiki/Maladie_du_Nobel
La maladie du Nobel est un cas particulier d'ultracrépidarianisme. Après avoir reçu un prix Nobel, il est facile de s'imaginer avoir raison sur tout
Luc Montagnier en est une excellente illustration, avec sa théorie sur la "mémoire de l'eau"
https://fr.wikipedia.org/wiki/Maladie_du_Nobel
6/
Niveau 1 : Les études de cas
Elles peuvent porter sur un seul cas ou sur une série de cas
Niveau 1 : Les études de cas
Elles peuvent porter sur un seul cas ou sur une série de cas
7/
Un seul cas : Ça peut être intéressant pour comprendre certains mécanismes d'une maladie, mais ça ne prouve pas grand-chose
Bolsonaro a par exemple pris de l'HCQ, et a été guéri en ~20 jours --> On ne peut absolument rien en conclure
Un seul cas : Ça peut être intéressant pour comprendre certains mécanismes d'une maladie, mais ça ne prouve pas grand-choseBolsonaro a par exemple pris de l'HCQ, et a été guéri en ~20 jours --> On ne peut absolument rien en conclure
8/
Série de cas
On a entendu certains médecins dirent des choses comme "j'ai traité 200 cas COVID+ avec XYZ, aucun mort !"
Sans comparaison, cela ne prouve rien : Quelle était la probabilité qu'un patient meurt avec XYZ ? Cela dépend de la population traitée
Série de casOn a entendu certains médecins dirent des choses comme "j'ai traité 200 cas COVID+ avec XYZ, aucun mort !"
Sans comparaison, cela ne prouve rien : Quelle était la probabilité qu'un patient meurt avec XYZ ? Cela dépend de la population traitée
9/
L'IFR de la COVID-19 est estimé à 0,5% : environ 1 personne infectée sur 200 en meurt
Sous cette hypothèse (+ iid), il y a ~37% de chance d'avoir une série de 200 cas COVID+ sans aucun mort, loin d'être improbable
Il faut comparer avec un groupe contrôle !
L'IFR de la COVID-19 est estimé à 0,5% : environ 1 personne infectée sur 200 en meurt
Sous cette hypothèse (+ iid), il y a ~37% de chance d'avoir une série de 200 cas COVID+ sans aucun mort, loin d'être improbable
Il faut comparer avec un groupe contrôle !
10/
Niveau 2 : Les études observationnelles
Les chercheurs sont passifs et n'agissent pas (ou n'ont pas agi) sur le déroulement de l'étude.
Principe pour un traitement :
- On sépare en groupes traités vs. non traités
- On compare les résultats (infections, morts...)
Niveau 2 : Les études observationnelles
Les chercheurs sont passifs et n'agissent pas (ou n'ont pas agi) sur le déroulement de l'étude. Principe pour un traitement :- On sépare en groupes traités vs. non traités
- On compare les résultats (infections, morts...)
11/
Une étude observationnelle est rétrospective (données collectées après) ou prospective (dès le début), et il en existe trois grands types (cas-témoins, cohorte, transversale).
Exemples :
Étude rétractée du Lancet
Étude de l'institut Henry Ford de Détroit
Une étude observationnelle est rétrospective (données collectées après) ou prospective (dès le début), et il en existe trois grands types (cas-témoins, cohorte, transversale).
Exemples :
Étude rétractée du Lancet Étude de l'institut Henry Ford de Détroit
12/
Ces études sont très propices à certains biais, par exemple :
Biais d'indication : Traitement expérimental, donné aux patients à risques élevés
Biais de contre-indication : Traitement dangereux, donné aux patients en meilleure santé (exemple : Henry Ford, Raoult...)
Ces études sont très propices à certains biais, par exemple :
Biais d'indication : Traitement expérimental, donné aux patients à risques élevés Biais de contre-indication : Traitement dangereux, donné aux patients en meilleure santé (exemple : Henry Ford, Raoult...)
13/
Beaucoup d'autres biais sont possibles, par exemple dans la constitution des groupes
Exemple : Le biais du temps immortel, présent dans la première étude de Perronne, et dans les dernières études de Raoult
Beaucoup d'autres biais sont possibles, par exemple dans la constitution des groupes
Exemple : Le biais du temps immortel, présent dans la première étude de Perronne, et dans les dernières études de Raoult
14/
Le biais du temps immortel, c'est quand on impose une durée minimale (2-3 jours) pour compter le traitement
Exemple : étude de Raoult sur 3737 patients
Groupe traitement : HCQ + AZ >= 3 jours
Groupe "contrôle" : Les autres
Le biais du temps immortel, c'est quand on impose une durée minimale (2-3 jours) pour compter le traitement
Exemple : étude de Raoult sur 3737 patients
Groupe traitement : HCQ + AZ >= 3 jours Groupe "contrôle" : Les autres
15/
Cela donne un avantage énorme pour le traitement : Aucun patient traité ne détériore (meurt, réa, ...) dans les premiers jours, alors qu'il y en a potentiellement beaucoup dans le groupe "contrôle"
Ce biais n'est pas redressable statistiquement.
Cela donne un avantage énorme pour le traitement : Aucun patient traité ne détériore (meurt, réa, ...) dans les premiers jours, alors qu'il y en a potentiellement beaucoup dans le groupe "contrôle"
Ce biais n'est pas redressable statistiquement.
16/
Enfin, les études observationnelles trouvent des corrélations, mais ne sont pas en mesure de prouver des causalités
Une étude observationnelle pourrait découvrir que + les gens mangent de glaces, + les gens se noient. Explication ? Il fait chaud.
https://www.tylervigen.com/spurious-correlations
Enfin, les études observationnelles trouvent des corrélations, mais ne sont pas en mesure de prouver des causalités
Une étude observationnelle pourrait découvrir que + les gens mangent de glaces, + les gens se noient. Explication ? Il fait chaud.
https://www.tylervigen.com/spurious-correlations
17/
Niveau 3 : Études non-randomisées
C'est une étude dans laquelle les chercheurs attribuent (de façon non-aléatoire) le traitement
Exemple : La première étude de Raoult, qui a "conclu" a l'efficacité du traitement HCQ+AZ sur 6 patients
Niveau 3 : Études non-randomisées
C'est une étude dans laquelle les chercheurs attribuent (de façon non-aléatoire) le traitement
Exemple : La première étude de Raoult, qui a "conclu" a l'efficacité du traitement HCQ+AZ sur 6 patients
18/
Ces études peuvent souffrir des mêmes biais que les études observationnelles :
Indication : Patients à risque élevé traités
Contre-indication : Patients à risque faible traités
Temps immortel
Beaucoup de biais peuvent être évités avec deux groupes comparables !
Ces études peuvent souffrir des mêmes biais que les études observationnelles :
Indication : Patients à risque élevé traités Contre-indication : Patients à risque faible traités Temps immortelBeaucoup de biais peuvent être évités avec deux groupes comparables !
19/
Niveau 4 : Les essais contrôlés randomisées (ECR, en anglais RCT : Randomized Controlled Trial)
Le principe des essais randomisés, c'est d'attribuer un traitement à chaque patient de façon aléatoire, pour obtenir des groupes comparables
Niveau 4 : Les essais contrôlés randomisées (ECR, en anglais RCT : Randomized Controlled Trial)
Le principe des essais randomisés, c'est d'attribuer un traitement à chaque patient de façon aléatoire, pour obtenir des groupes comparables
20/
Dans une étude non-randomisée, il peut y avoir une multitude de raisons de pourquoi un individu est traité et pas un autre :
- Traitement disponible dans un pays mais pas un autre
- Traitement choisi par un certain type d'individu
- ...
Ce qui biaise la comparaison
Dans une étude non-randomisée, il peut y avoir une multitude de raisons de pourquoi un individu est traité et pas un autre :
- Traitement disponible dans un pays mais pas un autre
- Traitement choisi par un certain type d'individu
- ...
Ce qui biaise la comparaison
21/
Dans un essai randomisé, les différences entre les deux groupes sont négligeables
Cependant, il faut un nombre suffisant de patients pour obtenir cet effet. Un ECR avec seulement quelques dizaines de patients est loin d'être une garantie d'avoir des groupes comparables
Dans un essai randomisé, les différences entre les deux groupes sont négligeables
Cependant, il faut un nombre suffisant de patients pour obtenir cet effet. Un ECR avec seulement quelques dizaines de patients est loin d'être une garantie d'avoir des groupes comparables
22/
Un ECR dans lequel le patient sait s'il reçoit le traitement ou non est dit ouvert (open-label)
Dans un essai ouvert, différents biais sont encore possibles, par exemple :
Effet placebo
Biais de suivi et d'évaluation
Un ECR dans lequel le patient sait s'il reçoit le traitement ou non est dit ouvert (open-label)
Dans un essai ouvert, différents biais sont encore possibles, par exemple :
Effet placebo Biais de suivi et d'évaluation
23/
L'effet placebo est un effet très complexe, qui agit à différents niveaux :
Le patient croit en l'efficacité du traitement : Savoir qu'il a le traitement va améliorer sa guérison
Le médecin croit en l'efficacité : Son attitude vis-à-vis du patient peut être influente
L'effet placebo est un effet très complexe, qui agit à différents niveaux :
Le patient croit en l'efficacité du traitement : Savoir qu'il a le traitement va améliorer sa guérison Le médecin croit en l'efficacité : Son attitude vis-à-vis du patient peut être influente
24/
Biais de suivi et d'évaluation : différence de suivi ou d’évaluation des patients selon leur groupe, ce qui peut fausser les résultats.
Un patient peut par exemple sous-estimer (ou sur-estimer) ses symptômes selon son groupe
Biais de suivi et d'évaluation : différence de suivi ou d’évaluation des patients selon leur groupe, ce qui peut fausser les résultats.
Un patient peut par exemple sous-estimer (ou sur-estimer) ses symptômes selon son groupe
25/
Pour réduire ces biais, l'essai peut être :
Simple aveugle (single-blind) : Le patient ne sait pas s'il reçoit le traitement ou un placebo (forme similaire au traitement, mais sans effet)
Double aveugle (double-blind) : Le médecin non plus ne connait pas le groupe
Pour réduire ces biais, l'essai peut être :
Simple aveugle (single-blind) : Le patient ne sait pas s'il reçoit le traitement ou un placebo (forme similaire au traitement, mais sans effet) Double aveugle (double-blind) : Le médecin non plus ne connait pas le groupe
26/
L'essai randomisé contrôlé en double aveugle est considéré comme l'essai clinique gold standard, car il laisse très peu de place aux biais
On peut même faire un essai "triple aveugle" : Le chercheur qui analyse les données ne sait pas quel groupe correspond au traitement
L'essai randomisé contrôlé en double aveugle est considéré comme l'essai clinique gold standard, car il laisse très peu de place aux biais
On peut même faire un essai "triple aveugle" : Le chercheur qui analyse les données ne sait pas quel groupe correspond au traitement
27/
Niveau 5 : La méta-analyse
Si l'ECR est le gold standard, pourquoi a-t-on besoin de méta-analyse ?
La représentativité des groupes : Un ECR n'est valide que sur une population similaire à celle traitée
Le hasard : Pour ça, il faut comprendre ce que mesure la p-value
Niveau 5 : La méta-analyse
Si l'ECR est le gold standard, pourquoi a-t-on besoin de méta-analyse ?
La représentativité des groupes : Un ECR n'est valide que sur une population similaire à celle traitée Le hasard : Pour ça, il faut comprendre ce que mesure la p-value
28/
Une différence de résultat (par exemple le nombre de morts) entre deux groupes comparables peut être due au hasard
Pour savoir si c'est le cas, on fait un calcul : On suppose que le traitement n'a pas d'effet, et on calcule la probabilité d'avoir ces résultats ou pire
Une différence de résultat (par exemple le nombre de morts) entre deux groupes comparables peut être due au hasard
Pour savoir si c'est le cas, on fait un calcul : On suppose que le traitement n'a pas d'effet, et on calcule la probabilité d'avoir ces résultats ou pire
29/
Exemple (simplifié) : Vous voulez savoir si un dé est truqué pour tomber sur le 6
Vous lancez le dé 2 fois de suite, et obtenez 6 deux fois
Si le dé n'était pas truqué, vous auriez eu 1 chance sur 36 d'obtenir deux fois 6
La p-value ici est donc 1/36 ~ p = 0.028
Exemple (simplifié) : Vous voulez savoir si un dé est truqué pour tomber sur le 6
Vous lancez le dé 2 fois de suite, et obtenez 6 deux fois Si le dé n'était pas truqué, vous auriez eu 1 chance sur 36 d'obtenir deux fois 6 La p-value ici est donc 1/36 ~ p = 0.028
30/
Pour un essai clinique, on considère le résultat "statistiquement significatif" si p < 0.05, c'est-à-dire probabilité d'avoir ces résultats si le traitement ne marche pas < 5%
Problème ? Dans environ 1 cas sur 20, même si le traitement est inefficace, on aura p < 0.05
Pour un essai clinique, on considère le résultat "statistiquement significatif" si p < 0.05, c'est-à-dire probabilité d'avoir ces résultats si le traitement ne marche pas < 5%
Problème ? Dans environ 1 cas sur 20, même si le traitement est inefficace, on aura p < 0.05
31/
De plus, il existe un biais de publication : Il est beaucoup plus facile de publier une étude qui montre qu'un traitement est efficace, qu'une étude qui montre une inefficacité
(à ce titre, l'HCQ pour la COVID-19 est une exception)
De plus, il existe un biais de publication : Il est beaucoup plus facile de publier une étude qui montre qu'un traitement est efficace, qu'une étude qui montre une inefficacité
(à ce titre, l'HCQ pour la COVID-19 est une exception)
32/32
À cause du hasard, un RCT seul ne dit pas toute la vérité
Une méta-analyse permet de prendre cela en compte
Une méta-analyse correcte doit, en plus, évaluer les biais de chaque étude qu'elle prend en compte, pour comparer les niveaux de preuve
À cause du hasard, un RCT seul ne dit pas toute la vérité
Une méta-analyse permet de prendre cela en compte
Une méta-analyse correcte doit, en plus, évaluer les biais de chaque étude qu'elle prend en compte, pour comparer les niveaux de preuve
Si vous avez des critiques, commentaires, questions, précisions à apporter ou autre, n'hésitez pas :)
D'autres threads disponibles ici https://twitter.com/Juni8T/status/1276828769202954243
D'autres threads disponibles ici https://twitter.com/Juni8T/status/1276828769202954243
Pour aller plus loin
Plus d'exemples d'ultracrépidarianisme https://twitter.com/dirtybiology/status/1251300336901525504
Plus d'exemples d'ultracrépidarianisme https://twitter.com/dirtybiology/status/1251300336901525504
@threadreaderapp unroll
@nathanpsmad @Damkyan_Omega @Sonic_urticant @Le___Doc @wargonm @FZores @MBobMorriss @lonnibesancon
N'hésitez pas si vous voyez des erreurs ou si vous pensez que j'ai omis des choses importantes :)
N'hésitez pas si vous voyez des erreurs ou si vous pensez que j'ai omis des choses importantes :)
Description des différents types d'études observationnelles
http://www.chups.jussieu.fr/polys/biostats/poly/POLY.Chp.15.4.html
http://www.chups.jussieu.fr/polys/biostats/poly/POLY.Chp.15.4.html
2 façons de corriger le biais du temps immortel :
- Solution 1 : On ne considère pas la durée (traité 1 jour = traité)
- Solution 2 : On enlève de l'étude tous les patients qui se détériorent dans les premiers jours (groupe contrôle y compris)
- Solution 1 : On ne considère pas la durée (traité 1 jour = traité)
- Solution 2 : On enlève de l'étude tous les patients qui se détériorent dans les premiers jours (groupe contrôle y compris)
L'annotation de la pyramide n'est pas de moi https://twitter.com/Juni8T/status/1298654036477050882
