Thread by @Juni8T, [THREAD]Introduction à la pyramide des preuves en médecine Biais potentiels à chaque [...]

[THREAD]

Introduction à la pyramide des preuves en médecine

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Biais potentiels à chaque étage : indication, publication, évaluation, temps immortel...

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Pourquoi l& #39;essai contrôlé randomisé double aveugle est-il le gold standard de l& #39;essai clinique ?

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Méta-analyse ?

https://abs.twimg.com/emoji/v2/... draggable="false" alt="⬇️" title="Pfeil nach unten" aria-label="Emoji: Pfeil nach unten">

[THREAD]Introduction à la pyramide des preuves en médecinehttps://abs.twimg.com/emoji/v2/... draggable=

1/

Disclaimer : Je suis chercheur (mais pas en médecine), et ce thread est une introduction à la pyramide, donc incomplet. Je ne décris pas ici tous les types d& #39;essais cliniques, ni tous les biais possibles. Je ne parle pas non plus d& #39;études théoriques, in vitro, animales...

2/

Niveau -1 : L& #39;opinion de l& #39;oncle qui a une amie qui a vu une vidéo YouTube qui explique que ça marche

Pas besoin d& #39;explications ici

3/

Niveau 0 : Les opinions d& #39;experts

Même dans les domaines avec consensus, vous trouverez toujours un expert qui raconte n& #39;importe quoi, pour différentes raisons (par exemple médiatique)

Il existe aussi un phénomène intéressant : l& #39;ultracrépidarianisme

4/

L& #39;ultracrépidarianisme, c& #39;est le fait de croire qu& #39;être compétent dans un domaine rend compétent dans un domaine différent, et est souvent couplé à un argument d& #39;autorité

Exemple : "je suis compétent en économie donc je suis compétent en politique"

https://fr.wikipedia.org/wiki/Ultracrepidarianisme">https://fr.wikipedia.org/wiki/Ultr...

5/

La maladie du Nobel est un cas particulier d& #39;ultracrépidarianisme. Après avoir reçu un prix Nobel, il est facile de s& #39;imaginer avoir raison sur tout

Luc Montagnier en est une excellente illustration, avec sa théorie sur la "mémoire de l& #39;eau"

https://fr.wikipedia.org/wiki/Maladie_du_Nobel">https://fr.wikipedia.org/wiki/Mala...

6/

Niveau 1 : Les études de cas

Elles peuvent porter sur un seul cas ou sur une série de cas

7/

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Un seul cas : Ça peut être intéressant pour comprendre certains mécanismes d& #39;une maladie, mais ça ne prouve pas grand-chose

Bolsonaro a par exemple pris de l& #39;HCQ, et a été guéri en ~20 jours --> On ne peut absolument rien en conclure

7/https://abs.twimg.com/emoji/v2/... draggable=

Un seul cas : Ça peut être intéressant pour comprendre certains mécanismes d& #39;une maladie, mais ça ne prouve pas grand-choseBolsonaro a par exemple pris de l& #39;HCQ, et a été guéri en ~20 jours --> On ne peut absolument rien en conclure" title="7/https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Un seul cas : Ça peut être intéressant pour comprendre certains mécanismes d& #39;une maladie, mais ça ne prouve pas grand-choseBolsonaro a par exemple pris de l& #39;HCQ, et a été guéri en ~20 jours --> On ne peut absolument rien en conclure" class="img-responsive" style="max-width:100%;"/>

8/

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Série de cas

On a entendu certains médecins dirent des choses comme "j& #39;ai traité 200 cas COVID+ avec XYZ, aucun mort !"

Sans comparaison, cela ne prouve rien : Quelle était la probabilité qu& #39;un patient meurt avec XYZ ? Cela dépend de la population traitée

9/

L& #39;IFR de la COVID-19 est estimé à 0,5% : environ 1 personne infectée sur 200 en meurt

Sous cette hypothèse (+ iid), il y a ~37% de chance d& #39;avoir une série de 200 cas COVID+ sans aucun mort, loin d& #39;être improbable

Il faut comparer avec un groupe contrôle !

10/

Niveau 2 : Les études observationnelles

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Les chercheurs sont passifs et n& #39;agissent pas (ou n& #39;ont pas agi) sur le déroulement de l& #39;étude.

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Principe pour un traitement :
- On sépare en groupes traités vs. non traités
- On compare les résultats (infections, morts...)

10/Niveau 2 : Les études observationnelleshttps://abs.twimg.com/emoji/v2/... draggable=

Les chercheurs sont passifs et n& #39;agissent pas (ou n& #39;ont pas agi) sur le déroulement de l& #39;étude.https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Principe pour un traitement :- On sépare en groupes traités vs. non traités- On compare les résultats (infections, morts...)" title="10/Niveau 2 : Les études observationnelleshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Les chercheurs sont passifs et n& #39;agissent pas (ou n& #39;ont pas agi) sur le déroulement de l& #39;étude.https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Principe pour un traitement :- On sépare en groupes traités vs. non traités- On compare les résultats (infections, morts...)" class="img-responsive" style="max-width:100%;"/>

11/

Une étude observationnelle est rétrospective (données collectées après) ou prospective (dès le début), et il en existe trois grands types (cas-témoins, cohorte, transversale).

Exemples :

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Étude rétractée du Lancet

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Étude de l& #39;institut Henry Ford de Détroit

12/

Ces études sont très propices à certains biais, par exemple :

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Biais d& #39;indication : Traitement expérimental, donné aux patients à risques élevés

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Biais de contre-indication : Traitement dangereux, donné aux patients en meilleure santé (exemple : Henry Ford, Raoult...)

13/

Beaucoup d& #39;autres biais sont possibles, par exemple dans la constitution des groupes

Exemple : Le biais du temps immortel, présent dans la première étude de Perronne, et dans les dernières études de Raoult

14/

Le biais du temps immortel, c& #39;est quand on impose une durée minimale (2-3 jours) pour compter le traitement

Exemple : étude de Raoult sur 3737 patients

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Groupe traitement : HCQ + AZ >= 3 jours

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Groupe "contrôle" : Les autres

14/Le biais du temps immortel, c& #39;est quand on impose une durée minimale (2-3 jours) pour compter le traitementExemple : étude de Raoult sur 3737 patientshttps://abs.twimg.com/emoji/v2/... draggable=

Groupe traitement : HCQ + AZ >= 3 jourshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Groupe "contrôle" : Les autres" title="14/Le biais du temps immortel, c& #39;est quand on impose une durée minimale (2-3 jours) pour compter le traitementExemple : étude de Raoult sur 3737 patientshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Groupe traitement : HCQ + AZ >= 3 jourshttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Groupe "contrôle" : Les autres" class="img-responsive" style="max-width:100%;"/>

15/

Cela donne un avantage énorme pour le traitement : Aucun patient traité ne détériore (meurt, réa, ...) dans les premiers jours, alors qu& #39;il y en a potentiellement beaucoup dans le groupe "contrôle"

Ce biais n& #39;est pas redressable statistiquement.

16/

Enfin, les études observationnelles trouvent des corrélations, mais ne sont pas en mesure de prouver des causalités

Une étude observationnelle pourrait découvrir que + les gens mangent de glaces, + les gens se noient. Explication ? Il fait chaud.

https://www.tylervigen.com/spurious-correlations">https://www.tylervigen.com/spurious-...

17/

Niveau 3 : Études non-randomisées

C& #39;est une étude dans laquelle les chercheurs attribuent (de façon non-aléatoire) le traitement

Exemple : La première étude de Raoult, qui a "conclu" a l& #39;efficacité du traitement HCQ+AZ sur 6 patients

18/

Ces études peuvent souffrir des mêmes biais que les études observationnelles :

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Indication : Patients à risque élevé traités

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Contre-indication : Patients à risque faible traités

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Temps immortel

Beaucoup de biais peuvent être évités avec deux groupes comparables !

19/

Niveau 4 : Les essais contrôlés randomisées (ECR, en anglais RCT : Randomized Controlled Trial)

Le principe des essais randomisés, c& #39;est d& #39;attribuer un traitement à chaque patient de façon aléatoire, pour obtenir des groupes comparables

20/

Dans une étude non-randomisée, il peut y avoir une multitude de raisons de pourquoi un individu est traité et pas un autre :

- Traitement disponible dans un pays mais pas un autre
- Traitement choisi par un certain type d& #39;individu
- ...

Ce qui biaise la comparaison

21/

Dans un essai randomisé, les différences entre les deux groupes sont négligeables

Cependant, il faut un nombre suffisant de patients pour obtenir cet effet. Un ECR avec seulement quelques dizaines de patients est loin d& #39;être une garantie d& #39;avoir des groupes comparables

22/

Un ECR dans lequel le patient sait s& #39;il reçoit le traitement ou non est dit ouvert (open-label)

Dans un essai ouvert, différents biais sont encore possibles, par exemple :

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Effet placebo

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Biais de suivi et d& #39;évaluation

23/

L& #39;effet placebo est un effet très complexe, qui agit à différents niveaux :

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Le patient croit en l& #39;efficacité du traitement : Savoir qu& #39;il a le traitement va améliorer sa guérison

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Le médecin croit en l& #39;efficacité : Son attitude vis-à-vis du patient peut être influente

23/L& #39;effet placebo est un effet très complexe, qui agit à différents niveaux :https://abs.twimg.com/emoji/v2/... draggable=

Le patient croit en l& #39;efficacité du traitement : Savoir qu& #39;il a le traitement va améliorer sa guérisonhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Le médecin croit en l& #39;efficacité : Son attitude vis-à-vis du patient peut être influente" title="23/L& #39;effet placebo est un effet très complexe, qui agit à différents niveaux :https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Le patient croit en l& #39;efficacité du traitement : Savoir qu& #39;il a le traitement va améliorer sa guérisonhttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Le médecin croit en l& #39;efficacité : Son attitude vis-à-vis du patient peut être influente" class="img-responsive" style="max-width:100%;"/>

24/

Biais de suivi et d& #39;évaluation : différence de suivi ou d’évaluation des patients selon leur groupe, ce qui peut fausser les résultats.

Un patient peut par exemple sous-estimer (ou sur-estimer) ses symptômes selon son groupe

25/

Pour réduire ces biais, l& #39;essai peut être :

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Simple aveugle (single-blind) : Le patient ne sait pas s& #39;il reçoit le traitement ou un placebo (forme similaire au traitement, mais sans effet)

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Double aveugle (double-blind) : Le médecin non plus ne connait pas le groupe

25/Pour réduire ces biais, l& #39;essai peut être :https://abs.twimg.com/emoji/v2/... draggable=

Simple aveugle (single-blind) : Le patient ne sait pas s& #39;il reçoit le traitement ou un placebo (forme similaire au traitement, mais sans effet)https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Double aveugle (double-blind) : Le médecin non plus ne connait pas le groupe" title="25/Pour réduire ces biais, l& #39;essai peut être :https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Simple aveugle (single-blind) : Le patient ne sait pas s& #39;il reçoit le traitement ou un placebo (forme similaire au traitement, mais sans effet)https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Double aveugle (double-blind) : Le médecin non plus ne connait pas le groupe" class="img-responsive" style="max-width:100%;"/>

26/

L& #39;essai randomisé contrôlé en double aveugle est considéré comme l& #39;essai clinique gold standard, car il laisse très peu de place aux biais

On peut même faire un essai "triple aveugle" : Le chercheur qui analyse les données ne sait pas quel groupe correspond au traitement

27/

Niveau 5 : La méta-analyse

Si l& #39;ECR est le gold standard, pourquoi a-t-on besoin de méta-analyse ?

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts">La représentativité des groupes : Un ECR n& #39;est valide que sur une population similaire à celle traitée

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Le hasard : Pour ça, il faut comprendre ce que mesure la p-value

27/Niveau 5 : La méta-analyseSi l& #39;ECR est le gold standard, pourquoi a-t-on besoin de méta-analyse ?https://abs.twimg.com/emoji/v2/... draggable=

La représentativité des groupes : Un ECR n& #39;est valide que sur une population similaire à celle traitéehttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Le hasard : Pour ça, il faut comprendre ce que mesure la p-value" title="27/Niveau 5 : La méta-analyseSi l& #39;ECR est le gold standard, pourquoi a-t-on besoin de méta-analyse ?https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts">La représentativité des groupes : Un ECR n& #39;est valide que sur une population similaire à celle traitéehttps://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Le hasard : Pour ça, il faut comprendre ce que mesure la p-value" class="img-responsive" style="max-width:100%;"/>

28/

Une différence de résultat (par exemple le nombre de morts) entre deux groupes comparables peut être due au hasard

Pour savoir si c& #39;est le cas, on fait un calcul : On suppose que le traitement n& #39;a pas d& #39;effet, et on calcule la probabilité d& #39;avoir ces résultats ou pire

29/

Exemple (simplifié) : Vous voulez savoir si un dé est truqué pour tomber sur le 6

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Vous lancez le dé 2 fois de suite, et obtenez 6 deux fois

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> Si le dé n& #39;était pas truqué, vous auriez eu 1 chance sur 36 d& #39;obtenir deux fois 6

https://abs.twimg.com/emoji/v2/... draggable="false" alt="👉" title="Rückhand Zeigefinger nach rechts" aria-label="Emoji: Rückhand Zeigefinger nach rechts"> La p-value ici est donc 1/36 ~ p = 0.028

29/Exemple (simplifié) : Vous voulez savoir si un dé est truqué pour tomber sur le 6https://abs.twimg.com/emoji/v2/... draggable=

30/

Pour un essai clinique, on considère le résultat "statistiquement significatif" si p < 0.05, c& #39;est-à-dire probabilité d& #39;avoir ces résultats si le traitement ne marche pas < 5%

Problème ? Dans environ 1 cas sur 20, même si le traitement est inefficace, on aura p < 0.05

31/

De plus, il existe un biais de publication : Il est beaucoup plus facile de publier une étude qui montre qu& #39;un traitement est efficace, qu& #39;une étude qui montre une inefficacité

(à ce titre, l& #39;HCQ pour la COVID-19 est une exception)

32/32

À cause du hasard, un RCT seul ne dit pas toute la vérité

Une méta-analyse permet de prendre cela en compte

Une méta-analyse correcte doit, en plus, évaluer les biais de chaque étude qu& #39;elle prend en compte, pour comparer les niveaux de preuve

Si vous avez des critiques, commentaires, questions, précisions à apporter ou autre, n& #39;hésitez pas :)

D& #39;autres threads disponibles ici https://twitter.com/Juni8T/status/1276828769202954243">https://twitter.com/Juni8T/st...

https://twitter.com/Juni8T/status/1276828769202954243

Pour aller plus loin

Plus d& #39;exemples d& #39;ultracrépidarianisme https://twitter.com/dirtybiology/status/1251300336901525504">https://twitter.com/dirtybiol...

https://twitter.com/dirtybiology/status/1251300336901525504

La p-value https://twitter.com/Sonic_urticant/status/1288013815905427456">https://twitter.com/Sonic_urt...

https://twitter.com/Sonic_urticant/status/1288013815905427456

@threadreaderapp unroll

@nathanpsmad @Damkyan_Omega @Sonic_urticant @Le___Doc @wargonm @FZores @MBobMorriss @lonnibesancon

N& #39;hésitez pas si vous voyez des erreurs ou si vous pensez que j& #39;ai omis des choses importantes :)

Description des différents types d& #39;études observationnelles

http://www.chups.jussieu.fr/polys/biostats/poly/POLY.Chp.15.4.html">https://www.chups.jussieu.fr/polys/bio...

Description des différents types d& #39;études observationnelles https://www.chups.jussieu.fr/polys/bio...

2 façons de corriger le biais du temps immortel :
- Solution 1 : On ne considère pas la durée (traité 1 jour = traité)
- Solution 2 : On enlève de l& #39;étude tous les patients qui se détériorent dans les premiers jours (groupe contrôle y compris)

L& #39;annotation de la pyramide n& #39;est pas de moi https://twitter.com/Juni8T/status/1298654036477050882">https://twitter.com/Juni8T/st...

https://twitter.com/Juni8T/status/1298654036477050882

Latest Threads Unrolled: