Read on Twitter
1- Nouveau thread ! Je profite de ce thread du @ChatSceptique ( https://twitter.com/ChatSceptique/status/1300798775217262598) pour rebondir sur l'Evidence-Based Teaching (EBT). Effectivement, comme il le souligne, c'est "un gros dossier".
2- Déjà, commençons par nuancer le diagnostic général du @ChatSceptique ( https://twitter.com/ChatSceptique/status/1300798776836317189). Certes, c'est un problème, et on peut même aller plus loin en ce que ça concerne d'ailleurs pas que les profs (de tous niveaux), mais aussi les vulgarisateurs, et même les parents.
3- En effet, nombreuxses sont les parents qui souffrent du terrible syndrôme dit "de l'expert éducatif" : "je suis allé à l'école, j'ai vu des profs dans ma vie donc je sais ce que c'est que d'enseigner". Alors, que, bon, en fait non, ça marche pas comme ça.
4- Mais il y a une nuance importante à faire : les profs ont une forme d'expertise de ce qu'iels font dans leur classe. C'est pas tenté au pif, c'est quand même réfléchi. Il y a des tombereaux de recherche sur la professionnalisation des profs, ça passe notamment par là.
5- Evidemment ils font pas eux-mêmes d'étude scientifique dessus, mais ça ne veut pas dire que ça ne marche *effectivement* pas, ou que ça n'est pas en phase (sans le savoir) avec la littérature sur le sujet.
5- C'est là que l'EBT est censée intervenir : pour trancher de façon systématique. Est-ce que ce qui est fait marche, ou non ? Le @ChatSceptique nous propose un parallèle avec la médecine : https://twitter.com/ChatSceptique/status/1300798785174597632.
6- Sauf que la médecine et l'enseignement, c'est pas pareil. Autant on peut espérer trancher nettement sur l'efficacité de telle molécule pour soigner telle maladie, autant en enseignement c'est pas si simple de tirer des conclusions définitives.
7- Le parallèle qui sous-tend l'EBT entre médecine et enseignement passe quand même à côté de quelque chose de fondamental : on peut pas appréhender les deux disciplines de la même façon, avec les mêmes méthodologies.
8- Le réductionnisme scientifique a fait ses preuves en médecine (et encore, c'est débattu selon les situations). Mais en enseignement, il y a beaucoup trop de facteurs à prendre en compte, ce qui va considérablement limiter le champ d'application des résultats qu'on va obtenir !
9- Déjà, on peut commencer par se poser la question : c'est quoi, la "pédagogie traditionnelle" évoquée ici : https://twitter.com/ChatSceptique/status/1300798785174597632 ? Parce qu'autant en médecine on connait bien "médoc' VS placebo", autant "l'enseignement traditionnel" a lui-même un effet direct.
10- D'ailleurs, "l'enseignement traditionnel", c'est pas très défini... Si ça veut dire "l'enseignement habituel du/de la prof" ou "enseignement transmissif vertical" (type CM), ça regroupe tout de même des réalités très différentes, aux effets très variés, sous un même terme.
11- Ces effets sont d'ailleurs difficilement quantifiables : qu'est-ce qu'on évalue pour dire qu'un cours est "mieux" ? Les notes ? On sait que les notes, c'est pas un bon indicateur, et ça serait biaisé, puisqu'il n'est pas possible de faire du "double aveugle" en enseignement.
12- En effet, il paraît difficile de mettre en place un cours dans une classe sans que l'enseignant·e soit au courant de s'iel est dans le groupe "enseignement traditionnel" ou "enseignement expérimental". Rien que ça, c'est un problème.
13- Certes, on peut faire passer des tests standardisés, pour voir si les élèves réussissent en moyenne mieux après un cours que après un autre. Groupe expérimental, et groupe contrôle.
14- Sauf que déjà, parler de "réussite moyenne" c'est très problématique dans l'enseignement : si une méthode favorise uniquement les bon·ne·s élèves et laisse celleux en difficulté au même niveau, la moyenne sera meilleure, oui, mais est-ce une "bonne" façon d'enseigner ?
15- Le problème est identique pour les groupes contrôles : c'est très débattu, en éducation. Un groupe contrôle, ça veut plus ou moins dire "toutes choses égales par ailleurs". Mais en éducation, c'est pas possible de faire ça.
16- Comment obtient-on ce "toutes choses égales par ailleurs" alors que c'est pas les mêmes profs, les mêmes élèves, le même établissement, les mêmes trajectoires, les mêmes contingences ?...
17- Autant en médecine on lisse les différences inter-individus par des grands nombres pour que ça ait un sens, autant en enseignement, vouloir faire la même chose ça peut être très difficile.
18- Parce qu'il y a des dynamiques interindividuelles : les élèves entre eux, la classe (S ? L? STMG? Lycée pro?) le/la prof avec ses élèves... Les conditions matérielles du bahut et les contingences horaires aussi : un cours de 8 à 9 c'est pas pareil que de 11 à 12 ou de 15 à 16
19- De fait, parfois, en espérant lisser les différences en prenant des grands échantillons pour faire des tests, on va juste noyer des phénomènes plus pertinents à étudier.
20- Un exemple de toutes ces difficultés : dans mon travail de thèse, on (moi et mes DR) a profité du fait d'avoir beaucoup de données pour essayer de faire du quantitatif. EBT : est-ce que notre séquence fonctionne pour développer l'argumentation des élèves ?
21- Déjà, premier problème : étudier l'argumentation, ça implique une analyse très fine, sinon on est trop simpliste. Donc faire du quantitatif avec un objet multiforme et éminemment contextuel, déjà c'est pas simple.
22- Pour pallier ça, on a proposé une méthodologie un peu hybride, qualitative (analyse fine) et quantitative (gros corpus de données). Pour le quanti, on a pensé à faire un groupe contrôle... Sauf que, bon, les groupes contrôles, ça avait pas de sens méthodologiquement.
23- Evidemment qu'on allait observer un "plus" entre les élèves qui ont eu un cours sur l'argumentation, et ceux d'un "groupe contrôle" qui n'en ont pas eu. Et vu qu'il n'y a pas de cours à ce sujet dans les programmes, pas "d'enseignement traditionnel" pour comparer.
24- Du coup, pour compenser, on a fait des "pré-tests/post-test", pour voir si notre séquence didactique fonctionne : un test avant, un test après. On sait qu'il y aura amélioration, puisqu'il y a eu un cours, mais quel genre d'amélioration ? Pas la même question déjà.
25- In fine, les élèves ont pas mieux argumenté dans le post-test : demander à un lycéen de remplir le même questionnaire qu'il a fait 2 semaines avant... Bah il le fait pas. Il écrit vite fait "j'ai pas changé d'avis", et voilà.
26- A moins de demander aux profs de laisser 1h aux élèves pour faire les tests... Sauf que les profs ont d'autres problèmes et d'autres objectifs pour en plus sacrifier une heure selon notre bon vouloir. Et ça doit être pris en compte aussi.
27- Pour faire court, un de résultats principaux de ma thèse ça a été que les élèves, à séquence +/- équivalente (selon les contingences du terrain), argumentaient plus ou moins bien selon énormément de facteurs. Ca c'est une diapo de ma soutenance :
28- En d'autres termes : "y'a trop de facteurs à prendre en compte, on peut pas trancher clairement, faudrait explorer chaque question individuellement". Pratique pour donner des directives claires "Evidence-Based", non ?
29- L'idée de cet exemple, ça n'est pas de dire que l'EBT réductionniste/quantitative est intégralement à jeter à la poubelle. En revanche, ça ne peut pas être l'alpha et l'oméga de la prise de décision en enseignement. C'est complémentaire avec d'autres choses.
30- Notamment parce qu'il y a des tas de recherches qui montrent qu'imposer aux profs des séquences clé-en-main, bah ça marche pas du tout comme on l'attend. Donc on peut dire "faites ça, c'est éprouvé par la Science", en fait, ça fonctionnera juste pas.
31- Parce que ce qu'on a en tête nous chercheurs quand on le présente aux profs, c'est ensuite transformé, à tous les niveaux, par les réalités du terrain, que ça soit les réalités matérielles (fournitures, matos) ou les réalités didactiques (prérequis non-acquis, etc).
32- Une recherche qui porte sur une super appli sur tablette pour apprendre à lire peut avoir des résultats concluants... Mais si en conditions réelles il y a une tablette par classe et un wifi pourri ou inexistant, ça ne fonctionnera pas.
33- C'est assez ironique, pour ce qui se revendique être "l'enseignement basé sur des preuves" : il y a des études scientifiques qui indiquent que, tel que c'est fait, l'EBT ça marche pas toujours très bien...
34- A moins de construire la séquence avec les profs, ce qui implique de faire attention à leurs contingences propres, leurs conditions de travail, la spécificité des classes, de l'objet de savoir... Ce qui implique de faire confiance aux profs, qui savent tout ça mieux que nous.
35- De fait, à cause de cette complexité, on peut pas vraiment écarter aussi vite que ça ( https://twitter.com/ChatSceptique/status/1300798781202616320?s=20) les "témoignages" de profs comme "non-science", "sans preuve"... Ca dépend. Le régime de preuve est très différent en médecine.
36- Et ça, c'est encore en supposant que la recherche à un minimum de sens pour les profs. Parce que des fois, y'a des recherches qui se prétendent utiles pour les profs dans un cadre EBT qui sont, en réalité, complètement à côté de la plaque.
37- Par exemple, j'ai encore un souvenir ému d'un psychologue m'expliquant que son protocole randomisé avait été très difficile à mettre en place à cause d'un terrible biais méthodologique : les profs se parlaient entre eux, ce qui perturbait son protocole.
38- Oui, les profs se parlent entre eux, c'est la base. Si ce qu'on prend pour "un biais méthodologique" c'est les conditions normales de travail des enseignants, il y a peu de chances que la recherche produite soit applicable sur le terrain.
39- Ce réductionnisme est le problème épistémologique fondamental de ce qui se fait en EBT à l'heure actuelle : considérer uniquement l'enseignement comme une interaction prof-élève, de façon complètement indépendante de tout le reste... Ca marche pas.
40- En conclusion, oui, soyons critiques des méthodes d'enseignement https://twitter.com/ChatSceptique/status/1300798802958442496. Mais, pour un meilleur enseignement, restons également critiques sur les méthodologies des recherches en EBT !
