Le travail réalisé par John Hattie et son
équipe a suscité, lors de sa parution, beaucoup d’enthousiasme par l’ampleur
des données récoltées et par le fait qu’il s’agissait d’une tentative de
déterminer les meilleures pratiques d’enseignement en se basant sur des données en grand nombre (plus de 900 méta-analyses).
Les constructivistes, qui tiennent plus à
leurs croyances fondées sur l’idéologie que sur les données probantes fondées
sur la réalité, ont partout rejeté le travail de Hattie parce qu’il démontrait
l’inefficacité de leurs pratiques pédagogiques. Leurs critiques ne sont, par
conséquent, que des réactions défensives sans valeur. Inutile qu’on s’y attarde…
En revanche, lorsque Robert Slavin, qui est un
chercheur sérieux prônant un enseignement du type instructionniste avec Success for All, dit “John Hattie is
wrong” dans un article de son blog, il faut écouter ses arguments et les prendre en
considération.
Sa critique pointe le fait que, dans la masse des analyses que Hattie et son équipe ont utilisées, certaines avaient des biais importants. Ces défauts se sont logiquement
reportés sur les méta-analyses qui les recensaient malgré tout et, à un niveau
supérieur, sur les méga-analyses, pour les mêmes raisons.
Il pointe également le seuil de 0,40 du célèbre
cadran qui sert de limite entre les pratiques qui ont un effet tangible et
celles qui n’en ont pas. Les effets compris entre 0,15 et 0,40 correspondent à
ce que tout enseignant pourrait produire quelle que soit sa méthode. Et ceux
compris entre 0,00 et 0,15 équivalent à ce que n’importe quel enfant peut
apprendre tout seul, sans le secours de l’école. Or, selon Robert Slavin, ce cadran
et les zones qu’il détermine ne tient pas compte de la taille de l’effet. En statistique,
c’est la force de l'effet observé d'une variable sur une autre (voir l’article de Wikipédia
pour en apprendre davantage).
Le point de vue de Franck Ramus doit également
être pris en compte : « Quand on pousse la synthèse à l’extrême il
existe évidemment un risque de simplification, de passer à la trappe des
détails importants ou de se livrer à des comparaisons qui n’ont pas lieu
d’être. Il ne faut ainsi pas lire les tableaux de Hattie de façon littérale. Et
s’il s’agit de convertir ces données en recommandations pratiques pour les
enseignants alors oui il est nécessaire de revoir chaque étude retenue dans le
détail. Il me semble que les travaux de Hattie constituent davantage un outil
pour les chercheurs parce qu’ils sont un point d’entrée systématique et
exhaustif vers une littérature scientifique immense et difficile à dominer ».
Quant à Steve Bissonnette, il écrit : « Les
travaux menés par l’équipe de John Hattie font l’objet de plusieurs critiques
et plusieurs de ces critiques sont valables et recevables. En effet, réaliser
une méga-analyse en comparant les résultats provenant de diverses méta-analyses
ayant utilisé parfois différentes méthodologies crée le danger de comparer des
pommes avec des oranges ! »
Le “Saint-Graal de l’éducation” – comme le
Visible Learning a été très vite qualifié par les médias – n’est donc pas vraiment
la relique miraculeuse que tout le monde enseignant espère.
Incontestablement, les instruments de mesure
utilisés par les chercheurs ne sont pas parfaits. On retrouve les mêmes limites
– et les mêmes critiques – dans les mesures effectuées pour les comparaisons
internationales (PISA, TIMSS, PIRLS) ou pour les évaluations standardisées des
acquis des élèves. Mais malgré leurs défauts, ces instruments de mesure révèlent
un certain nombre d’indications massivement convergentes, dont il serait
stupide de rejeter l’évidence au nom d’une perfection qui ne sera jamais de ce
monde.
Lorsque le sage montre la Lune, il n’est pas
idiot de regarder le doigt. Mais à condition de ne pas oublier, en même temps,
de regarder aussi la Lune…
