Visible Learning : la Lune et le doigt

Le travail réalisé par John Hattie et son équipe a suscité, lors de sa parution, beaucoup d’enthousiasme par l’ampleur des données récoltées et par le fait qu’il s’agissait d’une tentative de déterminer les meilleures pratiques d’enseignement en se basant sur des données en grand nombre (plus de 900 méta-analyses).

Les constructivistes, qui tiennent plus à leurs croyances fondées sur l’idéologie que sur les données probantes fondées sur la réalité, ont partout rejeté le travail de Hattie parce qu’il démontrait l’inefficacité de leurs pratiques pédagogiques. Leurs critiques ne sont, par conséquent, que des réactions défensives sans valeur. Inutile qu’on s’y attarde…

En revanche, lorsque Robert Slavin, qui est un chercheur sérieux prônant un enseignement du type instructionniste avec Success for All, dit “John Hattie is wrong” dans un article de son blog, il faut écouter ses arguments et les prendre en considération.

Sa critique pointe le fait que, dans la masse des analyses que Hattie et son équipe ont utilisées, certaines avaient des biais importants. Ces défauts se sont logiquement reportés sur les méta-analyses qui les recensaient malgré tout et, à un niveau supérieur, sur les méga-analyses, pour les mêmes raisons.

Il pointe également le seuil de 0,40 du célèbre cadran qui sert de limite entre les pratiques qui ont un effet tangible et celles qui n’en ont pas. Les effets compris entre 0,15 et 0,40 correspondent à ce que tout enseignant pourrait produire quelle que soit sa méthode. Et ceux compris entre 0,00 et 0,15 équivalent à ce que n’importe quel enfant peut apprendre tout seul, sans le secours de l’école. Or, selon Robert Slavin, ce cadran et les zones qu’il détermine ne tient pas compte de la taille de l’effet. En statistique, c’est la force de l'effet observé d'une variable sur une autre (voir l’article de Wikipédia pour en apprendre davantage).

Le point de vue de Franck Ramus doit également être pris en compte : « Quand on pousse la synthèse à l’extrême il existe évidemment un risque de simplification, de passer à la trappe des détails importants ou de se livrer à des comparaisons qui n’ont pas lieu d’être. Il ne faut ainsi pas lire les tableaux de Hattie de façon littérale. Et s’il s’agit de convertir ces données en recommandations pratiques pour les enseignants alors oui il est nécessaire de revoir chaque étude retenue dans le détail. Il me semble que les travaux de Hattie constituent davantage un outil pour les chercheurs parce qu’ils sont un point d’entrée systématique et exhaustif vers une littérature scientifique immense et difficile à dominer ».

Quant à Steve Bissonnette, il écrit : « Les travaux menés par l’équipe de John Hattie font l’objet de plusieurs critiques et plusieurs de ces critiques sont valables et recevables. En effet, réaliser une méga-analyse en comparant les résultats provenant de diverses méta-analyses ayant utilisé parfois différentes méthodologies crée le danger de comparer des pommes avec des oranges ! » 

Le “Saint-Graal de l’éducation” – comme le Visible Learning a été très vite qualifié par les médias – n’est donc pas vraiment la relique miraculeuse que tout le monde enseignant espère.

Incontestablement, les instruments de mesure utilisés par les chercheurs ne sont pas parfaits. On retrouve les mêmes limites – et les mêmes critiques – dans les mesures effectuées pour les comparaisons internationales (PISA, TIMSS, PIRLS) ou pour les évaluations standardisées des acquis des élèves. Mais malgré leurs défauts, ces instruments de mesure révèlent un certain nombre d’indications massivement convergentes, dont il serait stupide de rejeter l’évidence au nom d’une perfection qui ne sera jamais de ce monde.

Lorsque le sage montre la Lune, il n’est pas idiot de regarder le doigt. Mais à condition de ne pas oublier, en même temps, de regarder aussi la Lune…

Voir aussi cet article.