Visible Learning : la Lune et le doigt

Le travail réalisé par John Hattie et son équipe a suscité, lors de sa parution, beaucoup d’enthousiasme par l’ampleur des données récoltées et par le fait qu’il s’agissait d’une tentative de déterminer les meilleures pratiques d’enseignement en se basant sur des données en grand nombre (plus de 900 méta-analyses).

Les constructivistes, qui tiennent plus à leurs croyances fondées sur l’idéologie que sur les données probantes fondées sur la réalité, ont partout rejeté le travail de Hattie parce qu’il démontrait l’inefficacité de leurs pratiques pédagogiques. Leurs critiques ne sont, par conséquent, que des réactions défensives sans valeur. Inutile qu’on s’y attarde…

En revanche, lorsque Robert Slavin, qui est un chercheur sérieux prônant un enseignement du type instructionniste avec Success for All, dit “John Hattie is wrong” dans un article de son blog, il faut écouter ses arguments et les prendre en considération.

Sa critique pointe le fait que, dans la masse des analyses que Hattie et son équipe ont utilisées, certaines avaient des biais importants. Ces défauts se sont logiquement reportés sur les méta-analyses qui les recensaient malgré tout et, à un niveau supérieur, sur les méga-analyses, pour les mêmes raisons.

Il pointe également le seuil de 0,40 du célèbre cadran qui sert de limite entre les pratiques qui ont un effet tangible et celles qui n’en ont pas. Les effets compris entre 0,15 et 0,40 correspondent à ce que tout enseignant pourrait produire quelle que soit sa méthode. Et ceux compris entre 0,00 et 0,15 équivalent à ce que n’importe quel enfant peut apprendre tout seul, sans le secours de l’école. Or, selon Robert Slavin, ce cadran et les zones qu’il détermine ne tient pas compte de la taille de l’effet. En statistique, c’est la force de l'effet observé d'une variable sur une autre (voir l’article de Wikipédia pour en apprendre davantage).

Le point de vue de Franck Ramus doit également être pris en compte : « Quand on pousse la synthèse à l’extrême il existe évidemment un risque de simplification, de passer à la trappe des détails importants ou de se livrer à des comparaisons qui n’ont pas lieu d’être. Il ne faut ainsi pas lire les tableaux de Hattie de façon littérale. Et s’il s’agit de convertir ces données en recommandations pratiques pour les enseignants alors oui il est nécessaire de revoir chaque étude retenue dans le détail. Il me semble que les travaux de Hattie constituent davantage un outil pour les chercheurs parce qu’ils sont un point d’entrée systématique et exhaustif vers une littérature scientifique immense et difficile à dominer ».

Quant à Steve Bissonnette, il écrit : « Les travaux menés par l’équipe de John Hattie font l’objet de plusieurs critiques et plusieurs de ces critiques sont valables et recevables. En effet, réaliser une méga-analyse en comparant les résultats provenant de diverses méta-analyses ayant utilisé parfois différentes méthodologies crée le danger de comparer des pommes avec des oranges ! » 

Le “Saint-Graal de l’éducation” – comme le Visible Learning a été très vite qualifié par les médias – n’est donc pas vraiment la relique miraculeuse que tout le monde enseignant espère.

Incontestablement, les instruments de mesure utilisés par les chercheurs ne sont pas parfaits. On retrouve les mêmes limites – et les mêmes critiques – dans les mesures effectuées pour les comparaisons internationales (PISA, TIMSS, PIRLS) ou pour les évaluations standardisées des acquis des élèves. Mais malgré leurs défauts, ces instruments de mesure révèlent un certain nombre d’indications massivement convergentes, dont il serait stupide de rejeter l’évidence au nom d’une perfection qui ne sera jamais de ce monde.

Lorsque le sage montre la Lune, il n’est pas idiot de regarder le doigt. Mais à condition de ne pas oublier, en même temps, de regarder aussi la Lune…

Voir aussi cet article.

Les évaluations standardisées des élèves - Perspective historique

Auteurs : Bruno Trosseille et Thierry Rocher

Éducation et formations, n° 86-87, pp 15-35

05-2015

Télécharger l'article

Présentation :

Depuis une quarantaine d’années, le ministère de l’Éducation nationale a mis en œuvre des évaluations tantôt « de masse », tantôt sur échantillons. Ces évaluations peuvent avoir deux fonctions principales : de diagnostic lorsqu’elles sont élaborées pour fournir aux enseignants des outils professionnels qui leur sont nécessaires pour adapter leur enseignement en fonction des acquis de leurs élèves ; de bilan lorsque l’objectif est d’observer les acquis des élèves et leur évolution pour le pilotage d’ensemble du système éducatif. La confusion, dans une même évaluation, de ces deux fonctions est potentiellement source d’erreurs et de troubles, tant sur le plan scientifique que sociétal. Après avoir décrit l’histoire entrelacée de ces deux types d’évaluations au sein du Ministère, nous envisageons l’avenir du paysage évaluatif et la façon dont il peut se réorganiser en fonction des différentes finalités qui lui sont aujourd’hui assignées et des défis qu’il devra affronter à l'avenir.

Extrait :

« En termes de fiabilité, une étude interne, réalisée par la DEPP lors de la première évaluation de janvier 2009, fait apparaître des distorsions dans les résultats selon que les écoles ont ou non été suivies par les inspecteurs du contrôle qualité, ainsi qu’en fonction des secteurs de scolarisation. Ainsi, on observe une surestimation des élèves par leurs enseignants, et ce de façon plus particulièrement marquée dans le secteur privé, en l’absence de contrôle des procédures de passation et de correction [souligné par moi]. Dès la deuxième année d’utilisation, les limites de l’exercice, en termes de comparabilité, sont atteintes : les résultats des élèves de CM2 affichent une forte baisse en mathématiques. Cette baisse est en fait due à la plus grande difficulté du protocole élaboré pour cette deuxième itération, mais elle est interprétée comme une perte de compétence moyenne des élèves de CM2. La DEPP, sollicitée pour donner une mesure de l’impact de cette absence de contrôle de l’élaboration des protocoles, utilise une procédure d’equating (mise à niveau des métriques) pour permettre la comparabilité entre les deux années [Rocher, 2012]. Mais la suspicion à l’égard de ces évaluations est telle que l’ajustement des résultats de cette deuxième évaluation est dénoncé par beaucoup comme un « bidouillage » destiné à masquer l’impéritie du Ministère. » (p 24)

Humour : La fin des notes

Livre : À l'école des compétences - De l'éducation à la fabrique de l'élève performant (Angélique del Rey)

Acheter le livre

J’ai eu envie de lire ce livre après la lecture de la critique incendiaire faite par Jean-Michel Zakhartchouk sur le site des Cahiers pédagogiques, dont voici un extrait :

« L’auteure, professeure de philosophie et proche des milieux altermondialistes, consacre l’essentiel des 300 pages de son livre à une attaque en règle de la notion de compétences. Celle-ci aurait envahi l’école et aboutirait à transformer notre système éducatif en une fabrique néolibérale d’un élève dit « performant » et donc conforme aux canons d’une société déshumanisante, qui broie les individus avec le culte de l’utilitarisme et de l’adaptation. Les cibles : l’entreprise qui veut formater les individus, les États qui suivent aveuglément des directives normalisantes (cadre européen, OCDE…), et tous les « idiots utiles » (dont les Cahiers pédagogiques font sans doute partie, ils sont cités à deux reprises, avec Perrenoud et par exemple les chercheurs en sciences de l’éducation du Québec) qui, avec peut-être parfois de bonnes intentions mais souvent de manière insidieuse, sanctifient les compétences et cherchent à les implanter comme nouveau paradigme scolaire. En revanche, malgré quelques circonvolutions [Note personnelle : J’aurais écrit pour ma part “circonlocutions”, mais je ne suis pas un expert des Cahiers pédagogiques], sont épargnés l’école traditionnelle, les réactionnaires ennemis de la démocratisation, les nostalgiques du passé. »

Quelqu’un – me suis-je dit – d’aussi détesté par un chantre du constructivisme doit valoir qu’on s’y intéresse !

Il faut d’abord s’entendre sur les mots. Pour moi, une compétence scolaire, c’est la conjonction d’une connaissance et d’une habileté. Et du coup, je ne suis pas opposé à ce qu’on tente de l’évaluer. À condition que cette évaluation ne se fasse pas au pif comme cela se produit avec la plupart des items des livrets de compétences officiels, à condition aussi que cette évaluation ne prenne pas un temps fou aux élèves et à l’enseignant, et à condition enfin que cette évaluation soit une information pertinente pour l’élève, l’enseignant et le parent. Le moins qu’on puisse dire, c’est que ces trois conditions n’ont jamais existé depuis qu’on a commencé à parler de compétences dans les années 1990. On en a fait plutôt une « usine à cases ».

Angélique del Rey n’attaque pas la notion de compétences sous cet angle purement pédagogique. Pour elle, ce n’est « ni plus ni moins qu’un processus néolibéral tendant à placer, plutôt que l’éducation au service de l’homme, le petit d’homme à éduquer au service des besoins de l’économie » (p 9). Moi qui suis sensible aux dérives liées à la marchandisation de l’école, je deviens alors plus attentif. D’autant plus que « l’école des compétences dépasse largement les frontières de notre continent : on la trouve aux États-Unis, au Québec, en Australie, en Argentine, en Algérie, au Togo… ! Et partout, avec la même justification : permettre à l’élève de s’adapter à un monde nouveau et en perpétuel changement, caractérisé par la compétition et la menace de la précarité » (p 11-12). Vue sous cet angle, la notion de compétence prend une tournure particulièrement déplaisante, puisqu’il s’agit d’une adaptation de l’école à l’ultralibéralisme, avec la formation de travailleurs flexibles et peu exigeants dont ce système économique est gourmand.

Deuxième aspect peu agréable, mais que mon expérience du métier peut confirmer : l’approche par compétences est « articulée à l’essor institutionnel des pédagogies dites “actives” enseignées dans les Instituts universitaires de formation des maîtres et notamment à la “pédagogie par objectifs”, bien ancrée dans la culture de ces établissements » (p 27) On comprend mieux, dès lors, pourquoi ce livre a été l’objet de la vindicte de Zakhartchouk. « Bienvenue dans le dogme du constructivisme radical, avec sa magnifique vision mécanique de l’esprit humain » (p 38). Bravo ! Je n’aurais pas dit mieux.

Il faut dire qu’Angélique del Rey a de bonnes références puisqu’elle cite le livre de nos amis Steve Bissonnette, Mario Richard et Clermont Gauthier : Échec scolaire et réforme éducative quand les solutions proposées deviennent source du problème (p 40).

Arrive alors la question cruciale : comment et pourquoi la notion de compétences s’est-elle imposée à l’École ? Voici la réponse de l’auteur : « Je suis parvenue à la conviction que la notion cristallise au croisement de trois processus au moins, dont aucun n’est éducatif en son essence. Le premier est psychométrique (au sens large) : c’est un processus de mesure et d’évaluation des “aptitudes”, issu notamment de la recherche en psychologie cognitive (bien que celle-ci ne s’y réduise pas) et qui aboutira dans une évaluation-monde des résultats scolaires des élèves. Le deuxième est économico-politique, il commence après-guerre et consiste dans la planification des systèmes éducatifs au niveau mondial, s’appuyant sur la toute nouvelle économie de l’éducation : c’est un processus de modélisation de l’éducation comme marchandise. Le troisième est un processus de gestion des ressources humaines qui a contaminé l’école dans les années 1980, via la formation professionnelle et l’orientation scolaire : le “nouveau management des entreprises” » (p 51). C’est le passage-clé du livre.

Plus loin, Angélique del Rey pointe un autre danger de la marchandisation de l’École : « Aujourd’hui, la tendance est au désinvestissement des États dans l’éducation au prétexte que celle-ci ne participe pas tant que cela à la croissance : il faudrait privilégier soit la “certification” des compétences acquises (par l’école, par l’expérience ou par la formation en entreprise), soit la fameuse “formation tout au long de la vie”, autrement dit d’autres canaux d’éducation et de formation que l’école publique » (p 68).

À ce sujet, l’auteur fait une différence intéressante entre la “qualification” et la “compétence” : « Tandis que la qualification était fondée sur le temps de formation, le diplôme et l’ancienneté, les compétences seront fondées sur des profils et des “expertises”, qui ont de nombreuses origines » (p 69).

Jusqu’à présent, le point de vue d’Angélique del Rey méritait d’être écouté et médité. Mais les choses vont bien vite se gâter.

Tout d’abord, rappelons que l’auteur est professeur de philosophie. Or je crois avoir un problème avec les philosophes : je les trouve souvent verbeux et peu efficaces dans la démonstration, abusant de circonlocutions (et non les “circonvolutions” de Zakhartchouk) truffées de références la plupart du temps superflues, moins utiles qu’ostentatoires (« voyez comme je suis cultivé ! »). Mais tout cela est affaire de goût…

Il y a plus grave.

Malgré ce qu’elle peut écrire sur le constructivisme, Angélique del Rey fait la révérence à saint Célestin Freinet, comme le Costa Concordia l’a faite à l’île du Giglio. Il semblerait que ce soit une obligation dès qu'on parle pédagogie. On a ainsi droit à des descriptions émerveillées d’expériences qui fleurent bon la pédagogie “active” et qui, de fait, dégoulinent des bons sentiments de la gauche compassionnelle et angélique. On serait curieux de savoir si ces expériences ont été aussi extraordinaires, fabuleuses et admirables dans la réalité et dans la durée. Ce qui est rarement le cas avec les dispositifs mis en place par les adeptes de Freinet. Ce qui compte, c’est ce qu’on en dit, pas ce qui est fait…

Quoi qu’il en soit, le pauvre Zakhartchouk en a été déstabilisé, reconnaissant que le fait de citer « des expériences intéressantes inspirées de la pédagogie active » ne permet pas « du coup (…) de classer Angélique del Rey parmi les antipédagogues ». Zut alors !

Après la révérence à Freinet, le lecteur ne sera alors pas surpris qu’Angélique del Rey se défie de l’efficacité, et à plusieurs reprises pour qui n’aurait pas compris la première fois. Citons ce passage : « L’efficacité, valeur en provenance de l’économisme, est désormais placée au cœur de la question pédagogique comme la valeur centrale » (p 90). Si au moins c’était vrai !

De fait, il semble bien que l’enseignement soit la seule profession où on peut se targuer de faire n’importe quoi, quitte à sacrifier des cohortes entières d’élèves pendant des années, tout cela parce que l’efficacité est une « valeur en provenance de l’économisme ». Heureusement que mon plombier ne partage pas ce point de vue, sinon il mettrait trois jours pour changer un joint de robinet… qui pisserait l’eau de toute part sitôt le travail terminé.

Ce rejet de l’efficacité en enseignement est particulièrement répandu. Chez les constructivistes, parce que leur démarche est ontologiquement inefficace. Chez les partisans de l’enseignement traditionnel, puisque pour eux enseigner « est un art », et non une technique. Au total, cela finit par faire du monde. Et on s’étonne ensuite que les enseignants soient considérés comme des fumistes et des bons à rien…

Signalons incidemment et sans surprise que l’auteur est également contre la métacognition. Logique...

Enfin, cerise sur le gâteau, Angélique del Rey avoue au détour d’une phrase : « Je ne voudrais surtout pas participer à l’édification de listes de bonnes pratiques, quelle horreur ! » (p 248). En effet, quelle horreur ! Il vaut mieux laisser se débrouiller les enseignants débutants afin qu’ils fassent « leurs propres expériences » sur le dos de leurs élèves. Il vaut mieux mettre en place des dispositifs pédagogiques qui laissent sur le carreau la plupart des élèves, et notamment ceux des familles défavorisées. Il vaut mieux laisser à des établissements privés hors de prix le soin de dispenser un enseignement de qualité grâce à ces fameuses bonnes pratiques. Qu’est-ce que c’est que cette réaction inepte ? De surcroît, de la part de quelqu’un qui se situe manifestement à gauche ? Cette posture relève-t-elle de l’inconscience ou de l’incompétence ? Ou plutôt des deux à la fois, comme c’est le cas chez ceux qui rejettent habituellement les bonnes pratiques ? Quand le manque de professionnalisme atteint un tel niveau, il ne reste plus qu’à lever le camp et aller voir ailleurs.

Donc, au total, un livre qui pose de bonnes questions mais dont les réponses me semblent oiseuses, emberlificotées au mieux, pernicieuses au pire. Angélique del Rey a, comme on dit vulgairement, le cul entre deux chaises. D’un côté, elle tanne son lecteur avec la transmission, la transmission, la transmission (par l’enseignement traditionnel, bien sûr). Et de l’autre côté, elle fait les yeux doux à toute la camarilla constructiviste en conspuant toute forme d’efficacité et de bonnes pratiques d’enseignement.

Finalement, je rejoins le camarade Zakhartchouk. Mais pour des raisons inverses…

______________________________________

À l'école des compétences - De l'éducation à la fabrique de l'élève performant

Angélique DEL REY

La Découverte, 286 p

01/2010

Les grandes espérances : comment les notes et les politiques éducatives façonnent-elles les aspirations des élèves ? (OCDE)

OCDE : Pisa à la loupe, n° 26

03.2013

 Télécharger le document

Depuis quelque temps, en France, les notes sont réputées “traumatiser” ou “stigmatiser” les élèves. Ces derniers ­– et souvent leurs parents avec eux – souhaiteraient n’obtenir que des bonnes notes, et si possible la meilleure. Et ce, quelle que soit la qualité du travail rendu.

Il arrive de plus en plus souvent que des élèves ergotent auprès de leurs professeurs dans l'espoir de grappiller quelques points de plus. Quand ce ne sont pas les parents qui viennent plaider la cause de leur cher enfant, celui-ci n’ayant pas été évalué à sa vraie valeur, qui est forcément excellente.

Parallèlement à cette évolution, les Diafoirus de l’éducation exigent la disparition pure et simple de toute notation. Le plus connu d’entre eux, André Antibi, juge que les enseignants obéissent à une “constante macabre” (sic), avec la règle des trois tiers : un tiers de bons, un tiers de moyens et un tiers de mauvais. À la place, il propose sans rire d’établir un “contrat de confiance”. Quand Darty devient une référence pédagogique. Le plus surprenant est que cette idée de remplacer la constante macabre par une joyeuse mascarade a dès le début été prise au sérieux par l’Éducation nationale. Et même par le ministre actuel !

De fait, tout système d’évaluation peut être critiqué. Les spécialistes en docimologie ne s’en privent pas. Pour autant, faut-il casser un moyen simple permettant aux élèves, à leurs parents et à l’institution de connaître avec le plus de précision possible la réussite dans les apprentissages et les progrès qui restent à accomplir ?

Sans les notes, l’évaluation sommative devient approximative. La notation a des défauts, mais pas autant que ce qui prétend la remplacer. Car le système des “acquis”, “non acquis” ou “en voie d’acquisition”, s’il n’est pas traumatisant ou stigmatisant, manque singulièrement de précision. De même pour les compétences péremptoirement déclarées “acquises” à telle date... et qui risquent d’être oubliées à peine un mois plus tard.

Ce numéro de PISA à la loupe rappelle très justement que « le but premier des notes est de promouvoir l’apprentissage des élèves en informant ces derniers de leurs progrès, en attirant l’attention des enseignants sur les besoins de leurs élèves et enfin, en attestant du degré de maîtrise par les élèves des tâches et compétences valorisées par les enseignants et les établissements d’enseignement. » Il est des évidences qui méritent d’être affirmées quand tout marche à l'envers.

Un encart intitulé “ Pratiques de notation efficaces” mérite d’être reproduit intégralement :

• Les notes doivent communiquer des informations claires et utiles dans le but de promouvoir l’apprentissage.

• Les notes doivent se baser sur des critères clairs et spécifiques, afin d’évaluer la réalisation d’objectifs prédéfinis.

• Les notes ne doivent pas servir à communiquer des attentes ou à juger un comportement ou une écriture. Le cas échéant, faire la distinction entre les notes relatives au comportement et celles relatives à l’apprentissage.

• Ne pas utiliser les notes pour pénaliser les élèves ayant rendu un travail inachevé ou en retard.

• Une très mauvaise note peut démoraliser un élève et le décourager de poursuivre ses efforts.

• Les notes ne doivent pas se baser sur une courbe, susceptible de créer une concurrence malsaine et de réduire la motivation.

• Tous les exercices d’évaluation ne doivent pas nécessairement être rendus aux élèves accompagnés d’une note.

• Dans certains contextes, il est préférable d’avoir recours à des évaluations qualitatives personnalisées sans note chiffrée.

En Enseignement Explicite, on applique l’ensemble de ces recommandations. L’évaluation est un outil important qui détermine les 80 % d’élèves qui parviennent à la réussite en fin de pratique guidée et les 95 % en fin de pratique autonome. Pour ce faire, nous avons recours à l’évaluation formative.

L’évaluation sommative, quant à elle, permet de faire le point sur les apprentissages, elle donne des renseignements précis aux élèves, à leurs parents et à l’institution, ainsi que des indications utiles pour orienter les efforts à faire et les progrès à accomplir.

Nous sommes des professionnels, nous avons besoin de ces outils. Ne les cassons pas.