Visible Learning : la Lune et le doigt

Le travail réalisé par John Hattie et son équipe a suscité, lors de sa parution, beaucoup d’enthousiasme par l’ampleur des données récoltées et par le fait qu’il s’agissait d’une tentative de déterminer les meilleures pratiques d’enseignement en se basant sur des données en grand nombre (plus de 900 méta-analyses).

Les constructivistes, qui tiennent plus à leurs croyances fondées sur l’idéologie que sur les données probantes fondées sur la réalité, ont partout rejeté le travail de Hattie parce qu’il démontrait l’inefficacité de leurs pratiques pédagogiques. Leurs critiques ne sont, par conséquent, que des réactions défensives sans valeur. Inutile qu’on s’y attarde…

En revanche, lorsque Robert Slavin, qui est un chercheur sérieux prônant un enseignement du type instructionniste avec Success for All, dit “John Hattie is wrong” dans un article de son blog, il faut écouter ses arguments et les prendre en considération.

Sa critique pointe le fait que, dans la masse des analyses que Hattie et son équipe ont utilisées, certaines avaient des biais importants. Ces défauts se sont logiquement reportés sur les méta-analyses qui les recensaient malgré tout et, à un niveau supérieur, sur les méga-analyses, pour les mêmes raisons.

Il pointe également le seuil de 0,40 du célèbre cadran qui sert de limite entre les pratiques qui ont un effet tangible et celles qui n’en ont pas. Les effets compris entre 0,15 et 0,40 correspondent à ce que tout enseignant pourrait produire quelle que soit sa méthode. Et ceux compris entre 0,00 et 0,15 équivalent à ce que n’importe quel enfant peut apprendre tout seul, sans le secours de l’école. Or, selon Robert Slavin, ce cadran et les zones qu’il détermine ne tient pas compte de la taille de l’effet. En statistique, c’est la force de l'effet observé d'une variable sur une autre (voir l’article de Wikipédia pour en apprendre davantage).

Le point de vue de Franck Ramus doit également être pris en compte : « Quand on pousse la synthèse à l’extrême il existe évidemment un risque de simplification, de passer à la trappe des détails importants ou de se livrer à des comparaisons qui n’ont pas lieu d’être. Il ne faut ainsi pas lire les tableaux de Hattie de façon littérale. Et s’il s’agit de convertir ces données en recommandations pratiques pour les enseignants alors oui il est nécessaire de revoir chaque étude retenue dans le détail. Il me semble que les travaux de Hattie constituent davantage un outil pour les chercheurs parce qu’ils sont un point d’entrée systématique et exhaustif vers une littérature scientifique immense et difficile à dominer ».

Quant à Steve Bissonnette, il écrit : « Les travaux menés par l’équipe de John Hattie font l’objet de plusieurs critiques et plusieurs de ces critiques sont valables et recevables. En effet, réaliser une méga-analyse en comparant les résultats provenant de diverses méta-analyses ayant utilisé parfois différentes méthodologies crée le danger de comparer des pommes avec des oranges ! » 

Le “Saint-Graal de l’éducation” – comme le Visible Learning a été très vite qualifié par les médias – n’est donc pas vraiment la relique miraculeuse que tout le monde enseignant espère.

Incontestablement, les instruments de mesure utilisés par les chercheurs ne sont pas parfaits. On retrouve les mêmes limites – et les mêmes critiques – dans les mesures effectuées pour les comparaisons internationales (PISA, TIMSS, PIRLS) ou pour les évaluations standardisées des acquis des élèves. Mais malgré leurs défauts, ces instruments de mesure révèlent un certain nombre d’indications massivement convergentes, dont il serait stupide de rejeter l’évidence au nom d’une perfection qui ne sera jamais de ce monde.

Lorsque le sage montre la Lune, il n’est pas idiot de regarder le doigt. Mais à condition de ne pas oublier, en même temps, de regarder aussi la Lune…

Voir aussi cet article.

Évaluation des élèves français à l'échelle internationale

Les dossiers de la DEPP, n° web-dossier 2019.01

05.2019

La France participe à plusieurs comparaisons internationales de performances des élèves :

- PIRLS (Progress in International Reading Literacy Study) pilotée par l’IEA (Association internationale pour l'évaluation de l'efficacité dans le domaine scolaire) ;

- TIMSS (Trends International in Mathematics and Science Study) pilotée par l’IEA ;

- PISA (Program for International Student Assessment) pilotée par l’OCDE ;

- ICCS (International Civic and Citizenship Education Study), pilotée par l’IEA ;

- ICILS (International Computer and Information Literacy Study) pilotée par l’IEA.

Cliquer sur l'image pour l'agrandir.

PIRLS

Tous les cinq ans depuis 2001, PIRLS évalue les compétences des élèves de quatrième année d’école obligatoire (CM1, en France) en compréhension de l’écrit, dans près de 50 pays. Outre les comparaisons des performances entre pays, le dernier cycle de l’étude (2016) permet de comparer les évolutions temporelles sur une période de 15 années, ce qui au niveau de l’école élémentaire correspond à une suite de données exceptionnelle.

TIMSS4

À l’école élémentaire, tous les quatre ans, TIMSS4 évalue les compétences des élèves en fin de quatrième année des enseignements systématiques (CM1, en France), tant en mathématiques qu’en sciences. L’étude existe depuis 1995, mais la France s’y est jointe pour la première fois lors du dernier cycle (2015). Les résultats de 2015 ont permis des comparaisons des performances entre pays. Ces résultats constituent en outre une base, un temps T0, et permettront lors du prochain cycle (2019) de comparer les évolutions temporelles sur une période de 4 années.

TIMSS8

Tous les quatre ans, l’évaluation TIMSS8 évalue les compétences des élèves de classe de quatrième en mathématiques et en sciences. Jusqu’à présent, la France n’avait participé qu’à la première édition de l’enquête, en 1995. La France réintègre le dispositif en 2019. Les élèves français de quatrième qui participent à cette étude appartiennent à la même génération que celle qui avait participé en CM1 en 2015. Les résultats qui en seront issus constitueront une base, un temps T0, et permettront lors du prochain cycle (2023) de comparer les évolutions temporelles sur une période de 4 années.

TIMSS Advanced

TIMSS Advanced est une évaluation des compétences en mathématiques et en physique des élèves de terminale S. Elle comprend aussi un échantillon complémentaire d’élèves de classes préparatoires aux grandes écoles scientifiques. Cette évaluation a été réalisée en mai 2015 dans 9 pays.

PISA

Tous les trois ans depuis 2000, PISA évalue les compétences des élèves de 15 ans dans trois domaines clés : la compréhension de l’écrit, la culture mathématique et la culture scientifique. À chaque cycle PISA, un de ces domaines est privilégié par rapport aux autres, ce qui permet une étude approfondie des résultats et des évolutions le concernant. En 2015, tout comme en 2006, la culture scientifique était au centre de l’évaluation menée dans 72 pays ou « économies partenaires », dont les 35 pays de l’OCDE.

ICCS

L’étude ICCS s’intéresse à la façon dont les jeunes sont préparés à leur rôle de citoyen. Pour cela, l’étude aborde les connaissances, les attitudes et l’engagement civiques et citoyens des élèves scolarisés au grade 8 (équivalent de la classe de quatrième en France). La France participera pour la première fois à l’étude en 2022. Lors de la précédente édition, en 2016, 24 pays étaient représentés.

ICILS

ICILS (International Computer and Information Literacy Study) est un projet international de recherche conduit par l’IEA (International Association for the Evaluation of Educational Achievement). Il concerne les connaissances et les compétences des élèves de quatrième en termes d’utilisation des outils numériques et de maîtrise de l’information. L’étude existe depuis 2013, mais la France s’y est jointe pour la première fois lors du dernier cycle (2018).

PIRLS 2016 - Évaluation internationale des élèves de CM1 en compréhension de l'écrit - Évolution des performances sur quinze ans (MEN-DEPP)

Auteurs : Marc Colmant et Marion Le Cam

Note d'information, n° 17.24

12.2017

Télécharger la note d'information

L’étude internationale PIRLS 2016 mesure les performances en compréhension de l’écrit des élèves en fin de quatrième année de scolarité obligatoire (CM1 pour la France).

Avec un score de 511 points, la France se situe au-delà de la moyenne internationale (500 points) mais en deçà de la moyenne européenne (540 points) et de celle de l'OCDE (541 points).

Depuis PIRLS 2001, la performance globale française baisse progressivement à chaque évaluation. En 2016, l’écart est significatif et représente -14 points sur la période de quinze ans.

Les performances basées sur la compréhension de textes informatifs baissent davantage (-22 points) que celles des textes narratifs (-6 points).

Les processus de compréhension les plus complexes (Interpréter et Apprécier) baissent davantage (-21 points) que les plus simples (Prélever et Inférer, -8 points).

Les enseignants français sont moins nombreux que leurs collègues européens à déclarer proposer à leurs élèves chaque semaine des activités susceptibles de développer leurs stratégies et leurs compétences en compréhension de l’écrit.

Cinquante pays ont participé à l’enquête internationale PIRLS (Progress in International Reading Literacy Study) organisée par l’IEA pour évaluer les performances en compréhension de l’écrit des élèves de CM1 (L'IEA [International Association for the Evaluation of Educational Achievement] est une association scientifique indépendante à but non lucratif, créée en 1958, qui met en œuvre des études comparatives à échelle internationale dans le domaine de l’éducation). En France, c'est la DEPP qui a conduit l'enquête fin mars 2016.

La classe-cible de l’enquête est celle qui représente quatre années d’enseignement après le début des apprentissages systématiques de la lecture, de l’écriture et des mathématiques. PIRLS s’intéresse à l’ensemble des élèves présents à ce niveau de la scolarité, quels que soient leur âge, leur parcours et l’organisation du système éducatif (proportion d’élèves en retard, etc.).

Au moment de la passation, la moyenne d’âge internationale est de 10,2 ans ; la moyenne européenne est de 10,3 ans ; les élèves français ont 9,8 ans et sont donc parmi les plus jeunes avec les Italiens et les Maltais (9,7 ans). Les plus âgés sont les Lettons (10,9 ans), les Bulgares, les Lituaniens et les Danois (10,8 ans). Les politiques de chaque pays en matière d'âge de scolarisation, de promotion et de redoublement, ne permettent pas d’établir un lien direct entre résultats et âge moyen des élèves.

En France, les élèves évalués dans PIRLS 2016 par la DEPP ont effectué leur cours préparatoire (CP) pendant l’année scolaire 2012-2013, voire 2011-2012 s’ils ont connu un redoublement.

Les programmes de 2008, suivis par ces élèves, indiquent qu’à cette étape de la scolarité, « la lecture continue à faire l’objet d’un apprentissage systématique : phrases ; textes scolaires ; textes informatifs et documentaires ; textes littéraires. L’élève apprend à comprendre en reformulant et en répondant à des questions. Il appuie sa compréhension sur les éléments du texte (sujet, personnages, événements), et sur une analyse précise (titre, organisation, ponctuation, mots de liaison, pronoms, temps verbaux, champs lexicaux). »

Un score supérieur à la moyenne internationale, mais nettement en retrait de celui des pays de l’Union européenne

Les élèves français obtiennent un score moyen de 511. Ce score est significativement supérieur à la moyenne internationale de l’échelle PIRLS fixée à 500. Le score moyen de la France est différent de manière statistiquement significative de celui de chacun des pays de l’étude : 33 pays ont un score supérieur à la France et 16 pays, un score inférieur.

La Fédération de Russie (581), Singapour (575), Hong Kong (569) se partagent les meilleurs résultats. Le premier pays de l’Union européenne est l’Irlande (567).

Pour mieux rendre compte des résultats français, il est pertinent de restreindre la comparaison aux pays qui lui sont les plus proches, soit économiquement (pays membres de l’OCDE), soit d’un point de vue politico-économique et géographique (pays membres de l’Union européenne).

1. Regroupements des pays proches de la France

Cliquer sur l'image pour l'agrandir.

Les résultats français se situent sous la moyenne, tant des pays de l’Union européenne que des pays de l’OCDE : avec un score de 511, la France se situe environ 30 points de score en deçà de la moyenne de ces pays.

En France, on observe une dispersion des scores des élèves autour de la moyenne légèrement inférieure à celle de l’ensemble des pays européens (écart-type 69 ; pour 71 dans l’Union européenne). L’écart-type européen le plus faible s’observe aux Pays-Bas (60) où les résultats sont par conséquent plus homogènes, c’était déjà le cas dans PIRLS 2011.

2. Répartition des performances des pays de l'Union européenne

Cliquer sur l'image pour l'agrandir.

Surreprésentation des élèves français dans le groupe le plus faible

Lorsque l'on ordonne tous les élèves des pays européens participants en fonction de leur score et que l'on découpe cet ensemble en quarts, on observe que les élèves français se trouvent surreprésentés dans le groupe le plus faible : ils sont 39 %, au lieu des 25 % attendus. À l’inverse, seuls 12 % des élèves français, au lieu des 25 % attendus, font partie du quart européen le plus performant.

Par ailleurs, lorsqu’on étudie les distributions des scores des pays européens par déciles (soit dix groupes de même effectif), on observe pour la France une invariabilité de rang. Quel que soit le décile français auquel on s’intéresse, son score moyen est plus faible que celui des autres pays européens. Aucun sous-groupe d’élèves français (les plus forts, les plus faibles ou les autres...) ne s’éloigne du classement global de la France.

6 % des élèves français n’atteignent pas le niveau le plus élémentaire de PIRLS

PIRLS caractérise le niveau des élèves à partir de scores de référence. Les élèves doivent obtenir un score d’au moins 625 pour atteindre un niveau avancé ; 550 ou plus pour le niveau élevé ; 475 ou plus pour le niveau intermédiaire ; 400 ou plus pour le niveau bas qui correspond à des compétences élémentaires. Avec un score inférieur à 400, les élèves n'attestent pas de la maîtrise des connaissances élémentaires. En France, 6 % des élèves sont dans ce cas contre 4 % en Europe, cette différence est statistiquement significative. Par ailleurs, les élèves sont trois fois plus nombreux dans l’Union européenne (12 %) à atteindre le niveau avancé, qu’en France (4 %).

3. Évolution des pourcentages d'élèves atteignant les niveaux PIRLS
(en %)

Cliquer sur l'image pour l'agrandir.

Avantage aux filles

Les filles obtiennent des performances supérieures à celles des garçons dans tous les pays à l’exception du Portugal, où la différence n’est pas significative. En France, l’écart entre filles (515) et garçons (507) est un des moins marqués : 8 points, contre 13 en moyenne européenne et 19 en moyenne internationale.

Les jeunes Françaises, avec un score moyen de 515, sont 32 points au-dessous de la moyenne des filles européennes (547) ; les jeunes Français (507) sont un peu moins distancés par les garçons européens (534) (écart de 27 points).

Baisse significative des résultats par rapport aux cycles précédents

PIRLS 2016 est constituée pour moitié de textes et de questions utilisés lors des cycles précédents. Ce fort ancrage permet une comparaison temporelle statistiquement fiable.

Depuis 2001, le score moyen global de la France baisse tendanciellement pour passer de 525 en 2001 à 511 en 2016. Ces différences, à cinq, dix ou quinze ans, sont significatives, il est donc possible d’affirmer qu’elles sont bien dues à une érosion des performances.

4. Évolution du score moyen et de l'écart-type de la France

Cliquer sur l'image pour l'agrandir.

20 pays, dont 13 européens, ont participé à PIRLS à quinze années d’intervalle. Pour ce groupe de pays, la tendance est haussière (en moyenne +13 points de score entre 2001 et 2016). Parmi eux, 11 obtiennent des scores en 2016 significativement supérieurs à ceux obtenus en 2001 ; 7 ont des performances inchangées et 2 voient leurs scores baisser : les Pays-Bas (-9 points) et la France (-14 points).

En quinze ans, une baisse marquée sur les textes informatifs...

Deux échelles de scores indépendantes rendent compte des performances en fonction des types de textes proposés : « informatifs » ou « narratifs ». Par construction, la moyenne internationale de ces deux échelles est de 500. Le calcul de la moyenne européenne, en 2016 s'établit à 542 points pour ce qui concerne les textes « informatifs », et à 539 points pour les textes « narratifs ». (Il faut comprendre que ces deux échelles, narrative et informative, ne sont pas directement comparables. Elles représentent des concepts différents et les items constitutifs de chaque échelle ont des niveaux de difficulté quelque peu différents. La mise à l’échelle MRI, en calant ces deux échelles sur celles des résultats globaux, prend en compte ces niveaux de difficulté. Il devient alors possible de comparer ces sous-scores aux scores globaux).

En France, ces deux sous-scores sont respectivement de 510 et 513.

La comparaison sur quinze ans montre une baisse significative des performances (-22 points) sur la compréhension des textes informatifs, ce qui n’est pas le cas pour les textes narratifs (-6 points).

5. Évolution du score moyen de la France en fonction des types de textes

Cliquer sur l'image pour l'agrandir.

Les filles françaises attestent d'une compréhension significativement meilleure des textes narratifs que les garçons (518 points contre 507), alors que la différence observée n’est pas significative en ce qui concerne les textes informatifs (513 points contre 508 pour les garçons).

... et sur les processus de compréhension les plus complexes

Les quatre processus « Prélever », « Inférer », « Interpréter » et « Apprécier » ont été regroupés afin de créer deux échelles de scores indépendantes (ces deux groupes de processus sont hiérarchisés dans leur degré de complexité. Au niveau européen, le taux de réussite des items est de 72 % pour « Prélever et Inférer » et de 52 % pour « Interpréter et Apprécier »). Par construction, la moyenne internationale de ces deux échelles est de 500. Le calcul de la moyenne européenne, en 2016, s'établit à 542 points pour ce qui concerne les processus « Prélever et Inférer », et à 539 points pour les processus « Interpréter et Apprécier ».

En France, ces deux sous-scores, respectivement 521 et 501, s’écartent significativement du score global français (511), mettant en évidence une force relative sur les processus les plus simples « Prélever et Inférer » et une faiblesse relative sur les processus les plus complexes « Interpréter et Apprécier ».

L’Allemagne, l’Autriche et la République tchèque ressemblent à la France sur ce point. À l’inverse, les élèves de Pologne et de Lettonie obtiennent des scores significativement supérieurs pour « Interpréter et Apprécier ». Ces différences de profil s’expliquent vraisemblablement par l’accent plus ou moins marqué que met chaque système éducatif sur l’enseignement de ces processus de compréhension, à ce niveau de scolarité.

La comparaison sur quinze ans montre une baisse significative des performances sur les deux groupes de processus. Toutefois, la baisse est presque 3 fois plus importante lorsque la compréhension impose aux élèves de mettre en jeu les processus les plus complexes (-21 points) que lorsqu’elle demande seulement d’utiliser des processus les plus simples (-8 points).

6. Évolution du score moyen de la France en fonction des processus de compréhension

Cliquer sur l'image pour l'agrandir.

Plus de temps consacré au langage qu’ailleurs en Europe

En langue française, 288 heures annuelles d’enseignement sont prescrites au moment de l’enquête, par les programmes officiels de 2008. Les enseignants affirment aller au-delà et consacrer 330 heures (soit un excédent de 15 %) à l’enseignement de la langue, y compris la lecture, l'écriture, l'expression orale, la littérature et d'autres compétences linguistiques. La moyenne déclarée par les enseignants des autres pays européens est de 236 heures.

Les enseignants français disent consacrer 165 heures spécifiquement à la lecture-compréhension, y compris à travers les autres champs disciplinaires, contre 146 heures dans les autres pays européens.

Les enseignants de CM1 déclarent passer 19 % du temps de classe à l’enseignement de la lecture-compréhension et plus généralement 37 % à l’enseignement de la langue française. En moyenne, dans les autres pays de l’Union européenne, ces valeurs sont respectivement de 18 % et 28 % pour la langue de chacun de ces pays.

Des activités pour aider à la compréhension de l’écrit moins fréquentes en France

Les enseignants français sont moins nombreux que leurs collègues européens à déclarer proposer à leurs élèves de manière hebdomadaire des activités susceptibles de développer leurs stratégies et leurs compétences en compréhension de l’écrit. En moyenne, l’écart sur l’ensemble de ces activités est de - 15%, mais il peut aller du simple au double (par exemple, 41 % des élèves français sont sollicités au moins une fois par semaine pour « Comparer ce que les élèves ont lu à des faits qu’ils ont vécu », contre 82 % des autres élèves européens).

7. À quelle fréquence demandez-vous aux élèves de faire les choses suivantes pour les aider à développer leurs aptitudes ou leurs stratégies de compréhension de l’écrit ?

Cliquer sur l'image pour l'agrandir.

Une formation continue limitée

Interrogés sur leur éventuelle participation à une formation professionnelle en lecture-compréhension au cours des deux dernières années (stages, ateliers, séminaires, etc.), les enseignants français mettent en évidence un développement professionnel restreint par rapport aux autres pays. Ainsi, 38 % des élèves français ont des enseignants qui n’ont participé à aucune formation contre 22 % en moyenne pour les autres pays européens.

Cliquer sur l'image pour l'agrandir.

Cliquer sur l'image pour l'agrandir.