Skip to navigation – Site map

HomeNuméros01Construire la comparabilité

Construire la comparabilité

Daniel Robin
p. 27-34

Abstract

En s’appuyant sur de nombreux exemples dans divers pays (notamment les États-Unis, le Japon, la France), l’auteur expose les difficultés méthodologiques des études comparées et les erreurs d’interprétation qu’elles risquent d’entraîner, et l’utilité de l’analyse systémique pour saisir la complexité et la variabilité des phénomènes observés.

Top of page

Full text

1La comparaison des systèmes éducatifs est une pratique permanente et la plupart du temps fort légère dans ses exigences. Comme toute chose courante la comparaison est spontanée et par là même éloignée des démarches de construction de la connaissance. Dès qu’une différence, en général partielle ou locale se repère, elle est étendue à une situation beaucoup plus large, ou subit une déformation par rapport à une autre situation connue et est immédiatement assortie d’une qualité, positive ou bien négative. Ainsi, le passage automatique dans la classe suivante à l’intérieur d’un établissement scolaire étranger est-il apprécié positivement, alors que dans son propre pays le redoublement pose problème ou bien est considéré comme une perte du point de vue de l’économiste. Et cela sans se pencher sur le fonctionnement même du système éducatif concerné.

2La fréquente fascination de ce qui se passe à l’étranger, ou suivant le cas, la survalorisation de son propre système, dans les débats avec les partenaires des autres pays, ne repose généralement que sur des situations isolées, décrivant des états, où le fonctionnement et la modification de ces états sont absents. Ainsi va être vanté l’enseignement en alternance, sans évoquer les contraintes qui l’entourent, ou la pédagogie différenciée, comme des entités par elles-mêmes. Ou bien encore on va se plaindre des redoublements sans s’attacher au sens qu’ils prennent dans un système où la prédétermination des carrières des élèves à l’intérieur du système éducatif est plus faible qu’ailleurs, ou au lien qu’ils entretiennent avec la forme des certifications spécifiques du pays concerné. Ou bien encore, on va insister sur une innovation que l’on considérera comme symptomatique d’une évolution, devenant ainsi exemplaire d’un futur, sans en peser ni le poids dans le système éducatif, ni étudier l’acceptabilité de cette transformation, ou encore envisager les effets pervers de cette proposition. En tout cas, le phénomène observé n’est pratiquement jamais relié au fonctionnement même du système éducatif.

3Lorsqu’on compare spontanément deux systèmes éducatifs, deux types d’informations prévalent : les mots, à peine conceptualisés, qui décrivent des situations élémentaires et les chiffres de démographie scolaire. Par exemple, on va parler de redoublement ou de pourcentage de tranche d’âge accédant au baccalauréat. Dans le premier cas, seront confrontées des situations contrastées, allant du système où le passage est automatique (ou bien le redoublement exceptionnel) à notre système éducatif où le redoublement peut atteindre le tiers d’une section, voire plus, pour une classe d’examen. Et alors de se lamenter pour les uns du gâchis que représente cette pratique du redoublement, et pour les autres de se plaindre de voir passer de classe en classe des élèves pratiquement analphabètes. À aucun moment l’information n’est suffisamment construite pour décrire la situation de fonctionnement de l’institution, qui amène souvent nécessairement soit le passage automatique, soit le redoublement d’une part de la population scolaire. Comparer des redoublements, d’un pays à l’autre ne peut, en soi, informer sur les systèmes éducatifs, mais peut déchaîner des passions, sans fondements.

4De même, dire qu’au Japon plus de 80 % des élèves ont l’examen terminal du secondaire, alors que les chiffres sont considérablement inférieurs en France est une comparaison fréquemment entendue mais qui participe en fait à la désinformation. Le niveau du baccalauréat, en France, en dépit des inégalités attribuées qualitativement – ce que les études sur la valeur des diplômes contestent au plan économique – est assez homogène. Par sa construction et le grand nombre de disciplines concernées, mais surtout par son statut et son influence sur l’organisation concrète des enseignements, il joue un rôle important dans la construction des trajectoires des élèves. L’examen terminal du secondaire au Japon dépend lui, du niveau des établissements au Japon, qui sont très différents du fait des modes de sélection d’entrée dans ces établissements. De ce fait, il sanctionne des niveaux très divers de compétences. La comparaison de ces chiffres sous cette forme n’est pas de nature à nous éclairer. Et cela d’autant plus que dans le débat public, les données numériques sont très vite sorties de leur contexte scientifique pour devenir des objets politiques, tout en gardant une apparence de rigueur. Ainsi le « 80 % d’élèves au niveau de l’examen terminal du secondaire » a fait une longue carrière politique, qui n’est pas terminée, sans que l’analyse à l’origine de l’information de départ ait survécu.

5Les faits au centre des réflexions comparées sur les systèmes éducatifs ne sont jamais en eux-mêmes comparables. Chaque fois la comparabilité est à construire : construction de concepts, de structures, de relations et de fonctions dont la seule utilité est de rendre comparable des situations d’un certain point de vue, dans une organisation spécifique de l’information dont on dispose.

6Reprenons la situation du redoublement ou du passage automatique (ou quasi automatique) dans la classe suivante. Dans certains systèmes éducatifs, la trajectoire de l’élève est très peu influencée par les évaluations internes. Les contrôles et examens – au reste peu fréquents – ont peu d’importance, sinon pour un éventuel départ de l’établissement (mais cette dernière situation est rare). C’est le cas dominant aux États-Unis. Ce qui importe, c’est le choix de l’établissement, et dans l’établissement, le curriculum choisi. Une fois ces « opportunités d’apprentissage » choisies, la scolarité se déroule de manière uniforme, et puisque c’est l’occasion d’apprentissage qui prime sur l’acquisition de compétences académiques, le redoublement n’a pas de sens. Enfin au sortir du secondaire, l’évaluation externe faite par l’université ne se base que de manière très partielle sur cette compétence académique. Ce qui caractérise l’élève, c’est un ensemble de compétences humaines, sociales et partiellement académiques. L’université fera le reste pour les élus.

7Au Japon, la compétition scolaire et l’autonomie des établissements a induit d’autres influences sur la trajectoire de l’élève. Si l’évaluation est obligatoire dans le système scolaire, elle n’influe pas vraiment sur le devenir de l’élève. Ce qui importe, c’est de réussir les concours d’entrée des établissements les plus prestigieux possibles tout au long de la scolarité. Et c’est ainsi que pour s’y préparer, nombre d’élèves suivent des cours dans une seconde école le soir, voir une troisième le week-end, dans le but unique de préparer ces concours. En fait, c’est en-dehors de l’établissement que le destin de l’élève se règle, plus précisément à son entrée. Le redoublement n’a pas de fonction interne à l’école, tout au plus peut-il avoir un rôle dans l’année précédant un concours externe.

8En France et dans les systèmes éducatifs voisins, la trajectoire de l’élève, au cours de la scolarité obligatoire et jusqu’à la fin du secondaire, se construit dans l’établissement. C’est probablement l’un des systèmes au monde où la variabilité interne est la plus grande. Et sans nier l’importance de la reproduction socioculturelle, deux élèves de profil initial commun peuvent avoir des destins très différents dans l’école, de même des élèves initialement très différents peuvent se retrouver en fin de parcours. Cette scolarité, quels que soient les curricula, est ponctuée par de nombreuses évaluations, conseils de classe et conseils d’orientation. « Orientations » et redoublements y sont décidés. Des systèmes d’appel à ces décisions sont même institués. Si dans les deux pays précédemment cités, la régulation sociale et culturelle est externe, elle est ici interne. Et le redoublement, ou les autres décisions sont un produit naturel du fonctionnement général évoqué.

9Ici, pour évoquer le redoublement, il a été nécessaire de construire des concepts et une représentation qui permette de donner sens simultanément aux différentes formes de passage dans la classe supérieure, qui dépasse de beaucoup l’unité d’analyse qu’est ici l’établissement secondaire. C’est au niveau du fonctionnement du système éducatif et de ses contraintes externes que la représentation a été construite. Et l’objet, « le passage dans la classe supérieure » (et non pas « le redoublement »), a pu être approché à travers les concepts d’orientation vers les curricula, ou vers l’évaluation, à travers la problématique de régulation. Ce n’est ici qu’un exemple, avec une proposition d’explication, mais ce type de représentation est nécessaire à la comparaison.

10Ainsi pour comparer les compétences des élèves d’un pays à l’autre, on est amené à construire une représentation des programmes d’enseignement, des pratiques des enseignants, de la culture familiale ou du métier des parents qui donnent sens dans chaque pays aux descriptions, issues d’une modélisation unique, dans laquelle chaque situation de pays n’est qu’une éventualité. Ainsi une compétence ne prend sens que dans une situation ou toutes les opportunités d’apprentissage sont homogènes par rapport à une description d’ensemble de ces opportunités d’apprentissage, pour ne prendre comme exemple que cette seule contrainte. Si on a pu décrire de manière cohérente toutes les situations qu’un élève se déplaçant dans tous les systèmes éducatifs considérés peut rencontrer en matière de situations d’apprentissage, on pourra utiliser le concept d’« opportunité d’apprentissage » pour relativiser les résultats dans chaque pays.

  • 1 Daniel Robin, in the IEA Study of Mathematics III, Pergamon Press. 1993.

11Nous avons pu montrer en comparant de nombreux pays que dans des conditions apparemment semblables d’enseignement, des compétences très différentes sont développées chez les élèves en mathématiques, avec les mêmes horaires d’enseignement et des programmes apparemment semblables. Mais pour comparer des niveaux de compétence, nous avons été amenés à analyser les choix des maîtres en matière de stratégie d’enseignement – voire de choix philosophiques – les exercices, leurs exigences en matière de solution, ce qui se passait dans la classe, les contraintes de fonctionnement du système, enfin les programmes réel et officiel. Et ce n’est que dans cette prise en compte des cultures des divers acteurs et des contraintes du système que nous avons pu constater les orientations, inductives de l’enseignement au Japon ou hypothético-déductives en France, les tendances pragmatiques aux États-Unis, orientant leur enseignement vers la vérification des lois, ou en Belgique vers l’appréhension des structures1.

12De même, dans des conditions très dissemblables, des comportements intellectuels comparables étaient développés. Certains enseignants en France sont plus proches de leurs collègues japonais que de leur voisin dans l’établissement et réciproquement, même si le phénomène est très minoritaire. Mais dans un système comme la France, où la contrainte en matière de curricula est très forte, l’éloignement du contrôle entraîne une grande disparité dans les classes par rapport à d’autres pays moins contraints au plan central.

13Ces exemples montrent combien il est nécessaire de se construire problématiques et concepts englobant, permettant de décrire des situations fort différentes et surtout fort complexes.

14Et c’est sans doute une difficulté majeure de l’approche comparative, même si cela se rencontre, en-dehors de la préoccupation comparative. Il faut construire l’interprétation des phénomènes dans une approche de la complexité. Et ceci à la fois en termes de nombre de domaines conceptuels concernés et de quantité des facteurs qui interagissent simultanément. Et la plupart des erreurs dans les stratégies de développement des systèmes éducatifs viennent de la simplification (certes nécessaire à l’action politique) qui est à l’origine d’effets pervers rédhibitoires.

15Ainsi des décisions concernant la gestion des ressources humaines, au quotidien, peuvent modifier les objectifs fondamentaux d’un système d’enseignement primaire. Si par exemple, dans un système où le niveau des maîtres est très hétérogène, on affecte les maîtres les mieux formés dans les CM2, ce qui est souvent un réflexe, on favorise le choix des élites si le système laisse passer peu de monde dans les collèges. Par contre, si la décision administrative locale tend à affecter ces compétences au cours préparatoire, on favorise l’alphabétisation. Une simple décision administrative, un élément apparemment ponctuel du fonctionnement de la gestion des ressources humaines peut avoir des conséquences très importantes sur l’état d’un système. C’est un type de réflexion souvent oublié dans les systèmes éducatifs des pays développés. Cet exemple élémentaire est ici pour rappeler qu’il est nécessaire d’analyser, très précisément et dans le « détail », le fonctionnement des systèmes éducatifs, avant d’entreprendre la construction de représentations comparées des systèmes. Approches en même temps administrative et pédagogique, juridique et économique, sociologique et politique, culturelle, sont simultanément nécessaires, en situant chaque fois le fonctionnement dans le système de contrainte auquel il est soumis.

16Alors, et seulement alors, on est amené à construire les principes qui organisent les systèmes, leur fonctionnement, les principes culturels et le traitement des contraintes (économiques, organisationnelles, culturelles...), dans lesquels les comparaisons prennent un sens.

17Cela réclame beaucoup d’informations, et en particulier statistiques. Mais le traitement de celles-ci, sans être totalement spécifique de la préoccupation comparative, en est singulièrement complexifié. Cela touche aussi bien le lien avec la conceptualisation, le sens, le poids et la représentativité des phénomènes. Cela tient au fait que dans la comparaison on augmente la variabilité des phénomènes et on utilise des modèles explicatifs plus multidimensionnels où la perte de sens est un risque beaucoup plus grand.

18Comparer des catégories socio-culturelles dans des pays où le social et le culturel sont différents, comparer des Produits intérieurs bruts de pays où ils se composent de manières différentes sont des tâches redoutables. Pourtant cela n’est pas inaccessible. Par exemple mesurer le niveau culturel des familles ne peut s’approcher en soi, mais à l’aide de nombreuses études, on a pu montrer que le nombre de livres possédés dans la famille, est un bon indicateur de ce niveau culturel et de l’attitude culturelle de cette famille, information aisée à recueillir dans une enquête. Et ainsi on dispose actuellement d’un certain nombre d’indicateurs qui permettent de décrire l’environnement de l’acte éducatif. Pour les mesures composites, comme le PIB, une analyse éclatée permet une comparaison multidimensionnelle d’où on tire des indicateurs valables pour l’ensemble des pays auxquels on s’intéresse.

19Souvent, dans un pays, émerge un problème qui sensibilise profondément les professionnels de l’éducation, comme une forme nouvelle d’école, de pédagogie, la naissance de la violence ou bien une dérive dans l’attribution des diplômes. L’apparition d’un phénomène est fréquemment objet de débat politique, alors même qu’il présente une incidence mineure en termes de poids et d’évolution ultérieure. S’il est souvent difficile de statuer sur le second point, il est en revanche essentiel dans les comparaisons de rapporter un phénomène à son poids dans le fonctionnement du système.

20Les problèmes de fraude au niveau d’un diplôme n’ont pas la même portée s’ils affectent 0,1 % de l’ensemble des diplômes délivrés ou bien si cela est relatif à 10 %, voire plus, de leur proportion. Dans le premier cas le phénomène est d’ordre pénal, dans le second, il concerne le système dans son fonctionnement. Or dans les deux cas, on va en parler comme une affaire d’État, sans situer le problème dans sa modalité interne ou externe au système et donc sans le relier à un aspect particulier de son fonctionnement.

21La deuxième nécessité lorsque l’on met en présence des mesures statistiques provenant de pays différents est de déterminer leur qualité de représentation du pays. Car l’affectation de la qualité d’appartenir à un pays doit être fondée. L’existence de 10 écoles à « aire ouverte » dans un pays qui en compte 6 000, n’est pas représentative de ce pays par rapport à un autre qui n’en a aucune. Il sera alors dangereux de caractériser, entre autres, le premier comme ayant ces écoles et le second comme n’en ayant pas, et même si cela est une initiative politique à grand renfort de publicité. Ne peut être objet de comparaison de manière durable, que ce qui est capable de qualifier le système éducatif. D’où l’importance des informations représentatives.

22Les informations statistiques, même lorsqu’on en a vérifié la qualité voire la pertinence, n’en n’ont pas pour autant un sens. Les liens statistiques ne sont pas porteurs de sens et d’autant moins que la variabilité des phénomènes et surtout de leur contexte est grande. Qu’on me pardonne cet exemple, mais si on mesure la pousse des cheveux des petits élèves des classes de CE2, durant la première quinzaine de juin, et la pousse des blés dans la même période, la corrélation entre les deux situations est quasi totale. Et cela n’a pas de sens.

23On ne sait, lorsqu’on se trouve devant cette situation dans le contexte des comparaisons internationales, que procéder à la fois de manière statistique et clinique. Il faut, dans la plupart des cas, analyser la situation sur le terrain, – si cela n’a pas été fait naturellement au départ – et situer la relation dans l’analyse de fonctionnement. C’est ce que nous appelons la phase clinique de l’analyse systémique. Et cela fait appel aux différentes techniques liées aux domaines déjà évoqués. L’approche statistique correspond à une analyse secondaire, où l’analyse de données et l’analyse structurale permettent de modéliser d’une autre manière le phénomène, notamment en faisant émerger le champ sémantique associé à la relation. Même lorsque la pré-conceptualisation est forte, l’analyse secondaire est pratiquement toujours nécessaire, car toutes les relations ne peuvent être prédéfinies.

24Même si les difficultés des comparaisons internationales ne peuvent être ici évoquées, il reste un espace d’erreur dans lequel presque tous les comparatistes tombent lorsqu’ils travaillent sur des données quantifiées, qu’elles soient à l’origine qualitatives ou quantitatives. Elles résident dans le mélange entre les données issues de modèles probabilistes et celles liées aux modèles déterministes tout particulièrement dans les activités de prévisions.

25Les mesures de variations sont probablement les plus riches dans les analyses de fonctionnement de systèmes éducatifs, car on ne mesure bien que les changements. L’enjeu de bien des études est de relier l’augmentation des compétences chez les élèves aux pratiques enseignantes, aux contraintes d’enseignement, aux formes de fonctionnement... D’autres ont pour but d’établir des prévisions dans le but d’améliorer la qualité de l’enseignement ou d’en mieux maîtriser la gestion à venir. Mais deux situations bien distinctes se rencontrent et pour le montrer prenons un exemple hors de l’éducation, les éducateurs établiront aisément le lien.

26Une prévision à laquelle nous sommes quotidiennement confrontés est la météorologie, dont les bulletins, souvent contestés, donnent en fait des informations suffisamment précises pour les professionnels de la mer, de l’air et le monde paysan. En fait deux types de prévisions sont donnés : la première concerne les prévisions à court terme et la seconde les prévisions à long terme.

27Dans le premier cas, à partir d’une situation antérieure dont on a mesuré tous les paramètres, que l’on a complètement modélisée, on calcule ce que va être l’état suivant. Et l’ajustement se fait, jour après jour, à partir de mesures de température, d’humidité, de vent et de pression. Ce modèle basé sur un système d’équation aux dérivées partielles régissant la dynamique des fluides est totalement déterministe, en ce sens qu’il permet de reconstituer un état initial de l’atmosphère, à partir duquel on va décrire l’état à venir, les mêmes causes produisant les mêmes effets. Mais chacun le sait, ces prévisions sont locales et à court terme. On sait que très vite ces prévisions perdent leur précision puisqu’au bout de trois jours il y a doublement de l’erreur. On ne peut guère aller raisonnablement au-delà de trois semaines.

28Les prévisions à long terme sont d’un autre ordre. On ne peut qu’établir avec plus ou moins de précision la probabilité d’une situation météorologique. On se trouve là dans le domaine de la climatologie. Et si les mesures concernent également l’humidité, les vents, les températures et les pressions, leur utilisation est différente. Les mesures sont réalisées de manière extensive pour améliorer la précision.

29En sciences humaines, on rencontre cette double utilisation de l’information, mais le risque est grand de travailler avec de l’information qui fonctionne dans le cadre de modèles probabilistes, d’en inférer des causalités. Et même si le propos paraît trivial à travers cet exemple, les mélanges d’ordre de grandeur constituent un risque important. On sait au plan des sciences dures que les lois de l’un et l’autre de ces ordres de grandeur ne se prolongent pas mutuellement, même aux limites d’application, qu’elles ne sont pas de même nature. Mais n’est-il pas naturel d’inférer à partir des observations locales des règles de fonctionnement à un niveau supérieur, ou bien d’agréger des données et sauter ainsi d’un ordre de phénomène à un autre, sans changer de modélisation ? La comparaison des systèmes éducatifs et le besoin d’un grand nombre d’informations incitent souvent à cela sous prétexte de réalisme. Ainsi l’appartenance à une classe sociale peut ne pas être pertinente pour caractériser un individu dans une situation « déterministe », au niveau local, où une approche ethnologique est souvent plus adaptée.

30Certes ces dernières remarques au plan méthodologique ne sont pas propres à la comparaison des organisations d’éducation, quelqu’un soit le niveau, mais les difficultés en sont exacerbées. Telle situation de sciences humaines qui nécessite cette prudence peut s’approcher dans un contexte homogène avec une bonne approximation sans se préoccuper de certains des points évoqués. Mais dès que la variabilité des comparaisons internationales est présente, les erreurs deviennent rédhibitoires. Et l’ordre même de cette variabilité amène à utiliser des éléments méthodologiques de manière tout à fait spécifique, préfigurant peut-être la construction d’un nouveau domaine de connaissance.

Top of page

Notes

1 Daniel Robin, in the IEA Study of Mathematics III, Pergamon Press. 1993.

Top of page

References

Bibliographical reference

Daniel Robin, Construire la comparabilitéRevue internationale d’éducation de Sèvres, 01 | 1994, 27-34.

Electronic reference

Daniel Robin, Construire la comparabilitéRevue internationale d’éducation de Sèvres [Online], 01 | 1994, Online since 20 April 2015, connection on 18 April 2024. URL: http://journals.openedition.org/ries/4297; DOI: https://doi.org/10.4000/ries.4297

Top of page

About the author

Daniel Robin

Centre international d’études pédagogiques (CIEP)

Top of page

Copyright

The text and other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Top of page
Search OpenEdition Search

You will be redirected to OpenEdition Search