Navigation – Plan du site
Dossier

Mais qu’évaluent donc les enquêtes internationales ?

What do international surveys actually assess?
Pero, ¿qué es lo que evalúan los estudios internacionales ?
Jean-Marie De Ketele
p. 141-157

Résumés

Les enquêtes internationales ont le mérite d’exister. Elles sont d’excellents tableaux de bord, mais ne sont que des tableaux de bord. Il faut leur donner du sens, de la valeur (évaluer signifie bien « extirper de la valeur »). Tel est le but de cet article. Quelles performances sont-elles réellement évaluées à travers de telles enquêtes ? Pourquoi certaines « zones culturelles » ont-elles de meilleurs résultats, non seulement en termes d’efficacité mais aussi en termes d’équité ? Grâce à de nouveaux traitements des résultats disponibles, l’article tente de répondre à de telles questions.

Haut de page

Texte intégral

  • 1  2006a et 2006b.

1Comme le souligne Lise Demailly dans ses travaux récents1, les offreurs d’évaluation se sont multipliés, tant au niveau national qu’international. Elle en conclut avec raison qu’il est urgent d’évaluer ces évaluations.

2Mais qu’évaluent donc les enquêtes internationales ? Cette question revêt plusieurs sens complémentaires, dont deux sont l’objet de cette contribution. La première peut être formulée comme suit : quelles sont les performances des élèves réellement évaluées par les enquêtes internationales ? Et donc corollairement, quelles sont les « performances » (les guillemets soulignent le caractère restrictif du terme) des élèves qui ne sont pas prises en compte dans de telles enquêtes ?

3Il va de soi que ce type de questions est fondamental, car la norme ultime de tout système éducatif réside bien dans ce qu’il a permis d’apprendre aux élèves dont il a la charge. Mais la question mérite d’être élargie dans l’optique de ce que l’on appelle une « culture de l’évaluation » et qui prend en compte non seulement l’efficacité en termes de résultats, mais aussi d’autres dimensions du processus éducatif, dont deux nous paraissent importantes : la capacité du système éducatif à générer plus d’équité (ce qui relève des aspects éthiques) et sa capacité à s’améliorer (ce qui relève de son pouvoir d’action). Il s’agit donc bien ici de l’impact différentiel des enquêtes internationales selon les pays qui y participent.

L’évaluation des performances

4L’accent de nombreuses publications a été porté sur le palmarès comparatif des performances, ainsi que sur l’évolution comparative des performances en termes de progrès ou de régression à travers le temps (tout particulièrement entre les résultats PISA des enquêtes menées en 2000 et 2003). Certains ont même déploré la dérive médiatique de ce qu’ils ont appelé « l’Eurovision des systèmes éducatifs ». Par contre, trop peu de publications se sont penchées sur le contenu des tests adressés aux élèves et sur la pertinence de ce qui est évalué.

5Il serait faux de croire que les responsables des enquêtes internationales ont accordé peu d’importance à la question du choix de ce qui doit être évalué. Baye, Demonty, Fagnant, Lafontaine, Matoul et Monsieur (2004) mettent bien en évidence ce que les concepteurs de l’enquête PISA 2003 ont voulu évaluer. Ainsi, l’évaluation de « la culture mathématique chez les jeunes de quinze ans » est définie à travers la combinaison de trois dimensions : la complexité conceptuelle, le contenu à mobiliser et les réalités ou situations envisagées. La complexité conceptuelle est envisagée à travers trois groupes de compétences de plus en plus complexes : la reproduction de connaissances acquises ; les connexions à établir entre l’énoncé d’un problème et les connaissances mathématiques pour traduire le problème de départ en un problème mathématique ; la « réflexion élaborée » qui implique des capacités de modélisation, d’argumentation, d’abstraction et de généralisation. Cette dimension « groupes de compétences » va être croisée avec quatre types potentiels de contenus : le domaine des « quantités », celui de « l’espace et des formes », celui de « l’incertitude » (les statistiques et les probabilités) et celui des « variations et relations ». Ces deux dimensions seront aussi combinées avec des situations issues de quatre champs : les réalités personnelles de l’élève ; le champ éducatif ou professionnel ; les réalités dites publiques ; et le champ des réalités scientifiques. Cet aperçu montre bien que la conception des items du test PISA repose sur un cadre conceptuel élaboré. Il en va de même pour chacune des « disciplines » évaluées : la résolution de problèmes ; la culture scientifique ; et la compréhension de l’écrit. Ainsi, pour donner un second exemple, la compréhension de l’écrit repose également sur trois dimensions à combiner : le type de processus de lecture dont les modalités sont « retrouver des informations », « interpréter le texte », « réfléchir sur le contenu du texte » ; le type de textes, à savoir « les textes continus » et « les textes non continus » ; l’usage pour lequel le texte a été conçu, à savoir « à des fins personnelles », « à usage public », « à usage éducatif » et « à usage professionnel ».

Une contextualisation nécessaire

6Évaluer ce que les concepteurs déclarent évaluer amène nécessairement à se poser toute une série de questions. Quelle est la pertinence des fondements didactiques à la base ? Sont-ils les mêmes dans les différents pays qui ont participé à l’évaluation ? Quels sont les choix jugés prioritaires dans certains pays et que l’on ne trouve guère dans le test ? Les questions traduisent-elles bien ce qu’elles sont censées évaluer ? Sont-elles comprises de la même façon dans des pays de culture différente ? Les traductions d’une langue à l’autre n’amènent-elles pas parfois à évaluer des choses différentes selon les pays ? À l’intérieur d’un même pays, les élèves de quinze ans répartis sur des années d’études différentes ou dans des orientations différentes (pas de tronc commun ou de « vrai » tronc commun) bénéficient-ils d’apprentissage reposant sur les mêmes fondements didactiques ?

7Toutes ces questions ne sont pas innocentes et méritent une réflexion pour tenter d’approcher la juste relativité des choses. Donnons quelques exemples qui montreront que, malgré la volonté de sérieux et les compétences des responsables des enquêtes, certains résultats doivent être relativisés et interprétés en contexte, ce qui n’enlève pas le caractère intéressant des résultats fournis pour tenter d’améliorer chacun des systèmes éducatifs, comme on le verra dans la deuxième partie de cet article.

8En tant qu’expert étranger à la Commission nationale des programmes du ministère français de l’éducation (lorsque celle-ci existait encore), j’ai eu la chance de participer à certaines journées consacrées à la comparaison des programmes des différents pays européens. Si mon étonnement fut grand lorsque la journée consacrée aux programmes d’histoire montra des différences beaucoup plus grandes encore que ce que je pouvais imaginer (heureusement que les enquêtes PISA ne portent pas sur cette discipline !), mon étonnement le fut autant lors de la journée consacrée aux programmes de mathématiques. Alors que l’on pourrait penser au caractère invariant de la discipline, la comparaison des programmes montra des fondements didactiques très différents selon les pays du nord ou du sud de l’Europe. Au sud (dont la France), l’enseignement des mathématiques est tourné vers la production du savoir mathématique pour lui-même et est l’outil de sélection par excellence pour identifier ceux qui auront accès aux classes préparatoires, aux grandes écoles et à l’élite des chercheurs. Au nord, les fondements didactiques sont nettement différents. Sur la base du constat que plus de 90 % des élèves et des étudiants n’auront pas pour fonction de produire du savoir mathématique, mais auront besoin des outils mathématiques pour faire face aux problèmes de la vie professionnelle et vivre dans une société de plus en plus complexe, l’enseignement des mathématiques est avant tout une discipline outil (De Ketele, 2005). L’examen des manuels de mathématiques des pays du nord et du sud ne fait que renforcer ce constat : plus inductifs et plus centrés sur la résolution de problèmes concrets au nord ; plus déductifs et plus abstraits au sud. Or nous savons que les enseignants sont particulièrement influencés dans leurs pratiques par les manuels, beaucoup plus encore que par les programmes officiels (Gérard & Roegiers, 2003). Notons qu’une même différence entre les pays du nord et du sud de l’Europe a été identifiée lors de la journée destinée à la comparaison des programmes d’enseignement des sciences.

9Il est imprudent de tenir trop vite des propos comme « le système éducatif de tel pays est performant ou peu performant dans telle discipline ». En effet, ce n’est pas « toute » la discipline qui est évaluée, ni même tous les aspects de la discipline jugés prioritaires par les autorités éducatives ou par les enseignants eux-mêmes. Si on prend, à titre d’exemple, la maîtrise de la langue d’apprentissage (forcément variable d’un pays à l’autre), les enquêtes PISA évaluent seulement la compréhension de l’écrit. Elles n’évaluent pas, du moins directement, la maîtrise technique de la langue (orthographe, grammaire, conjugaison, analyse des composants de la phrase), ni l’expression orale, ni la production écrite. Le poids accordé à ces différents aspects peut être différent selon les pays, selon la nature de la langue, selon les choix didactiques, selon les pratiques dans les classes. Ainsi, dans les pays francophones, et plus largement latins, la plupart des enseignants consacrent un temps très important aux aspects techniques de la langue. Dans les pays scandinaves qui valorisent beaucoup le travail en groupes, le temps consacré au travail sur la base de l’écrit est nettement plus important.

10De nombreux débats ont porté sur la nature des items, sur la difficulté d’avoir, après traduction car la version originale est anglaise, des items équivalents, sur la qualité des adaptations contextuelles… et même sur la qualité technique des consignes. Disons d’emblée que les responsables des enquêtes PISA ont fait des efforts considérables pour concevoir un dispositif qui assure la qualité des items et plus largement du dispositif de passation. Baye, Demonty, Fagnant, Lafontaine, Matoul et Monseur (2004, p. 12) les synthétisent comme suit :

  • la construction de l’échantillon d’écoles participant à l’épreuve doit se faire selon des règles strictes, définies et vérifiées par un organisme dans ce domaine ;

  • l’administration des épreuves doit respecter des règles précises, les administrateurs de tests étant des personnes extérieures à l’établissement, dûment formés à cette tâche ; des visites de contrôle de la qualité du déroulement des séances sont organisées (en Communauté française de Belgique, par exemple, elles ont été effectuées par les inspecteurs de l’enseignement) ;

  • la correction des épreuves est réalisée par des correcteurs formés à cette tâche ; de nombreux items sont codés plusieurs fois par différents correcteurs nationaux et un certain nombre d’entre eux sont à nouveau corrigés en dehors du pays, pour évaluer la fidélité des corrections au niveau international ;

  • la traduction des textes et des questions et les adaptations nationales sont réalisées par des spécialistes des contenus pour s’assurer que les termes utilisés dans les épreuves sont bien ceux qui sont généralement employés dans le système scolaire de chaque pays participant.

La prégnance d’un modèle anglo-saxon

11Ces précautions ne rassurent cependant pas tous les experts. Parmi eux, Romainville (2002) qui a examiné les épreuves PISA 2000 est particulièrement sévère. « Bien que des mécanismes interactifs de discussion et d’approbation des tests aient été mis en place, le développement effectif des épreuves était de la responsabilité d’un consortium, à dominante anglophone, d’entreprises australienne, japonaise, américaines et hollandaise (dont certaines sont d’ailleurs privées), dirigé par un organisme australien » (p. 88-89). L’auteur poursuit son argumentation en disant que :

12Romainville va encore plus loin dans sa critique. Il débusque de nombreuses ambivalences dans la formulation des questions et des consignes. Citons un des nombreux exemples qu’il donne. « Une autre série de questions porte sur deux lettres d’élèves qui donnent leur avis sur les graffitis. Voici une de ces questions : “on peut parler de ce que dit une lettre (son contenu) ; on peut parler de la façon dont une lettre est écrite (son style). En faisant abstraction de votre opinion, qui a écrit la meilleure lettre d’après vous ? Justifiez votre réponse en vous référant à la façon dont la lettre choisie est écrite”. Cette consigne est passablement alambiquée. Comment comprendre la juxtaposition des deux expressions “en faisant abstraction de votre opinion” et “d’après vous” ? Il s’agit bien sûr de faire abstraction de son opinion sur le contenu des lettres, mais cela ne va pas de soi. D’ailleurs la grille de correction indique que le crédit complet sera accordé si l’élève “explique son opinion en faisant référence…”. On pourrait y perdre son latin. » (p. 93)

De la nécessité de relativiser

13Sur la base de nombreux exemples, Romainville rejette donc ce qu’il appelle « le modèle anglo-saxon d’évaluation des compétences » et il partage la critique faite par le ministère français de l’éducation. « Les cadres d’analyse sont aussi influencés par les modèles sous-jacents : c’est d’ailleurs la raison pour laquelle le ministère français de l’éducation, tout en trouvant l’exercice “intéressant”, en a contesté certaines conclusions. Il s’est inquiété de l’idée selon laquelle seul le modèle anglo-saxon serait performant : en effet, il est frappant de constater que la plupart des pays qui arrivent en tête du classement sont anglo-saxons ; le premier pays francophone, la France, arrive péniblement à la quatorzième place, tout juste au-dessus de la moyenne. » (p. 89-90)

14Ces propos de Romainville portent sur l’enquête PISA 2000. Il est intéressant d’examiner s’ils s’avèrent encore exacts pour PISA 2003. Le tableau suivant répond à cette question.

Tableau n° 1 : Performances aux quatre tests PISA 2003 de quatorze pays regroupés en quatre champs culturels : résultats et rangs

Tableau n° 1 : Performances aux quatre tests PISA 2003 de quatorze pays regroupés en quatre champs culturels : résultats et rangs

15Ces résultats n’infirment pas la thèse de Romainville puisque les pays typiquement anglo-saxons ou sous forte influence anglo-saxonne ont globalement les meilleurs résultats et occupent pour la plupart les meilleurs rangs. Il est à noter que les États-Unis font exception. Certains attribueront cette faible performance au fait que la langue maternelle la plus parlée dans ce pays est l’espagnol et non l’anglais ; mais comment interpréter les très bonnes performances du Canada, qui non seulement comprend une part non négligeable de francophones, mais aussi une communauté multiculturelle importante ? Il faut aussi noter que la France occupe la meilleure place des pays non anglo-saxons (regroupements I et II) et devance même un certain nombre d’entre eux. Enfin, les pays de culture plus spécifiquement méditerranéenne ont systématiquement les moins bonnes performances.

16Une autre façon de relativiser les résultats est de prendre en considération le fait que selon les pays, les élèves âgés de quinze ans se répartissent sur un nombre plus ou moins grand d’années d’études, voire de filières. C’est le cas des pays qui ne pratiquent pas un vrai tronc commun et où les élèves, suite à de nombreux redoublements, se retrouvent dans des années d’études nombreuses, aux programmes et aux fondements didactiques différents des programmes correspondant aux élèves de quinze ans n’ayant pas redoublé ou suivant la filière d’enseignement générale. C’est le cas de tous les pays des catégories III et IV du tableau 1 et c’est aussi le cas des États-Unis. À ces pays s’ajoutent des pays comme l’Allemagne et la Suisse qui privilégient une formation précoce technique ou professionnelle et non une filière d’enseignement général.

Tableau n° 2 Performances aux quatre tests PISA 2003 des élèves de quinze ans de laCommunauté française de Belgique selon l’année d’études

Tableau n° 2 Performances aux quatre tests PISA 2003 des élèves de quinze ans de laCommunauté française de Belgique selon l’année d’études

(voir Baye et al., 2004)

17Pour bien lire ce tableau, il faut savoir qu’en Communauté française de Belgique, il y a six années de scolarité primaire et six années de scolarité dite secondaire, que la deuxième année de l’enseignement secondaire correspond à la quatrième année du collège en France, mais qu’une partie non négligeable d’élèves se trouvent déjà dans des filières professionnelles. Ces résultats font dire aux auteurs que « les résultats des élèves “à l’heure” (en quatrième) sont relativement bons dans tous les domaines ; les scores des élèves “en avance” d’un an sur le programme sont encore plus élevés. À titre comparatif, on peut noter que le score des élèves de quatrième année approche, dans chacune des disciplines, le score moyen des pays en tête des différents classements. Par exemple, en mathématiques, les scores de nos élèves “à l’heure” est proche du score moyen des trois pays de tête : la Communauté flamande obtient un score moyen de 553, Hong Kong (Chine) un score de 550 et la Finlande de 544. » (Baye et al., 2004, p. 102)

18Que conclure de cette première partie ? Certainement pas de « jeter le bébé avec l’eau du bain », car les résultats des enquêtes internationales sont toujours « intéressants » et méritent un examen pour leur donner un sens. L’hypothèse d’une « plus-value » due au fait pour un élève d’être éduqué dans une sphère d’influence anglo-saxonne n’est pas négligeable. Romainville (2002) fait d’ailleurs appel au travail de Fitoussi (2001) pour dire que cette plus-value existe aussi dans l’enseignement supérieur. « Les chercheurs français, pour être reconnus, doivent travailler beaucoup plus que leurs collègues américains, sauf à renoncer à la fois à animer le débat public en économie dans leur pays et à alimenter les revues françaises » (Fitoussi, 2001, p. 114).

19Mais il faut noter aussi que les pays francophones et latins ont leur part de responsabilité, comme le souligne le rapport de Bottani et Vrignaud (2005) commandité par le Haut conseil de l’évaluation. Ces auteurs notent que la France (comme d’autres pays) ont laissé la part belle aux experts anglo-saxons, faute d’interlocuteurs maîtrisant les compétences nécessaires en édumétrie pour discuter d’égal à égal. Lors de l’examen de ce rapport, les responsables de la direction des études et de la prospective (DEP) du ministère de l’Éducation nationale attiraient aussi l’attention sur la difficulté pour eux de trouver de bons experts dans ce domaine et soulignaient la quasi-absence de formation méthodologique à ce niveau dans les UEFR de sciences de l’éducation.

L’impact des enquêtes internationales sur les systèmes éducatifs

20Comme le soulignent les auteurs précités ou d’autres auxquels nous nous référerons (dont Dupriez, Dumay, Vandenverghe), il existe depuis un certain nombre d’années une pression évaluatrice de plus en plus forte, en grande partie due à la fois à la nécessité d’élever le niveau de l’éducation pour être compétitif et au coût de plus en plus élevé de l’éducation. Les enquêtes nationales (en France, les travaux de la DEP, du Haut conseil de l’évaluation qui a cédé actuellement sa place au Haut conseil de l’éducation, les nombreuses commissions dont la commission Thélot) et internationales (principalement de l’IEA et de l’OCDE) sont la manifestation la plus évidente de cette pression. Nul doute que ces travaux ont suscité de nombreux remous, pour ne pas dire des remous médiatiques importants dans certains pays. Il est d’ailleurs curieux de noter que plus les pays présentent une forte différenciation de leurs systèmes éducatifs, plus ils ont vécu et vivent encore de véritables « tempêtes médiatiques » (Buhlman, 2002 ; Demailly, 2006 a et b ; Mac Gaw, 2004 ; Mac Kenzie, 2004 ; PISA, 2006). C’est notamment le cas de l’Allemagne (avec l’autonomie des Länder), de la Suisse (avec ses nombreux cantons) et de la Belgique (avec ses trois communautés éducatives). Comment les journalistes, à la recherche de manchettes éditoriales fracassantes, ne réagiraient-ils pas en découvrant des résultats comme ceux mentionnés dans le tableau suivant ?

Tableau n° 3 : Performances aux tests PISA 2003 pour les 3 communautés en Belgique

Tableau n° 3 : Performances aux tests PISA 2003 pour les 3 communautés en Belgique

21Dans tous les pays où existaient des systèmes éducatifs différenciés, des débats passionnels ont eu lieu. L’exemple de la Suisse, dont la réputation est d’éviter les confrontations, est éloquent. La consultation des articles publiés par ARLE (Association Refaire l’École) montre la violence des propos en opposant « l’école qui instruit » (position défendue) à « l’école qui milite » (position rejetée). À titre d’illustration, citons un florilège d’expressions utilisées par les auteurs des articles de cette association : « le rapport PISA, qui a tant secoué la république genevoise, a introduit le vocable de “littératie” (qui dira la tristesse de certains mots ?) » ; « j’ai de la peine à penser que toute l’entreprise de démolition scolaire actuelle ne soit le fruit d’une erreur » ; « ce refus d’être “éducastreur” a fait place à un discours que partout ailleurs on aurait trouvé hallucinant : puisqu’on ne parvient pas à donner à tous un diplôme, mettons les pupitres en rond, l’élève au centre… » ; « il est temps de libérer l’école du carcan des pédagogistes ».

22Heureusement, à côté de ces positions tranchées qui relèvent de l’opinion, d’autres associations cherchent à comprendre en s’appuyant sur des travaux qui s’appuient sur des faits vérifiés. C’est le cas, par exemple, de l’association « Former sans Exclure » (2006) qui, face au redoublement défendu avec acharnement par certains, cite une conclusion du Fonds national suisse de la recherche scientifique : « les redoublements scolaires ne débouchent pas sur les progrès d’apprentissage escomptés. Une enquête menée pour la première fois au niveau suisse sur l’efficacité du redoublement montre que les élèves qui ont redoublé perdent cette avance au cours de l’année répétée et même qu’ils se retrouvent à nouveau en retard à la fin de l’année suivante ». Face à l’explication avancée par l’ARLE que les moins bons résultats de certains cantons s’expliquent par une plus forte population étrangère et à une moins forte intériorisation des valeurs traditionnelles (caractéristiques des cantons plus ruraux), l’association fait référence au Canada, pays présentant une population multiculturelle forte mais faisant partie des pays ayant les meilleures performances aux enquêtes PISA.

  • 2  Institut de recherche en économie de l’éducation (Dijon).
  • 3  Groupe interfacultaire de recherche sur les systèmes d’éducation et de formation (Louvain-la-Neuve (...)
  • 4  Service de pédagogie expérimentale (Liège).

23Les enquêtes internationales ont eu heureusement un impact positif auprès d’organismes publics ou indépendants qui ont tenté de comprendre ce qui se cache derrière des résultats présentés trop souvent comme un palmarès. De nombreuses analyses complémentaires sur les données de départ (mises en accès public) ont été faites, non seulement par l’OCDE, mais aussi par des centres de recherche, comme l’IREDU2 en France, le GIRSEF3 et le SPE4 en Belgique.

Tableau n° 4 : Pourcentages de la variance des scores aux tests de lecture (1990) et demathématiques (1995) en fonction de quatre regroupements de pays

Tableau n° 4 : Pourcentages de la variance des scores aux tests de lecture (1990) et demathématiques (1995) en fonction de quatre regroupements de pays

24L’égalité ou l’inégalité des chances ou ce qui a été progressivement nommé sous le terme d’équité ou d’iniquité (Pourtois, 2005 ; Dupriez, 2005 et 2006) sont les problématiques auxquelles les pays ont été les plus sensibles suite aux nombreuses ré-analyses des données des différentes enquêtes internationales. Zachary, Dupriez et Vandenberghe (2003) se sont penchés sur la question de savoir si le fait pour un élève d’être dans telle classe ou telle autre pouvait rendre compte d’une partie de la variabilité des résultats au test de compréhension en lecture (enquête IEA 1990) et au test de mathématiques (TIMMS, 1995). Nous avons recompilé leurs données (dans la mesure où elles étaient disponibles) en fonction de la classification établie dans le tableau 1.

25Les résultats exprimés en pourcentages doivent être lus comme suit : plus le pourcentage est élevé, plus le fait d’appartenir à telle classe plutôt qu’à telle autre a un impact sur les performances des élèves. Ou, en d’autres termes, changer un élève de classe aura d’autant moins d’impact sur ces résultats que le pourcentage de variance est faible. Les résultats montrent clairement que :

26La plus grande homogénéité des performances (faible variance) entre les classes de certains pays signifie que ces classes ont une mixité sociale plus grande que dans celles des pays où la variance est plus grande (les élèves se retrouvent dans les classes en fonction de leur appartenance sociale et de leur parcours scolaire antérieur). En retravaillant les données des enquêtes OCDE 2000, Vandenberghe (2004) montre que le regroupement des élèves par classe de niveau d’aptitude homogène n’a guère d’impact sur les performances. Par contre, il met en évidence un « effet de pairs » en faveur des élèves moins performants : le fait pour ces élèves d’être dans une classe avec des élèves plus performants leur fait faire de plus grands progrès que s’ils étaient dans des classes de même niveau d’aptitude. Ce type de résultats est de plus en plus connu par les autorités éducatives (par exemple en France et en Belgique) qui se demandent comment introduire plus de mixité sociale dans les classes.

27Le problème de l’effet d’appartenance à telle classe plutôt qu’à telle autre est déjà un indicateur d’équité ou d’iniquité. Beaucoup d’analyses a posteriori des résultats des enquêtes ont tenté d’étudier cette problématique via des indicateurs variés. Dupriez et Vandenberghe (2004) ont calculé le pourcentage de variance des résultats des enquêtes PISA 2000 en prenant comme variables prédictrices le niveau d’éducation de la mère, un indice socio-économique des parents et le pays de naissance du père (indicateur 1). Baye et al. (2004) ont fait de même pour l’enquête PISA 2003 mais en se basant sur les indicateurs fournis par les chefs d’établissements (indicateur 2). Dans le tableau 5, nous présenterons ces résultats pour les performances en mathématiques pour les quatre regroupements de pays. À ces résultats, nous ajouterons deux autres indicateurs : les différences de résultats en mathématiques entre les élèves issus du quart des familles les moins favorisées et ceux des élèves issus du quart des familles les plus favorisées (indicateur 3) ; le pourcentage des élèves de quinze ans ayant au moins redoublé une fois dans leur scolarité (indicateur 4).

Tableau n° 5 : Influence de quelques indicateurs d’équité (iniquité) sur les performances en mathématiques

Tableau n° 5 : Influence de quelques indicateurs d’équité (iniquité) sur les performances en mathématiques

28Les résultats de ce tableau sont particulièrement éloquents :

29Si l’on croise les indices d’efficacité du tableau 1 et les indices d’équité du tableau 5, l’on constate que tous les cas de figure existent. Ainsi, par exemple, le Canada et la Finlande sont très efficaces et parmi les plus équitables ; la Communauté française de Belgique est peu efficace (contrairement à la Communauté flamande qui se trouve parmi les plus efficaces) et très inéquitable (au même titre que la Communauté flamande) ; la France est moyennement efficace (un peu supérieur à la moyenne), mais est l’un des pays les moins équitables ; les pays de l’Europe du sud sont très peu efficaces, mais moyennement équitables.

30Les autorités des pays les moins équitables ont été touchées fortement par ces constats. De nombreuses hypothèses ont été formulées pour comprendre pourquoi. Parmi celles-ci, on trouve le plus fréquemment le taux d’élèves d’origine étrangère, l’importance de l’enseignement privé et la structure scolaire (tronc commun vs orientation précoce différenciée). Nous avons déjà mentionné que le Canada comprenant une population d’origine étrangère importante avait des indicateurs d’efficacité et d’équité parmi les plus favorables. Baye et al. (2004) montrent que sur la base des résultats PISA 2003, il est intéressant de distinguer le fait de n’être pas né dans le pays et le fait de ne pas parler la langue de l’école. Parmi les cas de figure, distinguons :

31Ces résultats nous conduisent à dire qu’une étude de cas sur la politique canadienne mériterait d’être menée. En effet, ce pays a développé depuis plusieurs années une politique ambitieuse (à la fois en termes de qualité visée et de budgets débloqués) visant à apprendre la langue de l’État pour les étrangers qui s’installent dans le pays. S’inspirant de cet exemple, la Communauté flamande de Belgique est en train de mettre en place également une politique visant à intégrer les étrangers dans la culture flamande.

32Vandenberghe (2003) et Vandenberghe & Robin (2003) ont comparé les performances des élèves de quinze ans selon le nombre d’élèves qui sont dans (I) le privé au sens strict du terme (gestion totalement indépendante du public), (II) le privé dépendant du gouvernement (écoles ne cherchant pas le profit et dépendant au moins pour 90 % des fonds publics) et (III) le public. Dans le tableau 6, regroupant des pays européens pour lesquels les données sont disponibles, nous donnons le pourcentage d’élèves dans chacune des trois catégories d’écoles et les résultats obtenus au test de compréhension en lecture.

Tableau n° 6 : Performances aux quatre tests PISA 2003 de quatorze pays regroupés en quatre champs culturels : résultats et rangs

Tableau n° 6 : Performances aux quatre tests PISA 2003 de quatorze pays regroupés en quatre champs culturels : résultats et rangs

33Un premier examen donne l’impression qu’à une exception près (le privé dépendant du gouvernement en France), les élèves des échantillons du privé présentent des scores supérieurs aux élèves des échantillons du public. Il faut cependant relativiser ces résultats. En effet, Vandenberghe (2003) et Vandenberghe et Robin (2003) ont réexaminé ces résultats (plus ceux de treize autres pays) en tentant de neutralisant les caractéristiques individuelles, sociales et culturelles (treize indicateurs). La conclusion de leurs analyses révèle alors une absence d’effets systématiques du privé sur les performances.

34L’hypothèse de l’influence de la structure scolaire sur les performances des élèves a fait l’objet de plusieurs études, dont celles de Dupriez et Dumay (2005 et 2006). Les auteurs partent de la typologie développée par Mons (2004) dans sa thèse de doctorat. Cet auteur distingue quatre modèles de structures scolaires à travers quatre modes de gestion de l’hétérogénéité :

35Dans leur étude, Dupriez et Dumay (2006) comparent huit pays (deux par modèle). Dans le tableau 7, nous extrayons de cette étude les résultats obtenus au sein de l’école par les élèves « peu performants (PP) » et « très performants (TP) » (colonnes 2 et 3) en mathématiques au test PISA 2003, puis les pourcentages de variance expliquée par la composition académique au sein de l’école (c’est-à-dire la distribution des élèves peu et très performants), le niveau socioculturel moyen des élèves au sein de l’école, le climat de discipline et le concept de soi en mathématiques.

Tableau n° 7 : Performances des élèves peu (PP) et des élèves très (TP) performants au test demathématiques PISA 2003 et pourcentages de variance des résultats expliquée par la composition académique (Comp), le niveau socioculturel (SES), le climat de discipline (climat) et le concept de soi enmathématiques (C. Soi)

Tableau n° 7 : Performances des élèves peu (PP) et des élèves très (TP) performants au test demathématiques PISA 2003 et pourcentages de variance des résultats expliquée par la composition académique (Comp), le niveau socioculturel (SES), le climat de discipline (climat) et le concept de soi enmathématiques (C. Soi)

36Ce tableau nous permet de dégager des conclusions intéressantes pour les gestionnaires des systèmes éducatifs :

37Ce type de conclusions a suscité de nombreux commentaires et a fait l’objet de nombreux débats. Que l’on se réfère, par exemple, au rapport de la Commission sur l’avenir de l’école en France. En Belgique, les autorités politiques et éducatives ont mis en place une commission de pilotage et ont conçu un « Contrat pour l’école », dont la fonction est de lutter contre les trop fortes inégalités scolaires.

38Au terme de ce parcours, nous revenons à l’idée de départ, à savoir la nécessité d’évaluer les évaluations internationales. Par-là, nous soulignons le fait de donner du sens aux tableaux de bord fournis par les enquêtes internationales. Ceux-ci fournissent des résultats « intéressants », mais il est nécessaire de les replacer dans leur contexte, de se souvenir qu’ils sont les fruits de nombreux facteurs sous-jacents et que les dispositifs qui les ont créés reposent sur des fondements plus ou moins explicites qui ne sont pas les seuls possibles ni nécessairement les plus souhaitables pour tous. À travers les analyses rapportées, nous montrons la prégnance d’un modèle anglo-saxon. On pourrait interroger le concept de compétence, tel qu’il est opérationnalisé dans les enquêtes PISA (De Ketele & Gérard, 2005 ; BIE, 2005). On peut aussi se demander s’il ne faut pas distinguer plus fondamentalement les socles incontournables de compétences à maîtriser par tous les élèves de quinze ans et différents autres niveaux de compétences qu’il est souhaitable de voir maîtriser de façon différentielle par les élèves, compte tenu de leur hétérogénéité. Ces questions sont actuellement d’une brûlante actualité, comme le montrent les travaux d’instance comme le Haut conseil de l’éducation en France et les institutions préoccupées par les problèmes d’analphabétisme fonctionnel (ANLCI, 2006).

39Les analyses sur lesquelles nous nous sommes appuyé sont de nature quantitative. Bien évaluer les évaluations internationales supposerait de recourir aussi à des études de cas plus qualitatives qui donneraient de la chair aux froids constats des chiffres en prenant ensemble (comprendre, c’est prendre ensemble) les différentes dimensions de tout phénomène. Nous avons déjà mentionné l’intérêt de comparer des pays à forte population étrangère et présentant des indicateurs d’iniquité inquiétants avec un pays comme le Canada (plus efficace et équitable). Comme on pourrait se pencher à l’intérieur d’un même pays sur ce qui permet de comprendre les différences entre deux Communautés ou deux cantons ou deux Länder aux résultats particulièrement différenciés.

Haut de page

Bibliographie

ANLCI (2006) : Illettrisme : des chiffres pour éclairer les décisions. Lyon : ANLCI.

Baye A., Demonty I., Fagnant A., Lafontaine D., Matoul A. & Monseur Ch. (2004) : Les compétences des jeunes de 15 ans en Communauté française de Belgique en mathématiques, en lecture et en sciences. Les Cahiers du Service de Pédagogie Expérimentale, n° 19 et 20, pp. 1-224.

BIE (2005) : Progrès de la communauté de pratique dans le développement curriculaire. Le débat sur les compétences. Information et Innovation en Éducation, n° 121, pp. 1-12.

Bottani N. & Vrignaud P. (2005) : La France et les évaluations internationales. Paris : Haut Conseil de l’Évaluation de l’École, rapport n° 16.

Bulmahn E. (2002) : PISA : les conséquences pour l’Allemagne. L’observateur OCDE, juin, pp. 33-34.

De Ketele J.-M. (2005) : L’évolution des systèmes éducatifs européens. Montréal : Hommage en l’honneur du Rapport Parent.

De Ketele J.-M. & Gérard F.-M. (2005) : La validation des épreuves d’évaluation selon l’approche par compétences, Mesure et Évaluation en Éducation, vol. 28, n° 3, pp.  1-26.

Demailly L. (2006a) : En Europe : l’évaluation contre la crise des systèmes scolaires, l’évaluation en crise. Éducation et Sociétés, n° 17, pp. 105-120.

Demailly L. (2006b) : La nécessaire méta-évaluation. In: G. Figari & L. Mottier-Lopez (Eds). Recherche sur l’évaluation. Paris : L’Harmattan, pp. 203-210.

Dupriez V. & Vandenberghe V. (2004) : L’école en Communauté française de Belgique : de quelle inégalité parlons-nous. Les Cahiers de Recherche du GIRSEF, n° 27, pp. 3-28.

Dupriez V. & Dumay X. (2005) : L’égalité des chances à l’école : analyse d’un effet spécifique de la structure scolaire. Les Cahiers de Recherche du GIRSEF, n° 45, pp. 1-17.

Dupriez V. & Dumay X. (2006) : Élèves en difficulté d’apprentissage : parcours et environnements éducatifs différenciés en fonction des structures scolaires. Les Cahiers de Recherche du GIRSEF, n° 51, pp. 3-24.

Fitoussi J-P. (2001) : L’enseignement supérieur des sciences économiques en question. Paris : Fayard.

Fowler F. & Poetter Th. (2006) : Comment et pourquoi les Français réussissent en mathématiques : leur politique, leurs programmes et leur pédagogie. Éducation et Sociétés, n° 17, pp. 121-120-139.

Gérard F.-M. & Roegiers X. (2003) : Des manuels scolaires pour apprendre. Bruxelles : Éditions De Boeck.

Le Soir (2006) : Sommes-nous si nuls en maths ? Supplément au Journal Le Soir, 24 août 2006, 48P.

Mac Gaw B. (2004) : Vers une éducation de qualité. Peut-on toujours aller plus loin. L’observateur OCDE, site Web OCDE.

Mac Kenzie Ph. (2004) : Enseignement : redorer le blason. L’observateur OCDE, mai, pp. 11-12.

Mons N. (2004) : De l’école unifiée aux écoles plurielles. Évaluation internationale des politiques de différenciation et de diversification de l’offre éducative. Dijon : Université de Bourgogne, thèse non publiée.

PISA (2006) : Les conséquences pour l’Allemagne. http://www.observateurocde.org/news/fullstory.php/aid/424 , consulté le 23 août 2006.

Pourtois H. (2005) : Pertinence et limites du principe d’égalité des chances en matière d’éducation scolaire. Louvain-la-Neuve : document inédit présenté lors d’un séminaire du GIRSEF le 19 janvier 2005.

Vandenberghe V. & Zachary M.-D. (2000) : Efficacité-équité dans l’enseignement secondaire de la Communauté Wallonie-Bruxelles : essai d’évaluation dans le cadre d’une comparaison internationale. Les Cahiers de Recherche du GIRSEF, n° 7, pp. 3-17.

Vandenberghe V. (2002): Evaluating the Magnitude and the Stakes of Peer Effects analysing Science and Math Achievement across OECD.

Vandenberghe V. (2002): Is There an Effectiveness-Equity Trade-off in Education? A cross-country comparison using TIMSS test scores.

Vandenberghe V. (2003) : Private, Private Government-Dependent and Public schools. An International Effectiveness Analysis. Louvain-la-Neuve: IRES-ECON-UCL.

Vandenberghe V. (2004): Achievement Effectiveness and equity. The role of Tracking, Grade Repetition and Inter-school Segregation. Les Cahiers de Recherche du GIRSEF, n° 28, pp. 3-28.

Vandenberghe V. (2005) : Educational Equity. Social interactions might matter. In: W. Hutmacher, D. Cochrane & N. Bottani: In Pursuit of Equity in Education. Using International Indicators to Compare Equity Policies. Dordrecht/Boston/London: Kluwer Academic Publishers, chap. 11, pp. 267-275.

Vandenberghe V. & Robin S., M-D. (2006): Evaluating the Effectiveness of Private Education Across Countries: a Comparison of Methods, Labour Economics.

Zachary M.-D., Dupriez V. & Vandenberghe V. (2002). Comparaison internationale de l’efficacité et de l’équité des systèmes d’enseignement. In : D. de la Croix, F. Docquier, Ch. Mainguet, S. Perelman & E. Wasmer (Ed.) : Capital humain et dualisme sur le marché du travail. Bruxelles : De Boeck, Chapitre 13, pp. 259-277.

Haut de page

Notes

1  2006a et 2006b.

2  Institut de recherche en économie de l’éducation (Dijon).

3  Groupe interfacultaire de recherche sur les systèmes d’éducation et de formation (Louvain-la-Neuve).

4  Service de pédagogie expérimentale (Liège).

Haut de page

Table des illustrations

Titre Tableau n° 1 : Performances aux quatre tests PISA 2003 de quatorze pays regroupés en quatre champs culturels : résultats et rangs
URL http://ries.revues.org/docannexe/image/239/img-1.jpg
Fichier image/jpeg, 276k
Titre Tableau n° 2 Performances aux quatre tests PISA 2003 des élèves de quinze ans de laCommunauté française de Belgique selon l’année d’études
Légende (voir Baye et al., 2004)
URL http://ries.revues.org/docannexe/image/239/img-2.jpg
Fichier image/jpeg, 96k
Titre Tableau n° 3 : Performances aux tests PISA 2003 pour les 3 communautés en Belgique
URL http://ries.revues.org/docannexe/image/239/img-3.jpg
Fichier image/jpeg, 76k
Titre Tableau n° 4 : Pourcentages de la variance des scores aux tests de lecture (1990) et demathématiques (1995) en fonction de quatre regroupements de pays
URL http://ries.revues.org/docannexe/image/239/img-4.jpg
Fichier image/jpeg, 156k
Titre Tableau n° 5 : Influence de quelques indicateurs d’équité (iniquité) sur les performances en mathématiques
URL http://ries.revues.org/docannexe/image/239/img-5.jpg
Fichier image/jpeg, 208k
Titre Tableau n° 6 : Performances aux quatre tests PISA 2003 de quatorze pays regroupés en quatre champs culturels : résultats et rangs
URL http://ries.revues.org/docannexe/image/239/img-6.jpg
Fichier image/jpeg, 160k
Titre Tableau n° 7 : Performances des élèves peu (PP) et des élèves très (TP) performants au test demathématiques PISA 2003 et pourcentages de variance des résultats expliquée par la composition académique (Comp), le niveau socioculturel (SES), le climat de discipline (climat) et le concept de soi enmathématiques (C. Soi)
URL http://ries.revues.org/docannexe/image/239/img-7.jpg
Fichier image/jpeg, 149k
Haut de page

Pour citer cet article

Référence papier

Jean-Marie De Ketele, « Mais qu’évaluent donc les enquêtes internationales ? », Revue internationale d’éducation de Sèvres, 43 | 2006, 141-157.

Référence électronique

Jean-Marie De Ketele, « Mais qu’évaluent donc les enquêtes internationales ? », Revue internationale d’éducation de Sèvres [En ligne], 43 | décembre 2006, mis en ligne le 23 juin 2011, consulté le 22 septembre 2017. URL : http://ries.revues.org/239 ; DOI : 10.4000/ries.239

Haut de page

Auteur

Jean-Marie De Ketele

Président du BIEF, professeur à l’Université catholique de Louvain, Belgique.

Articles du même auteur

Haut de page

Droits d’auteur

© Tous droits réservés

Haut de page