1. Quelle est la pertinence des études Pisa?
1.1. Echantillon
La méthode d'échantillonnage est "aléatoire stratifiée". Pour simplifier, on prend un certain nombre d'écoles au hasard dans lesquelles on tire un certain nombre d'élèves au hasard.
Comme le souligne l'étude (p6), le risque d'erreur est plus grand que lorsque l'on utilise une méthode purement aléatoire. Il s'agit simplement de limiter les coûts, sachant que la seule méthode pour éviter une erreur d'échantillonnage est de tester tous les élèves concernés...
1.2. Elèves
Etant donné la diversité des systèmes éducatifs, les élèves qui sont tirés au hasard, sont les élèves de 15 ans, quel que soit l'année d'étude dans laquelle ils se trouvent. C'est cohérent avec l'objectif de l'étude qui est de vérifier le niveau des élèves d'un certain âge. Mais cela amène un biais plus important dans les pays où une différenciation entre filières d'études intervient plus tôt.
1.3. Contenus des tests
Même si des efforts considérables sont consentis pour évaluer des compétences indépendantes des différentes cultures, une normalisation comporte le risque de favoriser certaines compétences culturellement plus présentes dans l'un ou l'autre pays.
1.4. Motivation des élèves
Il n'est pas sûr que tous les élèves qui participent aux tests soient autant motivés. Nous avons déjà entendu, sans pouvoir valider l'info, que dans certaines écoles ces tests soient pris comme une corvée supplémentaire alors que dans d'autres écoles, elles sont ressenties comme un défi à relever. Peut-être que cela peut introduire un biais supplémentaire.
1.5. Comparaison avec d'autres indicateurs
En ce qui concerne la Communauté française, il nous faut bien admettre que ces résultats corroborent en tout cas toutes les autres études qui sont réalisées. Nous ne prendrons comme exemple le test du CEB, test qui démontre que seul un élève sur deux maîtrise les savoirs considérés comme indispensables en fin de 6ème primaire ou encore les épreuves externes non certificatives, ou encore les taux de redoublement.
Nous conclurons donc que ces études sont pertinentes puisque elles sont cohérentes dans le temps (ce qui semblerait montrer que l'erreur due à l'échantillonnage est faible) et puisque les résultats sont similaires aux autres indicateurs.
De toutes façons ces études ont été le prétexte à bien d'autres décisions, comme par exemple le décret Mixité. Il serait donc incongru de remettre leur pertinence en cause pour des conclusions qui ne plaisent pas...
2. Pertinence des conclusions tirées des études
2.1. La moyenne cache beaucoup d'informations
Dire qu'en moyenne une femme a 2,2 enfants donne une information, certes utile, mais un peu artificielle. Comment une femme pourrait-elle avoir 0,2 enfant?
2.2. Corrélation ne veut pas dire cause à effet.
S'il y une corrélation, la tendance naturelle est de considérer qu'il y a une relation de cause à effet. Surtout quand cette corrélation confirme nos idéaux...
Or une corrélation peut signifier, soit une relation de cause à effet, par exemple une augmentation de la température a comme conséquence l'augmentation de la pression d'un gaz parfait, à volume constant. Il faut évidemment ne pas se tromper de sens de la relation, lorsqu'il est difficile de déterminer l'événement qui précède l'autre. Par exemple, ce n'est pas parce que l'on habite dans un quartier où les maisons sont chères que l'on va gagner plus d'argent, mais l'inverse.
Ce qui peut arriver aussi, c'est qu'il n'y a pas de relation directe, mais que les deux événements sont des conséquences d'une troisième variable, appelée variable cachée. cachée parce qu'elle n'est pas étudiée dans l''étude.
Il n'y a pas exemple aucune relation de cause à effet entre le fait d'habiter une grande maison et le fait d'avoir une grosse voiture. La corrélation s'explique simplement parce que ce sont deux effets de la même cause: des revenus élevés.
Enfin cette corrélation peut être le pur fruit du hasard. Même si à chaque éclipse solaire les Chinois font un bruit monstre pour éloigner le dragon qui mange le soleil, il serait hasardeux d'y voir une relation de cause à effet.
2.3. L'expérimentation pour déterminer la cause
Une méthode pour valider les hypothèses de cause à effet est l'expérimentation. Elle consiste à faire varier une à une chacune des variables explicatives pour déterminer si elle est une cause d'une autre variable.
L'expérimentation est difficile à réaliser dans les domaines qui mettent l'humain en cause. Prendre 1000 élèves et les "distribuer aléatoirement" dans des familles ou des écoles est impossible à réaliser. Encore que le décret Inscription puisse avoir comme effet une "distribution aléatoire" des élèves, avec toutes les conséquences perverses que l'on peut imaginer, mais personne ne s'inquiète, ou presque, de ce manque de professionnalisme de nos élus.
Même si des "expérimentations" ont eu lieu, la difficulté réside dans le fait que des variables cachées modifient peut-être les résultats. Le fait pour les "cobayes", qu'ils soient élèves ou enseignants de se savoir observés, introduit ou peut introduire un biais des résultats.
2.4. L'étude qualitative pour déterminer la cause.
Si des études appelées "quantitatives" sont importantes car elles montrent des tendances, des moyennes ou parce qu'elles suggèrent des hypothèses de cause à effet, les études "qualitatives" permettent de comprendre ou de valider des hypothèses.
En lisant certains résultats des études Pisa ou de certifications externes, il me semble étonnant que ces études n'aient jamais été entreprises.
Par exemple:
Les études Pisa montrent des différences entre élèves de même milieu socio économique. Même s'il y a une corrélation assez bonne, identifier les raisons pour lesquelles des élèves de milieu socio économique faible réussissent mieux que des élèves de milieu socio économique plus élevés, permettrait peut-être d'identifier l'une ou l'autre variable cachée.
Le test de math de fin de 5ème primaire a montré que la variable "nombre de livres à la maison" expliquait deux fois mieux les différences de résultats que la variable socio économique ou même que la variable "diplôme de la mère".
Il est clair que le nombre de livres à la maison n'est pas une cause de la réussite ou non du test, mais cela montre peut-être qu'il y a une variable cachée.
Cela remet à notre avis en cause le fondement même du décret Inscription. En effet, ce décret a comme objectif de diminuer les différences de milieu socio économique dans les écoles, alors qu'il n'est pas vérifié que cette variable a une influence sur les résultats et surtout alors qu'une autre variable explique bien mieux ces différences.
3. L'autonomie pour améliorer la qualité?
L'étude parue dans Regards Economiques est une étude quantitative. Si elle présente les mêmes limites que les autres études effectuées sur base des tests Pisa ou autres, elle n'en présente certainement pas plus.
3.1. Une étude libre exaministe
Cette étude a en tout cas le mérite d'aborder les résultats de manière libre exaministe ce que tout scientifique digne de ce nom doit reconnaître et apprécier.
En effet, même 'il est de bon ton et politiquement correct de de lamenter sur le manque de moyens, l'étude rappelle à juste titre que la ministre Arena elle-même avait reconnu que les moyens étaient suffisants mais qu'ils étaient mal utilisés.
De même, s'il est politiquement rentable d'affirmer que l'augmentation de la mixité scolaire est une solution miracle, chercher d'autres moyens est indispensable.
Pour rappel, une des conclusions principales de l'étude est que l'autonomie des acteurs de l'enseignement est une variable explicative importante du résultat des élèves.
3.2. L'autonomie est de l'autonomie perçue
Relevons d'abord que l'autonomie est une autonomie perçue puisque des répondants de même type d'établissement ont répondu différemment aux mêmes questions.
Cela ne retire rien à notre avis à la pertinence de la conclusion. Cela signifie simplement qu'il se peut que les solutions soient différentes.
3.3. L'autonomie est-elle une conséquence de la qualité de l'enseignement?
Se peut-il que les établissements qui obtiennent de meilleurs résultats obtiennent une plus grande autonomie? L'étude suggère la possibilité de circularité (p 25), à laquelle nous adhérons.
Pour tous ceux qui ont une expérience de management ou d'éducation, il est clair que les deux sont liés. C'est en donnant de l'autonomie que l'on responsabilise les acteurs, qui démontrent alors, ou pas, qu'ils utilisent cette autonomie à bon escient. Si c'est le cas, l'autonomie accordée devient plus grande.
La conclusion selon laquelle il faut accorder plus d'autonomie est donc pertinente, étant entendu que le contrôle doit exister, mais a posteriori.
3.4. Pourquoi l'autonomie fait-elle peur?
A lire les réactions lorsque l'on parle de l'autonomie, nous avons l'impression qu'elle fait peur.
D'abord du côté des enseignants et des chefs d'établissement. En fait de certains enseignants et de certains chefs d'établissement.
Parce que l'autonomie augmente la responsabilité? Ou bien parce que ces acteurs n'ont pas l'impression de pouvoir être évalués sur la base de critères objectifs?
Du côté du gouvernement, il est clair que l'autonomie fait peur. Parce que l'impression est une perte de contrôle, alors qu'aujourd'hui ce contrôle existe peu ou prou.
C'est d'autant plus étonnant que l'objectif de l'enseignement est de former des citoyens responsables et que l'on insiste sur l'importance de rendre les élèves autonomes.
Les élèves devraient être autonomes mais pas leurs enseignants et leurs directions?
4. Conclusions
Même si nous apprécions les différentes études quantitatives qui montrent à quel point l'enseignement est ressenti comme important, nous espérons que des études qualitatives verront le jour.
En effet, il nous semble aberrant de mener des réformes successives, que ce soit la réforme du premier degré, le décret Inscriptions, la réforme des programmes, l'introduction de l'approche des compétences, etc, sur base d'études quantitatives sans aucune étude qualitative sérieuse.
L'avantage de l'augmentation de l'autonomie des chefs d'établissement et des enseignants est que ces acteurs ont la possibilité de mener ces études qualitatives, même si c'est de manière informelle. Et alors de rendre l'enseignement (un peu) de meilleure qualité.
L'étape suivante serait que "les gens d'en haut" écoutent alors "ceux qui sont en contact avec le terrain" et en tirent des leçons, en dehors de tout dogme idéologique.
Peut-être alors mèneront-ils des études vraiment utiles, parce que qualitatives et parce qu'elles donneront de vraies pistes de solution?
