Les nouveaux enjeux de la mesure de la qualité en éducation
Contents
1. paration aux examens d entr e l universit ex des jukus des firmes de l industrie de l information webmetrics etc D abord limit s aux march s nationaux les producteurs de palmar s tendent maintenant leur champ aux classements internationaux Ils construisent des indicateurs synth tiques partir d indicateurs objectifs et ou subjectifs Les indicateurs objectifs recueillis aupr s des tablissements des agences d accr ditation et des administrations portent sur le taux de s lection l entr e le pourcentage d tudiants trangers les ratios tudiants enseignants les quipements les publications cit es et les brevets l insertion et la carri re des anciens l ves le co t des tudes etc Les indicateurs subjectifs de qualit acad mique sont l opinion des lyc ens et de leurs professeurs celle des tudiants l valuation mutuelle des d partements universitaires par leurs pairs la r putation des enseignants aupr s de leurs coll gues l opinion des DRH sur les comp tences des La Conf rence Mondiale sur l Enseignement Sup rieur tenue l UNESCO en 1998 avait conclu la n cessit de d velopper les indicateurs statistiques pour l valuation de la qualit des institutions d enseignement sup rieur et les m thodologies de construction de tableaux de classement ex du D partement de l ducation de NewYork qui attribue des notes globales de A F aux coles de l2. conomie accroissent les risques conomiques et raccourcissent l horizon des d cisions des entreprises Combin e avec la lib ration des mouvements de marchandises la baisse des co ts de transport et la r volution informatique la fluidit des capitaux autorise des strat gies d embl e globale d implantation des firmes transnationales Les territoires et leurs facteurs immobiles travail services publics etc sont donc d sormais en comp tition pour les attirer d un c t par des avantages fiscaux de l autre par l offre d une main d uvre comp tente abondante qualitativement norm e en fonction de leurs besoins et imm diatement employable sans frais Du c t de la demande de personnel qualifi la quantit tant acquise c est la qualit qui est d sormais en question Aux qualifications titres scolaires jug s trop ax s sur les savoirs et sur lesquels les salari s peuvent appuyer leurs revendications les employeurs souhaitent substituer des comp tences standardis es savoir faire directement productifs et qui permettent l individualisation des r mun rations Les World Competitiveness Reports qui classent les territoires en fonction de leur attractivit pour les capitaux incluent dans leurs crit res des indicateurs de qualit de la main d uvre et des services d enseignement Simultan ment du c t de l offre les capitaux p n trent le secteur jusque l non marchand de la reproduction de la force de travail sant
3. ducation protection sociale Se d veloppe une industrie de l enseignement transnationale but lucratif qui implique la fin des monopoles ducatifs nationaux et l hybridation du public et du priv dans la production et le financement de l enseignement Le secteur ducatif sans distinction de nature juridique passe du statut de service public national celui de secteur conomique de pointe dans la comp tition mondiale des territoires et des capitaux Pris en ciseaux entre des besoins de d pense d ducation accrus et la baisse des recettes fiscales assises sur les revenus du capital le financement public n appara t plus dans le discours comme une variable mais comme une donn e exog ne la contrainte budg taire Deux solutions 1 faire appel des financements priv s compl mentaires ii am liorer la productivit des services publics d enseignement en mettant les producteurs en comp tition et Des tablissements existants juridiquement publics ou priv s s tendent l international via l ouverture de filiales le franchisage les joint ventures l enseignement en ligne Des conglom rats incluant des tablissements d enseignement sup rieur cr ent des universit s virtuelles fonctionnant comme courtiers pour leurs enseignements distance Les firmes de l industrie de l enseignement se concentrent sont cot es en bourse et se livrent un lobbying actif aupr s des gouvernements et des institutions internationa
4. l accroissement du nombre des fournisseurs de services d enseignement et la diversification de leur offre de cursus et de dipl mes suscitent de la part des utilisateurs employeurs tudiants dont la hausse des frais d inscription encourage le consum risme gouvernements engag s dans la promotion de leurs territoires une demande croissante d analyses comparatives pour clairer leurs choix L UNESCO soutient cette entreprise Les agences d accr ditation n tant pas des agences de notation la hi rarchisation des r putations est confi e aux classements dont le march se d veloppe tout aussi rapidement R pondant la demande de comparabilit partir des ann es 1990 l UNESCO et l OCDE produisent des indicateurs de performance ex du Programme international pour le suivi des acquis des l ves PISA d finissent des classements de pays sur des chelles num riques et identifient les bonnes pratiques Des agences gouvernementales notent les tablissements sur leurs performances Les palmar s des meilleurs tablissements rel vent eux d un march essentiellement commercial domin par les media pour un journal ou une revue le num ro sp cial consacr chaque ann e au palmar s des lyc es ou des universit s est s r d avoir la plus large diffusion Accessoirement on trouve des agences priv es ex Recruit Ltd au Japon des universit s ex Jia Tong Shanghai des fournisseurs de pr
5. Revue in DIRECT Bruxelles n 12 2008 Les nouveaux enjeux de la mesure de la qualit en ducation Annie Vinokur Professeur m rite de sciences conomiques Universit de Paris X Table des mati res 1 pourquoi un management de l ducation par la qualit 1 1 du vieux management public obligation de moyens confiance 1 2 au nouveau management public obligation de r sultats m fiance 2 la boite outils de la mesure de la qualit 2 1 La standardisation des produits 2 1 1 le point de vue du march normer l objet de l change 2 1 2 le point de vue manag rial normer les objectifs de r sultats 2 2 la certification des processus de production 2 2 1 un indicateur de qualit sur les march s 2 2 2 un outil de contr le et de gestion 2 3 le classement des producteurs 2 3 1 classement et comp tition sur les march s 2 3 2 benchmarking et management 3 les pr cautions d emploi 3 1 les biais m thodologiques 3 2 les effets pervers de la relation d agence k Les responsables d tablissements et les enseignants constatent la multiplication des instruments et des dispositifs d valuation de la qualit en ducation mesure des r sultats tests standardis s valuation des acquis et des comp tences taux d insertion professionnelle taux de rendement des tudes bibliom trie et d p ts de brevets Tuning des normes de l enseignement sup rieur etc valuation de la qualit des processus
6. a mesure du facteur d impact d une publication par le nombre de citations dans les deux ans p nalise les nouveaux sujets de recherche et les avanc es scientifiques importantes qui sont souvent la marge et d apr s la communaut scientifique mettent en moyenne dix ans tre reconnues favorise les effets de mode et les publications dans la langue dominante Lawrence 2007 De m me pour le classement des revues scientifiques par leur facteur d impact qui est circulaire ne garantit pas n cessairement la qualit des articles publi s p nalise les recherches interdisciplinaires favorise les chercheurs du pays des revues les mieux class es La normativit qui lie le souci de promouvoir les bonnes pratiques au benchmarking sur indicateurs chiffr s peut conduire pr senter de simples corr lations comme des causalit s 3 2 les effets pervers de la relation d agence 15 Chistopher Hood note avec ironie que le management centralis des services publics par objectifs introduit par Tony Blair en 1998 ressemble fort aux m thodes de la planification sovi tique et les m mes causes produisant les m mes effets qu il n est donc pas surprenant qu on observe en Angleterre les m mes strat gies de tricherie dans l execution qu en URSS Hood 2006 16 Ex le pourcentage de professeurs trangers refl te t il le prestige de l universit ou la p nurie d enseignants Celui des tudiants trangers la r putation de l tablis
7. a ville en fonction de leurs performances dans le cadre de la loi no child left behind New York Times 4 novembre 2007 Fond en 1997 Recruit Ltd tire ses recettes des contributions des tablissements et assure un service gratuit pour les utilisateurs Il a galement d velopp l usage des DRH un test standardis de comp tences g n rales ind pendantes des programmes d tudes dipl m s etc Ces classements hors l information du public remplissent deux fonctions de mise en comp tition des producteurs sur le march et de benchmarking des performances 2 3 1 classement et d viation acad mique Dans l enseignement sup rieur le classement a pour effet d acc l rer la d viation acad mique d finie comme la tendance des institutions en l absence de toute contrainte externe copier les institutions plus prestigieuses Morphew amp Huisman 2002 Si on ne conna t gu re l impact des classements sur la demande d inscription des tudiants en revanche leur influence sur les strat gies des directions des tablissements est av r e La publication des palmar s a un effet mim tique sur les strat gies de positionnement sur le march de concurrence monopolistique des tablissements Une universit qui veut largir sa part de march aura tendance s interroger non sur les crit res et la qualit du palmar s qui l a not e mais sur l effet du classement sur ses clients financeurs et partenaires Si elle
8. ance qualit et d accr ditation selon des standards accept s par la communaut professionnelle entra nerait la reconnaissance multilat rale des agences Celle ci son tour donnerait l assurance que cette valuation est r alis e sur la base de standards reconnus internationalement La confiance dans les syst mes d assurance qualit et d accr ditation constituerait un grand progr s dans le domaine de la reconnaissance des qualifications La n cessit de mettre un peu de transparence sur ce march Sanyal amp Martin 2007 suscite des efforts pour tablir des syst mes de meta titres sur la base du volontariat Mais ces efforts se heurtent aux enjeux de pouvoir conomique et politique que repr sente l adoption d un unique syst me de standards de qualit et rencontrent l opposition des fournisseurs transnationaux La moralisation du march de l accr ditation ne peut passer actuellement que par des codes de bonnes pratiques sans sanctions Dias amp Van Ginkel 2006 2 2 2 un outil de management La certification ISO 9000 a t con ue pour les besoins des relations entre donneurs d ordre et sous traitants en cas de d faut dans le produit livr elle permet de remonter rapidement l origine du probl me et de le r gler Dans la relation d agence qui est cens e permettre au principal d obtenir les r sultats souhait s sans avoir se pr occuper de la fa on dont ils ont t obtenus la seule information
9. ant produite en quantit insuffisante en raison de ses effets diffus sur la soci t dont les clients directs ne peuvent tenir compte Confier la demande sociale d instruction au niveau politique de r solution des conflits d int r ts d mocratie repr sentative limite la capacit de tous les b n ficiaires exprimer leurs besoins en contribuant au financement de l instruction La solution consiste favoriser l entrecroisement des int r ts de toutes les parties prenantes stakeholders sous la forme d accords contrats conventions r seaux etc d calques non marchands de l change marchand Ces accords doivent pouvoir tre librement conclus entre les agents quels que soient leur statut juridique leur nationalit et leur niveau hi rarchique On substitue la verticalit des rapports d autorit et de subsidiarit l horizontalit des relations contractuelles que l on d signe parfois comme l expression d une d mocratie participative Du c t de l offre lorsque la concurrence des producteurs sur le march n est pas envisageable il convient de lui substituer son double la comp tition non marchande ou quasi marchande L Etat doit donc se concentrer sur ses fonctions de strat ge 1 partenaire dans les accords entre stakeholders ii pilote de l offre il doit d l guer ou ext rioriser les fonctions de production et de contr le non plus faire i e administrer mais faire faire i e piloter distance
10. ation ou d accr ditation 5 Cf sous la plume d un directeur de l Institut International de Planification de l Education de l UNESCO la certification des comp tences par un syst me international constitue une v ritable chance pour l ducation si la course l excellence se traduit effectivement par une am lioration de la qualit de l ducation et de la transparence dans l valuation des comp tences Cette am lioration ne pourra s effectuer que si les comp tences acquises au sein de l cole et des diff rentes formes d ducation informelle r pondent le plus exactement possible aux n cessit s du march Or les capacit s n cessaires seront de plus en plus de l ordre du non cognitif panouissement personnel et autonomie capacit de participation et d int gration Ce sont autant d aptitudes qui sont difficilement quantifiables et standardisables Il faut donc chercher le moyen de standardiser et valuer non seulement les comp tences cognitives mais aussi celles qui ne le sont pas L chec dans cette mission risquerait d entra ner deux cons quences d une part tout syst me de certification deviendrait inefficace puisqu il ne r pondrait pas aux exigences du march qui a besoin d une source d information s re sur laquelle fonder les crit res de recrutement d autre part le r ductionnisme du syst me d valuation des aptitudes a toutes les chances de se r percuter sur la qualit de l ducation qui
11. ccr ditations d agences trang res pour tre plus visibles sur les march s globaux Des tablissements sup rieurs professionnels cr ent leurs propres labels coles d ing nieurs ou de commerce Les fournisseurs transnationaux s opposent comme dans l industrie tout contr le externe de la qualit de leurs activit s et pr f rent soit recourir leurs propres organismes d accr ditation soit s autor guler via des codes de bonne conduite Vinokur 2006 La demande d accr ditation est d autant plus forte que les tablissements veulent un label mais pas de contr le public C est ainsi que parall lement aux services gouvernementaux d valuation et d habilitation pr sents dans la plupart des pays dot s d un syst me d enseignement public on trouve des agences d accr ditation quasi gouvernementales semi ind pendantes ou priv es infra supra ou transnationales certifiant des tablissements ou des programmes utilisant des m thodes et des crit res vari s dot es de moyens tr s in gaux Ce march est en pleine expansion Les tablissements peuvent se procurer ces labels sur un march libre et foisonnant d agences d accr ditation souvent auto proclam es qui toutes revendiquent l ind pendance politique et conomique indispensables leur cr dibilit La n cessit de mettre de l ordre sur ce march rel ve de la protection du consommateur mais aussi et surtout de la r gulation des changes internationau
12. de production des services d enseignement audits normes d assurance qualit et d accr ditation des tablissements monitoring bonnes pratiques d marche qualit Gestion Qualit Totale classements comparaisons nationales et internationales des performances des l ves indicateurs standardis s de comparaison des syst mes ducatifs classements des tablissements scolaires palmar s des universit s indicateurs ducatifs de comp titivit des territoires benchmarking etc Infra 2 1 1 Le benchmarking consiste comparer une performance une norme ou un standard g n ralement la meilleure performance observ e qui sert de point de r f rence pour mesurer les progr s Ces nouveaux dispositifs sont largement emprunt s la pratique industrielle Ils sont con us et mis en uvre par des organismes ext rieurs l cole de natures juridiques et conomiques tr s diverses organisations internationales agences ind pendantes but non lucratif organismes quasi autonomes non gouvernementaux firmes multinationales du testing cabinets d experts et de consultants agences d accr ditation medias revues scientifiques etc Or l institution scolaire est elle m me un vaste et v n rable dispositif de jugement de la qualit des savoirs et des l ves elle note s lectionne conf re grades et dipl mes elle qualifie Que signifie donc cette prolif ration d valuateurs des valuateurs Leur objectif es
13. e les m mes normes peuvent tre appliqu es toute organisation grande ou petite quel que soit son produit qui peut tre en fait un service ind pendamment du secteur d activit et que l organisation soit une entreprise une administration publique ou un d partement gouvernemental ibid Si l usage de proc dures d assurance qualit de type ISO 9000 et la pratique de l accr ditation se g n ralisent dans l enseignement c est parce qu elles y remplissent deux fonctions souvent confondues l une usage externe de label de qualit sur les march s l autre usage interne de management 2 2 1 un indicateur de qualit sur les march s L accr ditation est un label de qualit du fournisseur de services d enseignement D s lors que ces services s internationalisent les syst mes nationaux d accr ditation n assurent plus la transparence des march s ni ne prot gent les syst mes ducatifs nationaux dans le cadre de l Accord g n ral sur le commerce des services AGCS Individuellement les fournisseurs ont int r t capitaliser des labels dans leurs strat gies de conqu te de parts de march d autant que le co t lev et r current d ISO 9000 et de l accr ditation favorise la concentration en liminant du march les tablissements ou les formations de taille trop r duite ou de moyens financiers insuffisants Des tablissements d j habilit s par des agences nationales publiques sollicitent des a
14. ernational Level Z7 GUNI Conference Barcelona nov Eccles C 2002 L utilisation des classements des universit s au Royaume Uni Enseignement Sup rieur en Europe vol XXVII n 4 Hallack J 1998 Education et globalisation Paris Institut International de Planification de l Education Contributions n 26 Hood Christopher 2006 Gaming in Targetworld The Target Approach to Managing British Public Services Public Administration Review July August Lawrence Peter A 2007 The Mismeasurement of Science Current Biology Vol 17 n 15 Morphew CC amp Huisman J 2002 L utilisation de la th orie institutionnelle pour la r orientation de la recherche sur la d viation acad mique In UNESCO CEPES 2002 Les classements des institutions sup rieures Enseignement sup rieur en Europe Vol XXVII n 4 pp 127 146 OCDE 1962 Les politiques de croissance conomique et d investissement dans l enseignement Conf rence de Washington oct 1961 Peters B Guy 2004 Nouveau management public Dictionnaire des politiques publiques Les Presses de Sciences Po Paris pp 304 309 Romainville Marc 2002 L valuation des acquis des tudiants dans l enseignement universitaire Rapport tabli la demande du Haut Conseil de l Evaluation de l Ecole Paris Sanyal Bikas C amp Martin Michaela 2007 Quality Assurance and the Role of Accreditation an Overview in Higher Education in the World 2007 Accreditaion for Quali
15. es coles ind pendantes sont enti rement financ es par l Etat sur la base des effectifs d l ves les familles ayant le libre choix de l tablissement les tablissements sont ainsi mis en comp tition pour les attirer West amp Pennel 2005 information norm e sur la qualit de ce qui est chang L Etat principal a besoin d outils de pilotage qualitatifs pour la formulation des objectifs et le contr le de leur bonne ex cution 2 la boite outils de la mesure de la qualit On peut classer les outils employ s en trois groupes ceux qui visent normer le produit ceux qui valuent la qualit du processus de production et enfin ceux qui classent les producteurs Chacun peut servir l une des deux fonctions information du march pilotage par l agence ou aux deux la fois 2 1 La standardisation des produits 2 1 1 le point de vue du march normaliser les produits chang s Un march efficace suppose la transparence et en particulier que les changistes soient parfaitement inform s pr alablement l change de la substance m me de la chose chang e 1 e des caract ristiques du produit sa qualit intrins que Plus le march s tend donc plus doit s accro tre la demande de sp cification qualitative de l objet de l change Lorsque le probl me s est pos pour les changes de produits manufactur s au lendemain de la seconde guerre mondiale on a cr en marge du GATT OMC une unique orga
16. hild left behind aux Etats Unis dans l enseignement obligatoire Les tests pass s par les l ves qui portent sur un petit nombre de comp tences de base expression crite et maths ont pour fonction non d valuer les l ves mais de mesurer la capacit des coles et parfois des enseignants remplir les objectifs de niveau et de progression qui leur ont t assign s Des r sultats d pendent le jeu des incitations primes la performance et des sanctions qui vont jusqu la fermeture de l cole Ces tests 45 millions par an aux USA sont sous trait s par les Etats des firmes multinationales du testing Jusqu ici r serv s la scolarit de base le mod le tend gagner le premier cycle de l enseignement sup rieur Constatant l insuffisance du niveau des tudiants aux Etats Unis le rapport Spellings recommande la g n ralisation des tests de comp tence et le financement la performance sur le m me mod le no undergraduate left behind Spellings 2006 Mais dans la comp tition mondiale de l conomie de la connaissance les produits strat giques sont d sormais moins ceux de l enseignement que de la recherche d veloppement Les ann es r centes ont vu la multiplication des crit res de r sultats dans ce domaine bibliographiques et bibliom triques nombre de publications scientifiques pond r par un indice de qualit de leurs supports et un facteur d impact nombre de brevets d pos s nombre et m
17. ins performants le bachotage teach to the test au d triment des autres activit s p dagogiques voire des pratiques directes de tricherie pour lever les scores la pratique syst matique des liens hypertextes pour booster le classement des universit s et des quipes de chercheurs dans les moteurs de classement du type webmetrics l tablissement de r seaux d change de citations ou de relations privil gi es avec d autres tablissements pour obtenir des opinions favorables des pairs etc le contr le externe est co teux il suppose pour tre efficace des capacit s de l administration centrale au moins gales celles de l agent d o une double bureaucratie celle de l agent pouvant tre plus puissante que celle du principal Exemple aux USA du contr le des tests dont la passation est ext rioris e par une administration d autant moins bien dot e qu il s agit de faire des conomies de d pense publique Les organes d l gu s de contr le ou les producteurs de classement peuvent galement parfois commercialiser leurs services d aide aux contr l s on a vu supra la difficult de moraliser le march de l accr ditation et des classements La l gitimit du principal repose sur l obtention de r sultats il peut donc tre amen nouer avec l agent une collusion satisfaisante pour les deux par exemple abaisser le niveau des tests ou manipuler les statistiques de r sultats ou encore jouer du pur effet de la taille de
18. ion des besoins anticip s de la soci t en personnels form s de l autre par le rationnement sur crit res acad miques du droit d acc s des individus aux places gratuites de l enseignement post obligatoire Les cursus et les dipl mes sont contr l s et garantis par les pouvoirs publics La mise en uvre est d l gu e la profession traditionnellement organis e sur un mod le coll gial La gestion des tablissements peut se r sumer dans la formule obligation de moyens confiance L obligation de moyens se traduit par un contr le bureaucratique a priori qualification et r mun ration des enseignants d finition des programmes normes d encadrement autorisations pr alables de d pense etc la confiance par la stabilit de l emploi le recrutement par les pairs et l autonomie p dagogique et scientifique La mesure des r sultats usage externe est purement quantitative taux de scolarisation de redoublement de r ussite etc car destin e au pilotage de la planification dans une p riode o le mot d ordre est la course la scolarisation L valuation qualitative qui rel ve du magist re de la profession est usage interne mulation des l ves et progression dans les cursus feedback p dagogique valuation par les pairs 1 2 au nouveau management public obligation de r sultats m fiance A partir du milieu des ann es 1970 la d r gulation des march s des capitaux et la financiarisation de l
19. les cf par ex les n gociations de l Accord g n ral sur le commerce des services dans le cadre de l OMC P n trent galement sur le march des institutions but non lucratif ou des sponsors dont l ducation n tait pas la vocation initiale Des firmes industrielles ou de service cr ent des cha nes de services d enseignement ou reprennent en sous traitance la gestion d tablissements publics ext rioris s par l administration Des soci t s off shore proposent sur le Web des programmes et des dipl mes internationaux Les universit s d entreprise qui se multiplient tendent largir leur champ au del de leurs propres salari s et p n trer les campus existants en y diffusant les modes de gestion de l entreprise priv e A partir des ann es 1980 le discours de l OCDE mais aussi de la Banque Mondiale et de l Union Europ enne s inverse pour fustiger non plus les d faillances du march mais celles de l Etat monopoleur bureaucratique inefficace voire corrompu Simultan ment le terme de politique d ducation est remplac dans la litt rature des organisations internationales par celui de management Ce management est le Nouveau Management Public NPM doctrine issue des think tanks de la nouvelle droite en Angleterre et aux Etats Unis Le libre march est le mode de fourniture des services la plus efficace celui qui satisfait la demande au moindre co t Laiss e au march l instruction serait cepend
20. les producteurs op rateurs Mais comment piloter si en tant que financeur on ne dispose pas de pouvoir direct dans la gestion de l organisme d l gu On peut recourir au principe de l agence exp riment au niveau micro dans les relations entre les fonds de pension actionnaires et les firmes pension governance et au niveau macro dans les relations entre bailleurs de fonds internationaux et pays endett s Soit A un principal l actionnaire et B un agent la firme dont les int r ts divergent Pour contraindre B donner la priorit aux int r ts de A sur les siens propres A fixe B des objectifs de r sultats assortis d incitations punitions r compenses et met en uvre les proc dures n cessaires pour v rifier si et comment ces objectifs ont t satisfaits Ce qui suppose l autonomie de l agent libre des moyens qu il utilise pour atteindre les objectifs fix s par le principal le mod le en ducation est l universit entrepreneuriale mais aussi sa transparence et sa responsabilit accountability La formule peut se r sumer en obligation de r sultats m fiance Sur les march s de l ducation comme dans la relation d agence la mesure de la qualit est donc indispensable Les march s du travail et de l enseignement ont besoin d une Le terme de quasi march a t utilis d abord en Angleterre pour caract riser le changement de syst me intervenu dans l enseignement obligatoire en 1988 l
21. mme r ponses et non comme questions comme cibles normatives atteindre et non comme images de la r alit destin es informer les d cideurs La mesure ordinale est donc privil gi e comme outil de gestion Ainsi par exemple la M thode ouverte de coordination MOC de la Commission europ enne qui vise la convergence des politiques d ducation 1 fixe pour l Union des lignes directrices assortie de calendriers ii tablit des indicateurs quantitatifs et qualitatifs et des benchmarks cal s sur les meilleurs indicateurs mondiaux et les meilleures pratiques iii traduit les lignes directrices g n rales en objectifs et politiques sp cifiques pour chaque tat membre iv met en place monitoring valuations et audits pr sent s comme processus d apprentissage mutuel On a pu dire ainsi que l on tait pass de l int gration par le droit l europ anisation par les chiffres Dale 2005 Au niveau national les objectifs de r sultats sectoriels tendent naturellement se caler sur les benchmarks fournis par les classements internationaux de PISA aux palmar s des universit s Ainsi par exemple le projet de performance 2007 fran ais pour l enseignement sup rieur donne la priorit aux indicateurs de recherche d veloppement qui d terminent quasi 10 exclusivement le classement de Shanghai au d triment des indicateurs de qualit de l enseignement 3 pr cautions d emploi des outils de mesure Les pr occu
22. n cessaire en principe concerne la fiabilit des r sultats La lourde proc dure de l assurance qualit des op rateurs d enseignement remplit donc une autre fonction celle d amener ces derniers en adopter le prolongement dynamique le Total Quality Management TQM directement inspir des m thodes de gestion des entreprises japonaises qui ont p n tr dans l industrie dans les ann es 1970 L objectif est de s assurer une part de march croissante en se focalisant sur la qualit des produits comme support de marketing Le principe est l internalisation de la qualit dans le processus de production par les travailleurs eux m mes Le but tant simultan ment d am liorer la qualit et d abaisser les co ts il est fait appel la mobilisation de tous dans une culture de l apprentissage La premi re tape de la proc dure d assurance qualit est la mise plat collective des processus de production et l auto valuation La d marche valorise les membres de l organisation trait s en sujets de leur activit les gaspillages de temps et les lourdeurs bureaucratiques inutiles sont identifi s le collectif de travail soucieux d efficacit peut trouver et mettre en uvre de nouvelles fa ons de faire Lorsqu elle n tait pas d j OECD US Forum on Trade in Educational Services 23 24 May 2002 Washington DC USA 10 Exemple au niveau r gional de l ENQA European Network of Quality Assurance r seau d agences d assu
23. nisation non marchande l International Organization for Standardization ISO D finissant la qualit comme l aptitude satisfaire le client fitness for purpose l ISO a d velopp partir de 1947 des standards techniques de produits sur la base de consensus entre repr sentants des secteurs demandeurs ratifi s ensuite par les pays membres Dans le cas du march du travail les caract ristiques qui font que la force de travail est demand e sa productivit ne peuvent se manifester que dans l emploi lui m me d o la n cessit l embauche de disposer d indicateurs de productivit future On pourrait imaginer le d veloppement par consensus des secteurs demandeurs de force de travail de standards techniques de comp tences qui normeraient la qualit des produits fournir par le secteur ducatif M me si le projet tait r alisable dans le cas du travail salari il est peu probable qu il soit mis en uvre et pas seulement parce que l cole a d autres vis es que de fournir flux tendu l conomie les travailleurs format s dont elle exprime la demande Les tablissements et les syst mes ducatifs se font en effet concurrence non sur les prix mais sur la r putation de qualit de leurs propres certifications les dipl mes Historiquement le probl me de la normalisation et de la comparabilit des dipl mes t r solu au niveau national par des proc dures non marchandes publiques ou priv es d habilit
24. ontant des contrats pass s avec les entreprises etc La performance ainsi mesur e devient centrale dans les crit res de financement public des tablissements d enseignement sup rieur 2 2 la certification des processus de production A partir des ann es 1980 dans l industrie le probl me n est plus le manque de sp cifications des produits il est celui de l incapacit de certaines entreprises faire en sorte que leurs produits satisfassent ces standards techniques ce qui accro t les co ts de transaction dans l espace international ISO 9000 publi pour la premi re fois en 1987 a alors t d velopp pour tablir un standard minimum de qualit du processus de production assurant que le produit exp di est conforme aux sp cifications convenues entre l acheteur et le vendeur Le but de la certification d assurance qualit d une entreprise est de d montrer au client sa Cf par exemple en France le projet de performance pour l enseignement sup rieur et la recherche de la Loi organique des lois de finance LOLF 2007 comp tence et son savoir faire en mati re de qualit de l offre et de d montrer la ma trise des processus de r alisation sans pour cela s attacher la performance du produit La transposition aux services priv s et publics du mod le ISO de certification de processus est en principe ais e dans la mesure o les normes portent sur l organisation et sont g n riques c est dire qu
25. pations commerciales ou normatives sont peu favorables la production d objectifs chiffr s fiables L importance des enjeux dans la relation d agence suscite tricherie et collusions dans la mesure des r sultats et les r sistances sont d autant plus fortes que les int r ts du principal et de l agent sont plus oppos s 3 1 les biais m thodologiques Jes indicateurs synth tiques combinent g n ralement des indicateurs objectifs chiffr s dont la relation avec les variables dont ils sont suppos s tre le proxy n est pas toujours pertinente et des indicateurs subjectifs d opinions dont l additivit est m thodologiquement irrecevable Les classements sur ces indicateurs sont tr s sensibles la pond ration des variables rarement publi e et ais ment manipulable Un exemple de biais statistique est fourni aux USA dans l application de la loi No child left behind A l occasion de la mise en cause de ses r sultats une firme de testing a rappel que i d une ann e sur l autre les enfants test s ne sont pas les m mes ii si on utilise le m me test chaque ann e le score ne sera pas significatif en raison de l effet d apprentissage et si on en change on ne peut pas comparer les r sultats De sorte que les faibles variations enregistr es d une ann e sur l autre qui commandent le jeu des incitations sanctions sont au dessous du seuil de fiabilit Les gouvernements veulent des r sultats chiffr s rapides L
26. pense que ceux ci y croient il ne lui reste plus qu s aligner sur les crit res de notation du palmar s pour am liorer son rating La proph tie devient autor alisatrice La n cessit de jouer le jeu de la comp titivit dans des r gles dont on ne questionne pas la pertinence appara t comme une vidence L influence des experts en notation est redoubl e par celle des cabinets de consultants appel s conseiller pouvoirs publics et universit s Cette tendance l homog n isation des crit res en particulier ceux relatifs la recherche dont le poids est d terminant renforce l extraversion des enseignements sup rieurs nationaux Les classements sont donc beaucoup plus efficaces que les efforts de normalisation de l accr ditation pour aligner les enseignements sup rieurs sur un m me mod le dominant Dans le cas de l espace ducatif europ en le processus de Bologne a t absorb par celui de Lisbonne l objectif d harmonisation par celui de comp titivit Il n est pas interdit de penser que une fois obtenue l harmonisation minimale des cursus LMD indispensable la concurrence les palmar s s av raient plus efficaces pour parvenir la convergence La large publicit accord e en Europe au classement dit de Shangha pourrait ainsi tre imput e au fait que les universit s europ ennes y figurent dans un mauvais rang 2 3 2 benchmarking et management Dans le NPM les indicateurs statistiques sont utilis s co
27. rance qualit des pays membres cr en 2000 pour assurer la qualit des agences d accr ditation ou au niveau mondial du projet de World Quality Register WQR propos en 2002 par l Association Internationale des Pr sidents d Universit s IUAP sur la base d un consortium de r seaux d agences d accr ditation r gionales l Des cabinets de consultants proposent par exemple le TQM aux coles primaires et secondaires am ricaines sur l argument qu il doit leur permettre de r soudre l quation baisse du financement public augmentation des exigences de qualit tests spontan ment pratiqu e cette phase de m me que l audit par les pairs est en g n ral favorablement accueillie dans les tablissements d enseignement car elle n est pas trang re la culture professionnelle des enseignants Les probl mes apparaissent lorsque les objectifs de performance impos s entrent en conflit avec la conception de la qualit propre une profession g n ralement peu motiv e par la lutte pour les parts de march La mise plat des proc dures permet alors une quantification d taill e des objectifs qualitatifs et l imposition de contr les plus bureaucratiques et de m thodes plus tayloriennes que ceux de l ancien management 2 3 Le classement des producteurs La comp tition monopolistique entre tablissements repose sur une image de marque de leur qualit soutenue par une publicit qui peut tre mensong re Par ailleurs
28. s tablissements sur les classements en effectuant des regroupements fictifs etc Mais la relation d agence en ducation a aussi des effets sur les comportements des agents que l on ne peut qualifier de pervers dans la mesure o ils entrent bien dans les objectifs du principal tel que d fini par le nouveau management public subordination de l action au jeu des incitations sanctions pr f rence pour le court terme magist re du chiffre et des valeurs marchandes recherche de visibilit de l action au d triment de son contenu perte de l autonomie p dagogique et scientifique extraversion de la recherche et de la culture A chacun de les qualifier en fonction de sa propre conception de la qualit en ducation 19 k les multinationales du testing peuvent payer 200 000 leurs psychom triciens l Etat ne peut offrir que le quart de cette somme David Herszenhorn As Test Taking Grows Test Makers Grow Rarer New York Times May 5 2006 12 R f rences Cusso Roser amp D Amico Sabrina 2005 Vers une comparabilit plus normative des statistiques internationales de l ducation Jn Vinokur ed 2005 pp 21 48 Dale Roger 2005 The potentialities of la mesure en ducation the European Union s Open Method of Coordination and the Construction of a European Education Space In Vinokur ed 2005 pp 49 65 Dias Marco Antonio amp Van Ginkel Hans J 2006 Institutional and Political Challenges of Accreditation at the Int
29. s tant contr l s le principal d bouch de la production est la consommation des salari s nationaux La croissance de la consommation et le plein emploi sont assur s par la n gociation collective du partage des gains de productivit entre capital et travail L obstacle est la p nurie de travailleurs qualifi s les jeunes trouvant ais ment du travail la sortie de l enseignement obligatoire Dans ces conditions les entreprises 1 sont contraintes de n gocier avec les syndicats des syst mes de r mun ration attractifs adoss s aux qualifications ii ont int r t participer collectivement via l imp t au financement de l expansion de l instruction scolaire iii peuvent supporter individuellement la charge de l adaptation des sortants du syst me scolaire leurs besoins sp cifiques dans la mesure o incit es par la p nurie conserver leurs employ s le plus longtemps possible r mun ration l anciennet emploi vie etc elles peuvent amortir cet investissement sur la longue dur e Le droit l instruction scolaire consid r e comme bien public s inscrit alors dans les Constitutions nationales Le montant des ressources qui y sont affect es est politiquement d cid Le financement par l imp t r partit le co t de l enseignement entre tous ses b n ficiaires directs et indirects L affectation de la d pense publique est administr e d un c t par une planification de l offre de places scolaires en fonct
30. sement ou un faible co t relatif des tudes 17 Sur la critique m thodologique des classements cf Eccles 2002 qui de surcro t soup onne les journaux pour maintenir leurs ventes de changer leurs pond rations d une ann e sur l autre afin de modifier le rang des tablissements Eccles 2002 8 Ex de l exploitation des donn es de PISA par l OCDE pour tablir des liens forts entre les variables scolaires comme la performance en math matiques est corr l e avec l autonomie des tablissements ou les publications de la Banque Mondiale montrant l absence de lien significatif entre la d penses publique d ducation et la dur e moyenne des scolarisations Cusso amp D Amico 2005 11 Les effets pervers de la relation d agence ont d j t tudi s au niveau micro ex de l affaire Enron et au niveau macro relations entre bailleurs de fonds et pays aid s Ils sont imputables trois caract ristiques de la relation le principal par d finition ext rieur l organisme agent ne peut conna tre les conditions concr tes de fonctionnement interne qui sous tendent la cr ation de valeur dans la firme ou la mise en uvre effective des conditionnalit s impos es par les bailleurs de fonds Ce qui laisse une marge de man uvre l agent pour manipuler l information On note en ducation le gonflement artificiel du nombre de candidats pour lever le ratio de s lection l entr e l limination des l ves les mo
31. t diff rent il ne s agit pas ici d am liorer ou contr ler la justesse la fiabilit ou l quit du jugement des enseignants mais usage de d cideurs externes de mesurer la qualit du produit et du processus de production de l enseignement lui m me Ce changement d objet de la mesure en ducation renvoie deux volutions majeures 1 du march avec la globalisation des changes sur les march s du travail et des services d enseignement ii de la conception de l Etat avec l adoption par de nombreux pays du Nouveau Management Public Peters 2004 Il convient donc de rappeler les origines du mouvement de pilotage par la qualit en ducation 1 avant d en recenser les principaux outils 2 pour enfin s interroger sur le mode d emploi de ces nouveaux instruments de mesure de la qualit de l ducation 3 1 Pourquoi un management de l ducation par la qualit 1 1 Du vieux management public obligation de moyens confiance Dans les ann es qui ont suivi la fin de la seconde guerre mondiale les syst mes ducatifs se sont largement align s sur le mod le alors pr conis par l OCDE qui pr sentait l URSS et la France comme exemples au monde pour leur financement public et leur gestion centralis e du syst me scolaire OCDE 1962 Ce mod le correspondait aux besoins du r gime de croissance qui se mettait en place dans les pays industrialis s Les mouvements internationaux de capitaux et de marchandise
32. tendrait limiter son action l apprentissage du savoir Hallak 1998 Au niveau international les conflits d int r ts autour de l quivalence et de la transf rabilit des dipl mes sont tels que l accord politique s y av re impossible m me dans un cadre r gional D o les tentatives de recours pour construire l Espace Educatif Europ en par exemple deux processus bottom up inverses de celui de l industrie 1 le premier est le projet pilote Tuning Educational Structures in Europe initi en 2000 par un groupe d universit s avec le soutien de l Association Europ enne des Universit s et du programme Socrates il vise faire d finir par les universit s les comp tences g n riques et sp cifiques chaque domaine qui doivent normer les produits des deux premiers cycles licences et masters ii le second fait le pari qu partir de l homog n isation des services d enseignement par la certification des processus de production on pourra atteindre finalement la convergence des certifications universitaires infra 2 2 1 2 1 2 le point de vue manag rial fixer des normes de r sultats En revanche la standardisation des r sultats se g n ralise lorsque la mesure du produit d connect e du dipl me a pour objectif l accroissement de l efficacit interne des tablissements scolaires C est le cas en particulier des tests dits high stake du type de ceux mis en uvre en Angleterre ou par la loi No c
33. ty Assurance What is at Stake GUNI Barcelona and Palgrave Macmillan Basingstoke England pp 3 23 Spellings M A Report of the Commission appointed by 2006 A Test of Leadership Charting the Future for the US Higher Education US Dept of Education Washington DC Uvalic Trumbic S 2001 Introductory remarks Expert Meeting on the Impact of Globalization on Quality Assurance Accr ditation and the Recognition of Qualifications in Higher Education Paris UNESCO 10 11 sept 13 Vinokur Annie ed 2005 Pouvoirs et mesure en ducation Cahiers de la Recherche sur l Education et les Savoirs Hors s rie n 1 juin telechargeable sur http netx u paris10 fr foreduc Vinokur Annie 2006 La qualit de la mesure de la qualit dans l enseignement sup rieur Essai d analyse conomique Education et Soci t s n 18 West Ann amp Pennel Hazel 2005 Market Oriented Reforms and High Stakes Testing Incentives and Consequences In Vinokur ed 2005 pp 181 200 14
34. x de services d tudiants et de travailleurs On a vu 2 1 1 que d faut d accord sur la standardisation des certifications le projet initial de la D claration de Bologne attendait l harmonisation des dipl mes principalement de la promotion d une coop ration europ enne dans le domaine de 7 http www iso org 8 on observe le d veloppement foisonnant d agences d accr ditation et d assurance qualit aux niveaux nationaux et r gionaux cependant que des accr diteurs autoproclam s font une publicit agressive se targuant parfois de liens avec l Unesco ou les Nations Unies comme preuve de leur cr dibilit internationale Uvalic Trumbic 2001 l assurance qualit en vue de d velopper des crit res et m thodologies comparables Y figurait la cr ation d un label europ en d assurance qualit g r par un unique organisme officiel qui accr diterait les agences d accr ditation des tablissements europ ens et des fournisseurs transnationaux de services d enseignement sup rieur Mais c est le seul point du projet qui n avait pas re u l assentiment des ministres peu favorables dans ce domaine une intervention directe de l Union qui remettrait en cause les syst mes nationaux d accr ditation et rencontrerait des r sistances int rieures De m me pour l OCDE une meta accr ditation peut s av rer un outil puissant au niveau international Une proc dure de reconnaissance bas e sur l valuation des agences d assur
Download Pdf Manuals
Related Search