Article Figari Tourmen
Contents
1. l oppos un para digme initi par Stake 1980 puis d velopp par Guba et Lincoln 1981 Patton 1980 Cranton 2001 qui s enracine dans une pist mologie cons tructiviste interpr tative et herm neutique privil gie la connaissance utile pluraliste la d couverte Cronbach et Rossi visent par l valuation la o 09 06 29 05 V29 N3 INT 12 14 06 12 22 gpa La r f rentialisation 17 construction de connaissance et l utilisation de la connaissance Rossi et Freeman 1985 p 38 d finissent comme compr hensives des valuations qui r alisent la fois une conceptualisation et un mod le d intervention un contr le de l implantation du programme et l valuation de l utilit du programme L valuation compr hensive est l application syst matique des proc dures de recherche en sciences sociales en estimant la conceptualisation et le mod le l implantation et l utilit des programmes d intervention sociale Rossi amp Freeman 1985 p 19 Youn s rel ve que pour ces auteurs la recher che en valuation ne se limite pas l application de m thodes d appr ciation de ph nom nes ou de r sultats C est aussi une activit politique et manag riale un input dans la mosa que complexe dans laquelle les d cisions politiques mergent pour la planification la mod lisation l implantation et la perp tuation des programmes pour am liorer la2. valuateurs externes Une premi re tape commune l orientation de l valuation Au del de ces diff rences d organisation des fonctions d valuation on observe que les professionnels d crivent tous une premi re tape d orientation du travail qui consiste pr ciser les finalit s sp cifiques chaque valuation en lien avec la commande puis construire des questions d valuation sp ci fiques qui orientent la suite du travail collecte et analyse des donn es Elle peut tre faite au sein de l Administration commanditaire et discut e avec les valuateurs Cette tape est aussi celle o des crit res d valuation sont d finis ainsi que la plupart du temps des indicateurs qui vont guider la collecte des donn es Enfin c est aussi souvent lors de cette tape que les objectifs de la politique ou du programme valu ainsi que ses r alisations sont d crits voire reconstruits avec des outils comme le diagramme logique des impacts ou le mod le CIPP de Stufflebeam 1980 On observe donc que les professionnels en r alisant diff rentes productions pr alables comme le projet d valuation le cahier des charges ou le mandat le devis etc sont bien dans une d marche d valuation o ils pr parent l attribution d un jugement en pr cisant quelles questions quels crit res et quels r f rents vont guider la d marche Vient ensuite une tape de collecte et d analyse des donn es qui a
3. based on these invariant elements It can also be used as a method to evaluate PALAvVRAS CHAVE Actividade avaliativa programa referencializa o Propomo nos distinguir inspirando nos nas teoriza es da avalia o os elementos que ser o constitutivos da actividade avaliativa Seguidamente tentamos comparar a forma como eles s o utilizados e nomeados nas pr ticas de avalia o de programa dispositivo em Fran a e no Qu bec Finalmente propomos uma modeliza o da avalia o de programa dispositivo que toca simultaneamente o objecto e a actividade de avalia o na base das suas invariantes procedimento te rico e que pode declinar se na pr tica sob a forma de protocolo metodol gico a referencializa o o 09 06 29 05 V29 N3 INT 12 14 06 12 22 ee 6 G RARD FIGARI ET CLAIRE TOURMEN Introduction valuer des programmes des dispositifs des politiques publiques des projets Si nous postulons que ces termes diff rents recouvrent des objets tr s proches que l on d signerait selon les cultures par la notion de programme en Am rique du Nord et par la notion de dispositif notamment en France nous disposons alors d une remarquable occasion de comparaison C est sur ce postulat d existence d un objet qu on appellera provisoirement le programme dispositif que nous allons conduire notre r flexion Dans ce cadre la diversit des approches et de
4. me de r f rences Figari 1994 p 31 Nous retiendrons enfin que dans l activit valuative un processus de re construction des r f rents et des r f r s serait l uvre pour permettre de formuler des interpr tations Dans l valuation les r f r s sont la plupart du temps produits Une op ration de production de donn es sur l tat de l objet valu est en effet souvent l uvre Elle vise d passer une connaissance partielle ou insuffisante sur l objet valu ce qui a pu amener assimiler l valuation une seule activit de production de connaissances valuer consisterait ainsi se repr senter son objet en le mod lisant Figari 1994 On retrouve exprim e l id e que les objets valu s ne sont pas donn s mais construits par les valuateurs Selon Figari 1994 l valuateur mod lise l objet valu ce mod le lui permettant de ma triser sa repr senta tion de l objet afin de s orienter face au foisonnement des ph nom nes r els Diff rents outils sont ainsi propos s aux valuateurs pour mod liser un programme dispositif un projet ou une politique publique CIPP de Stufflebeam ICP de Figari 1994 mais aussi le mod le logique et recueillir des donn es son gard Si les r f r s sont produits au cours de l activit qu en est il des r f rents Hadji pr cise que les r f rents sont en quelque sorte pr alab
5. San Francisco Jossey Bass Hadji C 1989 L valuation r gles du jeu Paris ESF Hadji C 1997 L valuation d mystifi e Paris ESF Hurteau M amp Houle S 2005 valuation de programme et recherche valuative des activit s distinctes Mesure et valuation en ducation 28 3 83 95 Hurteau M amp Duval J 2005 Le r le des standards dans une d marche valuative Communication la 27 session d tude de l ADMEE L instrumentation une vidence de l valuation pas toujours vidente 24 et 25 novembre 2005 Qu bec MEANS 1999 valuer les programmes socio conomiques Communaut s europ ennes 6 volumes Nadeau M A 1988 L valuation de programme th orie et pratique Qu bec Les Presses de l Universit Laval Patton M Q 1980 Qualitative evaluation methods Beverly Hills CA Sage Rossi P H amp Freeman H E 1985 Evaluation a systematic approach 3 dition Beverly Hills Sage publications o 09 06 29 05 V29 N3 INT 12 14 06 12 22 Pegh zs La r f rentialisation 25 Secr tariat du Conseil du tr sor 2002 L valuation de programme Document destin aux dirigeants et dirigeantes de minist res et d organismes www tresor gouv qc ca Shadish W R Cook T D amp Leviton L C 1991 Foundations of Program Evaluation Theories of Practice Sage publications Stake R E 1980 Program evaluation particularly responsive evalu
6. avanc d un pas car on sait bien que les pratiques d valuation peuvent utiliser les m mes concepts et notions et cependant se montrer diff rentes et herm tiques les unes aux autres C est pourquoi il nous a sembl utile de tenter d int grer les r flexions qui pr c dent un protocole qui utilise tout ou partie de l appareil th orique inventori au moyen d une mod lisation de l valuation de programme dispositif qui va tre expos e ici travers la r f rentialisation Figari 1994 Nous allons partir d un ancrage th orique de cette forme de mod lisation puis situer la fonction de ses diff rents descripteurs que sont les r f rents crit res et indicateurs pour d finir plus pr cis ment la r f rentialisation avant de terminer par sa visualisation synth tique et un exemple r sum de son application Justification th orique d une mod lisation La documentation portant sur l valuation de programme Shadish Cook amp Leviton 1991 Youn s 2006 laisse entrevoir des conceptions th orisations et m thodologies fort diff rentes qui attribuent aux r sultats de cette forme d valuation des significations des productions de connaissances galement fort diff rentes Ainsi selon Youn s les chercheurs ne privil gient pas tous le m me type de connaissance produire par exemple la tradition objectiviste repr sent e par Campbell et Scriven privil gie la connaissance causale
7. de production des r f rents consisterait ainsi en la sp cification des l ments de r f rence qui vont guider l interpr tation des donn es sur l objet ce sont des objectifs des valeurs d autres donn es des textes d orien tation ou m me des r f rentiels officiels etc Sous r serve de v rification nous faisons l hypoth se que en ce qui concerne ces invariants issus des th orisations de l valuation la similitude des cat gories de questions soulev es par l valuation au Qu bec et en France et plus g n ralement en certains cas en Europe francophone est tablie L valuation de programme au Qu bec et en France La mod lisation de ces invariants permettra t elle de comparer les appro ches d valuation de programme et de dispositif en France et au Qu bec Nous postulons qu elles traitent chacune ces invariants de fa on sp cifique Des pr conisations comparables Tout d abord les pratiques sont nomm es de diff rentes fa ons en France et au Qu bec D un c t de l Atlantique en France et dans certains pays d Europe il est coutume de parler des pratiques d valuation de politiques publiques les objets valu s pouvant tre des dispositifs des politiques publiques des projets ou des programmes Nous choisirons comme exemple ici l valuation des politiques publiques comme un des l ments comparables un type de programme Le guide
8. e ainsi que de ses difficult s Une d nomination variable des professions Un des premiers constats est que les postes de ces professionnels n ont pas de d nomination fixe Les activit s d valuation peuvent tre m l es des activit s de contr le de gestion en France et la Commission europ enne ou de v rification interne au Qu bec de suivi de planification ou de prospective etc Ainsi d un c t beaucoup ne donnent pas de nom leur poste certains disent m me l ignorer Il y a toutefois quelques d nominations o 09 06 29 05 V29 N3 INT 12 14 06 12 22 cegas 14 G RARD FIGARI ET CLAIRE TOURMEN qui reviennent comme charg d tude valuation charg de mission valuation ou responsable de l valuation En France par exemple les postes se r partissent surtout entre des charg s d valuation dans 1 Adminis tration en charge de la formalisation de la commande et du suivi des valuations plus rarement de leur r alisation valuateurs internes et des valuateurs qui r alisent ces valuations le plus souvent appartenant des laboratoires de recherche ou des cabinets de conseil priv s Dun autre c t au Qu bec les valuations semblent plus fr quemment r alis es au sein des minist res par des quipes d valuateurs qui sont pilot s par des coordon nateurs d valuation aussi appel s gestionnaires m me s il peut tre fait appel des
9. ses l ments non comme lin aires mais comme it ratifs et interactifs Ainsi le programme dispositif peut tre repr sent par un sch ma triangulaire en trois dimensions pouvant agir et interf rer les unes avec les autres Figari 1994 p 57 les Intrants l ments contextuels et finalit s les Constructions des acteurs processus les Produits ou extrants effets r sultats volutions Mod lisation d un programme dispositif Constructions processus Intrants Produit l ments contextuels effets r sultats et finalit s volutions Figure 1 Mod lisation d un programme dispositif o 09 06 29 05 V29 N3 INT 12 14 06 12 22 cegas La r f rentialisation 19 Evaluer le programme dispositif revient alors tudier diff rentes comparaisons possibles e soit entre I intrants mat rialis par exemple par les objectifs d un programme et C construction illustr par exemple par les strat gies d velopp es par le programme pour tudier la pertinence du dispositif e soit entre I intrants et P produit si l on souhaite tudier la rentabilit du dispositif e soit entre C et Psi l on value l efficacit d une strat gie d une m thode ou d un outil Ce qui revient pour chaque question utiliser toujours la m me proc dure tablir une comparaison entre un r f r et un r f rent r f r C versus r f rent I pertinence r f
10. un support p dagogique le manuel de formation Cet exemple est extrait de l valuation d un programme europ en ADAPT de formation de formateurs d adultes au Portugal 2001 Dans cette partie de l op ration il s agissait de contr ler et de valider des supports p dagogiques labor s par les formateurs et comprenant des manuels des fiches des outils multim dia etc Il n est pr sent ici que la trame non compl te du r f rentiel d valuation labor cette occasion et ayant servi de base la construction des outils qui a suivi cette phase de r f rentialisation On vient d examiner un aper u partiel de protocole de r f rentialisation pr alable une valuation de programme dispositif Cette proc dure tr s complexe et tr s rigoureuse laisse entrevoir sa face cach e le travail de cons truction appuy sur une pr enqu te et une discussion des choix de r f rents et de crit res avec les acteurs de l valuation du programme institutionnels profes sionnels universitaires travail qui n a pas t d crit ici Le but de cette pr sen tation tait de donner voir une mod lisation possible de ce type d valuation de mani re illustrer l enjeu de cet expos qui tait de contribuer une confron tation th orique et m thodologique sur l valuation de programme Conclusion Par cette pr sentation nous avons pos quelques jalons pour tenter de tirer des
11. 09 06 29 05 V29 N3 INT 12 14 06 12 22 pehs MESURE ET VALUATION EN DUCATION 2006 voL 29 N 3 5 25 5 La r f rentialisation une fa on de mod liser P valuation de programme entre th orie et pratique Vers une comparaison des approches au Qu bec et en France G rard Figari Claire Tourmen Universit Pierre Mend s France Grenoble Mors c s Activit valuative programme r f rentialisation Nous proposons de distinguer en nous inspirant des th orisations de l valuation des l ments invariants qui seraient constitutifs de l activit valuative Nous tentons ensuite de comparer la fa on dont ils sont utilis s et nomm s dans des pratiques d valuation de programme dispositif en France et au Qu bec Nous proposons enfin une mod lisation de l valuation de programme dispositif qui touche la fois l objet et l activit d valuation sur la base de ses invariants d marche th orique et qui peut se d cliner dans la pratique sous forme de pro tocole m thodologique la r f rentialisation Key worps Evaluative practices program r f rentialisation Our purpose is to identify invariant elements describing evaluative practices within the evaluation theories We try then to compare the way they are used and named in program evaluation practices in France and Quebec We finally propose a model called r f rentialisation of evaluation object and practice
12. 2 14 06 12 22 cegas 18 G RARD FIGARI ET CLAIRE TOURMEN La r f rentialisation comme processus de mod lisation des r f r s et des r f rents Dans l valuation formelle les r f r s sont la plupart du temps pro duits comme nous l avons soulign plus haut C est dire que l objet valuer n appara t pas l tat brut au del de l institution ou du programme observer le but de l valuation est pr cis par un probl me ou une question particuli re S agit il d valuer des faits des comportements les r sultats d une politique ou d un projet des comp tences un mode de gouvernance ou de gestion sociale G n ralement langle de questionnement ne fait pas partie du mandat d valuation ou en tous cas il demande tre pr cis refor mul affin le r f r est donc expliciter sinon re construire Allons plus loin si le r f r est un dispositif c est dire un m ca nisme qu on construit pour produire un r sultat pr cis un programme un projet etc il constitue un syst me complexe par nature et ne peut tre soumis directement une valuation sans passer par une mod lisation Il s agit donc pour valuer de se repr senter son objet en le mod lisant La mod lisation que nous exp rimentons et que nous utiliserons dans cette pr sentation tout en s inspirant du mod le bien connu de Stufflebeam CIPP propose de consid rer
13. Houle 2005 p 86 On voit donc que le terme valuation de programme regroupe l ensemble des objets de cette forme d valuation m me si le terme programme peut tre restreint un sens gestionnaire proche de celui utilis en France et dans la Communaut europ enne o 09 06 29 05 V29 N3 INT 12 14 06 12 22 cegas 12 G RARD FIGARI ET CLAIRE TOURMEN Au del de ces diff rentes cat gorisations des objets valu s existe t il des pr conisations comparables Dans les deux cas ce type d valuation est d fini par ses finalit s qui sont de concourir l am lioration des pratiques de gestion publique par la production de connaissances sur la mise en uvre et les effets des interventions publiques le processus tant finalis par l attri bution de valeur ce qui le diff rencie d autres types d tudes et de recherches Ainsi le guide du CSE d finit le but de l valuation comme suit fonda mentalement l valuation consiste tenter de r pondre un ensemble de questions relatives une politique Il souligne qu elle peut servir diff rentes finalit s comme la finalit gestionnaire d cisionnelle d mocratique etc Le document d orientation du Secr tariat du Conseil du tr sor du Qu bec 2002 souligne quant lui que l valuation de programme sert principa lement de soutien au processus de d cision et de planification et vise l optimi sation des re
14. ation In W B Dockrell amp D Hamilton ds Rethinking educational research pp 72 87 London Hodder and Stoughton Stufflebeam D al 1980 L valuation en ducation et la prise de d cision Ottawa NHP Tyler R W 1950 Basic principles of curriculum and instruction Syllabus for Education 360 Chicago University of Chicago Press Youn s N 2006 L effet valuation des enseignements universitaires par les tudiants Th se de doctorat Universit Pierre Mend s France Grenoble
15. avec les objectifs Tyler 1950 et le juge ment conclut que la seule collecte des donn es ne suffirait pas pour d finir l valuation mais qu il y aurait toujours pr paration d un jugement de valeur qui poserait par exemple la question dans quelle mesure les objectifs ont ils t atteints Hadji 1989 affirme quant lui que le produit de l valuation est toujours exprim sous forme de jugement En logique celui ci pourrait tre d fini comme une assertion qui tablit ou d ment un rapport entre deux termes pose un rapport comme vrai ou faux Hadji 1989 p 28 Il peut s agir d un jugement de valeur ou de r alit qui nonce un fait puis qui appr cie ce que vaut la r alit Les deux auteurs insistent sur le fait que ces jugements sont finalis s par des vis es externes au processus qui le justifient comme la prise de d cision Nous retiendrons aussi que dans l activit valuative les jugements seraient produits en comparant des donn es r f r s des r f rents permettant d affecter des attributions causales expliquant les ph nom nes observ s Deux conceptions distinctes de la notion de r f rent sont consid rer e Celle de Hadji qui la formule ainsi Nous proposons de nommer va luation l acte par lequel on formule un jugement de valeur portant sur un objet d termin par le moyen d une confrontation entre deux s ries de donn es qui sont mises en rappor
16. ce aux pratiques de programmation budg taire un programme se d finissant par des objectifs cibl s des moyens cibl s et un calendrier pr cis cf les pratiques de la Commission europ enne Au Qu bec par contre il est plus courant de parler d valuation de programme m me si cette forme d valuation peut aussi concerner des politiques au sens de policy ou des projets plus restreints Le docu ment d orientation du Secr tariat du Conseil du tr sor 2002 d finit l valuation de programme comme suit L valuation de programme est une d marche rigoureuse de collecte et d analyse d information qui vise porter un jugement sur un programme une politique un processus ou un projet pour aider la prise de d cision La notion de programme est par ailleurs d finie comme telle Le programme d signe ici un ensemble coh rent et structur d objectifs d activit s et de ressources humaines financi res mat rielles et informationnelles regroup s pour offrir des produits et des services particuliers qui satisfassent les besoins cibl s d une population pr d termin e Hurteau et Houle inspir s par les travaux de Chen donnent une d finition encore plus extensive au terme de programme Un programme constitue ainsi un syst me ouvert et syst matique compos des dimensions qui lui sont propres intrants processus et r sultats environnements et r troactions Hurteau amp
17. condition humaine Rossi amp Freeman 1985 p 27 L article de Dubois et Marceau 2005 d veloppe encore davantage la r flexion sur les fondements th oriques des choix valuatifs Selon les auteurs lorsque l valuation ob it une d marche scientifique ce sont les th ories qui guident la recherche empirique L valuation est ainsi r alis e sur la base de mod les qui orientent l valuateur dans son choix p 12 C est bien dans une orientation de ce type que nous allons laborer une proc dure visant fonder une valuation en la situant dans son contexte par rapport ses r f rents th oriques sociaux et humains en fonction des pro jets et des dynamiques de ses acteurs et au moyen d indicateurs repr sentatifs de cet ensemble L importance des r f rents Selon la majorit des auteurs comme nous l avons voqu en premi re partie valuer consisterait confronter deux types de donn es des donn es qui sont de l ordre du fait observ r f r s et des donn es qui sont de l ordre des l ments de comparaison choisis pour attribuer du sens au fait r f rents donn es faisant r f rence objectifs normes etc L lucidation des r f rents am nerait en fait re construire un r f rentiel d valuation cf plus loin qui t moignerait d une certaine conception de l objet valu Figari 1993 pp 38 40 1994 p 180 09 06 29 05 V29 N3 INT 1
18. d examiner les objets valu s Les textes prescriptifs des deux pays insistent de plus sur le fait que les objectifs des programmes dispositifs valu s doivent tre d termin s au pr alable afin de pr parer les op rations de collecte et de traitement des donn es Les objectifs acqui rent ainsi le statut de r f rents l gitimes les plus utilis s pour valuer Toutefois le document d orientation du Secr tariat du Conseil du tr sor du Qu bec 2002 pr cise que l valuation peut tre ax e o 09 06 29 05 V29 N3 INT 12 14 06 12 22 cegas La r f rentialisation 13 sur les r sultats en lien avec les objectifs mais aussi sur la conformit avec le besoin exprim par les citoyens ce qui laisse la porte ouverte l utili sation d autres r f rents les besoins m me si l accent semble davantage port sur l axe r sultats effets De son c t le guide du CSE 1996 insiste sur l laboration du r f rentiel d valuation qui serait m me l une des ques tions majeures l tape du projet permettant de d terminer des crit res et des normes de r f rence Il souligne qu premi re vue les objectifs de la politique valu e sont le seul r f rentiel l gitime en r f rence au d cret du 22 janvier 1990 instituant l valuation de politiques publiques en France toutefois les auteurs observent que des probl mes peuvent surgir en pratique il faudrait alors p
19. dique indiquerait quelque chose il constituerait le signe observable et mesurable de la manifestation du crit re par exemple l indicateur de r duction des incidents critiques serait le signe de l efficacit d une m thode d organisation Il n aurait pas de sens en lui m me mais en r f rence un crit re Figari 1994 p 110 C est pourquoi la r laboration des crit res et des indicateurs en fonction des r f rents constitue la phase centrale de la r f rentialisation o 09 06 29 05 V29 N3 INT 12 14 06 12 22 Pegh 20 20 G RARD FIGARI ET CLAIRE TOURMEN La r f rentialisation comme m thodologie de P valuation Nous allons dans un premier temps rappeler d une mani re g n rale les phases du protocole de r f rentialisation utilis dans un certain nombre de contextes et dans un deuxi me temps illustrer ce protocole par le r sum d un exemple dans lequel il a t mis en uvre Qv attend t on d une m thode d valuation de programme dispositif De mani re g n rale comme dans toute op ration d valuation on peut esp rer qu elle puisse pr senter les caract ristiques suivantes d finir l objet valuer c est dire pr ciser les aspects de l institution qui demandent tre examin s le situer dans un contexte et en rep rer les acteurs c est dire tablir une premi re s rie de variables ind pendantes d ordre socio conomi
20. du Conseil scientifique de l valuation CSE 1996 un des premiers en la mati re et consid r comme une r f rence en France d finit l valuation de politiques publiques comme des valuations de grande o 09 06 29 05 V29 N3 INT 12 14 06 12 22 ego La r f rentialisation 11 ampleur d cid es par le gouvernement concernant des politiques complexes objectifs et acteurs multiples avant d ajouter que l objet de cette activit peut tre plus vaste Le pr sent guide est consacr l valuation des actions et activit s publiques vocables d lib r ment impr cis pouvant d signer une large gamme d objets politiques programmes actions mesures r glementa tions projets activit d une administration et d un corps de fonctionnaires services produits par un organisme ou un service public etc L valuation individuelle des personnels est en revanche ici clairement exclue Le terme politique est ainsi employ par commodit c est une r f rence habi tuelle dans le contexte fran ais qui a un sens g n rique et peut inclure les diff rents objets cit s Cette forme d valuation concerne donc des objets vastes le terme de politique renvoyant l existence d un projet incluant de multiples objectifs de multiples acteurs et sans temps d termin a priori elle concerne aussi des objets plus cibl s comme des programmes cette notion faisant r f ren
21. e qu il est implicite ce processus garde secrets la fois les donn es consid r es et les crit res ou standards qui ont servi les appr cier id p 17 Nadeau 1988 dit aussi propos des jugements courants et informels Ces valuations journali res o 09 06 29 05 V29 N3 INT 12 14 06 12 22 Pegh 8 G RARD FIGARI ET CLAIRE TOURMEN sont informelles ce qui ne veut pas dire qu elles soient inexactes en ce sens qu elles sont le plus souvent bas es sur des impressions vagues et diffuses et sur des normes intuitives moins que ces valuations ne soient faites partir de crit res bien d finis et sur la base d informations pertinentes et valides elles ne rencontrent pas le v ritable sens du concept valuation formelle id p 35 Tout ceci laisse penser que l activit valuative poss derait quelques l ments invariants qui seraient pr sents m me quand elle est pratiqu e de fa on non professionnelle quotidienne ce qui peut clairer les constituants de l valuation formelle Nadeau Les invariants de l activit valuative Nous retiendrons tout d abord que l activit valuative contribuerait produire des donn es permettant l attribution de jugements finalis s par des vis es sociales externes au processus comme la prise de d cision Stufflebeam 1980 apr s avoir compar diff rentes d finitions de l valuation comme la mesure la congruence des r sultats
22. gari amp Gautier 2001 Lisbonne APAF R F RENCES Ardoino J amp Berger G 1989 D une valuation en miettes une valuation en actes ANDSHA Matrice Barbier J M 1985 L valuation en formation Paris PUF Chen T H 1990 Theory driven Evaluations Newbury Park CA Sage Cranton P 2001 Interpretative and Critical Evaluation New Directions for Teaching and Learning 88 87 97 San Francisco Jossey Bass CSE 1996 Petit guide de l valuation des politiques publiques la documentation Fran aise Paris Dubois N amp Marceau R 2005 Un tat des lieux th oriques de l valuation The Canadian Journal of Program Evaluation 20 1 1 36 Figari G 1993 Quel syst me de r f rences pour valuer une m sostructure ducative In D Mass d L valuation institutionnelle en milieu scolaire pp 27 54 Universit de Sherbrooke ditions du CRP Figari G 1994 valuer Quel r f rentiel Bruxelles De Boeck Universit Figari G et al 2005 Extrait des documents de l Atelier les fondements m thodologiques de l valuation Poitiers ESEN Figari G amp Gautier G 2001 valuation des ressources technico p dagogiques Rapport GREIF au Programme europ en ADAPT Projet Delfim Lisbonne APAF Guba E G amp Lincoln Y S 1981 Effective evaluation Improving the usefulness of evaluation results through responsive and naturalistic approaches
23. les l activit valuative il parle d un mod le id al qui oriente la lecture de la r alit et qui pr side la prise d indices Hadji 1989 p 42 Figari explique que la r f rence est une action consistant d signer des rep res pr existants destin s situer l objet valuer par rapport ces rep res Figari 1994 p 13 o 09 06 29 05 V29 N3 INT 12 14 06 12 22 Pegh 20 10 G RARD FIGARI ET CLAIRE TOURMEN Or il semble que l activit valuative se caract riserait par la construction ou la reconstruction des r f rents Comme le dit Barbier l activit d va luation consiste produire des r f r s mais aussi des r f rents Barbier 1985 p 83 Il note que dans l valuation certains objets deviennent des r f rents et qu un objet ne devient r f rent qu au sein de lacte d valuation p 73 Comme les donn es de l valuation les crit res ou les normes de jugement n existent pas l tat naturel ils sont toujours le r sultat de processus sp cifiques conduisant leur laboration Ces processus ne seraient explicit s que lors des valuations institu es C est ce qu il appelle la t che d lucidation des r f rents et de sp cification des crit res p 77 Il observe qu elle se mat rialise souvent sous la forme d explicitation des objectifs du dispositif valu qui sont ses r f rents classiques L activit
24. lieu dans toutes les pratiques d crites menant la production d un rapport d valuation Les difficult s rigidit des m thodes Toutefois ces d marches ne sont pas sans difficult s La premi re qui a t soulign e par la plupart des interview s consiste adapter ces m thodes chaque contexte d valuation savoir aux caract ristiques de l objet valu aux attentes et finalit s sp cifiques et aux ressources disponibles Ainsi une des limites de certaines pratiques serait de plaquer des m thodes toutes faites pour produire l valuation sans avoir distingu les contraintes et les o 09 06 29 05 V29 N3 INT 12 14 06 12 22 Pegh s La r f rentialisation 15 ressources propres de chaque contexte Ce pilotage par les m thodes a d j t voqu par Chen 1990 qui observait que trop d valuateurs sont guid s par des consid rations de m thode en fonction de leur savoir faire technique ce qui les conduit par exemple utiliser toujours les m mes crit res quels que soient les objets et les demandes Chen pr conise de r aliser des valuations theory driven qui partiraient d un effort pr alable de conceptualisation de Pobjet valuer et de formalisation des r f rents partir duquel il est valu cf le statut th orique et m thodologique de la r f rentialisation dans Figari 1994 p 54 infra Dans ce sens plusieurs professionnels qu b cois ont jug t
25. n de programme dispositif la r f rentialisation Figari 1994 qui rev t un double statut elle mod lise la fois l objet et l activit d valuation sur la base de ses inva riants d marche th orique et peut se d cliner dans la pratique sous forme de protocole m thodologique Cette r flexion pourrait constituer une contribution des projets de recherche communs 09 06 29 05 V29 N3 INT 12 14 06 12 22 Pegh La r f rentialisation 7 A la recherche des invariants de l activit valuative Comment comparer les diff rentes activit s valuatives Tout d abord la documentation sur l valuation nous permet de poser une s rie de postulats concernant ce que nous appelons des invariants de Pacti vit valuative Certains auteurs ont en effet tent de d crire la fa on dont les activit s se d roulent et cette forme de mod lisation nous autorise supposer que l activit valuative se d roulerait selon certains invariants savoir des op rations toujours pr sentes quelle que soit leur forme concr te de r alisation et d explicitation Pourtant d gager un mod le du d roulement de l activit valuative est premi re vue difficile Le terme valuation semble tre une g n ralisation qui masquerait la diversit des pratiques En effet de nombreuses activit s ont pris au fil du temps l appellation valuation dans diff rents champs on value les apprenti
26. oulignent la difficile question de l attribution des effets observ s la politique valu e au regard des nombreux facteurs contextuels potentiels partir de quand un programme peut il tre jug suffisamment satisfaisant Cette question du seuil est redoutable pour les professionnels qui peuvent utiliser des techniques pour tenter de la traiter grilles multicrit res et grilles de notation et de pond ration benchmarking panel d experts etc 09 06 29 05 V29 N3 INT 12 14 06 12 22 cegas 16 G RARD FIGARI ET CLAIRE TOURMEN Ce bref d tour travers les pratiques en France et au Qu bec ainsi que les textes qui les encadrent permet d j de mettre en avant une id e importante qui traverse les deux cultures de l valuation de programme celle de la liaison entre th orie et m thode dans la conduite de l valuation de programme dispositif Cette id e va sous tendre l ensemble de la d marche qui va suivre Une mod lisation de l valuation de programme dispositif la r f rentialisation Jusqu ici nous avons dress l inventaire des invariants de l activit d va luation de programme dispositif et tent de montrer la comparabilit des concepts notions et pratiques qui la d crivent Quant aux instruments propre ment dits ils sont dans tous les cas reconnaissables du point de vue de la m thodologie des sciences sociales Mais si nous en restions ce simple constat nous n aurions pas
27. que par exemple qui fournissent d s l abord sinon une premi re explication du ph nom ne observer du moins une hypoth se de travail en fixer les r f rents c est dire attribuer tels ou tels l ments ext rieurs l objet une fonction de comparants par rapport auquel il sera mesur laborer des crit res et des indicateurs d valuation c est dire des quali fiants de l appr ciation et des traces de leur existence ou de leur impor tance renseigner les indicateurs avec des donn es par le recours aux question nements et aux observations interpr ter et restituer les r sultats c est dire laborer une phase d int gration des diagnostics et des recommandations en pr voyant les interactions avec les partenaires de l valuation Le tableau 1 Figari et al 2005 pr sente une vision synoptique d une m thode d valuation en formulant pour chaque tape de la proc dure de r f rentialisation des questions r soudre 09 06 29 05 V29 N3 INT 12 14 06 12 22 cega La r f rentialisation 21 Tableau 1 Vision synoptique d une m thode d valuation Op ration d valuation lucidation du mandat commande Quelle origine Dans quel cadre Quel est le contexte et quelles sont les finalit s de l valuation Objet valuer Quoi valuer Quelles dimensions de l objet va t on valuer R f rents Par rapport quoi va t on attribuer un
28. r P versus r f rent I rentabilit r f r P versus r f rent C efficacit On voit alors que le statut de r f rent n est pas n cessairement li son contenu mais peut tre r labor par l valuateur La r f rentialisation est d abord comme on vient de le voir une pro c dure de mod lisation de l objet valuer le mod le ICP pour repr senter le dispositif et de l valuation confrontation r f r r f rent Elle commence par tablir la repr sentation que se construisent les valuateurs du syst me de r f rences qui est destin interpr ter conf rer du sens aux r sultats La fonction des crit res et des indicateurs Les r f rents sont traduits en crit res destin s guider l observation Comme les donn es de l valuation les crit res ou les normes de jugement n existent pas l tat naturel ils sont toujours le r sultat de processus sp cifi ques conduisant leur laboration Barbier 1985 Ces processus ne seraient explicit s que lors des valuations institu es ou formelles pour repren dre le terme de Nadeau Le crit re est g n ralement d fini comme un principe qui permet de distinguer le vrai du faux de juger d estimer Il serait discrimi nant Ce serait en fait l interface entre des visions du monde et des indices Ardoino amp Berger 1989 p 215 L indicateur comme son nom l in
29. rendre en compte les objectifs implicites tous les objectifs n tant ni de m me niveau ni coh rents leur formulation tant volutive et tous n tant pas directement observables Il faudrait donc interpr ter les objectifs de la politique en fonction du contexte et des priorit s actuelles du commanditaire ce qui est nomm phase de contextualisation On voit que dans les deux cas les guides de r f rence rappellent la n cessit de d ter miner ou de reconstruire les r f rents servant l valuation objectifs politiques besoins ou l ments contextuels m me si le terme de r f rent est lui m me peu employ Les pratiques variations et similitudes Apr s avoir fait un bref tour d horizon des documents de r f rence en valuation de programme dispositif en France et au Qu bec nous allons examiner les pratiques telles qu elles nous ont t d crites Nous avons men des entretiens avec des professionnels exer ant des activit d valuation de politiques publiques ou de programme temps plein sur les deux terrains dans diff rents postes de diff rentes Administrations ou de cabinets priv s Nous avons ainsi rencontr sept professionnels au Qu bec et 16 en France et la Commission europ enne Ces entretiens ont t men s selon une grille qui visait susciter une description des postes occup s des parcours et de l activit de travail habituellement r alis
30. rop rigide le document d orientation du Secr tariat du Conseil du tr sor 2002 qui restreint l valuation l utilisation de quatre crit res alors que d autres crit res peuvent tre utilis s de m me qu en France plusieurs professionnels ont fustig l utilisation trop syst matique du crit re d efficience et d indicateurs pr format s parfois pr conis s par la Commission euro p enne en raison d un manque de souplesse pour r pondre chaque demande d valuation Les difficult s jugements peu fond s Une autre difficult r side dans le fait de pouvoir porter un jugement au terme de l analyse des donn es Hurteau et Duval 2005 ont estim que c tait l une des limites courantes des rapports d valuation de programme En effet selon un chantillon d valuations de programme qu elles ont tudi dans plus d un tiers des cas les standards d valuation ou r f rents et leurs normes de r ussite ne sont pas explicit s et l on ne sait pas au nom de quoi le jugement est port Si les l ments sont cit s dans un peu moins de deux tiers des cas peu d tudes sp cifient ceux qui ont permis de mener la comparaison Ce serait l une des difficult s r elles de l valuation de programme dispositif r ussir fonder et justifier les jugements port s au regard de la d marche m thodologique Cette difficult a t voqu e par les profes sionnels rencontr s qui s
31. s concepts utilis s au lieu de constituer le signe d une confusion s mantique peut devenir une source de confrontation th orique m thodologique et pratique tel est l enjeu de cette contribution La comparaison de pratiques d valuation de programmes dispositifs demande tout d abord une clarification des concepts sous jacents Qu est ce qu valuer un programme dispositif Nous ferons l hypoth se que comme toute forme d valuation celle ci se d roule selon des invariants qui se retrou vent quel que soit le type d valuation men e et quel que soit l objet il s agit donc de commencer par un rep rage de ces invariants qui seraient des dimen sions toujours pr sentes dans les activit s valuatives En second lieu nous allons esquisser une r flexion comparative entre des approches qu b coises et fran aises Il s agit de tenter une comparaison entre les conceptions du rapport th orie pratique en mati re d valuation de programme dispositif dans les deux contextes avec l hypoth se d un possible enrichissement mutuel Nous allons notamment comparer la fa on dont les invariants de l activit valuative sont nomm s et pratiqu s dans ces deux contextes sur la base de lectures comparatives et d entretiens avec des valuateurs Enfin nous essayerons d appliquer cette explicitation des l ments communs rep r s la pr sentation d une mod lisation de l valuatio
32. sens l information lois projets contexte national et international tat de la concurrence etc Crit res Quels aspects repr sentatifs de l objet valuer va t on choisir pour porter un jugement Indicateurs Quels indices quelles traces quelles caract ristiques observables pour v rifier le degr d atteinte du crit re existence taux relation impact etc Items de recueil des donn es outils Quels seront pour chaque indicateur les descripteurs qui le renseigneront un indicateur pouvant tre d crit par un ou plusieurs descripteurs Quel outil construire avec ces items Interpr tation Quels croisements de donn es effectuer Quelles significations attribuer aux r sultats Restitution Que dire aux diff rents acteurs de l valuation Comment Comment l exploiter 22 22 Pa 12 12 14 06 09 06 29 05 V29 N3 INT G RARD FIGARI ET CLAIRE TOURMEN 22 Op ration d valuation valuation d un programme europ en de formation de formateurs au Portugal contr le et validation des produits technico p dagogiques destin s la formation des adultes Exemple du manuel d accompagnement de la formation Objet valuer T Structure 1 1 l ments de la structure I 2 organisation des donn es Il Pr sentation Il 1 forme d dit TI 2 illustrations Il 3 formes d expression IM Utilisation HI 1 caract physiques HI 2 modalit s
33. ssages des l ves dans la classe les acquis d exp rience RVAE les comp tences au travail la r ussite d un dispositif de formation les effets d un programme d un dispositif ou d une politique publique etc De plus les ouvrages sont produits dans des champs disciplinaires diff rents Peut on alors dire qu valuer est une activit sp cifique Existe t il une unicit de ces pratiques au del des diff rents contextes et des diff rents objets valu s Dans la documentation sur l valuation on trouve de multiples d finitions de ce que seraient des pratiques d valuation Sont elles g n ralisables toute activit d valuation Et laquelle retenir au risque de faire un choix restrictif ou normatif Nous avons choisi de suivre certains auteurs qui ont tent une telle g n ralisation de la d finition de l valuation pour en extraire les carac t ristiques essentielles Ainsi Stufflebeam Nadeau Hadji Figari Barbier ont avanc dans cette voie En tentant de d crire l activit valuative ils ont men une comparaison entre ses diff rentes formes y compris la plus spontan e pour reprendre un terme de Barbier 1985 Il s agit de celle que nous menons tous dans notre vie quotidienne Stufflebeam 1980 pr cise que dans tout jugement valuatif on retrouve la m me structure m me si celle ci reste implicite comme dans les jugements rapides de la vie quotidienne Parc
34. ssources Dans les deux cas l valuation de programme dispositif est bien un processus de production de connaissances et d attri bution de valeur servant diff rentes finalit s externes li es des pr occupa tions de gestion publique Comment sont produits ces b n fices attendus de l valuation aussi appel s extrants au Qu bec Dans les deux cas il semble que le processus est orient par des questions d valuation auxquelles il va chercher r pondre En effet diff rents guides de r f rence fran ais et europ ens CSE 1996 MEANS 1999 soulignent qu une des premi res tapes consiste pr ciser les finalit s de chaque valuation et formuler des questions sur l objet valu Il est pr cis que ces questions peuvent porter sur diff rents crit res les plus cit s tant coh rence efficacit efficience impact pertinence CSE 1996 De son c t le document d orientation du Secr tariat du Conseil du tr sor du Qu bec 2002 pr cise que l valuation de programme peut traiter les champs suivants la pertinence l efficacit l efficience l impact et porter sur les besoins les possibilit s d action implantation ou les r sultats et les effets Ainsi dans les deux cas les pr conisations m thodologiques concer nent la d finition de questions d valuation qui mettent l accent sur l un ou l autre des crit res cit s comme autant de fa ons
35. t des donn es qui sont de l ordre du fait des donn es qui sont de l ordre de l id al attentes intentions projet sur le m me objet Hadji 1989 p 25 Il ajoute L essentiel de l va luation r side dans une mise en rapport entre ce qui existe et ce qui tait o 09 06 29 05 V29 N3 INT 12 14 06 12 22 Pagh La r f rentialisation 9 attendu entre une r alit et un id al Ces descriptions du processus am nent distinguer les r f r s savoir les donn es sur l tat de l objet valu et les r f rents syst me de r f rence permettant de lui attribuer un sens e Celle de Figari qui s est oppos une conception trop restrictive de la notion de r f rent se limitant aux seules normes ou id aux atteindre Il rappelle que comme en linguistique o la notion de r f rent d signe un l ment ext rieur par rapport auquel un objet est voqu ou comme en math matiques o le r f rentiel cart sien consiste d finir la situation d un point par rapport des axes de coordonn es le r f rent de l va luation est une information choisie en r f rence Il peut tre constitu par un id al ou une norme mais aussi par un niveau un l ment de compa raison particulier non normatif Il parle alors de syst me de r f rences au pluriel soulignant qu il n est pas envisag d valuation sans recours implicite ou explicite un syst
36. th orisations de l valuation quelques l ments qui permettent de mieux comprendre les pratiques dans une perspective de comparaison internationale que nous n avons fait qu esquisser ici et qui serait poursuivre dans d autres recherches Nous avons enfin tent d illustrer la fa on dont une m thode d valuation ici la r f rentialisation permettrait de prendre en compte ces l ments dans un but pratique De m me les l ments th oriques que nous avons retenus comme constituant des invariants de l activit valuative seraient confronter l tude des activit s r elles des valuateurs afin de tester leur validit Toutefois malgr ces limites nous pensons que ce cadre d analyse permet de faire avancer les r flexions sur les pratiques d valuation les rapports entre les th ories qui les d crivent ou qui les fondent et leur application dans des cas concrets C est donc un dialogue entre traditions fran aises de l valuation avec leurs influences europ ennes et traditions qu b coises que nous invitons ici o 09 06 29 05 V29 N3 INT 12 14 06 12 22 cegos 24 G RARD FIGARI ET CLAIRE TOURMEN NOTES 1 L expression de programme dispositif est volontairement employ e ici dans le but de d signer l objet qu il s agit d tudier tant du point de vue qu b cois que du point de vue fran ais 2 Programme europ en ADAPT Projet Delfim 2001 Rapport GREIF Fi
37. utilisation IV Types de contenus Etc Tableau 2 Exemple d valuation d un programme de formation de formateurs R f rents Pour l ensemble des l ments valuer respect des normes du projet cahier des charges sp cifique pour la production d outils p dagogiques e respect des normes d dition e r f rence l expertise didactique des disciplines vis es Crit res Compl tude du produit Lisibilit du plan formel Respect des normes du projet Ad quation au contenu illustr Homog n it entre les parties Ad quation l utilisation Facilit de consultation Indicateurs Pr sence des l ments etitre sommaire e objectifs e mode d emploi apports de connaissances e activit s p dagogiques e activit s d valuation e ressources internes e ressources externes Pr sence des caract ristiques e d coupage pr cis entre parties et sous parties fonctions diff rentes entre parties et sous parties e pr sentation a r e du sommaire Formes graphiques e polices etaille de caract e format e interlignes erapport vident entre texte et image e styles de langage semblables dans chaque partie Poids volume e existence d accessoires de consultation 09 06 29 05 V29 N3 INT 12 14 06 12 22 Pegh 2s La r f rentialisation 23 Un exemple application P valuation d un programme de formation de formateurs Le cas de V valuation d
Download Pdf Manuals
Related Search