Home

guide d`evaluation des actions de prevention des toxicomanies

1. GUIDE D EVALUATION DES ACTIONS DE PREVENTION DES TOXICOMANIES Christoph Kr ger Heike Winter Rose Shaw IFT Institut f r Therapieforschung Munich Allemagne EMCDDA OEDT 1 Pr face Les actions de pr vention se sont multipli es ces derni res ann es dans les Etats membres de l Union Europ enne La plupart des programmes n ayant pas t v ritablement valu s il appara t urgent d am liorer les connaissances du processus d valuation de la pr vention d changer nos exp riences et les r sultats obtenus L Observatoire Europ en des Drogues et des Toxicomanies EMCDDA propose des m thodes scientifiques d valuation susceptibles d am liorer l efficacit des interventions de pr vention des toxicomanies Un contrat a t conclu avec l Institut allemand de Recherche Th rapeutique German Institut fur Therapieforschung IFT pour l laboration de ce guide d valuation Les directives propos es vous aideront valuer les actions de pr vention dans des contextes diff rents et selon plusieurs strat gies d intervention Elles assureront une meilleure comparabilit des r sultats faciliteront par cons quent les changes et harmoniseront les pratiques de pr vention des toxicomanies entre les tats de l Union Europ enne L utilisation de m thodes d valuation scientifiques aidera galement les planificateurs de programme interpr ter les r sultats des interventions de pr ve
2. L action avait notamment pour objectif d am liorer l autonomie fonctionnelle A l heure actuelle l chelle de mesure de l adaptation du comportement est la seule variable interm diaire qui se soit nettement diff renci e lors du post test L am lioration est plus nette pour les enfants du groupe exp rimental que pour ceux du groupe t moin Etant donn que l chelle de mesure pr sente certains l ments importants de l action de pr vention par exemple apprendre dire non ce r sultat confirme l efficacit du programme Outre la moindre pr valence de la consommation de tabac dans ce groupe l hypoth se selon laquelle l am lioration de l autonomie fonctionnelle constitue une action importante de pr vention primaire est indirectement v rifi e b Quels sont les r sultats les plus significatifs que vous ayez obtenus Comparez les aux r sultats d autres tudes I a souvent t observ qu un effet de pr vention primaire tel que le retardement de l initiation la consommation du tabac r sultait de l apprentissage de l autonomie fonctionnelle exemple Botvin 1995 c Jusqu quel point tes vous certain que ces r sultats ont bien t obtenus gr ce l action Y a t il d autres moyens d expliquer ces r sultats Si vous ne r pondez pas cette question c est qu il y a un doute sur l utilit d une action II est donc essentiel que vous abordiez la question des relations de
3. T l viseur magn toscope ordinateur e Qu est ce qui pourrait contrarier la mise en oeuvre de l action ou son valuation gt obstacles Penser aux obstacles potentiels vous permettra de trouver les moyens de les viter Obstacles potentiels les barri res linguistiques les d placements i prennent du temps le manque de soutien financier et les difficult s que peuvent rencontrer les professionnels disposer d assez de temps pour participer pleinement l intervention 1 8 Evaluation des proc dures Pr paration a Est il pr vu d effectuer une valuation des procedures Il suffit de r pondre par oui ou par non Si la r ponse est oui vous fournirez des pr cisions une date ult rieure voir chapitre deux b Quelles sont les ressources disponibles pour effectuer une valuation des proc dures Il vous est demand d indiquer si vous disposez des ressources humaines et financi res n cessaires pour r aliser une valuation acceptable des proc dures Les co ts exprim s en temps et en argent sont souvent sous estim s est conseill de r server de 10 30 des ressources financi res disponibles l valuation des proc dures et des r sultats L valuation sera effectu e par l quipe de recherche de notre unit c Qui effectuera l valuation des proc dures Cette op ration doit tre soigneusement planifi e Signalez le nom de l organisation ou des personnes auxq
4. 1 4 Groupe cible a Le groupe cible est il le groupe cible final ou un groupe cible interm diaire R pondez clairement cette question sinon votre action manquera elle m me de clart EMCDDA OEDT 25 b Nous visons principalement un groupe cible interm diaire les enseignants Les groupes cibles du projet sont les l ves groupe cible final ainsi que les enseignants et les parents groupes cibles interm diaires Quelles sont les caract ristiques socio d mographiques du groupe cible l ampleur du ph nom ne au sein de ce groupe et la taille de celui ci C d e Ces caract ristiques sont notamment l ge le sexe et les origines ainsi que le statut socio conomique et le cadre de vie Vous devez mentionner galement toute autre caract ristique du groupe cible pr sentant un int r t pour votre intervention situer le ph nom ne au sein du groupe lui m me donner une indication de l importance du groupe Dans le cas de plusieurs groupes cibles effectuez cet exercice pour chacun d eux Le groupe cible vit dans une zone socialement et conomiquement d favoris e une communaut pratiquement priv e d infrastructures localis e la p riph rie d une petite ville et s par e des espaces verts par une autoroute 150 familles vivent dans ce quartier r sidentiel social o la toxicomanie fait des ravages Pourquoi ce groupe cible a t il t choi
5. chantillon 19 3 4 Les r sultats 19 3 5 Discussion des conclusions de l valuation des r sultats 19 3 6 Grille de contr le des r sultats 20 Chapitre quatre Communication des r sultats ________ 21 4 1 laboration d un plan de communication 21 PARTIE B EXEMPLES 22 Chapitre un valuation de la planification du programme _____ __ _ lt lt 22 1 1 Le ph nom ne 22 1 2 Le cadre conceptuel 23 1 3 La n cessit d une action de pr vention 24 1 4 Groupe cible 25 EMCDDA OEDT 4 1 5 Objectifs 27 1 6 M thodes 29 1 7 Ressources 30 1 8 Evaluation des proc dures Pr paration 31 1 9 Evaluation des r sultats Pr paration 31 1 10 R flexion sur la phase de planification 32 Chapitre deux Evaluation des proc dures ____________ o 33 2 1 Evaluation des proc dures Pr paration 33 2 2 Mise en oeuvre de l action de pr vention 34 2 3 Retour sur le groupe cible 36 2 4 Exposition 37 2 5 Qualit de l action de pr vention 37 2 6 Discussion des conclusions de l valuation des proc dures 38 Chapitre trois Evaluation des r sultats ___ nn 40 3 1 Evaluation des r sultats Pr paration 40 3 2 Evaluation des r sultats R alisation 41 3 3 L Echantillon 41 3 4 Les r sultats 42 3 5 Discussion des conclusions de l valuation des r sultats 43
6. modifications intentionnelles R pondez aux questions suivantes a Quels l ments strat gies et m thodes ont ils r ellement t mis en oeuvre Comparez vos r ponses ce qui avait t initialement pr vu voir 1 6 b Quelles sources de donn es et quels instruments ont ils t utilis s pour valuer la mise en oeuvre de l action Comparez vos r ponses ce qui avait t initialement pr vu voir 2 1 c Quelles ressources ont elles r ellement t utilis es Comparez vos r ponses ce qui avait t initialement pr vu voir 1 7 2 3 Retour sur le groupe cible Cette tape permet de vous demander si vous avez atteint le groupe cible en question R pondez aux questions suivantes et donnez des informations sur le nombre des participants leur ge leur sexe leur ducation et autres variables pertinentes Tout comme au point 22 EMCDDA OEDT 15 vous comparerez vos r ponses ce qui avait t pr vu initialement c est dire sur le groupe cible envisag au point 1 4 a Combien de personnes ont elles r ellement t touch es par l action b Quelles taient les caract ristiques socio d mographiques des personnes touch es par l action C Comment avez vous recueilli ces informations 2 4 Exposition Essayez de d terminer dans quelle mesure l action de pr vention a r ellement atteint le groupe cible gt exposition R pondez aux questions suivantes a Comment l
7. 2 6 Dans le chapitre suivant vous valuerez les r sultats de l action c est dire si les r sultats escompt s ont t obtenus EMCDDA OEDT 17 Chapitre trois Evaluation des r sultats L valuation des r sultats aide d terminer les effets ventuels de l action et si les objectifs fix s ont effectivement t atteints A ce titre elle permet de dire si l action en question vaut la peine d tre prolong e s il faut l adapter ou tout simplement l abandonner Le plan d valuation des r sultats a une influence consid rable sur leur qualit C est pourquoi le pr sent chapitre commence par d crire la pr paration de cette valuation puis la pr sentation des r sultats 3 1 Evaluation des r sultats Pr paration Il est indispensable de pr parer toute valuation des r sultats avant le d but de l action dans la mesure o les d cisions prises pendant cette phase peuvent influencer le calendrier des interventions et la collecte des donn es R pondez aux questions suivantes a Quels indicateurs de r sultats utilisez vous et comment pr voyez vous de les mesurer b Souhaitez vous recueillir des informations sur les r sultats suivant une approche quantitative ou une approche qualitative Quels indicateurs et quels gt instruments proposez vous d utiliser pour recueillir les informations La classification suivante pourra vous tre utile il Indicateurs et inst
8. Chapitre quatre Communication des r sultats ___ 2 lt 45 4 1 Elaboration d un plan de communication 45 PARTIE C GLOSSAIRE 47 Action de pr vention 47 Approche qualitative 47 Approche quantitative 47 Attitudes l gard des drogues 47 Autonomie fonctionnelle 47 Biais 48 Changements structurels 48 Comportement des usagers de drogues 48 Comportement d viant 48 Conformit 48 Connaissances sur l usage des drogues 48 Couverture 48 D fection 49 Divergences de points de vue sur la n cessit d une action 49 Effets de la s lection 49 Entretien 49 valuateur 49 valuation des besoins 50 Exposition 50 Facteurs de protection 50 Facteurs de risque 51 Fiabilit 51 Fid lit 51 Groupe cible 51 Groupe cible final 51 Groupe cible interm diaire 51 Groupe t moin 52 Habitudes culturelles 52 Incidence 52 Indicateur 52 Instruments 52 Instruments d observation 52 Intention d utiliser les drogues 53 EMCDDA OEDT 5 M thodes statistiques 53 Mode de vie 53 Modifications impr vues 53 Modifications intentionnelles 54 Normes comportementales 54 Objectifs 54 Objectivite 54 Observateur 54 Obstacles 54 Plan 54 Plan experimental 55 Pretest et post test 55 Prevalence 55 Qualit des donn es 55 Qualit de la mise en oeuvre de l intervention 56 Questionnaire 56 Refonte 56 Validit 56 Variables interm diaires 56 Bibliographie ss
9. bars discos rues celle de l h ro ne essentiellement en priv mais galement dans les parcs ouverts au public Dans un cas comme dans l autre la consommation s effectue rarement en milieu scolaire d Depuis combien de temps at on conscience de l existence du ph nom ne Son importance son impact et son lien avec l actualit ont ils volu avec le temps La r ponse cette question permet de faire des pr visions sur l volution du ph nom ne Par ailleurs tout accroissement de l ampleur du ph nom ne justifie une action de pr vention plus rigoureuse Apr s avoir rapidement augment au cours de la derni re d cennie la consommation d h ro ne semble se stabiliser On constate un accroissement consid rable de la consommation d ecstasy dans les clubs et lors des soir es rave La consommation de drogue n est plus un ph nom ne essentiellement urbain d apr s une r cente tude sur le terrain la pauvret et l ins curit progressent parmi les usagers de drogues Pr cisez enfin vos sources d informations Commentez la qualit des informations utilis es Vous pouvez faire appel des enqu tes nationales des analyses bibliographiques et des articles de journaux effectuer vos propres enqu tes etc Dans ce dernier cas la qualit de vos sources est valuer Enqu te nationale effectu e au Royaume Uni sur la consommation des drogues par les enfants d ge scolaire Balding 1997 et enqu te
10. crite allez vous utiliser Les r sultats de l valuation peuvent tre communiqu s sous diverses formes qui l encore doivent tre choisies en fonction du public auquel ils s adressent La communication crite pourra tre le rapport d valuation lui m me un r sum des notes des communiqu s de presse des articles publi s dans des revues scientifiques ou dans des journaux des affiches des d pliants EMCDDA OEDT 45 Nous pr parerons un rapport de recherche distribuer aux coles et d autres organismes publics et priv s int ress s par les probl mes rencontr s par les jeunes et leur pr vention Quelles formes de communication orale allez vous utiliser Un rapport crit n est pas suffisant les discussions directes les pr sentations lors de conf rences ou d auditions publiques et les apparitions dans les m dias sont souvent pr f rables pour la diffusion des r sultats Les r sultats du programme seront pr sent s lors d une conf rence de l Association Nationale de Lutte contre les Toxicomanies ainsi que pendant la Semaine Europ enne de Pr vention de la Drogue et des Toxicomanies EMCDDA OEDT 46 PARTIE C GLOSSAIRE Action de pr vention Une action de pr vention a pour but d emp cher un comportement toxicomaniaque Les actions de pr vention peuvent se d rouler dans diff rents cadres selon diff rentes m thodes et diff rents contenus Leur dur e vari
11. de m mes caract ristiques socio d mographiques et fr quentant des classes de m me niveau scolaire dans la m me r gion g ographique L valuation des r sultats prenait en compte ces deux groupes Quelles taient les caract ristiques socio d mographiques la taille etc de l chantillon Les caract ristiques de l chantillon et s il y a lieu du groupe t moin doivent tre d crites s par ment et compar es afin de constater d ventuelles differences EMCDDA OEDT 41 C significatives De telles diff rences r duisent le degr de comparabilit entre les deux groupes Groupe exp rimental n 120 60 50 de sexe f minin 60 50 de sexe masculin Age moyen 10 8 ans cart type 2 4 fourchette 5 5 17 3 Groupe t moin n 110 80 73 de sexe f minin 30 27 de sexe masculin Age moyen 11 ans cart type 2 3 fourchette 6 5 17 6 Groupe cible interm diaire cinq enseignants deux agents de police charg s de la pr vention quatre ducateurs sp cialis s Les participants avaient entre 21 et 55 ans Groupes ethniques trois de race noire huit de race blanche Six de sexe f minin cinq de sexe masculin Jusqu quel point ces caract ristiques sont elles comparables celles de l ensemble du groupe cible d Il est essentiel de savoir si l chantillon est repr sentatif de l ensemble du groupe cible Nous avons recueilli des informations sur les r
12. decine des tudes portant sur la satisfaction des clients ont t effectu es Elles montrent que dans certains cas les patients pr f rent avoir affaire un ordinateur plut t qu un praticien d Combien de temps l action durera t elle En plus du nombre d intervenants ainsi que du lieu et des circonstances de leur action il est galement important de savoir combien de temps celle ci est suppos e durer Le directeur du programme d les d cideurs se sont mis d accord sur une p riode de cinq ans pouvant ventuellement tre reconduite e Quel est le calendrier pr vu pour l action nombre d interventions dur e et fr quence de chacune d elles etc Donnez plus de d tails sur la dur e de chaque l ment de l intervention Trois r unions de groupe communautaire de deux heures chacune 12 r unions de groupes de travail de deux heures chacune plus cinq huit s minaires pour les parents EMCDDA OEDT 29 Pour le groupe cible final l ves de quatri me ann e huit interventions d une heure par an l ves de huiti me ann e quatre interventions d une heure par an Cours hebdomadaires d une heure chacun pendant un an soit au total 40 cours hebdomadaires f Un test de faisabilit de l action est il pr vu Avant d entreprendre une nouvelle action ou d en lancer une qui ait d j fait ses preuves mais dans un domaine autre que la toxicomanie tentez de
13. es l intervention afin de am liorer Normes comportementales Les normes comportementales constituent des r gles de comportement non prescrites Elles sont sur un plan cognitif repr sent es par des croyances ou des opinions Dans le contexte de la toxicomanie les croyances de r f rence ont t identifi es par la recherche inductive comme de puissantes variables interm diaires l origine du comportement des usagers de drogues Une intervention de pr vention peut avoir comme objectif soit de les influencer soit de les modifier Objectifs Les objectifs sont des nonc s sp cifiques et mesurables concernant les r sultats souhait s pour l action de pr vention Aux fins d une aluation la formulation des objectifs pr cise les variables modifier et d finit des crit res de r ussite mesurables Une hypoth se plausible et v rifiable tablit un lien entre les interventions du programme et les objectifs d une part et d autre part entre ces objectifs et les r sultats pr vus Sans la formulation d objectifs pr cis des buts trop vagues atteindre ne permettent pas la mise en oeuvre d une action ou l valuation de son efficacit Objectivite L objectivit est au m me titre que la fiabilit et la validite un indicateur important de la qualit d un instrument Elle signifie que les r sultats obtenus gr ce au instrument doivent tre ind pendants de la personne valuant les donn es diff
14. es dans les m dias f Quels sont les moyens de s assurer que le groupe cible continuera de participer l action gt d fection Il en est de la participation continue comme de la motivation initiale il est peu probable que tous les participants s engagent formellement participer l action et rien ne peut emp cher quiconque de s y soustraire Gardez l esprit qu il peut y avoir un taux de d fection lev Efforcez vous de faire face ce probl me et d encourager les gens continuer de participer l intervention Les enseignants qui auront suivi le cours se verront d cerner un certificat d ducation antidrogue e Le programme scolaire est obligatoire pour toutes les filles des classes de 6 g M me si l action pr vue s adresse exclusivement un groupe cible interm diaire quelles sont les caract ristiques de son gt groupe cible final R pondez cette question si vous ne vous attaquez pas directement au comportement des usagers de drogues Vous pourrez ainsi garder l esprit l objectif final de la pr vention L action de pr vention s adresse aux professeurs du secondaire en tant que groupe cible interm diaire Leur groupe cible sont les l ves de 6 ann e de 11 12 ans qui pour la plupart ne consomment pas encore de drogues illicites mais risquent de le faire un jour 1 5 Objectifs a Quel impact l action aura t elle sur le comportement des usager
15. me type aupr s d un groupe cible dans une autre communaut Dans l hypoth se qui sous tend cette d marche les caract ristiques et la taille des deux groupes sont du m me ordre que celle de l action de pr vention d j engag e Les r sultats seront meilleurs si les deux communaut s sont comparables quant aux aspects conomiques sociaux et culturels L approche par indicateurs d termine elle la population cibl e sur la base de donn es pid miologiques manant de statistiques nationales labor es par divers organismes publics Des donn es locales sur les populations des centres urbains des villes et des d partements sont galement souvent disponibles Les tudes sp cialement effectu es pour valuer la nature d un probl me donn ainsi que les caract ristiques et la taille d un groupe cible figurent enfin parmi les moyens les plus directs et souvent les plus pr cis pour estimer la n cessit d une action de pr vention Exposition L exposition permet d indiquer dans quelle mesure le groupe cible a t expos l action Elle tient compte du nombre et de la dur e des interventions ainsi que du mat riel utilis Le degr d exposition a galement trait au niveau de participation du groupe cible et l impact r el que les interventions peuvent avoir sur lui Facteurs de protection Les facteurs de protection sont des conditions personnelles ou sociales cens es r duire la probabili
16. par exemple le nombre de personnes ayant consomm du cannabis au cours de l ann e pr c dente Qualit des donn es La qualit des donn es d termine la fa on dont l valuation va se d rouler ainsi que les m thodes statistiques qui peuvent tre utilis es Ces m thodes statistiques sont regroup es en chelles L echelle la plus primitive est l chelle nominale qui veut que les objets et les v nements soient simplement group s en classes par exemple hommes femmes fumeurs non fumeurs etc Les donn es nominales peuvent tre analys es au instrument de techniques telles que le gt test du chi 2 L echelle ordinale constitue le niveau suivant Elle tablit un classement des objets et des v nements par exemple 1 tr s mal 2 mal 3 bien 4 tr s bien Mais il nest pas possible d ajouter de soustraire de multiplier ou de diviser les valeurs num riques d une chelle ordinale C est pourquoi l valuation de la tendance centrale de donn es ordinales est par exemple le mode plut t que la moyenne L analyse des donn es ordinales peut s effectuer au moyen de techniques telles que le test U de Mann Whitney ou le test de Wilcoxon Le niveau suivant est l chelle d intervalles Celle ci permet de dire quel point les valeurs sont s par es car chaque unit de l chelle est de taille fixe par exemple les degr s Celsius EMCDDA OEDT 55 L analyse des donn es d intervalles p
17. rentes personnes utilisant le m me instrument doivent aboutir aux m mes r sultats Observateur L observateur assiste l intervention de pr vention pour couter et observer le comportement verbal et non verbal ainsi que l interaction entre les participants et les organisateurs du projet Contrairement l observation quotidienne cette activit empirique n cessite un plan pr cis Il s agit d indiquer si une interpr tation de l observation est possible De renseigner sur le lieu le moment la m thodologie et la transcription de l observation II convient de familiariser l observateur au concept de l intervention de pr vention Ainsi il saisira mieux le sens de l observation Mais il ne doit pas conna tre l hypoth se de l valuation cette information pouvant induire un biais Par ailleurs l observateur ma trise les instruments d observation et leur utilisation Obstacles Des probl mes financiers politiques ou humains des difficult s administratives et de nombreux autres facteurs viennent contrarier l valuation d une action de pr vention Au nombre des obstacles possibles citons la perte d une source de financement l attitude n gative du personnel une d cision de ne pas publier le rapport d valuation ou le refus par une cole d autoriser une enqu te aupr s des l ves Plan Lors d une valuation un plan indique la fr quence et le moment de collecte des informations ainsi que les personnes
18. valuation scientifiques et am liorer l efficacit des actions de pr vention Une Banque de instruments d valuation des programmes de pr vention Instrument Bank for Evaluation of Prevention Programmes cr e par Mark Morgan de l Education Research Centre de Dublin nous fournit des exemples concrets ainsi que des outils pr ts l emploi pour l valuation des proc dures et des r sultats Une banque de donn es sur les actions de pr vention europ ennes l Echange sur les mesures de r duction de la demande de drogue EDDRA pour Exchange on Drug Demand Reduction Action a t mise sur pied par EMCDDA Elle a t test e au cours d une tude de faisabilit dirig e par Teresa Salvador du CEPS Madrid Un document la Monographie sur l valuation de la pr vention des toxicomanies The Monograph on the Evaluation of Drug Prevention a t publi Il s inspire des communications et des discussions qui ont eu lieu lors de la premi re conf rence sur l valuation de la pr vention des toxicomanies Celle ci s est tenue en mars 1997 au si ge de EMCDDA Lisbonne Trois phases pour l laboration des directives 1 une analyse des actions de pr vention en cours au niveau europ en a t effectu e L tat actuel des connaissances ainsi que des exemples efficaces d valuation ont t examin s 2 les directives ont t labor es sur la base des r sultats de cette estimation et d une tude de la litt
19. vention des toxicomanies et les valuer Il s adresse plus particuli rement ceux qui b n ficient d j d une connaissance pratique mais qui manquent d une certaine exp rience dans le domaine de l valuation Il peut galement se r v ler pr cieux pour des valuateurs plus exp riment s Possibilit s d application du guide d valuation Le guide peut tre utilis d autres fins que l evaluation des actions de pr vention des toxicomanies Ses directives peuvent par exemple servir de mat riel p dagogique pour la formation l valuation Lors d un s minaire de formation l intention d intervenants nous Dans les pr sentes directives l expression action de pr vention a t pr f r e projet ou programme dans la mesure o ces autres termes peuvent avoir un sens diff rent pour diverses personnes Cette expression figurant chaque page du document c est la seule fois qu elle sera signal e par gt EMCDDA OEDT 7 avons constat qu il constituait un outil didactique tr s pr cieux Il est galement possible d employer ce guide pour pr parer et valuer des propositions de financement et d actions ou encore pour laborer de nouvelles directives Quand utiliser le guide d valuation Ce guide pr sente des directives concernant l valuation des actions de pr vention et non leur conception II peut s appliquer d s que la strat gie d une action est discu
20. Elaboration d un plan de communication a b C Qui doit il tre tenu au courant Les organisations de financement les d cideurs les adminis trateurs le groupe cible de l action les prestataires de services les groupes communautaires et les m dias sont ventuellement informer Nous avons mis notre valuation la disposition des partenaires participant au projet des autorit s et du public Nous allons pour commencer informer le comit de planification qui nous avons fourni maintes informations Nous nous adresserons plus particuli rement la pr sidente du comit Elle poss de une vaste exp rience dans ce domaine et elle est un leader d opinion respect Nous nous entretiendrons avec elle avant la r union g n rale du comit Nous discuterons des r sultats qui risquent de pr ter controverse Quand les informations pertinentes doivent elles tre communiqu es Si vous d sirez que les r sultats de votre valuation soient utiles vitez d attendre trop longtemps avant de les communiquer Le moment le plus propice pour proc der des modifications se situe peu apr s l valuation lorsque l action est encore pr sente l esprit Ne communiquez pas cependant les r sultats trop t t Les valuateurs pr f rent souvent donner une premi re impression d efficacit mais son utilit est limit e Les donn es recueillies sont alors insuffisantes pour permettre de t
21. Elle fournit aussi des renseignements utiles pour son am lioration ult rieure 2 1 Evaluation des proc dures Pr paration La pr paration de l valuation des proc dures exige que des d cisions soient prises sur le choix des variables et des indicateurs mesurer En r pondant aux questions suivantes pr cisez ce qui a t mesur comment et par qui les mesures ont t effectu es a Quelles variables et quels indicateurs donneront ils des informations utiles sur la mani re dont l action s est d roul e Quel type d informations approche qualitative ou approche quantitative souhaitez vous analyser au moyen de l valuation des procedures b Quelles m thodes et quels instruments seront ils utilis s gt entretiens questionnaires instruments d observation C O quand et avec quelle fr quence les donn es seront elles recueillies plan d Qui fournira les informations n cessaires pour l valuation des proc dures e Comment pr voyez vous d analyser les donn es 2 2 Mise en oeuvre de l action de pr vention II s agit peut tre l de la phase la plus importante de l action La description de la pr paration et de la mise en oeuvre de l action doit couvrir toutes les interventions r ellement entreprises Ceci vous permet d valuer l action qu elle ait ou non t mise en oeuvre comme initialement pr vu conformite fid lit refonte modlifications impr vues
22. Table des mati res gt ae nn a et 4 INTRODUCTION ___ 00 7 Contexte historique du guide d valuation ________ o 7 Possibilit s d application du guide d valuation 222 7 Structure du guide _______________ 8 Partie A Directives 8 Partie B Exemples 8 Partie C Glossaire 8 Mode d emploi du guide __________________ nn 8 PARTIE A DIRECTIVES POUR LA PLANIFICATION ET LA REALISATION DE L EVALUATION 10 Chapitre un Evaluation de la planification du programme ____ _ _ _ _ lt 10 1 1 Le ph nom ne 10 1 2 Cadre conceptuel 10 1 3 La n cessit d une action de pr vention 11 1 4 Groupe cible 11 1 5 Objectifs 12 1 6 M thodes 12 1 7 Ressources 13 1 8 Evaluation des proc dures Pr paration 13 1 9 Evaluation des r sultats Pr paration 13 1 10 R flexion sur la phase de planification 13 1 11 Grille de contr le pour la phase de planification 14 Chapitre deux valuation des proc dures _____ nn 15 2 1 Evaluation des proc dures Pr paration 15 2 2 Mise en oeuvre de l action de pr vention 15 2 3 Retour sur le groupe cible 15 2 4 Exposition 16 2 5 Qualit de l action de pr vention 16 2 6 Discussion des conclusions de l valuation des proc dures 16 2 7 Grille de contr le des proc dures 17 Chapitre trois Evaluation des r sultats ____ nn 18 3 1 Evaluation des r sultats Pr paration 18 3 2 Evaluation des r sultats R alisation 18 3 3 L
23. alcool n est pas pertinent pour ce groupe d ge e Avez vous des suggestions a faire sur l utilisation future d actions du m me genre Le moment est venu de vous tourner vers lavenir Au cas o d autres personnes s inspireraient de votre action quelles modifications le cas ch ant leur recommanderiez vous d y apporter Les r sultats positifs justifient une mise en oeuvre plus grande chelle Toutefois les r sultats de l valuation des proc dures doivent galement tre pris en compte Mais il conviendrait de modifier le d roulement de la formation en fonction des commentaires des enseignants f Avez vous des suggestions faire pour de futures valuations de r sultats applicables ce type d action de pr vention Vos exp riences et vos suggestions peuvent pr senter une importance capitale pour d autres valuateurs et d autres praticiens Il est possible pour ces derniers de tirer parti aussi bien des r sultats positifs que des r sultats n gatifs Ils viteront ainsi de commettre les m mes erreurs Pour cette raison soyez honn te dans votre r ponse Liinsuffisance de la qualit des instruments pour les l ves de 10 12 ans peut expliquer le manque de r sultats positifs Dans toute recherche ult rieure il faudra donc s efforcer d laborer et d utiliser des instruments adapt s ce groupe d ge EMCDDA OEDT 44 Chapitre quatre Communication des r sultats 4 1
24. aupr s de qui elles seront recueillies Il est indispensable de disposer d un bon plan si l on veut que les r sultats d une valuation puissent tre utilisables l avenir Un plan comportant au moins un groupe exp rimental et un groupe t moin constitue ce qu on appelle un plan exp rimental Un plan exp rimental en s rie temporelle n utilise qu un EMCDDA OEDT 54 groupe exp rimental mais pr voit trois collectes au moins de donn es Enfin un plan qui ne fait appel ni un groupe t moin ni une analyse en s rie temporelle est un plan de pr test et de post test Plan exp rimental Afin d identifier d ventuelles diff rences au niveau des variables que l action est cens e modifier le plan exp rimental compare les donn es obtenues aupr s du groupe t moin avec celles obtenues aupr s du groupe exp rimental Il existe deux types de plans exp rimentaux le plan exp rimental proprement dit et le plan quasi exp rimental Dans le premier plan les participants sont affect s de fa on al atoire aux groupes Pour assurer cette affectation al atoire chaque personne ou groupe de personnes d une population cible doit avoir la m me chance d tre choisie pour le groupe exp rimental ou pour le groupe t moin Ce plan est suppos constituer la d marche optimale car il vite les diff rences syst matiques par exemple les effets de la selection les biais entre les groupes et am li
25. aux questions Ces exemples pratiques nous ont t sugg r s par l tude de faisabilit La partie B sera tr s utile ceux qui n ont pas encore une grande exp rience de la planification et de l valuation de projets Partie C Glossaire Le glossaire fournit des descriptions des d finitions et des explications plus d taill es sur les termes techniques et m thodo logiques utilis s dans les directives Tout comme la Partie B il aidera la compr hension et la bonne utilisation des directives par ceux qui ne sont pas encore familiaris s avec les aspects m thodologiques Mode d emploi du guide Nous nous sommes efforc s de tenir compte des principaux aspects prendre en consid ration lors de la planification et de l valuation des actions de pr vention Il aurait t possible d aborder dans nos directives un nombre beaucoup plus important de points nous avons pour des raisons pratiques d cid de nous limiter l essentiel Nous sommes galement conscients du fait que de nombreuses personnes travaillant dans le domaine de la pr vention ne disposeront pas toujours des ressources financi res et humaines n cessaires pour valuer en totalit un programme de pr vention Dans le souci d assurer la qualit de toute action nous encourageons n anmoins le lecteur suivre syst matiquement chaque tape pr sent e dans les directives Nous vous conseillons de lire toutes les questions de la Partie A m me si
26. compar es celles d autres valuations et tudes pertinentes Votre analyse formulera des suggestions pour l avenir R pondez aux questions suivantes a Y a t il concordance entre les plans de l action d une part et sa mise en oeuvre effective et votre valuation d autre part Existe t il des diff rences et si tel est le cas quelles en sont les raisons b Quel impact les ventuelles divergences ont elles sur l action EMCDDA OEDT 16 C Quels sont les points forts et les points faibles du mode de mise en oeuvre de l action Comparez les avec les r sultats d autres actions d Avez vous des suggestions faire pour la mise en oeuvre ult rieure d une action de pr vention de ce type Avez vous des suggestions faire pour les futures valuations de processus applicables ce type d action de pr vention 2 7 Grille de contr le des proc dures Vous avez termin l valuation des proc dures de votre action Vous devez maintenant avoir une id e pr cise de la fa on dont vous avez pr vu de mesurer les proc dures 2 1 de ce qui s est r ellement pass pendant l action 2 2 du nombre de personnes r ellement touch es 2 3 de la proportion du groupe cible touch 2 4 de la qualit de l action 2 5 Afin de constater les changements intervenus sur le terrain la mise en oeuvre effective de l action doit tre examin e par rapport sa mise en oeuvre pr vue
27. de personnes consult es en m me temps entretiens individuels ou en groupes valuateur On attend d une personne charg e de r aliser une valuation qu elle poss de de bonnes connaissances en mati re de planification d valuations de m thodologie en tudes sociologiques etc Elle doit tre suffisamment comp tente en statistique pour analyser les donn es recueillies lors de la mise en oeuvre de l intervention et savoir utiliser des programmes informatiques sp cifiques Une valuation syst matique se fonde sur la recherche en sciences sociales Une bonne formation dans cette mati re est n cessaire Deux mod les de base d terminent la relation de l valuateur avec l organisation mettant action en oeuvre Selon qu il fait ou non partie de l quipe charg e de l action l valuateur effectue une valuation interne ou une valuation externe s il travaille par exemple pour un institut de recherche une soci t d tudes ou une universit Les deux formules pr sentent et des avantages et des inconv nients Un valuateur interne tant mieux plac pour consulter le personnel d administration du programme il sera plus au fait de l action qu un valuateur externe Il a en effet acc s de l int rieur de nombreuses informations qui chappent forc ment un valuateur externe Parce qu il est connu et qu on a confiance en lui il lui est plus facile de nvaincre les intervenants de consacrer une pa
28. du chi 2 le test t et l analyse de variance ANOVA Les m thodes utilis es lorsque l on a affaire plus de deux variables d pendantes sont appel es m thodes de comparaisons multivari es d analyse de variance plusieurs variables MANOVA en est un bon exemple Pour l analyse de mesures r p t es pr test et post test par exemple il faut utiliser des m thodes statistiques qui conviennent pour les chantillons d pendants ce qui exclut l utilisation des tests du chi 2 Pour tablir une comparaison entre les donn es relatives aux r sultats et les donn es relatives aux proc dures il faut utiliser analyse de r gression Cette m thode statistique permet entre autres de dire cans quelle mesure les effets d une intervention sont dus la fa on dont elle a t mise en oeuvre Test du chi 2 Le test du chi 2 sert comparer des donn es issues d au moins deux groupes diff rents Il peut tre utilis pour des variables qualitatives plusieurs classes telles que le sexe contrairement aux variables continues telles que l ge Le test convertit une variable en cat gories et calcule une valeur chi 2 La valeur statistique ainsi calcul e fournit des informations permettant de dire si les groupes sont comparables ou s ils diff rent de mani re significative Test t de Student Le test t v rifie si la moyenne d une variable calcul e pour les sujets d un groupe diff re consid rablement de celle du
29. dures Apr s chaque intervention nous avons demand aux l ves de remplir un questionnaire de contr le de connaissances Nous avons utilis le m me questionnaire l issue de chaque s ance mais nous avons constat que les l ves pr taient de moins en moins d attention leurs r ponses C est pourquoi nous sugg rons d inclure des questions particuli res se rapportant au contenu de toute intervention pour que les l ves trouvent plus d int r t remplir le questionnaire EMCDDA OEDT 39 Chapitre trois Evaluation des r sultats 3 1 Evaluation des r sultats Pr paration a Quels gt indicateurs de r sultats utilisez vous et comment pr voyez vous de les mesurer II n est pas toujours facile de d cider de la m thode utiliser pour mesurer les r sultats Cette d cision est pourtant primordiale Compte tenu des contraintes de budget et de temps une bonne valuation des r sultats est non seulement pratique r aliser mais elle est plus ou moins directement li e aux objectifs de l action Pour savoir si celle ci a atteint son but vous d finirez clairement un crit re pour ces objectifs Autrement dit il faut que l action soit rendue op rationnelle et nettement d finie en termes mesurables ce qui rendra les variables interm diaires plus facilement observables Le principal indicateur de r sultats sera le questionnaire d auto valuation de l OMS Enqu te sur la population tud
30. et valuation de programmes de pr vention Atouts personnels cr dibilit acceptation par le groupe de pression communautaire Responsable principal du projet qualifications professionnelles psychoth rapeute exp rience aupr s d adolescents Atouts personnels cr dibilit issu de la communaut o l action de pr vention doit se d rouler capacit s identifier aux jeunes b Combien de temps chacun de ces intervenants devra t il consacrer l action Attention de ne pas surcharger les intervenants de travail Vous devez toujours vous garder de sous estimer le temps n cessaire pour la r alisation de l intervention Chef de projet deux heures par jour pendant deux ans R alisateur du projet plein temps soit 40 heures par semaine C Quel est le budget affect l action et qui en assure le financement Pr cisez le montant du budget global ainsi que la ou les sources de financement Entre 200 000 et 300 000 Fr Financement assur par le Minist re de la Sant d Quelles autres ressources sont elles disponibles par exemple ressources humaines organisations locaux mat riel etc EMCDDA OEDT 30 Il importe de pr ciser la nature de ces ressources dans la mesure o elles constituent souvent une aide pr cieuse Nous disposons d un bureau enti rement quip ordinateur t l phone t l copieur pour les actions de pr vention des toxicomanies et les consultations
31. expliquer par une insuffisance des connaissances une incertitude et un manque de confiance quant la m thodologie C est cette lacune que les directives s efforcent de combler Elles constituent un guide pratique pour la r alisation d valuations valides et scientifiques de divers types d actions de pr vention s inscrivant dans des contextes vari s Contexte historique du guide d valuation Nous avons choisi d laborer le guide selon une approche structur e empirique et quantitative M me si certains souhaitent b n ficier d informations plus approfondies sur la m thodologie qualitative il ne nous tait pas possible compte tenu de l espace disponible de combiner de fa on satisfaisante ces deux approches diff rentes Nous sugg rons ceux d entre vous qui souhaitent en savoir plus sur la th orie et la m thodologie des proc dures d valuation de se procurer la Monographie sur l valuation de la pr vention des toxicomanies publi e par EMCDDA Ce document fournit des informations approfondies sur de multiples aspects de l valuation par exemple la situation en Europe et en Am rique les diff rents types d valuation la mesure des r sultats les variables interm diaires le rapport co t efficacit les obstacles surmonter les d fis relever A qui s adresse ce guide d valuation Ce guide d evaluation se propose d aider des personnes d horizons diff rents planifier des actions de pr
32. milieux quant la consommation d alcool la fr quence de consommation et la quantit d alcool consomm e Comment la n cessit d une action de pr vention a t elle t valu e valuation des besoins f Diff rentes techniques peuvent donner des r sultats diff rents Pr cisez soigneusement vos m thodes Nous avons consult des professionnels justifiant de nombreuses ann es d exp rience dans les domaines de la pr vention de la drogue de l ducation et de la formation des enseignants En dehors ces discussions sur le th me de la pr vention de la drogue aucune analyse formelle des besoins n a t effectu e Existe t il des actions de pr vention connexes en cours ou pr vue Un partenariat est il envisag Pour viter tout probl me de chevauchement et de double emploi il est utile de conna tre les interventions de pr vention actuellement en cours ou pr vues dans votre r gion Cette situation pourrait tre galement mise profit pour un change d id es et d exp riences Certains ont eu recours Internet pour la pr vention Mais notre projet d action constitue le premier effort syst matique dans le pays Deux autres campagnes de lutte contre la drogue ont lieu actuellement dans les m dias Elles sont respectivement cibl es sur le grand public et sur les enseignants Notre campagne de pr vention s adressant aux jeunes il n y a aucun risque de chevauchement
33. rature existante 3 une version pr liminaire a t r dig e et discut e lors d un atelier r unissant des experts l IFT en ao t 1996 une version r vis e a t pr sent e lors de la conf rence de mars 1997 Discut e lors de trois ateliers parall les cette derni re version a t valu e travers un questionnaire Une tude de faisabilit a par ailleurs t r alis e dans le cadre de 20 programmes de pr vention conduits dans 13 Etats de l Union europ enne Il a t demand chacun des auteurs de ces projets de r diger un rapport d valuation en utilisant les directives et d en juger EMCDDA OEDT 2 la qualit et le c t pratique Les participants l tude de faisabilit ont enfin effectu une valuation qualitative de ces recommandations au cours d un atelier de deux jours organis en juin 1997 Cette derni re version constitue la version d finitive du guide d valuation des actions de pr vention des toxicomanies Nous remercions les nombreux experts qui par leurs commentaires et le temps qu ils y ont consacr ont contribu l laboration de ce guide Nos remerciements vont galement ceux qui ont particip la premi re r union des experts en 1996 Munich Wim Buismann Centre Jellinek Amsterdam Mark Morgan Education Research Centre Dublin Alice Mostriou Ecole de m decine de l universit d Ath nes Jorge Negreiros universit de Porto Teresa Salvador
34. savoir si elle sera accept e par le groupe cible et si elle a des chances de donner les r sultats escompt s Vous pouvez par exemple questionner un groupe type sur le mat riel pr vu pour une campagne m dia solliciter l avis des enseignants sur un manuel destin la r alisation d un projet scolaire ou tester vous m me l action Nous pensons utiliser un kit d information sur les drogues contenant des documents li s d une fa on ou d une autre aux drogues ou au comportement des usagers de drogues des brochures des textes sur labus des drogues etc Nous pr voyons de le tester aupr s de plusieurs personnes Nous souhaitons demander 25 personnes leur r action devant une affiche concernant les conduites risque qui sera distribu e dans les coles On les interrogera sur ce qu elles y voient sur le message v hicul qui leur para t le pus important et si elles consid rent qu elle correspond l usage qui lui est d volu 1 7 Ressources a Quel type d intervenants sera t il charg d effectuer l action et quels sont les qualifications requises Seules les personnes appel es participer directement au projet de pr vention doivent tre mentionn es Les ressources suppl mentaires seront d crites dans les sections suivantes Directeur du projet qualifications professionnelles docteur en m decine psychoth rapeute avec une exp rience de cinq ans au moins dans la mise en oeuvre
35. sultats et des carts au niveau des r ponses par exemple dans des discussions de groupe les participants peuvent surestimer leurs revenus Il est donc essentiel pour vous de savoir comment les informations ont t recueillies Les donn es socio d mographiques ont t collect es au moyen d un questionnaire anonyme qui a t remis aux participants lors de la premi re s ance et r cup r lors de la suivante Pendant tout le processus vous comparerez vos r ponses ce qui avait initialement t pr vu c est dire au groupe cible envisag en 1 4 Les arts concernant le groupe cible lors de la phase de pr paration de l intervention expliqueraient les diff rences au niveau de la mise en oeuvre et des r sultats finals Le groupe cible a t atteint comme pr vu Nous avions pr vu de toucher les jeunes de 15 17 ans fr quentant les soir es rave En fait les participants taient plus g s ge moyen 18 ans environ La proportion d hommes et de femmes et la proportion d Allemands par rapport aux autres nationalit s tait cens e tre la m me dans les trois groupes exp rimentaux Il y avait 10 de plus d l ves turcs dans le groupe t moin que dans les deux autres groupes EMCDDA OEDT 36 2 4 Exposition a Comment l exposition a t elle t mesur e Quelles sources de donn es quels instruments ou quels indicateurs ont ils t r ellement utilis s L
36. sultats aupr s d un sous groupe 20 du groupe cible Nous avions pr sent aux participants de lintervention le premier questionnaire sur le comportement des usagers de drogues Nous avons donc t en mesure de comparer les caract ristiques socio d mographiques de l chantillon avec celles de l ensemble du groupe cible Nous n avons pas constat de diff rences significatives d ge de sexe ou autres Avez vous t en mesure d identifier ceux qui ont t perdus de vue Si tel est le cas quelles taient leurs caract ristiques Si ceux qui d crochent de l chantillon avant la fin de la collecte de donn es diff rent consid rablement des autres par exemple pour ce qui est de l ge ou du sexe l chantillon risque de ne plus tre repr sentatif L echantillon n a pas vari Personne n a d croch Nous nous sommes livr s une comparaison statistique des diff rences entre ceux qui avaient t perdus de vue et ceux qui taient rest s dans l chantillon ge sexe statut socio conomique etc Nous n avons constat aucune diff rence entre les deux groupes Ils sont par cons quent comparables 3 4 Les r sultats La pr sentation de cette section est cruciale Elle doit tre calqu e sur celle des objectifs de l action 1 5 Les trois premi res questions ont trait aux variables relatives aux r sultats dans le gt groupe cible final les autres aux r sultats dans le g
37. une sous chelle d valuation locus de contr le du Questionnaire sur l apprentissage de l autonomie fonctionnelle destin aux tudiants Botvin et al 1984 c Que savez vous de la qualit des instruments objectivit fiabilit validit Pr voyez vous de tester la faisabilit des instruments Pour juger des r sultats d une valuation il est n cessaire de donner des informations sur la qualit des instruments utilis s Dans le cas de instruments connus vous pouvez g n ralement renvoyer au guide ou au manuel d utilisation Si toutefois vous avez labor vos propres moyens d intervention envisagez de r aliser une tude sur leur fiabilit validit il vous est alors conseill de v rifier la faisabilit des instruments Mais cette v rification doit galement tre effectu e si vous utilisez un instrument labor pour une autre langue un autre contexte culturel une autre r gion etc Il peut alors tre pr f rable pour des raisons de compr hensibilit et de logique de faire valuer les instruments par des valuateurs externes Nous pensons utiliser une chelle d attitudes pour conna tre la perception que les enfants ont d eux m mes SCAT pour Self Concept Attitudinal Inventory C est un test crit assez objectif La fiabilit de ce type d valuation est garantie entre autres par une m thode de comparaison entre les l ves obtenant les meilleurs r sultats scolair
38. 00 er 2 teste 2 Met ee Le 2 een 57 EMCDDA OEDT 6 INTRODUCTION Qu est ce que l valuation L valuation d une action d un projet ou d un programme suppose la collecte l analyse et l interpr tation syst matiques d informations sur le d roulement de l action et sur ses effets Les informations recueillies servent souvent d terminer les moyens d am liorer une action d cider de son extension ou de son arr t L valuation doit pour l essentiel r pondre aux questions suivantes Quels sont la nature et l ampleur du probl me Quelles interventions de pr vention peuvent elles avoir un impact sur le probl me Quel est le groupe cible vis par l action L action a t elle un impact r el sur le groupe cible L action est elle mise en oeuvre comme pr vu L action est elle efficace Il est indispensable de r pondre ces questions pour distinguer les interventions utiles de celles qui sont inefficaces Ceci contribue non seulement am liorer notre niveau de connaissance de la pr vention et la qualit de cette derni re mais galement constituer une base d informations s rieuses sur laquelle d cideurs et bailleurs de fonds s appuieront pour s lectionner les projets soutenir Toutefois malgr la n cessit et l utilit g n ralement reconnues de l valuation du moins en th orie tr s peu d actions de pr vention ont en pratique t valu es en Europe Ce constat peut s
39. Centro de Estudios sobre Promocion de la Salud Madrid Anne Marie Sindballe Sundhedsstyrelsen Copenhague Zili Sloboda National Institute for Drug Abuse Rockville et Alfred Springer Institut Ludwig Boltzmann Vienne Nous souhaitons amp galement adresser nos remerciements Alfred Uhl Institut Ludwig Boltzmann Vienne pour sa pr cieuse contribution la discussion de points particuliers Nous tenons enfin remercier tout particuli rement ceux qui ont particip l tude de faisabilit et ont consacr une grande partie de leur temps et de leur nergie tester la deuxi me version du guide Christian Fazekas Autriche Peer van der Kreeft Belgique Matthy Balthau Belgique Tuukka Tammi Finlande Fran oise Baranne France C cile Gendre France Josef Mast Allemagne Vasso Boukouvala Gr ce Mark Morgan Irlande Cristina Sorio Italie Han Kuipers Pays Bas Sonia Po et Rui Castro Rodrigues Portugal Dulcinea Gil Portugal Francisco Javier Corpas Espagne Ulla Isaksson Su de Harriet Gilberg Su de et Willm Mistral Royaume Uni Leur exp rience et leur r flexion ont t essentiels elles ont fait de ces directives un outil auquel on pourra avoir recours pour le travail concret d valuation des actions de pr vention des toxicomanies EMCDDA OEDT 3 Table des mati res Preface aa n EIER Nr 2
40. a n cessit d estimer l ampleur r elle de l action constitue un l ment indispensable permettant de comprendre si l action a bien atteint le groupe cible propos Pour organiser une campagne d information du grand public vous devez conna tre le niveau de diffusion des brochures d information indiquer clairement qui les questions ont t pos es pour recueillir les donn es pertinentes Ces sources de donn es peuvent tre toutes celles qui participent l action ou seulement celles que vous aurez s lectionn es L encore vous pr ciserez les moyens de collecte des donn es qui ont t utilis s Les enseignants des coles ayant mis le programme en oeuvre ont constitu la principale source de donn es Un registre invitait faire des commentaires sur la mise en oeuvre du programme et donner des informations sur le nombre d heures d enseignement consacr es au sujet trait dans chaque classe b Combien de temps l action de pr vention a t elle effectivement dur et combien d interventions de pr vention ont elles eu lieu Comparez vos r ponses ce qui avait t initialement pr vu voir 1 6 Cette description de la dur e et du nombre d interventions effectu s permet d valuer le niveau d exposition AU cours des deux premi res ann es d application du programme chaque classe a fait l objet de 12 interventions de 45 minutes chacune Le nombre d interventions a vari de 3 10 la mo
41. ait Ce type d approche est possible dans le cadre des projets s attaquant aux probl mes sociaux li s la toxicomanie et qui se situent dans des centres de conseil conjugal ou dans les lieux tels que les structures sportives ou de loisirs pour les jeunes o l usage des drogues est interdit Comportement des usagers de drogues Cette expression fait allusion la consommation de drogue Le comportement des usagers de drogue peut tre d crit en fonction des drogues consomm es alcool h ro ne coca ne cannabis etc du rythme de consommation consommation occasionnelle r guli re r cr ative abusive toxicomaniaque etc et de la fr quence d usage Comportement d viant Certains comportements d viants sont consid r s comme des facteurs de risque pour la consommation de drogue La timidit ou l agressivit excessives la tendance mentir voler ou manquer les cours l anxi t etc sont des comportements d viants Conformit Tout comme la fid lit et la refonte la conformit d crit un aspect de la mise en oeuvre d une action Ce terme est g n ralement employ pour d terminer si un programme a t install aupr s du groupe exp rimental et non du groupe t moin et si les deux groupes se sont conform s leurs conditions exp rimentales respectives Gr ce aux indicateurs de conformit dans le groupe exp rimental on juge si la mise en oeuvre du programme a t suffisamment r
42. ans la toxicomanie La litt rature fait la diff rence entre les facteurs de risque la petite enfance carence du comportement adaptatif manque de soutien social dans le milieu familial par exemple les facteurs de risque la grande enfance manque d aptitude r soudre les probl mes normes comportementales pr judiciables au sein de la famille manque d estime de soi et les facteurs de risque l adolescence influence n faste des amis r duction de l estime de soi fr quente l adolescence Fiabilit La fiabilit la validit et lobjectivit sont d importants indicateurs de la qualit d un gt moyen La fiabilit d un instrument d signe le degr d obtention de valeurs identiques lors de collectes de donn es r p t es aupr s de m mes sujets Son valuation permet d tablir si le instrument utilis donne des r sultats homog nes Le manque de fiabilit a pour effet de diluer ou d occulter les v ritables diff rences ventuelles Si par exemple on value une action en ayant recours un instrument non fiable cette derni re pourra para tre moins efficace qu elle ne l a v ritablement t et vice versa Fid lit Avec la conformit et la refonte la fid lit constitue un aspect de la mise en oeuvre du programme Elle indique si le programme a t mis en oeuvre comme on lavait initialement pr vu et dans quelle mesure il est rest fid le au projet de d part Elle est l expr
43. approche quantitative consiste essentiellement mesurer un certain nombre de r sultats sp cifiques L accent est mis sur la r alisation des mesures leur synth se leur globalisation et leur comparaison ainsi que sur la d duction d une signification partir de l analyse quantitative Deux techniques sont souvent utilis es les plans exp rimentaux et le recours des groupes t moins Elles sont particuli rement importantes lorsque l objectif principal de l valuation est de d terminer l efficacit du programme approche qualitative Attitudes l gard des drogues Cette expression d signe globalement les opinions les croyances et les principes que l on peut avoir vis vis des drogues Exemples d attitudes La consommation d alcool provoque des comportements ridicules Les consommateurs de cannabis s amusent plus que les autres etc Les attitudes l gard des drogues sont des variables interm diaires Elles servent souvent d indicateur d valuation des r sultats m me s il n est pas toujours possible d tablir un lien de cause effet avec le comportement des usagers de drogues On consid re cependant que les attitudes positives l gard des drogues contribuent exacerber le comportement toxicomaniaque alors que les attitudes n gatives auraient plut t l effet inverse Autonomie fonctionnelle L autonomie fonctionnelle permet de faire face aux exigences et aux d fis de la vie qu
44. cause effet EMCDDA OEDT 43 Nous n avions pas de groupe t moin Nous ne pouvons donc affirmer que les effets obtenus sont r ellement dus notre intervention La maturation des participants au cours de l ann e est un facteur important prendre en consid ration d Comment pouvez vous expliquer les r sultats n gatifs Il est d courageant de constater qu une valuation des r sultats ne correspond pas aux pr visions Il peut toutefois exister un certain nombre d explications des r sultats n gatifs insuffisances au niveau de l action elle m me de sa mise en oeuvre dans ce cas l valuation des proc dures est utile pour mettre en lumi re les aspects pertinents erreurs au niveau de la conception moyens de mesure inad quats certains peuvent tre inadapt s ou probl mes externes sans rapport avec l action un incendie dans une cole par exemple Quelle qu en soit la raison si vous obtenez des r sultats impr vus vous devez toujours essayer de les expliquer et d en tirer des conclusions pour l avenir Contrairement nos attentes l action na eu aucun effet sur la consommation d alcool Il est vrai que la pr valence de la consommation d alcool est tr s faible dans ce groupe d ge Il n est pas impossible qu un probl me se manifeste ult rieurement Une deuxi me op ration de suivi aura donc lieu au bout d un an On peut galement faire valoir que le th me de la consommation d
45. ction de son groupe cible et de son exposition La discussion des r sultats de l action et leur interpr tation deviendront alors possibles L action a t mise en oeuvre comme pr vu et aucune divergence n a t constat e De m me le groupe cible a t atteint Toutefois en raison d absences du personnel pour cause de maladie le taux d exposition a t inf rieur aux pr visions Dans deux classes seulement six des dix interventions ont pu tre r alis es Quel impact les ventuelles divergences ont elles sur l action En cas de divergences vous devez discuter des cons quences qu elles peuvent avoir sur l action Vous jugerez de leur port e pour la mise en oeuvre de l action EMCDDA OEDT 38 En raison de la r duction du taux d exposition il est difficile de tirer des conclusions quant aux effets sur l action Les r sultats n gatifs peuvent tre li s cette r duction c Quels sont les points forts et les points faibles du mode de mise en oeuvre de l action Comparez les avec les r sultats d autres actions En r pondant cette question vous viterez les probl mes du m me type et am liorerez toute mise en oeuvre ult rieure Comparez dans la mesure du possible les r sultats de votre action ceux d actions similaires rapport s dans votre documentation tout jugement sur la valeur de votre action sera bas sur ces r sultats D apr s les r sultats de cette tude
46. dans bien des cas elles n appellent pas toutes une r ponse Les valuateurs de projets doivent en g n ral s efforcer de r pondre toutes les questions relatives la phase de planification chapitre un et en fonction de leur propre plan proc der l valuation des proc dures chapitre deux et EMCDDA OEDT 8 celle des r sultats chapitre trois M me lorsqu elle n est pas toujours r alisable pour les actions de pr vention petite chelle cette derni re tape est importante Si vous pr voyez d valuer les r sultats vous devrez poss der un minimum de connaissances statistiques de base qu il nest pas possible d voquer dans un manuel tel que celui ci Enfin le chapitre quatre relatif l exploitation des r sultats est lui aussi applicable tous les types d valuation Une valuation n est pas une t che simple elle peut tre co teuse et prendre du temps Ce guide se propose de vous aider sa planification et sa r alisation Apr s lavoir utilis plusieurs reprises et pris confiance dans vos capacit s d evaluateur vous estimerez que ce processus global vaut la peine d tre entrepris Gr ce l valuation vous planifierez plus efficacement vos actions de pr vention EMCDDA OEDT 9 PARTIE A DIRECTIVES POUR LA PLANIFICATION ET LA REALISATION DE L EVALUATION Le symbole identifie les termes explicit s dans le glossaire Chapitre un Evaluation de la planificat
47. de l intervention pr vue n ont pas t suffisamment pr par s Lors de la planification il nous est apparu que rous devions dresser des plans plus concrets sur la fa on de faire b n ficier le groupe cible final enfants d ge scolaire des avantages pr sent s par l action pour notre groupe cible interm diaire EMCDDA OEDT 32 Chapitre deux Evaluation des proc dures 2 1 Evaluation des proc dures Pr paration a Quelles variables et quels indicateurs donneront ils des informations utiles sur la mani re dont l action s est d roul e Quel type d informations approche qualitative ou approche quantitative souhaitez vous valuer au moyen de l valuation des proc dures Il y a quatre moyens de conceptualiser les variables utiles et les indicateurs L action sera t elle mise en oeuvre comme pr vu On s appuiera par exemple sur des rapports d enseignants concernant l utilisation d un manuel d intervention Quelle part de l action sera t elle accord e au groupe cible On pourra r pondre cette question en donnant des informations sur le nombre de sessions de formation et sur leur dur e L action de pr vention subira t elle des modifications pendant sa mise en uvre Des rapports r dig s par les intervenants sur toute adaptation effectu e durant la mise en oeuvre de l action seront utiles Quel est le niveau de qualit de l action Il pourra tre fonction du niveau de satisfact
48. des donn es entra ne des calculs de fr quences et de valeurs moyennes l laboration de tableaux de variables multiples et des comparaisons entre les moyennes par groupe chi 2 et test de Student Le classement et le traitement des donn es seront effectu s par l quipe de recherche travaillant pour notre centre 3 2 Evaluation des r sultats R alisation Si vous avez valu les r sultats comme pr vu vous pouvez vous reporter aux questions correspondantes dans 3 1 En cas de modifications d crivez l valuation telle qu elle a r ellement t effectu e 3 3 L chantillon a b Comment l chantillon a t il t recrut Les moyens utilis s pour recruter l chantillon tableau d affichage annonce dans la presse bouche oreille etc sont aussi importants que ceux qui ont servi recruter l ensemble du groupe cible II importe de savoir si l chantillon a particip sur une base volontaire ou obligatoire avec ou sans d dommagement 2 az dont ti le re P P Le questionnaire a t distribu aux classes de 1 ann e des coles secondaires avant la mise en oeuvre du programme d ducation sanitaire ainsi qu aux classes de deux coles t moins Le questionnaire obligatoire a t rempli pendant un cours de deux heures Les participants l action constituaient le groupe exp rimental Le groupe t moin a t recrut parmi les l ves de m me ge de m me sexe
49. e selon qu il s agit d une intervention unique ou de programmes long terme tal s sur plusieurs mois Le mot intervention est entendu comme une des modalit s possibles de l action Approche qualitative Dans le cadre de l approche qualitative d une valuation l objectif est de comprendre un programme ou certains de ses aspects Au lieu de commencer l tude avec un certain nombre d attentes quant l examen ou l valuation des proc dures et des r sultats approche quantitative l accent est mis sur la description d taill e et la compr hension qui se d gage du contact direct avec le programme et ses participants Les techniques qualitatives s appuient sur l observation les entretiens les tudes de cas et d autres moyens de travail sur le terrain Cette approche peut tre utilis e seule ou associ e une approche quantitative lorsque par exemple un programme met l accent sur les r sultats individualis s lorsque l on doute de la qualit du programme ou que les objectifs d un programme sont mal d finis I n est pas facile de faire la synth se de donn es qualitatives en termes num riques mais il est possible de les transformer en donn es quantitatives Approche quantitative Les donn es quantitatives sont des observations qu il est ais de repr senter par des valeurs chiffr es r ponses donn es un questionnaire structur entre autres Dans le cadre d une valuation d action l
50. e drogues l action peut aussi viser la modification de variables interm diaires li es leur comportement Les interventions de pr vention primaire peuvent d ailleurs privil gier uniquement ces variables interm diaires L intervention vise am liorer les connaissances sur l usage des drogues par exemple les cons quences individuelles et sociales de l alcoolisme C Quels objectifs sont ils envisag s pour d autres variables interm diaires autonomie fonctionnelle facteurs de risque facteurs de protection comportement deviant changements structurels modifications du mode de vie et des gt habitudes culturelles Une action peut avoir un impact consid rable sur les variables interm diaires qui sont directement li es la consommation de drogues connaissance attitudes etc ou sur des variables plus g n rales Ces objectifs sont pr voir d s le d but de la phase de planification L intervention facilitera la r solution des probl mes am liorera l aptitude communiquer renforcera le respect de soi et encouragera la cr ativit d Quel est le rapport entre ces variables interm diaires et le comportement des usagers de drogues Si vous voulez que l action ait un impact sur les variables interm diaires expliquez le rapport qui existe entre ces variables et le comportement des usagers de drogues La question se poser est la suivante Qu est ce qui vous fait penser que
51. el etc e Qu est ce qui pourrait contrarier la mise en oeuvre de l action ou son valuation gt obstacles 1 8 Evaluation des proc dures Pr paration L valuation de la phase de planification ne doit pas vous faire perdre de vue les autres tapes Il sera indispensable de d cider s il convient d effectuer une valuation des proc dures et le cas ch ant qui en sera charg Le chapitre 2 traite de l valuation des proc dures Si vous pr voyez d effectuer cette valuation r pondez aux questions suivantes a Est il pr vu d effectuer une valuation des proc dures b Quelles sont les ressources disponibles pour effectuer une valuation des proc dures c Qui effectuera l valuation des proc dures 1 9 Evaluation des r sultats Pr paration L valuation des r sultats comme celle des proc dures est pr voir Le chapitre 3 traite de ce dernier point Si vous effectuez une telle valuation r pondez aux questions suivantes a Est il pr vu d effectuer une valuation des r sultats b Quelles sont les ressources disponibles pour effectuer une valuation des r sultats c Qui sera charg d effectuer l valuation des r sultats 1 10 R flexion sur la phase de planification A la fin de l valuation de la phase de planification vous examinerez l ensemble du processus de collecte d informations ainsi que les modes de communication R pondez aux questions suivantes a Qui a part
52. ent la raison du choix des objectifs leurs liens avec la pr vention des toxicomanies resteront flous Les parents jouent un r le important dans la mesure o ils servent de mod le au comportement des adolescents Pour modifier le comportement des fumeurs dans ce groupe cible final il est donc galement n cessaire d influencer le comportement des parents EMCDDA OEDT 28 1 6 M thodes a Quels l ments strat gies et m thodes seront ils utilis s au cours de l action Cette partie constitue l l ment central du plan On y trouve une description d taill e des interventions de pr vention propos es La m thode p dagogique utilis e par le programme d ducation sanitaire est celle de l apprentissage actif qui a pour but de favoriser le d veloppement des comp tences de base des l ves Elle sera mise en oeuvre dans les trois niveaux du cycle l mentaire et traitera de trois sujets tabac alcool et drogues illicites Cette m thode fait appel des discussions en salle de classe des discussions de groupe des entretiens individuels des enqu tes des ateliers d criture des psychodrames des jeux de r les des films etc L intervention s adresse aux instituteurs et aux ducateurs afin d am liorer leur connaissance des drogues dont labus est le plus r pandu leur aptitude communiquer enseigner de petits groupes et conseiller Il s agit d un programme comprenant quatre
53. entz M et al 1990 Effects of program implementation on adolescent drug use behavior Effets de la mise en oeuvre du programme sur l usage de la drogue chez l adolescent Evaluation Review 14 3 264 289 Pentz M et Trebow E 1991 Implementation issues in drug abuse prevention research Probl mes de mise en oeuvre dans la recherche sur la pr vention des toxicomanies in Leukefeld D et Bukoski W Eds Drug abuse prevention intervention research methodological issues Rockville NIDA Rossi P et Freeman H 1982 Evaluation a systematic approach Evaluation approche syst matique deuxi me dition Beverly Hills Sage Scheirer M et Rezmovic E 1983 Measuring the degree of programme implementation Mesure du niveau de mise en oeuvre du programme Evaluation Review 7 5 599 633 Schinke S et al 1991 Substance abuse in children and adolescents La toxicomanie chez l enfant et l adolescent Beverly Hills Sage Scriven M 1991 Evaluation thesaurus Dictionnaire de l valuation quatri me dition Beverly Hills Sage Stecher B et Davis W 1988 How to focus an evaluation Comment se concentrer sur l valuation deuxi me dition Beverly Hills Sage Sloboda Z et David S 1997 Preventing drug use among children an adolescents Pr vention de l usage de la drogue chez l enfant et l adolescent Guide fond sur la recherche Rockville NIDA Steckle
54. ermettent d valuer une situation ou une condition particuli re Dans le cas de l valuation d une action de pr vention on a g n ralement recours l observation pour mesurer la mise en oeuvre de l intervention et plus particuli rement sa fid lit Elle constitue l unique source d informations ou une source d informations suppl mentaire pendant la validation d autres mesures de la mise en oeuvre On consid re que l observation effectu e par le personnel de l quipe de recherche ou par des observateurs ind pendants est plus objective Les observations se pr sentent sous la forme de descriptions d taill es de questionnaires ou de proc d s normalis s d appr ciation EMCDDA OEDT 52 Intention d utiliser les drogues L intention d utiliser les drogues est une variable interm diaire souvent utilis e comme indicateur dans le cadre d une valuation de r sultats Elle repr sente ce que pense un individu des risques qu il a de consommer plus tard de la drogue Cette notion est surtout utile dans les programmes de pr vention primaire cibl s sur les jeunes enfants auxquels il est incongru de demander s ils ont d j utilis des drogues M thodes statistiques D apr s le type de donn es recueillies il existe un certain nombre de m thodes statistiques utiliser pour effectuer les comparaisons de groupes Parmi les m thodes permettant de faire des comparaisons de groupes sur deux variables citons le test
55. ersonnes par an en ce qui concerne cette tranche d ge b Comment le ph nom ne risque t il d voluer si aucune action n est entreprise Sur quoi votre opinion est elle fond e II importe d avoir une id e pr cise de l volution du ph nom ne au cas o l intervention n aurait pas lieu Donnez des r ponses indiquant si le ph nom ne peut s am liorer ou empirer si les habitudes de consommation ou le groupe d usagers risquent de changer si lon n agit pas Sans ces r ponses la pertinence de l action pr vue reste d montrer La consommation abusive de drogues chez les jeunes devrait continuer d augmenter Les boissons rafraichissantes alcoolis es sont aujourd hui tr s r pandues et il est g n ralement admis que leur commercialisation cible le march des mineurs Une tude a r v l que l usage d une drogue un ge pr coce constituait un risque de consommation ult rieure d autres drogues Duncan et al 1995 C Comment justifieriez vous l action Mis part le nombre de personnes touch es par le ph nom ne vous devez donner les raisons qui vous poussent effectuer l intervention de pr vention pr vue EMCDDA OEDT 24 d L intensit du d bat sur l ecstasy ne faiblit pas Ces derni res ann es l accroissement de la consommation et l augmentation des saisies ont t consid rables rapport de police alors que les hommes politiques et autres personnalit s publiques ex
56. es personnes affect es par le ph nom ne seront galement mentionn es R pondez aux questions suivantes Pour chacune d elles pr cisez vos sources d informations et faites des observations sur leur qualit a Quel ph nom ne l action pr vue vise t elle viter ou modifier b Quelles sont les caract ristiques socio d mographiques des personnes touch es par le ph nom ne compar es celles qui ne le sont pas c O le ph nom ne se manifeste t il et o ne se manifeste t il pas d Depuis combien de temps a t on conscience de l existence du ph nom ne e Son importance son impact et son lien avec l actualit ont ils volu avec le temps 1 2 Cadre conceptuel Une fois le ph nom ne d fini vous esquisserez une th orie justifiant vos impressions concernant les causes la modification et l limination du ph nom ne Les raisons pour lesquelles les objectifs et les m thodes respectivement pr cis s aux points 1 5 et 1 6 ont t choisis en vue de l action concern e doivent clairement en ressortir Ce terme tant r guli rement utilis dans le document il ne sera galement signal qu une fois par gt Nous avons pr f r utiliser le terme ph nom ne dans les pr sentes directives car l expression probl me de drogue que nous aurions galement pu utiliser a une connotation plus n gative EMCDDA OEDT 10 R pondez aux questions suivantes et fournissez de
57. es et EMCDDA OEDT 40 d ceux obtenant les plus mauvais r sultats La traduction du questionnaire dans notre propre langue nous a oblig pr voir une br ve tude de faisabilit Nous demanderons ainsi dix l ves de remplir le questionnaire et d indiquer s ils comprennent bien le sens de chaque question Aupr s de qui quand et selon quelle p riodicit pr voyez vous de recueillir des informations sur les r sultats gt plan e Vous mesurerez dans cette question si les informations relatives aux r sultats sont r centes et repr sentatives Nous utilisons un proc d quasi exp rimental pour recueillir les donn es aupr s d un groupe exp rimental et d un groupe t moin d sign de fa on non al atoire Il y aura deux collectes de donn es une semaine avant et une semaine apr s l action Comment pr voyez vous d analyser les informations recueillies Quelles m thodes statistiques sont elles appropri es pour mesurer la qualit des donn es et du plan Dans le cas o vous pr voyez d analyser vous m me les donn es d crivez les proc dures statistiques et le mat riel technique susceptible d tre utilis II est cependant souhaitable de confier votre analyse un chercheur exp riment Dans ce cas vous indiquerez galement l auteur ou les auteurs du traitement des donn es Les donn es du questionnaire seront analys es par programme informatique Le traitement
58. es strat gies seront d crits tout comme seront pr cis s le calendrier et la dur e globale pr vue pour l action R pondez aux questions suivantes a Quels l ments strat gies et m thodes seront ils utilis s au cours de l action b Qui participera l action de pr vention C Des t moignages empiriques du succ s de vos m thodes exemples litt rature scientifique rapports de recherche existent ils d Combien de temps l action durera t elle e Quel est le calendrier pr vu pour l action nombre d interventions dur e et fr quence de chacune d elles etc f Un test de faisabilit de l action est il pr vu EMCDDA OEDT 12 1 7 Ressources Maintenant que tout est clair en ce qui concerne les objectifs et les m thodes vous examinerez les ressources disponibles qui supposent l emploi d intervenants Il vous faudra galement avoir conscience des ventuels obstacles la disponibilit des ressources susceptibles de contrarier la mise en oeuvre ou l valuation R pondez aux questions suivantes a Quel type d intervenants sera t il charg d effectuer l action et quelles sont les qualifications requises b Combien de temps chacun de ces intervenants devra t il consacrer l action C Quel est le budget affect l action et qui en assure le financement d Quelles autres ressources sont elles disponibles par exemple ressources humaines organisation locaux mat ri
59. essai de pr vention de la consommation d alcool chez les adolescents Journal of Studies on Alcohol 52 6 568 579 Hansen W 1996 Pilot test results comparing the All Stars Program with seventh grade DARE program integrity and mediating variable analysis R sultats de l essai pilote comparant le programme All Star avec le programme DARE de septi me ann e int grit des programmes et analyse des variables interm diaires Substance Use amp Misuse 31 10 1359 1377 Henerson M et al 1988 How to measure attitudes Comment valuer les attitudes deuxi me dition Beverly Hills Sage Herman J et al 1989 Evaluators handbook Guide de l valuateur troisi me dition Beverly Hills Sage Hughes J et Sullivan K 1988 Critical reviews outcome assesment in social skills training with children Examens critiques valuation des r sultats dans le cadre de la formation la vie en soci t pour les enfants Journal of School Psychology 26 167 183 EMCDDA OEDT 57 King J et al 1988 How to assess program implementation Comment valuer la mise en ceoeuvre d un programme deuxi me dition Beverly Hills Sage Klepp K et al 1993 Ten year follow up of the Oslo Youth Study Smoking Prevention Programme Suivi dix ans du programme de pr vention de l usage du tabac chez les jeunes Oslo Preventive Medicine 22 453 462 Meyer et al 1993 Bala
60. ession d un jugement subjectif de l valuateur ou d une tude plus objective des proc dures par exemple le respect du nombre de interventions pr vues pour le programme Groupe cible Le groupe cible constitue le groupe de personnes de foyers d organisations de communaut s ou de toute autre unit identifiable vis s par une action de pr vention Il existe deux types de groupes cibles les groupes cibles finaux et les groupes cibles interm diaires Il est indispensable d analyser et d estimer soigneusement la taille et la nature du groupe cible avant de documenter le besoin d une action L am lioration de la qualit et l efficacit du projet sont li es ces activit s Groupe cible final Le groupe cible final est le groupe de personnes qui en fin de compte b n ficie de l action Ce groupe peut tre atteint directement ou indirectement au moyen dun groupe cible interm diaire Pendant la phase d identification du groupe cible final on peut s appuyer sur deux concepts celui de la population risque et celui la population pour laquelle un besoin existe Le premier s applique une partie de la population dont la probabilit de se livrer un comportement toxicomaniaque est lev e par exemple les enfants de familles d sunies les enfants dont les parents f res ou s urs sont toxicomanes Par contre la population pour laquelle un besoin existe est une population cibl e en tant qu unit am
61. eurs peuvent tre les suivants participation active attitudes envers l intervention avantages personnels degr d identification Parmi les instruments questionnaires rapports grilles de contr le entretiens ou groupes de discussion Indicateurs C Indicateurs utilis s enseignants leur perception de lefficacit de l action leur degr de satisfaction l exp rience de leur implication l adaptabilite du programme l int gration de l action au programme d tudes l int r t des documents d accompagnement Indicateurs utilis s l ves l impact du programme l adaptation linguistique le temps consacr au programme leur perception de l efficacit du programme Les enseignants ont re u un questionnaire portant sur l implication de la classe les effets et les r sultats obtenus Une appr ciation globale de la qualit de mise en oeuvre du programme a galement t faite 1 tr s mauvaise 4 tr s bonne L observateur du personnel de recherche a proc d des observations ind pendantes de la mise en oeuvre dans chaque cole II a galement contact t l phoniquement les enseignants et les chefs d tablissements et les a convi s des r unions Les crit res d appr ciation de la mise en oeuvre ont t discut s par le personnel de recherche et le personnel de gestion du programme avant l observation effective jusqu ce qu il y ait consensus partir d exemples hypoth tiq
62. eut s effectuer au moyen du test t de Student ou de lanalyse de variance L echelle de rapport constitue le niveau le plus lev Elle tient compte du concept d un z ro r el ce qui signifie que les rapports entre deux valeurs sont les m mes par exemple en hauteur ou en poids En sciences sociales les donn es sont le plus souvent de type nominal ou ordinal parfois de type intervalle presque jamais de type rapport Qualit de la mise en oeuvre de l intervention La qualit de mise en oeuvre d signe la fa on dont les participants ou les praticiens valuent l action et sa qualit Les indicateurs relatifs la perception de l action peuvent tre les suivants adh sion son contenu degr d identification avec son contenu ou cr dibilit de ce dernier satisfaction manifest e l gard d une intervention avantage personnel et pertinence du probl me trait Les indicateurs ayant trait la perception de la qualit de l action peuvent tre pouvoir de persuasion de l intervenant sa motivation l interaction entre l intervenant et les participants Questionnaire Un questionnaire est une liste de questions dont les r ponses peuvent tre valu es de fa on syst matique En fonction de la fa on de r pondre aux questions il existe des questionnaires r ponses ouvertes la personne doit alors formuler et organiser elle m me ses r ponses et des questionnaires r ponses ferm es la perso
63. exposition a t elle t mesur e Quelles sources de donn es quels instruments ou quels indicateurs ont ils t r ellement utilis s b Combien de temps l action de pr vention a t elle effectivement dur et combien d interventions de pr vention ont elles eu lieu Comparez vos r ponses ce qui avait t initialement pr vu voir 1 6 C Dans quelle mesure le groupe cible a t il t effectivement atteint Comparez vos r ponses ce qui avait t initialement pr vu voir 1 4 2 5 Qualit de l action de pr vention Outre l analyse de la r alisation de l action vous valuerez sa qualit Cette derni re peut tre exprim e en fonction des r actions et des attitudes du groupe cible vis vis de l action par exemple acceptation degr d identification participation b n fice personnel etc R pondez aux questions suivantes il sera instructif de comparer vos r ponses avec celles que vous avez initialement donn es en 2 1 a Qui vous a fourni les informations sur la gt qualit de l action b Quels indicateurs et quels instruments avez vous effectivement utilis s pour valuer la qualit de l action C Quels sont les r sultats des mesures de la qualit 2 6 Discussion des conclusions de valuation des proc dures Comme pour l valuation de la planification d une action vous analyserez et interpr terez les conclusions de l valuation des proc dures Ces conclusions seront
64. iante Les questions portent sur la consommation d alcool et de tabac l usage de m dicaments et de drogues illicites la connaissance des drogues l attitude l gard des drogues l intention de consommer des drogues et le comportement antisocial b Souhaitez vous recueillir des informations sur les r sultats selon une gt approche quantitative ou une approche qualitative Quels indicateurs et quels gt instruments proposez vous d utiliser pour recueillir les informations Pour valuer de fa on efficace et scientifiquement plausible les r sultats d une action vous devez disposer de donn es quantifiables Si par cons quent vous avez l intention de recueillir des informations sur les r sultats selon une approche qualitative par exemple au moyen d un entretien non directif planifiez une analyse quantitative des r ponses L action pr voit d am liorer les connaissances et les comp tences des ducateurs en mati re de drogues Les connaissances seront mesur es au moyen d un test crit r alis apr s l intervention Il comportera 50 questions portant sur des sujets lies aux drogues Pour mesurer les comp tences p dagogiques des participants on leur demandera de pr parer un programme cadre de sensibilisation aux probl mes de la toxicomanie pour un groupe cible donn ainsi qu un contexte p dagogique pr cis lls pr senteront et valueront le plan d intervention et son contenu Nous appliquerons
65. icip la phase de planification b Quelle est votre valuation globale de la phase de planification EMCDDA OEDT 13 1 11 Grille de contr le pour la phase de planification Vous venez de terminer l valuation de la phase de planification de votre intervention Ayez d s maintenant une id e pr cise de ce quoi l action s attaque 1 1 de la fa on dont le ph nom ne est per u 1 2 de la raison pour laquelle cette action est n cessaire 1 3 de ceux que l action devrait aider 1 4 de ce que sont le objectifs 1 5 de la fa on dont l action sera effectu e 1 6 __ des ressources auxquelles l action fera appel 1 7 Vous connaissez l ensemble du processus de planification 1 10 qui vous permettra de comprendre comment les d cisions ont t prises Au cas o une de ces d cisions ferait suite votre valuation 1 8 et 1 9 les chapitres suivants vous aideront assurer le suivi des proc dures et des r sultats de votre action EMCDDA OEDT 14 Chapitre deux Evaluation des proc dures Cette phase sert valuer la mise en oeuvre d une action et les r actions des participants Elle d crit la fa on dont l action de pr vention a eu lieu si son plan a donn de bons r sultats si le groupe cible d sign a t atteint Elle porte galement sur la qualit de l action L valuation des proc dures r unit toutes les informations pertinentes sur l efficacit d une action
66. igoureuse et si l on peut conclure qu il a t enti rement r alis ou qu il a dur assez longtemps pour que le groupe cible en ait pris conscience Connaissances sur l usage des drogues Il s agit des connaissances concr tes que les participants ont de l usage des drogues En partant du principe que conna tre c est pouvoir il est tenu pour tabli que le manque de connaissance expose les individus consommer des drogues alors que la connaissance de faits pertinents leur permet de choisir des modes de vie sains La connaissance de l usage des drogues est une variable interm diaire souvent utilis e comme indicateur dans le cadre d une valuation de r sultats Couverture La couverture indique dans quelle mesure une action atteint son groupe cible Elle peut se d finir par le rapport entre le nombre r el et le nombre pr vu de participants Une faible couverture risque d accentuer le biais EMCDDA OEDT 48 D fection Pour les actions de pr vention moyen et long terme il est indispensable de r aliser une enqu te sur les perdus de vue ou d crocheurs Un perdu de vue est quelqu un qui a particip la ou aux collecte initiale de donn es mais qui a quitt l chantillon avant la fin de cette collecte ou de l action Un trop grand nombre des perdus de vue risque d affecter la validit des r sultats dans la mesure o un biais en r sulte Cette r duction de la taille de l chantil
67. il faut toujours valuer avant de prendre d autres d cisions Certains points sont consid rer pour optimiser l efficacit d une valuation Si vous ne voulez pas que vos efforts aient t inutiles r pondez aux questions suivantes a Qui doit il tre tenu au courant b Quand les informations pertinentes doivent elles tre communiqu es c Quelles sont les informations pr sentant un int r t pour les diff rentes personnes concern es d Quelles formes de communication crite allez vous utiliser e Quelles formes de communication orale allez vous utiliser EMCDDA OEDT 21 PARTIE B EXEMPLES Cette partie du document vous donne des informations g n rales sur toutes les questions pos es par les directives ainsi que de courts exemples sur la fa on d y r pondre La plupart de ces exemples sont tir s de cas r els d actions de pr vention ayant appliqu les directives au cours de la phase de faisabilit Par manque de place ils ont t r sum s ou abr g s Compte tenu de la diversit des interventions possibles ces exemples ne peuvent pas tre vraiment repr sentatifs de tous les cas de figure lls illustrent cependant l ventail des diff rentes possibilit s dont on dispose lors de l valuation d un projet Chapitre un Evaluation de la planification du programme 1 1 Le ph nom ne a Quel ph nom ne l action pr vue vise t elle viter ou modifier Le ph nom ne auquel une acti
68. imaire dans le domaine des drogues illicites d finitions concepts probl mes in Springer A et Uhl A Eds Evaluation research in regard to primary prevention of drug abuse Recherche sur l valuation relativement la pr vention primaire des toxicomanies Bruxelles Commission europ enne Vaeth P et al 1995 Examining the link between provider roles and program development findings from a process evaluation of a community based prevention program Examen du lien entre les r les des promoteurs de projets et l laboration de programmes conclusions tir es d une valuation des proc dures dans le cadre d un programme de pr vention ommunautaire The Journal of Primary Prevention 16 1 55 73 Van der Stel J Ed 1998 Alcohol Drugs and Tobacco Handbook Prevention Pompidou Group Council of Europe Jellinek Consultancy Amsterdam Wagner E et Guild P A 1989 Primer on evaluation methods choosing a strategy L ABC des m thodes d valuation choix d une strat gie American Journal of Health Promotion 4 2 134 139 EMCDDA OEDT 59
69. indiquerez ce stade si vous comptez appliquer des m thodes statistiques sp ciales ou si vous vous contentez de d crire les donn es Dans le premier cas les conditions pr alables l analyse de donn es complexes connaissances statistiques et disposition de mat riel technique doivent tre remplies Les donn es tir es du questionnaire seront analys es par un programme statistique pour les sciences sociales Les entretiens avec les tudiants satisfaction l gard de l intervention int r t manifest pour la formation b n fice personnel approfondissement des connaissances etc seront analys s Les r sultats feront l objet d un compte rendu Les donn es feront l objet d une analyse qualitative en vue de donner une description en trois dimensions du processus global de planification d laboration de pr sentation et de maintien d un cours accr dit de pr vention des toxicomanies sanctionn par un certificat Dans le cadre d une strat gie de recherche action l quipe concern e communiquera r guli rement les r sultats de ses travaux au chef de l quipe de pr vention des toxicomanies afin de proc der d ventuelles modifications susceptibles d am liorer le cours de fa on continue 2 2 Mise en oeuvre de l action de pr vention a Quels l ments strat gies et m thodes ont ils r ellement t mis en oeuvre Comparez vos r ponses ce qui avait t initialement p
70. intention d utiliser les drogues et les normes comportementales Les variables interm diaires indirectement li es la consommation de drogues par exemple l autonomie fonctionnelle les facteurs de risque les facteurs de protection les changements structurels le mode de vie les habitudes culturelles et le comportement d viant EMCDDA OEDT 56 BIBLIOGRAPHIE Les documents ci dessous ne constituent pas un tour d horizon exhaustif de la litt rature consacr e l valuation II s agit d articles et d ouvrages qui ont t des sources utiles d informations lors de la pr paration des directives Les documents pr c d s d un ast risque ont t jug s particuli rement utiles pour effectuer une valuation Braverman M 1989 Evaluating health promotion programs Evaluation des programmes de promotion de la sant San Francisco Jossey Bass Inc Bruvold W 1993 A meta analysis of adolescent smoking prevention programs M ta analyse des programmes de pr vention de l usage du tabac chez les adolescents American Journal of Public Health 83 6 872 880 Card J et al 1992 Planning an evaluation and estimating its cost Planification d une valuation et estimation de son co t Evaluation and the Professionals 15 4 75 89 Collins L et Seitz L 1994 Advances in data analysis for prevention intervention Evolution de l analyse des donn es pour les interventio
71. ion exprim par le groupe cible La distinction entre informations quantitatives et informations qualitatives tient ce que les premi res peuvent tre exprim es par des valeurs chiffr es les secondes par des descriptions verbales L utilisation d un questionnaire est un exemple d approche quantitative alors qu un entretien non directif portant sur l exp rience acquise par une personne lors de l action constitue un exemple d approche qualitative b Variables utiliser pour valuer la r alisation de l action de pr vention observation et rapport permettant de savoir si l action a bien t effectu e nombre et dur e des sessions de formation satisfaction manifest e par les enseignants et les l ves En plus de ces mesures quantitatives des entretiens en groupe portant sur les proc dures de mise en oeuvre seront r alis s avec tous les enseignants Quelles m thodes et quels instruments seront ils utilis s gt entretiens questionnaires instruments d observation Les questionnaires entretiens rapports grilles de contr le et comptes rendus crits sont tous susceptibles d tre utilis s pour mesurer les proc dures Une autre possibilit est le recours l observation pendant la mise en oeuvre de l action Les questionnaires entretiens semi directifs entretiens t l phoniques informels avec le chef de l quipe seront autant de instruments utilis s Des entretiens
72. ion du programme La phase de planification du programme est celle au cours de laquelle l action de pr vention est planifi e et labor e C est ce stade que sont choisis les objectifs atteindre et les m thodes appliquer L valuation porte sur le processus de d finition du probl me et du gt groupe cible final qui n est pas n cessairement le groupe cible r el de l action ainsi que sur les moyens n cessaires au programme de pr vention et sur les ressources disponibles Cette valuation peut tre effectu e par un valuateur externe ou par le responsable de l action Elle n cessite la collecte d informations aupr s des planificateurs et des intervenants au moyen d entretiens individuels de questionnaires de grilles de contr le ou de rapports crits Les enqu tes nationales ou locales ainsi que les publications scientifiques ou grand public traitant des questions aborder lors de la phase de planification du programme sont autant d autres sources de donn es utiles Les r sultats seront consign s par crit 1 1 Le ph nom ne La phase de planification doit commencer par une description de la nature de l importance et du lieu de manifestation du ph nom ne cibl par l intervention de pr vention Ce ph nom ne doit toujours tre d fini comme un comportement des usagers de drogues comportement que l intervention pr vue se propose de pr venir ou de modifier Les caract ristiques d
73. irecteurs des coles l ayant mis en oeuvre les l ves qui y ont pris part L organisation de la mise en oeuvre du programme dans leurs r gions a t confi e aux quipes municipales pour la pr vention communautaire des toxicomanies Elles ont fourni des informations pertinentes Les enseignants parents et enfants d ge scolaire ont galement t de pr cieuses sources de donn es Un registre permettait chaque enseignant ayant particip au programme de se livrer des commentaires individuels II comportait des questions telles que Quel l ment de l intervention at il t mis en oeuvre Quelle a t l utilit des instructions fournies dans le guide Est il possible d am liorer ces instructions Avez vous rencontr des difficult s lors de la mise en oeuvre c Quelles ressources ont elles r ellement t utilis es Comparez vos r ponses ce qui avait t initialement pr vu voir 1 7 Il est indispensable de savoir si les ressources ont t utilis es aux fins initialement pr vues ou si l on y a apport des modifications Ce renseignement vous sera utile pour toute application ult rieure de votre action EMCDDA OEDT 35 Les ressources ont t utilis es comme pr vu une exception pr s 20 des l ves ayant d m nag la responsable de l action a d passer plus de temps qu il ne le pr voyait localiser les nouvelles adresses et envoyer le questionnaire de s
74. irer des conclusions probantes De m me les derni res impressions risquent d tre gomm es par les premi res Deux rapports interm diaires et un rapport final seront communiqu s l organisme finan ant l action Les enseignants seront tenus inform s des r sultats lors de r unions qui auront lieu tous les deux mois Quelles sont les informations pr sentant un int r t pour les diff rentes personnes concern es d Adaptez votre message au public N oubliez jamais que les informations varient en fonction des interlocuteurs qui vous vous adressez Il est probable par exemple que le personnel sera plus int ress par les d tails de mise en oeuvre que les bailleurs de fonds Ces derniers risquent par ailleurs d tre trop occup s pour avoir le temps de lire int gralement un rapport Un r sum qui donnera un bref aper u de l valuation sa raison d tre ainsi que les principaux r sultats conclusions et recommandations sera plus appropri Les enseignants constituant notre principal groupe cible interm diaire nous organiserons des d bats durant toute la p riode d valuation des proc dures En retour nous donnerons les informations que nous aurons re ues Le principal utilisateur de l valuation des r sultats est l organisme bailleur de fonds qui attend de nous un rapport crit complet sur les conclusions la fin de l valuation Quelles formes de communication
75. l est possible pour une action de pr vention d avoir pour objectif de modifier ces habitudes culturelles afin de rendre plus acceptables d autres habitudes sans usage de drogue Incidence L incidence est le nombre de nouveaux cas relatifs un ph nom ne particulier dans une aire g ographique donn e pendant une p riode de temps d finie Indicateur Un indicateur est un l ment de mesure qui refl te une situation ou un probl me particulier Les indicateurs sont utilis s la place d un objectif ou d un concept qui n est pas directement mesurable ou qui ne sera observ qu ult rieurement Le choix d indicateurs appropri s doit s appuyer sur la litt rature disponible les th ories ou les recherches ant rieures Les indicateurs servent mesurer la qualit de la mise en oeuvre ou les r sultats d une intervention Instruments Les instruments d signent les m thodes employ es pour recueillir des informations sur le groupe cible l valuation etc Les instruments d valuation les plus couramment employ s sont les questionnaires dauto valuation mais aussi les tests les appr ciations les entretiens et les instrument d observation II est conseill d avoir recours des instruments dont l objectivit la validit et la fiabilit sont fond es Leur faisabilit doit tre test e avant leur utilisation plus grande chelle Instruments d observation Les instruments d observation p
76. la distribution de brochures contribuera modifier le comportement des usagers de drogues ou leur donner plus grande confiance en eux On consid re que l autonomie de bonnes relations affectives et le soutien social de la famille et des amis sont des facteurs de protection contre l abus de drogues par exemple K nzel et al 1994 e Quels sont vos objectifs en ce qui concerne le groupe cible interm diaire Si votre action concerne un groupe cible interm diaire cette section doit r capituler les quatre derni res questions pour ce groupe et non pour le groupe cible final Pour les enseignants les objectifs de l action sont les suivants accro tre la sensibilisation au probl me de la drogue et am liorer sa compr hension faire nna tre ce qu est une pr vention efficace et ce que sont les strat gies p dago giques d velopper les comp tences n cessaires pour intervenir dans ce domaine aptitudes enseigner communiquer et conseiller etc Am liorer les relations entre les parents et leurs enfants f Quels liens y a t il entre les objectifs fix s pour le groupe cible interm diaire et le groupe cible final Pr cisez les liens entre les objectifs fix s et tous vos groupes cibles Vous cherchez en d finitive comprendre comment les changements op r s dans groupe cible interm diaire auront un impact sur le groupe cible final A d faut de pr ciser clairem
77. la r alisation du programme a t de grande qualit comme le confirment le niveau d exposition et le jugement global port sur la qualit de la mise en oeuvre Le soutien accord aux enseignants par le personnel du projet a constitu un probl me dans la g n ralisation des r sultats Contact s par t l phone les enseignants ont eu la possibilit de parler des difficult s rencontr es Ce soutien a probablement renforc leur motivation II a pu galement constitu un biais Aurait on obtenu des r sultats comparables s ils n avaient pas b n fici de ce type d appui Les conclusions de l valuation des proc dures sont conformes aux r sultats d autres programmes scolaires visant l autonomie des l ves Petermann et al 1997 d Avez vous des suggestions faire pour la mise en oeuvre ult rieure d une action de pr vention de ce type Vous venez de mettre en oeuvre une action Vous tes donc bien plac pour faire des suggestions un promoteur de projet de pr vention Nous envisageons d am liorer lavenir la participation des enseignants de proc der une analyse approfondie des attitudes et du mode de vie et d ajouter la bande vid o une partie consacr e aux nouvelles drogues e Avez vous des suggestions faire pour les futures valuations des proc dures applicables ce type d actions de pr vention Vous pouvez d s maintenant faire des recommandations sur l valuation des proc
78. les vous pensez confier l valuation Pr cisez leur r le interne ou externe l intervention ainsi que leurs qualifications professionnelles et atouts personnels Il y aura un valuateur externe de l quipe de recherche de l universit 1 10 R flexion sur la phase de planification a Qui a particip la phase de planification Vous devez mentionner ceux dont les id es et les souhaits ont t pris en compte au moment de la planification Il pourra s agir de l quipe mettant l action de pr vention en oeuvre du groupe cible interm diaire final des d cideurs et des chercheurs Le projet a t con u comme une recherche action La premi re tape a consist valuer le besoin ressenti par le groupe cible Nous avons interrog des familles de la communaut et leur avons demand dans quels domaines elles souhaitaient des interventions l cole au niveau familial au niveau communautaire etc leurs attentes sur l efficacit de ces interventions et ce qui d apr s elles devait constituer les domaines cl s d une action Ainsi le groupe cible a directement particip la phase de planification au m me titre que l quipe de recherche constitu e de deux psychologues et de deux travailleurs sociaux b Quelle est votre valuation globale de la phase de planification Exposez les difficult s rencontr es que vous aborderiez diff remment l avenir Certains aspects
79. lon risque galement de perturber l analyse statistique Divergences de points de vue sur la n cessit d une action Potentiellement les professionnels les d cideurs et les groupes cibles ont chacun un point de vue diff rent sur la d finition d un probl me Il est vident que des chercheurs ne peuvent indiquer quel point de vue est le meilleur Leur r le consisterait plut t liminer les diff rends susceptibles de na tre des points de vue divergents face au ph nom ne de la drogue Une partie de l valuation de la planification peut donc tre consacr e l valuation des besoins selon les diff rentes perspectives des parties impliqu es dans l action Effets de la s lection Les effets de la s lection r duisent la repr sentativit d un chantillon lls peuvent sous entendre que les participants les plus faciles atteindre sont en m me temps ceux qui sont le plus susceptibles de changer C est pourquoi les projets s appuyant sur la coop ration volontaire sont souvent affect s par les effets de la s lection voir galement biais Entretien Dans une tude d valuation l entretien est un outil servant valuer les donn es sur les proc dures de mise en oeuvre et les r sultats Les entretiens varient quant leur degr de normalisation entretiens directifs semi directifs ou non directifs au type de contact entretiens en t te t te t l phoniques ou par crit ou au nombre
80. lusieurs pour le groupe Il est alors pr f rable de se concentrer sur celles qui vous paraissent les plus significatives et les mieux document es Selon une tude r gionale il y a quatre fois plus de consommateurs de drogue chez les hommes que chez les femmes L ge moyen des consommateurs de drogue est de 27 ans 77 d entre eux sont c libataires 21 sont titulaires d un dipl me d tudes secondaires et 45 ont un emploi stable Les membres de clubs qui consomment r guli rement de l ecstasy sont g s de 18 23 ans lls ont pour la plupart un emploi r gulier ou ils poursuivent leurs tudes plus de 80 d entre eux sont tudiants c O le ph nom ne se manifeste t il et o ne se manifeste t il pas D crivez avec pr cision le lieu o se manifeste le probl me de consommation de drogue auquel votre action veut s attaquer Ce ph nom ne appara t il par exemple lorsque les EMCDDA OEDT 22 personnes concern es sont seules chez elles avec des amis dans les bo tes de nuit dans la rue ou la campagne Il est non moins important de savoir o il ne se manifeste pas de mani re bien cibler l intervention Les r ponses donn es ces questions sont aussi essentielles que le fait de savoir qui est touch par le ph nom ne sans elles l action sera imparfaitement cibl e Dans notre communaut la consommation de l alcool a lieu aussi bien en priv que dans les lieux publics
81. modules et sanctionn par l attribution d un certificat d ducation antidrogue Ces modules sont bas s sur la documentation disponible et les tudes effectu es b Qui participera l action de pr vention Prenez en compte tous ceux qui selon vous participeront l action les personnes qui fourniront des informations sur l action et celles qui interviendront aupr s du groupe cible final Si l action vise sp cifiquement le groupe cible final les enfants d ge scolaire par exemple il est possible que les intervenants soient les seuls impliqu s Toutefois si c est un groupe interm diaire qui est vis on peut s attendre ce qu il transmette son tour des enseignements tir s de l intervention par exemple radios locales consacrant des missions la consommation de drogues enseignants traitant de ce th me dans leurs cours Les enseignants et les parents seront les principaux agents du changement groupe cible interm diaire c Des t moignages empiriques du succ s de vos m thodes exemple litt rature scientifique rapports de recherche existent ils Si des actions du m me type ou des l ments d interventions ont d j t test es dans un autre pays ou dans un autre contexte vous devez le signaler et r sumer les r sultats II n existe aucune preuve concr te directe du succ s de la pr vention sur Internet mais dans certains domaines connexes notamment la t l m
82. mplement les exposer par crit R pondez aux questions suivantes a En quoi l action at elle eu un impact sur le comportement des usagers de drogues du gt groupe cible final b En quoi l action at elle eu un impact sur les variables interm diaires li es usage de drogues dans le gt groupe cible final c En quoi l action at elle eu un impact sur d autres variables interm diaires du groupe cible final d En quoi l action a t elle eu un impact sur les objectifs fix s dans le groupe cible interm diaire e L action a t elle eu un impact diff rent dans diff rents sous groupes par exemple hommes femmes groupes d ges groupes risques etc 3 5 Discussion des conclusions de l valuation des r sultats Analysez et interpr tez enfin les conclusions de l valuation des r sultats Tout comme pour l valuation des proc dures comparez ces r sultats aux conclusions tir es d autres valuations et tudes pertinentes Faites galement des suggestions pour lavenir R pondez aux questions suivantes EMCDDA OEDT 19 a L action a t elle donn les r sultats escompt s Parlez des ventuelles divergences entre les r sultats pr vus et les r sultats effectifs en vous attardant sur les raisons probables de ces carts et de leur impact sur l tude b Quels sont les r sultats les plus significatifs que vous pensez avoir obtenus Comparez les aux r sultats d autres tudes c Ju
83. n groupe t moin On peut l utiliser sur des chantillons ind pendants ou d pendant les uns des autres Analyse de variance ANOVA On utilise cette m thode statistique pour examiner les diff rences de moyennes dans un minimum de deux groupes ind pendants en s efforcant de d terminer dans quelle mesure toute diff rence observ e aurait peu de chance d exister si l on avait utilis un ensemble d chantillons al atoires tir d une m me population Mode de vie Le mode de vie d signe les attitudes particuli res l gard des drogues dans certains groupes et dans certaines situations sociales ou environnementales Les sorties nocturnes sont un exemple de mode de vie et la fr quentation des bo tes de nuit est associ e la consommation de drogues synth tiques Une action de pr vention peut se fixer comme objectif la modification d un mode de vie Modifications impr vues Les modifications impr vues lors de la mise en oeuvre ou de l valuation du programme sont des changements ou des carts qui n avaient pas t pr vus dans le plan initial Ces modifications peuvent avoir des cons quences soit n gatives adh sion insuffisante au programme changement de site scolaire compressions budg taires etc soit positives taux de participation exceptionnellement lev sponsors suppl mentaires EMCDDA OEDT 53 Modifications intentionnelles Les modifications intentionnelles sont volontairement apport
84. ncing the priorities of evaluation with the priorities of the setting on positive youth development programmes in school settings Comparaison des priorit s de l valuation avec les priorit s du milieu programmes d orientation positive des jeunes en milieux scolaires The Journal of Primary Prevention 14 2 95 113 Morgan M dans la presse Towards the development of an instrument bank for the evaluation of prevention Vers l laboration d une banque de instruments pour l valuation de la pr vention Lisbonne EMCDDA Morris L et al 1988 How to measure performance and use tests Comment mesurer les performances et utiliser les tests deuxi me dition Beverly Hills Sage Morris L et al 1988 How to communicate evaluation findings Comment communiquer les r sultats de l valuation deuxi me dition Beverly Hills Sage Muthen B et J reskog K 1983 Selectivity problems in quasi experimental studies Probl mes de s lectivit dans les tudes quasi exp rimentales Evaluation Quarterly 7 2 139 174 NIDA 1997 Preventing drug use among children and adolescents a research based guide Pr vention de la consommation de drogue chez l enfant et l adolescent guide fond sur la recherche Rockville NIDA Patton M 1989 How to use qualitative methods in evaluation Comment utiliser les m thodes qualitatives dans les valuations troisi me dition Beverly Hills Sage P
85. nique donne une id e approfondie des besoins et des services n cessaires pour le groupe cible Par contre il existe un risque que cette id e soit fond e sur les ventuels pr jug s des experts ou sur des informations biais es Il est donc souhaitable de pr parer un type de questions utiliser avec tous les experts afin de comparer les r ponses donn es par chacun d entre eux Le questionnaire doit porter sur des informations pr cises et concr tes qui o quoi comment de mani re viter autant que possible les informations biais es L approche communautaire suppose une r union publique des membres de la communaut Elle est utile pour recueillir des informations sur la pr valence et l incidence d un probl me et sur les caract ristiques de la population cible Comme pour l approche des informateurs cl s il subsiste un risque que les informations soient biais es en raison de la sous repr sentation ou de la sur repr sentation au sein de la r union communautaire des individus touch s par le probl me C est donc lorsque l valuateur pr pare un chantillon repr sentatif de la communaut que les r sultats les plus probants peuvent tre obtenus L encore il importe de poser des questions pr cises pour garantir la validit des informations L approche selon le taux d individus sous traitement d termine la population cible en analysant les r sultats d une intervention de pr vention du m
86. nne doit choisir entre plusieurs r ponses possibles Refonte La refonte est un aspect de la mise en oeuvre au m me titre que la conformit et la fid lit Ce terme voque les modifications apport es au contenu et la mise en oeuvre du programme par rapport la pr vision initiale II diff re du manque de conformite dans la mesure o il fait intervenir des changements intentionnels et planifi s justifi s par la volont d am liorer l efficacit du programme contrairement au manque d adh sion au manque de coop ration ou aux changements impr vus La refonte est particuli rement importante si l on consid re qu il serait possible de renforcer les effets du programme en adaptant son contenu certains milieux ou certaines populations Validit La validit la fiabilit et l objectivit sont d importants indicateurs de la qualit d un moyen L estimation de la validit permet de savoir si un instrument mesure r ellement ce que vous voulez savoir et s il est appropri Variables interm diaires Les variables interm diaires sont cens es tre li es au comportement des usagers de drogues en encourageant les changements de comportement occasionn s par l action Il existe deux sortes de variables interm diaires Les variables interm diaires directement li es la consommation de drogues par exemple les connaissances sur l usage des drogues les attitudes l gard des drogues l
87. ns de pr vention Compte rendu de recherche du NIDA Rockville NIDA Conrad K et al 1991 Threats to internal validity in worksite health promotion programme research common problems and possible solutions Menaces sur la validit interne des tests dans les programmes de recherche sur la promotion de la sant sur le lieu de travail probl mes courants et solutions ventuelles American Journal of Health Promotion 6 2 112 122 Dryfoos J 1993 Lessons from evaluation of prevention programs Le ons tir es de l valuation de programmes de pr vention Prevention Evaluation Report 1 1 2 3 Elder J et al 1994 CATCH Process evaluation of environmental factors and programs Evaluation des facteurs environnementaux et des programmes Health Education Quarterly 2 107 127 Fitz Gibbon C et Morris L 1988 How to analyze data Comment analyser les donn es deuxi me dition Beverly Hills Sage Fitz Gibbon C et Morris L 1989 How to design a program evaluation Comment concevoir une valuation de programme troisi me dition Beverly Hills Sage Hansen W et al 1991 Program integrity as a moderator of prevention programme effectiveness results for fifth grade students in the adolescent alcohol prevention trial Integrite des programmes et efficacit des programmes de pr vention r sultats obtenus aupr s d l ves de cinqui me ann e dans le cadre de l
88. ntion et laborer de futures m thodologies d enqu te Parall lement ces directives six projets ont t r alis s l chelon europ en lls traitent de diff rents aspects de la pr vention de la drogue et des toxicomanies Ils sont dans l ensemble compl mentaires Le premier projet du groupe de travail 2 COST A6 est coordonn par Alfred Uhl de l Institut Ludwig Boltzmann de Vienne Autriche Son titre valuation de la pr vention primaire dans le domaine des drogues illicites D finitions Concepts Probl mes Evaluation of Primary Prevention in the Field of Illicit Drugs Definitions Concepts Problems r sume parfaitement ses objectifs dont le plus important est d aboutir un accord des experts europ ens sur les questions th oriques de d finitions et de m thodologie Le second projet est la publication du Guide de pr vention des toxicomanies The Drug Prevention Handbook par le groupe Pompidou en collaboration avec la soci t d tudes Jellinek d Amsterdam Ce guide s adresse aux intervenants et concerne l laboration et l organisation d actions de pr vention des toxicomanies Il constitue une source complete d informations d taill es avec des listes de questions prendre en consid ration lors de la planification de la mise en oeuvre et de l valuation des actions de pr vention Trois autres projets ont t lanc s par EMCDDA Ils visent favoriser la mise en oeuvre de m thodes d
89. on de pr vention des toxicomanies doit s attaquer est celui du comportement du groupe cible final face l usage de drogues tant licites qu illicites Ceci reste vrai m me lorsque le ph nom ne est abord indirectement par le biais de l apprentissage de l autonomie fonctionnelle ou par celui des campagnes de sensibilisation du grand public par les m dias Nous souhaitons pr venir l usage des drogues en axant plus particuli rement nos efforts sur la consommation de l alcool en tant que drogue licite et de l h ro ne en tant que drogue illicite chez les jeunes de 10 18 ans Nous voulons emp cher la consommation d alcool sur le lieu de travail dans une soci t employant 750 personnes b Quelles sont les caract ristiques socio d mographiques des personnes touch es par le ph nom ne par rapport celles qui ne le sont pas Les caract ristiques socio d mographiques consid rer sont le sexe l ge l origine g ographique le statut socio conomique et le lieu de r sidence Selon l intervention pr vue les facteurs de risque facteurs de protection traits de personnalit etc peuvent tre galement pertinents tandis que d autres varient en fonction de diff rentes drogues ou de diff rentes r gions Il est essentiel de conna tre ces caract ristiques car ce n est qu apr s les avoir cern es que vous orienterez correctement l action sur le groupe cible II peut toutefois en exister p
90. ore la validit des r sultats II est toutefois co teux si bien qu on a rarement recours la randomisation pour valuer les interventions de pr vention On a plut t tendance utiliser les plans quasi exp rimentaux en vertu desquels les personnes sont affect es aux groupes selon d autres proc dures telles que l appariement s lection d un groupe t moin ressemblant le plus possible au groupe exp rimental Pr test et post test Le plan de pr test et de post test est un instrument simple de pr parer une aluation des r sultats sans les avantages d un groupe t moin Avec un tel plan les seules personnes valu es sont celles qui b n ficient de l intervention Elles sont interrog es sur leurs connaissances leurs attitudes ou leurs intentions etc avant et apr s l intervention Les diff rences entre les r ponses donn es lors du pr test et du post test sont ensuite analys es pour savoir si elles sont statistiquement significatives Ce plan pr sente l avantage d tre simple et de prendre relativement peu de temps Le principal inconv nient est que sans groupe t moin il est impossible de conclure si les r sultats sont r ellement dus l intervention ou s ils r sultent de facteurs de confusion Pr valence La pr valence est le nombre de cas pr sentant une caract ristique ou correspondant une condition donn e dans la population d une aire g ographique donn e un moment donn
91. otidienne gr ce l apprentissage de comportements adapt s et positifs Elle am liore les comp tences individuelles r duit les risques de consommation de drogue et contribue am liorer la sant et le bien tre des enfants et des adolescents Les interventions de pr vention font souvent appel aux facteurs d autonomie fonctionnelle suivants aptitude prendre des d cisions aptitude r soudre des probl mes imagination cr atrice esprit critique aptitude communiquer et nouer des relations interpersonnelles conscience de soi empathie ma trise de ses motions ma trise du stress ressort psychologique EMCDDA OEDT 47 Biais Toutes les variations non pr vues et souvent imperceptibles intervenant lors de la collecte des donn es et susceptibles de fausser les r sultats de l valuation constituent ce que l on appelle des biais Le niveau de participation l action de certains sous groupes du groupe cible d sign uniquement les enfants tr s motiv s par exemple en est un exemple L amp chantillon n est alors plus repr sentatif et les r sultats risquent d tre erron s Les probl mes de d fection et les erreurs logistiques lors de la pr paration de l valuation peuvent galement introduire un biais Changements structurels L approche structurelle vise modifier l environnement le milieu social notamment pour que les individus aient plus de chances d adopter un comportement souh
92. p pr sentant des caract ristiques sp cifiques tous les l ves de 5 ann e par exemple Groupe cible interm diaire Un groupe cible interm diaire est un groupe de personnes vis es par une intervention et jouant un r le interm diaire On esp re qu il influencera le comportement des usagers de drogues EMCDDA OEDT 51 du groupe cible final en leur communiquant le contenu de l intervention Les approches centr es sur les enseignants sur les pairs ou sur la famille sont autant d exemples faisant intervenir un groupe cible interm diaire Groupe t moin Le groupe t moin est un groupe de personnes qui ne participent pas l action de pr vention valu e Deux cas de figures ce groupe ne fait l objet d aucune intervention il fait l objet d une intervention qui n est pas li e l action en question Habitudes culturelles Dans ce contexte les habitudes culturelles d signent les comportements toxicomaniaques influenc s par les normes culturelles ou sociales d une soci t donn e La consommation de vin pendant les repas en Europe du Sud ou la consommation de bi re apr s le travail en Allemagne sont des exemples d habitudes culturelles Celles ci d terminent la consommation ou la non consommation de drogues dans certaines situations sociales ainsi que la quantit consomm e et la fr quence de consommation Elles influencent ventuellement la perception des comportements toxicomaniaques I
93. pe auquel s adresse l action en question groupe cible Il existe deux types de groupes cibles un groupe cible final qui est le groupe le plus expos au ph nom ne de la drogue et un groupe cible interm diaire tels que parents enseignants et population en g n ral Si l intervention vise un groupe cible interm diaire celui ci doit tre pr sent comme le groupe cible Dans le cas de plusieurs groupes cibles les descriptions seront distinctes Indiquez galement dans les grandes lignes comment vous comptez approcher le groupe cible et l inciter participer l action R pondez aux questions suivantes a Le groupe cible est il le groupe cible final ou un groupe cible interm diaire b Quelles sont les caract ristiques socio d mographiques du groupe cible l ampleur du ph nom ne au sein du groupe et la taille de celui ci c Pourquoi ce groupe cible a t il t choisi d Combien de personnes seront elles touch es e O ce groupe cible sera t il contact et recrut Comment sera t il motiv effets de la selection couverture gt biais EMCDDA OEDT 11 f Quels sont les moyens de s assurer que le groupe cible continuera de participer l action gt d fection g M me si l action pr vue s adresse exclusivement un groupe cible interm diaire quelles sont les caract ristiques de son gt groupe cible final 1 5 Objectifs Soyez pr cis sur le
94. primaient un besoin urgent d actions de pr vention article de presse 23 janvier 1997 Les adolescentes ayant peu d estime pour elles m mes et ne b n ficiant pas d un soutien scolaire suffisant constituent un groupe haut risque pour la consommation de drogue et d alcool Existe t il diff rents points de vue sur la n cessit d une action divergence de points de vue sur la n cessit d une action Les points de vue peuvent diverger sur la n cessit d une intervention En ce qui vous concerne assurez vous que le groupe cible les d cideurs et les professionnels sont d accord sur la n cessit d une action de pr vention Dans le cas contraire vous risqueriez d tre pi g par un groupe se trouvant dans une situation particuli re par exemple un homme politique local pr parant sa r lection Attendez vous d ventuelles difficult s r sultant de ces divergences de points de vue Ceux qui travaillent localement sur un projet d autres sp cialistes de la pr vention et du traitement et les d cideurs sont d accord sur la n cessit de cette action de pr vention Lors de la phase de planification le planificateur de projet a not des divergences de points de vue sur la n cessit d une action de pr vention Elles sont dues au domaine particulier trait abus d alcool et au profil national de certains experts Les habitudes culturelles diff rent selon les
95. r A et al 1992 Toward integrating qualitative and quantitative methods an introduction Vers une integration des m thodes qualitatives et quantitatives introduction Health Education Quarterly 19 1 1 8 EMCDDA OEDT 58 Stufflebeam D 1995 The Personal Evaluation Standards How to assess systems for evaluation educators Normes individuelles d valuation Comment les ducateurs peuvent ils valuer les syst mes sixi me dition Newbury Park Corwin Tobler N 1986 Meta analysis of 143 adolescent drug prevention programmes quantitative outcome results of programme participants compared to a control or comparison group M ta analyse de 143 programmes de pr vention des toxicomanies pour les adolescents r sultats quantitatifs des participants aux programmes compar s un groupe t moin ou un groupe de r f rence Journal of Drug Abuse 16 4 537 567 Torabi M 1993 General standards for educational evaluations Normes g n rales pour les valuations p dagogiques Health Values 17 4 57 59 Uhl A 1997a Probleme bei der Evaluation von Preventionsma nahmen im Suchtbereich Probl mes soulev s par l valuation des mesures de pr vention des toxicomanies Wiener Zeitschrift f r Suchtforschung 20 dans la presse Uhl A 1997b Evaluation of primary prevention in the field of illilcit drugs definitions concepts problems Evaluation de la pr vention pr
96. r vu voir 1 6 D crivez maintenant en d tail ce qui s est r ellement pass El ments se divise en trois Le mat riel ducatif utilis par le programme Education sanitaire parties La premi re traite de l usage du tabac La contre attaque contre le tabagisme Le langage de persuasion La premi re offre Renoncer fumer la deuxi me de l usage de l alcool Tableau d ensemble tableau interm diaire Un parmi tant d autres EMCDDA OEDT 34 Posez vous la question la troisi me de l usage des drogues Images Une pilule pour chaque patient Pourquoi ne pas essayer L annexe en quatre sections Les drogues Informations g n rales La perception de soi Comment nous respirons o Tous ces l ments ont t utilis s dans les trois ann es du cycle secondaire Les paes un et deux de la premi re section consacr e au tabagisme sont utilis es en ann es la partie trois en 2 ann e et le reste en ann e Autrement dit le er appropri a t choisi en fonction de l ge des l ves M thodes La m thode p dagogique utilis e lors de l intervention est celle de l apprentissage actif qui encourage et permet le d veloppement des comp tences de base des l ves Parmi les activit s propos es discussions en salle de classe discussions de groupe entretiens individuels enqu te
97. r qu un programme d action soit efficace il faut qu il soit adapt aux conditions locales Une coop ration grande chelle intersectorielle et interdisciplinaire est donc n cessaire D autres projets sont susceptibles de contribuer faire voluer le ph nom ne comme les conf rences et les manifestations culturelles organis es par les jeunes eux m mes 1 3 La n cessit d une action de pr vention a Combien de personnes sont elles touch es par le ph nom ne Combien y a t il de cas nouveaux et selon quelle fr quence se manifestent ils amp pr valence incidence Il est n cessaire pour avoir une id e de l tendue du ph nom ne d valuer son ampleur et le nombre de personnes touch es Selon l action propos e cette estimation peut s effectuer de mani re g n rale l chelle nationale ou un niveau plus sp cifiquement communautaire Pour plus de d tails sur la fa on de se procurer les informations n cessaires reportez vous l valuation des besoins Une enqu te britannique effectu e l chelle nationale en 1991 a montr que plus de 30 des jeunes de 15 16 ans admettaient avoir consomm des drogues illicites notamment du cannabis et du LSD Estimations communautaires de la fr quence de consommation r guli re d alcool au moins une fois par semaine chez les jeunes de 13 18 ans 30 50 d un total de 540 personnes Incidence nouveaux cas estim e 50 60 p
98. roupe cible interm diaire a En quoi l action at elle eu un impact sur le comportement des usagers de drogues du gt groupe cible final b L apprentissage de l autonomie fonctionnelle en tant qu action de pr vention primaire a donn des r sultats int ressants La pr valence du tabagisme trente jours lors du post test un an apr s le pr test et le d but de l intervention tait bien moindre dans le groupe exp rimental 6 4 aussi bien au post test qu au pr test que dans le groupe t moin 11 4 au post test contre 5 5 au pr test En quoi l action at elle eu un impact sur les variables interm diaires li es l usage des drogues dans le gt groupe cible final Par rapport aux connaissances relatives l usage des drogues nous avons not de grandes diff rences entre le groupe exp rimental et le groupe t moin Les connaissances taient meilleures dans le groupe ayant b n fici de l action Les autres variables n ont pas donn de r sultats significatifs aucune diff rence entre les groupes EMCDDA OEDT 42 quant une ventuelle attitude positive l gard de la consommation de drogues l intention d utiliser des drogues ou des normes comportementales favorables l utilisation des drogues c En quoi l action at elle eu un impact sur d autres variables interm diaires du groupe cible final Pour l instant nous n avons constat de differences
99. rtie de leur temps l valuation d admettre qu il existe des probl mes de se confier lui La communication des r sultats de l valuation aux promoteurs du projet lui sera plus facile Par contre l amp valuateur interne risque de manquer d objectivit en raison d une part de son appartenance l organisation et d autre part des relations qu il peut entretenir avec les intervenants du programme Que les valuateurs interviennent de l int rieur ou de l ext rieur trois types d valuation sont possibles l valuation de la planification celle des proc dures celle des r sultats Il existe toutefois des situations qui conviennent mieux un type d evaluateur qu un autre ainsi EMCDDA OEDT 49 l valuateur interne se chargerait de la planification et des proc dures l valuateur externe tant sans doute mieux plac pour l valuation des r sultats valuation des besoins L valuation des besoins ou analyse des besoins est une estimation syst matique du ph nom ne per u et de la pertinence de l action propos e Elle est essentielle si l on veut viter de se tromper sur l ampleur et le caract re du probl me concern et par cons quent sur la n cessit d intervenir L valuation des besoins peut faire appel diff rentes techniques L approche par les informateurs cl s n cessite l identification la s lection et la consultation d experts travaillant sur le terrain Cette tech
100. ruments utilis s pour mesurer le comportement des usagers de drogues du groupe cible final i2 Indicateurs et instruments utilis s pour mesurer les variables interm diaires li es au comportement des usagers de drogues du groupe cible final i3 Indicateurs et instruments utilis s pour mesurer d autres variables interm diaires applicables au gt groupe cible final i4 Indicateurs et instruments utilis s pour mesurer les objectifs fix s pour le groupe cible interm diaire c Que savez vous de la qualit des instruments objectivit fiabilit validit Pr voyez vous de tester la faisabilit des instruments d Aupr s de qui quand et selon quelle p riodicit pr voyez vous de recueillir des informations sur les r sultats gt plan e Comment pr voyez vous d analyser les informations recueillies Quelles m thodes statistiques sont elles appropri es pour mesurer la qualit des donn es et du plan 3 2 Evaluation des r sultats R alisation Une fois la pr paration effectu e d crivez l valuation effective des r sultats Cette description portera sur les modifications apport es ou les adaptations effectu es non seulement au niveau de l chantillon mais aussi au niveau de la conception et de l utilisation des instruments Vous ferez galement la distinction entre modifications imprevues et modifications intentionnelles Pour r pondre aux questions suivantes tenez toujours comp
101. s ateliers d criture psychodrames jeux de r les films etc Groupes cibles interm diaires Les enseignants du secondaire ont b n fici d une formation aux principes et aux m thodes de l intervention dispens e par l quipe scientifique dans le cadre d un s minaire d une dur e de trois jours Cette formation a t agr e par le Minist re de l Education La participation des enseignants facultative n cessitait l autorisation du chef d tablissement et celle de l association des professeurs La formation a t mise en oeuvre selon le plan initial Les parents ont t inform s des objectifs du programme d ducation sanitaire Ceux qui le souhaitaient ont pu devenir membres d un groupe sp cialement constitu Le programme encourageait une troite coop ration entre les coles et la communaut locale b Quelles sources de donn es et quels instruments ont ils t utilis s pour valuer la mise en oeuvre de l action Comparez vos r ponses ce qui avait t initialement pr vu voir 2 1 Parmi ces sources les participants les formateurs l valuateur un observateur ind pendant ou quiconque se sera impliqu dans la mise en oeuvre Les instruments utilis s sont des questionnaires des rapports des grilles de contr le des entretiens ou un groupe de discussion Les personnes concern es par cet exercice d valuation sont les enseignants qui ont particip au programme les d
102. s objectifs de l action et d finissez les r sultats attendus quant au comportement des usagers de drogues et aux variables interm diaires D crivez galement les r sultats attendus de l action pour tout groupe cible interm diaire R pondez aux questions suivantes a Quel impact l action aura t elle sur le comportement des usagers de drogues dans le gt groupe cible final b Quel impact l action aura t elle sur les variables interm diaires directement associ es au comportement des usagers de drogues dans le gt groupe cible final connaissances sur l usage des drogues attitudes envers les drogues intention de consommer les drogues normes comportementales C Quels objectifs sont ils envisag s pour d autres variables interm diaires autonomie fonctionnelle facteurs de risque facteurs de protection comportement d viant changements structurels modifications du mode de vie et des gt habitudes culturelles d Quel est le rapport entre ces variables intermediaires et le comportement des usagers de drogues e Quels sont les objectifs en ce qui concerne le groupe cible interm diaire f Quels liens y a t il entre les objectifs fix s pour le groupe cible interm diaire et le gt groupe cible final 1 6 M thodes II ne doit subsister aucun doute sur les m thodes et les strat gies que vous utiliserez pour atteindre les objectifs fix s Les t moignages empiriques de c
103. s de drogues dans le groupe cible final L intervention doit avoir un impact sur le comportement des usagers de drogues m me si ce n est pas son objectif direct D crivez les objectifs qui selon vous viseraient les variables interm diaires ou le groupe cible interm diaire D finissez certains objectifs atteindre que vous ayez ou non pr vu d valuer les r sultats de l action A titre d exemple vous pouvez vous fixer comme objectif d emp cher les enfants de consommer de la drogue quelle qu elle soit de retarder l ge auquel ils commenceront en consommer de r duire la quantit et ou la fr quence de cette consommation etc Les objectifs de l intervention sont les suivants r duire la consommation r guli re excessive d alcool r duire le nombre de jeunes qui fument r guli rement du tabac retarder la premi re exp rience avec les drogues L objectif indirect du projet qui vise am liorer le fonctionnement de la famille est de r duire l abus de la drogue et les risques qui y sont li s b Quel impact l action aura t elle sur les variables interm diaires directement associ es au comportement des usagers de drogues dans le gt groupe cible final connaissances sur l usage des drogues attitudes envers les drogues intention de consommer des drogues normes comportementales EMCDDA OEDT 27 Outre l influence directe qu elle aurait sur le comportement des usagers d
104. s exemples de strat gies et d interventions susceptibles de modifier ou ayant d j modifi le ph nom ne a Quelle explication est elle privil gi e sur l origine du ph nom ne b Quels sont les facteurs responsables de la persistance du ph nom ne 1 3 La n cessit d une action de pr vention Vous v rifierez que le ph nom ne atteint une ampleur qui justifie une intervention Cette analyse de la n cessit d une action particuli re doit tablir le nombre de personnes touch es par le ph nom ne pr senter les arguments en faveur de cette intervention plut t que d une autre et pr ciser comment et si elle s int gre d autres activit s R pondez aux questions suivantes a Combien de personnes sont elles touch es par le ph nom ne Combien y a t il de cas nouveaux et selon quelle fr quence se manifestent ils amp pr valence incidence b Comment le ph nom ne risque t il d voluer si aucune action n est entreprise Sur quoi cette opinion est elle fond e C Comment justifieriez vous l action d Existe t il diff rents points de vue sur la n cessit d une action divergence de points de vue sur la n cessit d une action e Comment la n cessit d une action de pr vention a t elle t valu e valuation des besoins f Existe il des actions de pr vention connexes en cours ou pr vues Un partenariat est il envisag 1 4 Groupe cible D finissez le grou
105. s locales effectu es au Royaume Uni par exemple Pollard 1995 Ces r sultats sont largement corrobor s par les travaux effectu s dans des pays de culture similaire notamment aux Etats Unis et en Australie 1 2 Le cadre conceptuel a Quelle explication est elle privil gi e sur l origine du ph nom ne On dispose de plusieurs th ories ou explications sur l existence du ph nom ne C est pourquoi vous indiquerez celle qui d apr s vous correspond le mieux l action pr vue Vous expliquerez pourquoi vous privil giez cette th orie Il existe de multiples th ories sur labus de drogues chez les adolescents Elles ont toutes une certaine cr dibilit Mais les th ories plus g n ralement accept es sont celles de l apprentissage social et des interactions sociales L hypoth se dominante veut que le comportement des adolescents soit fortement influenc par les parents et les pairs Ainsi le premier contact avec la drogue r sulte la fois d une exposition des mod les approuvant la consommation de ce type de produit et d une vuln rabilit la pression sociale b Quels sont les facteurs responsables de la persistance du ph nom ne Dans certains cas les facteurs l origine de l existence du ph nom ne diff rent de ceux qui contribuent l entretenir et l exacerber Il est donc pr f rable de ne pas n gliger les facteurs d entretien du ph nom ne notamment dans la mesure o il est
106. semi directifs seront organis s avec les intervenants et les participants Un certain nombre de sessions de formation et de rencontres auront lieu avec le personnel d valuation EMCDDA OEDT 33 L int r t manifest par les l ves leur comportement et leur attitude au cours de l intervention sont des indicateurs de qualit Ils seront observ s par les formateurs et d crits dans un protocole C O quand et avec quelle fr quence les donn es seront elles recueillies plan Cette information est aussi importante que celle portant sur les outils d valuation A l occasion de s ances de danse et apr s chaque intervention Des questionnaires seront distribu s apr s chaque s ance de formation et les observations auront lieu au cours des troisi me sixi me et neuvi me s ances Des entretiens avec les enseignants seront galement organis s apr s la cinqui me s ance de formation d Qui fournira les informations n cessaires l valuation des procedures Vous devez savoir qui seront demand es les informations ou qui sera interrog participants l intervention intervenants enseignants observateurs ind pendants etc Nos sources d informations seront les enseignants qui mettront le programme en oeuvre les chefs des tablissements o le programme sera r alis les l ves qui participeront au programme e Comment pr voyez vous d analyser les donn es Vous
107. si Le choix d un groupe cible peut tre influenc par des consid rations th oriques s il s agit d un groupe haut risque par des consid rations plus pratiques si c est un groupe avec lequel il a t facile d entrer en contact et qui est tr s motiv ou par une combinaison des deux Ce groupe cible a t choisi parce que l incidence de la consommation de drogue y est lev e et que la mise disposition d une salle communale nous a donn l occasion de toucher les familles gr ce une approche communautaire Nous avons choisi les l ves de 4e et de 8e ann es comme groupe cible final en raison de leur niveau lev de consommation d h ro ne Le groupe cible interm diaire les m dias locaux a t choisi pour sa volont de participer l intervention et pour le r le qu il joue dans la formation de l opinion Combien de personnes seront elle touch es La r ponse donn e cette question est capitale Fixez des objectifs r alistes l intervention Si le groupe cible potentiel est tr s important dans le cas d une intervention r gionale ou nationale par exemple plut t que de dire nous voulons toucher le plus grand nombre possible de personnes il est pr f rable de proc der une estimation approximative du nombre de personnes que vous allez probablement pouvoir toucher et de vous efforcer de vous en tenir cette estimation Les 150 familles de la collectivi
108. significatives que pour une variable interm diaire Les valeurs moyennes de l adaptation du comportement ont t beaucoup plus lev es dans le groupe exp rimental que dans le groupe t moin p lt 0 05 d En quoi l action a t elle eu un impact sur les objectifs fix s dans le groupe cible interm diaire Notre campagne dans les m dias a eu une influence positive sur les groupes cibles interm diaires parents et enseignants 80 ont d clar qu ils s estimeraient d sormais plus responsables vis vis des enfants et des adolescents 61 ont dit avoir beaucoup appris sur les toxicomanies 45 ont avou qu ils feraient plus attention leur propre consommation d alcool ou de tabac e L action at elle eu un impact diff rent dans diff rents sous groupes par exemple hommes femmes groupes d ges groupes risque etc Apr s l action nous avons constat que les filles en avaient plus appris que les gar ons sur le comportement des usagers de drogues test t p lt 0 05 3 5 Discussion des conclusions de l valuation des r sultats a L action a t elle donn les r sultats escompt s Parlez des ventuelles divergences entre les r sultats pr vus et les r sultats effectifs en vous attardant sur les raisons probables de ces carts et de leur impact sur l tude Essayez de pr voir ce stade les arguments qui seront ventuellement avanc s contre votre interpr tation des r sultats
109. souvent trop tard pour intervenir l chelon des facteurs de causalit Les attitudes habitudes et normes comportementales des adultes vis vis de la consommation d alcool et de drogue sont des facteurs d terminants pour les jeunes Les m dias jouent galement leur r le EMCDDA OEDT 23 Dans notre r gion les jeunes ont face l avenir une attitude de renoncement qui r sulte en partie du taux lev de ch mage Ce n gativisme collectif est galement renforc par la permissivit de la soci t l gard de la consommation des drogues Donnez des exemples de strat gies et d interventions susceptibles de modifier ou ayant d j modifi le ph nom ne Si vous connaissez des actions couronn es de succ s d crivez les de fa on aussi d taill e que possible Sinon vous pouvez toujours d finir les l ments et les caract ristiques n cessaires selon vous votre type d intervention La mise en oeuvre d interventions de pr vention primaire au niveau r gional ou national est suppos e avoir une influence sur le ph nom ne Parmi les actions susceptibles de ralentir l accroissement de la consommation des drogues citons les campagnes de sensibilisation du grand public les programmes de pr vention en milieu scolaire la fourniture d informations des groupes de parents existants et sp cialement constitu s ainsi que les programmes destin s ceux qui abandonnent leurs tudes Pou
110. squ quel point tes vous certain que ces r sultats ont bien t obtenus gr ce l action Y a t il d autres moyens d expliquer ces r sultats d Comment pouvez vous expliquer les r sultats n gatifs e Avez vous des suggestions a faire sur l utilisation future d actions du m me genre f Avez vous des suggestions faire pour de futures valuations de r sultats applicables ce type d action de pr vention 3 6 Grille de contr le des r sultats Vous avez termin l valuation des r sultats et vous tes presque arriv au terme de ensemble du processus d valuation Vous devez maintenant avoir une id e pr cise de la fa on dont vous avez pr vu de mesurer les r sultats 3 1 de la fa on dont l valuation des r sultats a t effectu e 3 2 savoir si l action a eu un impact sur le comportement du groupe cible 3 4 si l action a effectivement atteint ses objectifs 3 5 de ceux aupr s desquels les informations relatives aux r sultats ont t recueillies 3 3 et L valuation de votre action est termin e Il vous reste en faire conna tre les r sultats et partager votre exp rience EMCDDA OEDT 20 Chapitre quatre Communication des r sultats Votre valuation est termin e L ultime tape consiste maintenant tirer parti de vos conclusions 41 laboration d un plan de communication Des valuations peuvent tre conduites pour diff rentes raisons Mais
111. t soit environ 500 personnes Nous pensons toucher de 500 5 000 personnes au cours des six premiers mois Toutefois le r seau Internet tant ce qu il est il est difficile de pr dire le nombre exact de personnes qui visiteront notre site O ce groupe cible sera t il contact et recrut Comment sera t il motiv effets de la s lection gt couverture biais Le manque d impact d une intervention conduit une perte de temps et a un gaspillage d argent Admettez qu un groupe cible n est pas forc ment plus motiv pour participer une intervention qu un groupe autre qu un groupe cible C est pourquoi vous devez vous demander comment impliquer dans l action les personnes du groupe cible Tenez galement compte des effets de la s lection du biais et d une ventuelle insuffisance de couverture voire d un exc s de couverture EMCDDA OEDT 26 Dans notre programme sur le lieu de travail tous les employ s recevront une lettre du directeur Un avis sera placard sur le tableau d affichage Le temps de travail sera am nag pendant la dur e du programme Les enfants et les adolescents le groupe cible final seront consult s dans les coles les centres de loisirs les clubs de jeunes les commissariats de police et les organismes b n voles Les parents le groupe cible interm diaire le seront eux par l interm diaire des coles au travail et gr ce aux informations communiqu
112. t de la toxicomanie Ils s opposent donc aux facteurs de risque lls peuvent modifier voire inverser les variables pr dictives d volutions n gatives et permettent aux individus d affronter des v nements n gatifs Les facteurs de protection individuels r guli rement cit s dans la litt rature sont l adaptation du comportement l aptitude r soudre les probl mes l autonomie fonctionnelle le sens des responsabilit s et la gestion de lavenir Au sein d une famille l attention et le soutien accord s la fixation de limites la consid ration envers les enfants les encouragements participer diverses activit s sont des exemples de facteurs de protection Parmi les facteurs de protection plus g n raux citons la r ussite scolaire et les liens troits avec les organismes sociaux EMCDDA OEDT 50 Facteurs de risque Les facteurs de risque sont des conditions personnelles ou sociales suppos es accro tre la probabilit de la toxicomanie Ils s opposent donc aux facteurs de protection Diff rents t moignages tendent montrer que les enfants agressifs et socialement inaptes pr sentent plus de risque de basculer dans la toxicomanie que ceux mieux int gr s la soci t D apr s un certain nombre d tudes un comportement antisocial tel que l agressivit permet de pronostiquer d s la premi re ann e scolaire qu un enfant risque de commencer tr s t t utiliser de la drogue puis tomber d
113. t e en mettant en lumi re la planification de l action l valuation de sa mise en oeuvre et de ses r sultats Son emploi convient tant pour des interventions nouvelles que pour celles qui ont d j t r alis es et sont couramment appliqu es Structure du guide Ce guide comprend trois parties les directives proprement dites des exemples et un glossaire La premi re partie est une pr sentation concise de la structure des directives La deuxi me fournit des informations g n rales plus d taill es et des xemples pour chaque sujet abord par les directives Enfin les termes importants sont d finis aussi compl tement que possible dans un glossaire qui constitue la troisi me partie Partie A Directives Cette section constitue la charpente du guide Elle pr sente toutes les tapes et tous les points prendre en consid ration lors d une valuation Les directives s articulent sur quatre grands axes la phase de planification l valuation de la qualit de l action et des proc dures l valuation des r sultats et leur communication Chacune de ces parties est pr c d e d une courte introduction suivie de questions Tout terme technique pr c d d une fl che est expliqu plus en d tail dans le glossaire Partie B Exemples Cette section reprend point par point les directives de la partie A S y ajoutent pour chacune d elles des informations g n rales ainsi que des exemples de r ponses
114. te de ce qui a t dit au point 3 1 a Quel tait le plan d valuation des r sultats EMCDDA OEDT 18 b Quels instruments ont ils t utilis s C Comment les donn es ont elles t recueillies par qui quand et dans quelles circonstances d Comment les donn es ont elles t trait es et quelles analyses statistiques ont elles t effectu es 3 3 L chantillon Il convient de donner des informations sur l chantillon utilis pour obtenir les donn es servant l valuation des r sultats Si l chantillon correspond tous ceux qui ont t touch s par l action ou m me au groupe cible reportez vous la description figurant aux points 1 4 et 2 3 Si tel n est pas le cas esquissez les caract ristiques de l chantillon et donnez des d tails sur le processus de recrutement et le niveau de d fection R pondez aux questions suivantes a Comment l chantillon a t il t recrut b Quelles taient les caract ristiques socio d mographiques la taille etc de l chantillon C Jusqu quel point ces caract ristiques sont elles comparables celles de l ensemble du groupe cible d Avez vous t en mesure d identifier ceux que vous avez perdus de vue Quelles taient dans ce cas leurs caract ristiques 3 4 Les r sultats Examinez les r sultats de laction Vous pouvez les pr senter sous forme de tableaux les soumettre une analyse statistique complexe ou plus si
115. uelles vous pensez confier l valuation Pr cisez leur r le interne ou externe l intervention ainsi que leurs qualifications professionnelles et leurs atouts personnels Psychologue assist par un membre de notre quipe L valuation des proc dures sera confi e un valuateur externe Des contacts ont d j t pris avec l Institut de recherche en psychiatrie de l universit locale 1 9 Evaluation des r sultats Pr paration a Est il pr vu d effectuer une valuation des r sultats L encore il suffit de r pondre par oui ou par non Si la r ponse est oui vous fournirez des pr cisions une date ult rieure voir chapitre trois b Quelles sont les ressources disponibles pour effectuer une valuation des r sultats Indiquez si vous disposez des ressources humaines et financi res n cessaires pour effectuer une valuation acceptable des r sultats Les co ts exprim s en temps et en argent sont souvent sous estim s II est conseill de r server de 10 30 des ressources financi res disponibles l valuation des proc dures et des r sultats EMCDDA OEDT 31 L valuation des r sultats sera effectu e par l quipe de recherche de l universit locale participant la r alisation de l intervention c Qui sera charg d effectuer l valuation des r sultats Cette op ration sera soigneusement planifi e Donnez le nom de l organisation ou des personnes auxquel
116. ues Parmi les sujets d battus citons l implication constat e de la classe l int r t qu elle a manifest la r alisation par les enseignants des activit s pr vues et l appr ciation globale de la mise en uvre 1 tr s mauvaise 4 tr s bonne L appr ciation globale de l observateur a t compar e au rapport des enseignants sur la mise en oeuvre g n rale de l action Quels sont les r sultats des mesures de la qualit Cette question capitale permet de tirer parti des r sultats de l action concern e pour des actions ult rieures L valuation des m thodes p dagogiques de la r alisation des objectifs et de l implication des l ves a donn les r sultats suivants pour 8 6 les m thodes d enseignement ont t inefficaces pour 10 4 les objectifs n ont pas t atteints pour 13 4 la participation des l ves a t faible II ressort toutefois de l valuation globale de la qualit que 52 7 des appr ciations ont t excellentes 46 7 ont t bonnes et seulement 0 6 mauvaises 2 6 Discussion des conclusions de l valuation des proc dures a Y a t il concordance entre les plans de l action d une part et sa mise en oeuvre effective et votre valuation d autre part Existe t il des diff rences et si tel est le cas quelles en sont les raisons b Vous r sumerez tous les carts et toutes les divergences constat s au niveau de la mise en oeuvre de l a
117. uivi Au lieu de 20 heures c est 30 heures par semaine qu elle a d consacrer ces activit s ceci pendant une p riode de trois mois 2 3 Retour sur le groupe cible a Combien de personnes ont elles r ellement t touch es par l action Cette question vidente est capitale surtout si vous souhaitez mieux comprendre le rapport entre la pr vision de l action et son r el d roulement 450 l ves ont t contact s b Quelles taient les caract ristiques socio d mographiques des personnes touch es par l action Ces informations sont aussi essentielles que le nombre de personnes touch es La r ponse vous aidera tablir une concordance entre le groupe cible pr vu et le groupe cible r el ainsi qu constater les effets de la s lection Sexe 120 participants 45 de sexe f minin et 75 de sexe masculin Ce qui nous donne une proportion femmes hommes de 1 pour 1 7 Education 10 l ves du primaire 35 l ves du secondaire 75 l ves de coll ge Ecole primaire 10 de participants cole secondaire 90 de participants Revenu annuel des familles touch es lt 10 00 Frs 10 de 10 001 25 000 Frs 60 gt 25 000 Fr 80 Autre information les participants appartiennent une minorit ethnique femmes marocaines C Comment avez vous recueilli ces informations La diversit des m thodes de collecte de donn es provoque des diff rences dans les r
118. yenne se situant 8 76 La dur e moyenne de chaque intervention a vari de moins de 30 minutes plus de 50 la moyenne globale des interventions tant de 40 minutes Les diff rences de dur es ont t dues essentiellement la variation de la dur e des p riodes de cours de 45 55 minutes L ensemble du programme comprenait dix interventions C Dans quelle mesure le groupe cible a t il t effectivement atteint Comparez vos r ponses ce qui avait t initialement pr vu voir 1 4 II s agit l d une question cl m me si une action de pr vention est enti rement effectu e aupr s du groupe cible certains l ments de ce groupe peuvent tr s bien ne pas y avoir t expos s pour cause de maladie et d absences motiv es ou non Au total 1 500 l ves ont particip au programme 85 ont particip aux 12 interventions 93 10 2 5 Qualit de l action de pr vention a Qui vous a fourni les informations sur la qualit de l action Vos sources d informations peuvent tre les participants les intervenants l valuateur un observateur ind pendant ou quiconque a particip aux proc dures de mise en oeuvre Les enseignants et les l ves ont constitu la source d informations sur la qualit des interventions labor es b Quels indicateurs et quels instruments avez vous effectivement utilis s pour valuer la qualit de l action EMCDDA OEDT 37 Les indicat

guide d`evaluation des actions de prevention des toxicomanies

Contents

Download Pdf Manuals

Related Search

Related Contents