L`évaluation en toxicomanie : questions préalables
Contents
1. L objectif de l enqu te commandit e par l Agence nationale pour le D veloppement de l Evaluation M dicale et la DGS est d aider la Direction G n rale de la Sant mieux conna tre l existant en mati re de structures de prise en charge pour toxicomanes et de d gager des pistes de r flexion sur l orientation ult rieure donner au dispositif En 1990 dans le rapport PADIEU propos de l Information statistique sur les drogues et les toxicomanies un chapitre est directement consacr l valuation dans le champ des toxicomanies Il r pertorie les domaines le plus souvent valu s ceux qui ne le sont pas ceux qui le sont en partie De fa on g n rale les voies explor es semblent encore bien modestes A cela plusieurs raisons particuli res suivant le domaine consid r trafic consommation pr vention traitement ou g n rales limites de l exp rimentabilit le manque de r f rentiel et de crit res d appr ciation Toutefois c est l valuation du dispositif de soins parmi l ensemble de la politique socio sanitaire concernant la toxicomanie qui semble tre en voie d exploration avec ses limites ses but es ses contextes particulier et g n ral Plusieurs paradigmes fondamentaux guident les choix m thodologiques dans le domaine des valuations avec au coeur de ceux ci la mani re de mettre en vidence la v rit Les paradigmes logique exp rimentaliste endo syst mique de l expertise du pr t2. En parall le ces pr occupations le remplacement du logiciel de gestion des donn es fut pos et int gr logiquement la r flexion Un outil le mieux adapt possible notre fonctionnement nos possibilit s et comp tences techniques Cet outil d valuation a t d velopp durant le deuxi me semestre 1991 pour tre mis en place au premier janvier 1992 L objectif poursuivi dans la mise en place de ces strat gies d valuation est le recueil d un certain nombre de donn es quantitatives et qualitatives suffisamment fiables pour permettre une pr sentation et une analyse pertinentes des diverses activit s men es dans notre association Ce travail est en premier lieu n cessaire parce que r pondant aux demandes des tutelles des administrations etc Mais c est aussi un moyen de rendre accessible d autres partenaires une part de notre travail Mais et ceci nous importe cet outil va tre le support pour engager un travail interne de r flexion sur la nature de notre travail et les possibilit s de son valuation les donn es autorisant des comparaisons des suivis rep rage des instruments manquants niveaux d interpr tation etc En somme il s agit la fois d une r ponse obligatoire aux exigences des tutelles et d un travail de recherche plus large sur les indicateurs quantifiables qui pourraient introduire une qualification du travail th rapeutique ou d accueil car tout en recourant cette d marche
3. ZINBERG N Drug Set and Setting New Haven Yale University Press 1974 69 P BEAUVERIE et al Pharmacodynamie compar e de la m thadone de la bupr norphine et de la cod ne Ann Med Interne 1994 145 suppl ment n 3 pp 15 18 69 M REISINGER Int r t compar de la bupr norphine et de la m thadone Ann Med Interne 1994 145 suppl ment n 3 pp 23 25 4 M J KREEK Biological correlates of methadone maintenance pharmacotherapy Ann Med Interne 1994 145 suppl ment n 3 PP 9 14 41 V DOLE M NYSWANDER Methadone maintenance treatment A ten year perspective J Am Med Ass 1976 235 pp 2117 9 4 FM BOCKER Methadone an AIDS are methadone maintenance treatment programs apt to prevent HIV infections among intravenous drug users Eur J Psychiatry 1992 6 pp 197 206 6 M AURIACOMEE C P O BRIEN J TIGNOL La bupr norphine dans le traitement de la toxicomanie aux opiac s Ann Med Interne 1994 145 suppl ment n 3 p 27 4 J BERNAT de CELIS Fallait il cr er un d lit d usage illicite de stup fiants CESDIP n 54 1992 241p 65 Notamment sur l efficacit de l injonction th rapeutique Cf par exemple Rapport interm diaire d une recherche action concernant l application de la loi n 70 1320 Strasbourg G A T E 1991 137 p C ALEXANDRE Le r le du magistrat du parquet l injonction th rapeutique In R OTTENHOF R CARIO D linquance et toxicomanie travaux de la jou
4. e de sa n cessit l attente d une strat gie meilleure pour endiguer un mal ajout un autre ne suffisent pas balayer la complexit de la chose Comme le signale A COPPEL le d bat devient la fois hautement id ologique et extr mement technique Le th me de par la diversit et l ampleur des enjeux qu il mobilise la multiplicit des acteurs qu il concerne la disparit des points de vue possibles offre plusieurs mode d entr e Autant dire qu on ne trouvera pas ici de recette pour une valuation Cet article tente seulement de donner au lecteur un apercu de ce qu il concerne les oppositions qu il suscite ceci afin de l clairer sur ses diff rents volets constitutifs pr alablement une investigation compl mentaire dont on ne pourra pas faire l conomie partir des pistes fournies ici Il comporte quatre parties La premi re s efforce d apporter quelques rep res historiques permettant d entrevoir les filiations qui ont pu d terminer ou non l valuation telle qu elle s exerce aujourd hui dans le champ sp cifique de la toxicomanie A partir d une compilation bibliographique la seconde partie commente quelques exemples illustratifs de cette valuation de quoi parle t on Avec quelles notions Quels projets La troisi me relate une exp rience de mise en place d un travail d valuation dans une institution de soins Enfin la derni re partie ordonne les notions fondamentales c
5. se comme les possibilit s de mesure d une efficacit n gative n est pas envisag e par exemple dans le cas o une action d information aurait l effet d une incitation tandis que l on visait une dissuasion MESURE ET EVALUATION C est en ces termes que se sont interrog s les auteurs d un rapport de l O M S visant l laboration de m thodes pour l valuation du traitement et la r habilitation des sujets pharmaco d pendants qui soient appropri s aux pays en d veloppement Les auteurs affirment que Dans certains cas comme celui de l apparition d un nouveau produit cette valuation est exig e par la l gislation mais en r gle g n rale elle parait motiv e par des conditions de rentabilit cette rentabilit tant le r sultat du rapport co t efficacit Ainsi il est n cessaire de prendre en consid ration les objectifs du traitement valuer et les crit res d apr s lesquels on d terminera si ces objectifs ont t r alis s Cette question de l efficacit n cessite donc une op ration de construction dont les auteurs soulignent la complexit s agissant d un spectre allant de l approche th rapeutique aux consid rations politiques abstinence consommations occasionnelles ou pisodiques r duction de la morbidit et de la mortalit Par exemple On peut galement d cider que ne plus ou presque plus prendre de drogues n est pas une preuve suffisante de l efficacit d un traitement e
6. Paris INSEE DGLDT 1990 Tome 2 pp 98 104 05 Concernant le paradigme exp rimentaliste versus le paradigme endo syst mique Cf E MONNIER op cit pp 130 135 9 Rapport Inserm op cit 07 L analyse pid miologique est ainsi un outil pr cieux de la recherche de la construction du savoir en m me temps qu un instrument indispensable au guidage des politiques Sanitaires Mais elle suppose que l on ait observ des objets bien constitu s Elle se voit donc comme la statistique quoi elle s apparente d tre tr s vigilante et exigeante sur la construction des observables ce qui est loin d tre toujours le cas Cf R PADIEU op cit p 92 3 Par exemple dans le Rapport TRAUTMANN op cit 09 Ceci pouvant peut tre expliquer l impression que donne la plupart des rapports officiels Ils apparaissent comme des palimpsestes textes effac s et r crits sans cesse sans que d autres mod lisations du probl me des drogues et des toxicomanies ne soient d velopp es Cette hypoth se n est toutefois pas test e ici ed Cit par E MONIER op cit p 137 e K GRAHAM G A WOO C SMYTHE Guide d valuation illustration de techniques visant am liorer les programmes de traitement de la toxicomanie Fondation de la recherche sur la toxicomanie Toronto 1994 275 p Id p 1 M POLLAK Les homosexuels et le Sida Paris Ed M taili 1988 e3 A ARIF et al La pharmacod pendance m thodes pour l
7. d enqu te on se met en position d en questionner les limites et la pr tention scientifique d une quantification ferm e Le travail du groupe d valuation a en effet produit un d placement de l int r t pour l instrument vers un questionnement sur la production de l instrument C est dans ce d placement que l on passe du domaine du comptage le chiffre comme fin l valuation le chiffre comme question et l instrument comme moyen La production de chiffres change ce moment de statut La question se pose en effet de savoir ce que l on fait telle tant l exigence de l valuation En d autres termes il ne s agit pas de dire les choses en croyant qu elles sont telles que l instrument les montre mais d essayer de les dire telles qu elles sont une forme de bien dire la fois gr ce et au del de l instrument Le groupe de recherche avait aussi de son c t volu dans sa position il s agissait non pas de produire directement des l ments de jugement mais de r fl chir au fondement et la fonction de ce jugement ce que pouvait tre une valuation et surtout quelle valuation qui value quoi pour qui comment etc L enjeu tait de rep rer ce qui motive tel ou tel choix et d int grer dans la d marche d valuation les effets m mes de cette valuation Cela conduisait questionner la place de l valuateur juge externe l action ou int gr l action plac dan
8. de la croissance du champ de comp tence des tats Ceux ci doivent faire face ainsi des questions in dites et cherchent du c t de la science des r ponses que les syst mes politique et administratif du XIX me si cle sont impuissants fournir Traditionnellement les historiens de l valuation des actions publiques consid rent que c est un fran ais Alfred Binet qui a jou dans ce domaine un r le pr curseur En 1904 celui ci se trouve en effet charg par le ministre de l Instruction Publique de mettre au point une m thode permettant de d tecter les enfants anormaux afin de les s parer de leurs cong n res dot s d une intelligence normale et d organiser un enseignement leur intention Mesure des diff rences entre individus affectation d une place dans le syst me scolaire collaboration universit Etat pr mices d une greffe scientifique sur les affaires publiques ont t les caract ristiques de cette premi re m thode d valuation C est aussi dans le domaine ducatif que les premi res valuations de services publics sont effectu es aux Etats Unis En 1912 Starch et Elliot m nent une valuation sur la formation des professeurs de math matiques Il faudra attendre les ann es 30 pour qu une grande tude ait lieu C est en 1932 que Ralph Tyler m ne une valuation destin e v rifier si les l ves ayant suivi un programme moderne d tudes secondaires poursuivent leurs tudes universitaires av
9. de ne pas pouvoir reconna tre dans ce langage standardis notre clinique et notre discours sur la prise en charge des patients ce que pr cis ment nous souhaitions valuer L utilisation d Argile n a donc pas produit les effets escompt s mais a permis l mergence de nouveaux d bats quelles donn es recueillir pour quoi faire comment etc C tait sur fond de pol miques une amorce de discussion pist mologique sur la validit de la mesure les interpr tations autoris es la d formation que suscite l introduction de l outil sur ce qu il pr tend photographier etc Enfin l ann e 1991 fut une p riode charni re pour notre institution nouveaux locaux nouveaux projets nouveaux horaires etc Ce fut aussi l occasion de prendre acte d un int r t croissant pour la mani re de rendre compte de notre activit un certain nombre de personnes ext rieures au travail clinique En 1991 aussi la D G S r solut de mieux conna tre et valuer les centres qu elle g rait et subventionnait Des trois projets examin s par le comit qu elle constitua ce fut le moins ambitieux qui fut retenu celui d une simple enqu te confi e l institut D moscopie Un questionnaire standardis tait rempli par les centres d accueil d abord ult rieurement par les autres types d institutions Cette enqu te permit d tablir un rapport d activit type commun tous les centres fran ais et limit des donn es quantitatives no
10. es Une tentative d valuation de politique au sens ou nous l entendons ici a t faite partir de 1992 mais s est bloqu e Il est tr s difficile que les valuateurs prennent pour objet la politique en g n ral ils se centrent sur la compr hension du ph nom ne toxicomaniaque En fait les finalit s assign es la politique en cause et les valeurs qui les soustendent sont tr s diverses et tr s farouchement d fendues Ce d autant plus que l angoisse que ce ph nom ne provoque dans diverses parties de la population nourrit les pr suppos s irrationnels et les exploitations id ologiques ou politiques Cela se traduit par un for age des actions qui paraissent a priori les plus videntes et par la s lection ou l interpr tation des informations disponibles dans le sens qui confirmerait les pr suppos s Cet archoutement des positions est constitutif de la politique qui se d veloppe de facto Mais sa vigueur m me fait refuser qu il soit analys l objet assign l valuation la politique n y est d s lors consid r que fortement tronqu Les acteurs pour qui et par qui l valuation serait faite s y d robent d s lors qu ils y seraient englob s NOTES R ussite ou chec Des valuations et des r sultats controvers s Dossier m thadone Revue documentaire TOXIBASE 1992 1 pp 1 9 A COPPEL L efficacit des programmes m thadone mesur e par l valuation des exp riences trang r
11. le mouvement de l valuation peut para tre plus tardif son ampleur sera importante et comportera quelques particularit s dans ce qui sera appel le mouvement de rationalisation des choix budg taires RCB qui se d veloppera partir de 1969 La RCB comme analyse de syst me d cisionnel a pr sent un certain nombre d avantages comme nous le sugg re L Sfez syst matisation des op rations identification des objectifs responsabilit du travail coordination analyse des ressources et des besoins Mais la m thode appliqu e par de nombreuses administrations a pr sent de graves d fauts pas de cadre m thodologique pour la recherche en mati re d objectifs Il est consid r le plus souvent que ces objectifs sont pos s hors syst me la remise en cause des fins est quasiment cart e ce sont les co ts possibles d une op ration nonc s par le d cideur qui fixent les limites et d finissent la d cision La RCB s av re finalement une th orie pragmatique qui ne confronte pas v ritablement les objectifs aux fins et surtout aux valeurs qui sous tendent l action Selon R Poinsard un des principaux acteurs de la RCB les tudes ont fini par d ranger car elles ne sont pas neutres Les choix pr conis s dans une tude p sent en effet sur la d cision prendre dans un sens donn nuisible aux int r ts d une ou plusieurs parties prenantes et bien entendu favorable d autres Elle peut donc rep
12. les plus courantes ne d nombrent que des patients et des actes s par ment le nouvel outil constitu permet de classer les patients suivant qu on les a vus une seule fois ou bien deux trois jusqu vingt fois et plus La r v lation de ce nombre a fait v nement D abord parce que le souci l gitime de description devenait un risque le nombre de patients rencontr s fondait la lumi re de celui des venues Mais surtout cette r v lation a provoqu e une r flexion sur les types de patients et la diversit des interventions faites par l ensemble de l quipe Cet v nement a sugg r des investigations suppl mentaires peut on dire qu il y a des types de patients diff rents Peut on formellement les distinguer par des indicateurs et lesquels Peut on classer nos interventions selon ces types Par exemple information orientation prise en charge courte prise en charge longue Mais aussi le nombre de venues peut il rendre compte de la nature d un travail engag et le qualifier en termes d chec ou de r ussite Ces diverses questions malgr les difficult s voqu es ont t renvoy es l ensemble de l quipe Le fait m me qu une telle s rie de questions ait pu tre soulev es et mises au travail n est pas sans effet au del d une activit de comptage L tape suivante consiste rendre le produit de cette dynamique de travail transmissible l ext rieur t che laquelle l valuation com
13. long terme enfin les indicateurs de r alisation des objectifs long terme Dans l exemple d un projet de semaine de sensibilisation aux drogues la r alisation d une campagne m diatique est une des principales composantes l objectif tant de enseigner le public sur l v nement Les r sultats quantitatifs concernent le nombre de messages d int r t public diffus s et le nombre d articles dans la presse les objectifs court terme sont de ensibiliser le public l v nement les indicateurs de r alisation des objectifs long terme sont fournis par le pourcentage de la population qui conna t l existence de la semaine de sensibilisation aux drogues et pour les objectifs long terme La baisse de la consommation d alcool par personne La baisse de la consommation de drogue chez les l ves du secondaire La diminution des probl mes reli s l alcool et aux autres drogues comme la cirrhose du foie et les admissions aux services d urgence attribuables la consommation de drogue L int r t de ce rapport est qu il se situe dans une perspective pragmatique plus que probl matique en proposant une s rie d exemples concrets avec une proc dure syst matique de mise en oeuvre et d valuation Autrement dit on se trouve moins dans la configuration d un discours g n ral de bonne intention omettant de pr ciser les moyens d atteindre des objectifs que dans celui d une pratique effective perm
14. ressources n cessaires que tous les quipes de soins acceptent la confrontation avec d autres Concernant la pr vention le rapport affirme que les nombreux programmes de pr vention ne comportent pas de phase d valuation dans leur conception ce qui emp che d appr cier objectivement les r sultats de l intervention p103 Dans le sous chapitre Pour une pid miologie de la toxicomanie p 126 il est pr cis que l action doit s accomplir dans la coordination de toutes les administrations et associations concern es et doit conduire une valuation continue des m thodes des traitements et du syst me de soins tout entier Un plan pourrait en d terminer les phases d ici 1993 En 1990 dans le rapport TRAUTMANN l valuation est peu soulign e de fa on directe Comme dans le rapport Pelletier c est son ensemble qui se veut valuant Dans sa troisi me partie celle des propositions un sous chapitre intitul l valuation concerne plus particuli rement la pr vention et le dernier chapitre intitul l pid miologie et la recherche indique le d veloppement souhait pour des recherches sur les m thodologies valuatives En 1991 le rapport d moscopie sur l valuation des centres d accueil sp cialis s dans la prise en charge des toxicomanes ne pr sente essentiellement qu une analyse descriptive des centres d accueil et de soins et se situe assez dans la lign e des rapports concernant la politique publique
15. servant de mod le voire de contrainte implicite pour une garantie de cr dibilit Une endo valuation par les pouvoirs publics est elle possible Poser la question peut sembler incongru et n ayant pas vocation d y r pondre nous la laissons ouverte On pourrait simplement dire que de fa on g n rale l endo valuation ne semble pas affili e un seul mod le explicatif qu elle tente de mettre l accent sur les valeurs les acteurs et leurs contextes en les questionnant Pour illustrer notre propos nous proposons deux pistes d investigations pour l valuation La premi re concerne les acteurs dans l valuation la seconde porte sur les valeurs 1 Exemple de questions a propos des acteurs Qui est le sujet valuant Quel est l acteur dont l action est valu e Si ce n est pour lui m me pour qui l est elle Se trouvent alors pos es la question de la d limitation de l acteur individuel collectif institutionnel celle du projet qui fonde l identit de cet acteur celle des crit res de valeur propres l acteur celle de l interpr tation de ces crit res par l valuateur celle du r le de l valuation dans le jeu des acteurs et dans leurs strat gies ou leurs politiques celle du r le de l valuation par rapports aux clients d une institution voire ses clients potentiels 2 Exemple d investigations a propos des valeurs Si on s inspire de la suggestion de M Scriven
16. thadone sont des programmes d action publique il ne faut pas confondre une politique avec un programme public Une politique se mat rialise dans un programme ou plusieurs Alors que celui ci est compl tement d crit par les moyens juridiques mat riels humains et financiers qu il mobilise et agence une politique comporte les modes de d cision le jeu crois des divers acteurs sociaux qui participent la d cision ou s y opposent leurs objectifs et leurs enjeux 2 la valeur Comme le mot l indique valuer c est appr cier ce que vaut ce qu on value On voit souvent confondre une valuation avec une observation ou une enqu te c est dire avec un simple recueil d information Certes pour porter un jugement sur la valeur de quelque chose si l on ne s en tient pas une opinion a priori il faut se renseigner Quelque fois cette recherche d information n est pas ais e diff rents obstacles se pr sentent les donn es ne sont que partiellement accessibles leur signification et leur fiabilit sont mal assur es ou bien elles sont tr s nombreuses et il faut en organiser soigneusement la collecte et la synth se L effort faire pour constituer cette base d information donne le sentiment qu on est ainsi pleinement renseign et que des conclusions s en d gageront d elles m mes Alors on appelle valuation cette collecte et la constitution de r sultats synth tiques diagnostic m dical qualification juridique s
17. L valuation en toxicomanie questions pr alables par Christian Bulart Didier Lahaye Ren Padieu et G rard Ricaux INTRODUCTION L approche de la notion d valuation dans le champ de la toxicomanie pose de nombreuses difficult s sym triques la complexit du ph nom ne auquel elle s applique La notion m me de toxicomanie est l enjeu d oppositions concernant sa d finition oppositions que l on retrouve concernant son traitement qu il soit judiciaire ou th rapeutique Le dispositif de soin pour les toxicomanes en France notamment est marqu par cette diversit des points de vue et des modes d approche qui ont longtemps coexist s dans une compl mentarit jug e n cessaire L apparition du sida a modifi radicalement la donne En outre les notions de risques dangers urgence prennent un poids nouveau et red finissent le probl me Exemple de cette transformation le mod le dominant passe de l abstinence comme fin d un traitement la maintenance comme moyen de diminution du risque de contamination VIH de la criminalit et la d linquance du trafic d am lioration de la sant physique et des possibilit s de r insertion socio professionnelle des toxicomanes Au centre des d bats la question de l efficacit trouve un cho majeur accol e ce qui est cens la mesurer l valuation Projet l gitime dira t on S rement Toutefois la volont unanime d un projet la conviction partag
18. ait celui de l pid miologie descriptive puis analytique Le recours la statistique pr sentait les signes d une objectivation des populations et des pratiques De ce fait l valuation n eut pas dans ce secteur se poser pr alablement la question de ses outils l unanimit tant acquise d embl e l outil statistique Mais du m me coup l valuation se voyait r duite sa seule partie cognitive l enqu te C est sur cette base que naquit au milieu des ann es 80 l id e de pouvoir doter toutes les institutions du secteur d un outil identique pour rendre compte de l effectuation de la t che qui leur incombait Un projet national vit le jour le logiciel d valuation Argile du nom de l association mulhousienne qui en eut l id e pour elle m me L institution de Reims fut sollicit e pour faire partie du comit de pilotage r uni par le Minist re de la Sant afin de statuer sur les modalit s techniques et formelles indispensables L ambition de ce travail se r sumait en deux points l Se mettre d accord sur des items communs propos des populations que les institutions accueillent ou des activit s qu elles d veloppent Activit s dont on sait combien elles sont disparates en France compte tenu de la structure m me du syst me de soins fran ais 2 Par un traitement statistique produire automatiquement et sur un mod le commun un crit re d volution des toxicomanes trait s d cl
19. aitements L aptitude de divers modes de prise en charge des toxicomanes r soudre leur probl me de toxicomanie de leur client le est parfois mise en question Les promoteurs de chaque th rapeutique sont convaincus chacun de cette aptitude Mais peut on la mettre en vidence De nombreuses tentatives ont eu lieu Lert et Fombonne 7 en font une recension qui n aboutit pas des conclusions nettes Ils montrent que diverses conditions techniques n cessaires pour que ces valuations soient conclusives n taient en g n ral pas rassembl es Padieu nonce encore d autres conditions absentes Ces critiques tournent pour la plupart autour de la difficult et peut tre de l impossibilit d isoler les effets des th rapeutiques en cause aussi sur l absence de contr le des objets entrant dans le champ valu quels toxicomanes quels traitements parfois encore sur l ind termination ou l arbitraire des crit res de gu rison et ce lorsque m me les sujets trait s ne sont pas perdus de vue e valuation d une institution Les travaux des signataires du pr sent article sur un centre d accueil particulier ont mis en vidence la pluralit des points de vue tutelle minist rielle pouvoirs publics locaux toxicomanes eux m mes familles gestionnaires du centre th rapeutes somaticiens psychoth rapeutes la n cessit d un enregistrement de donn es les r sistances auxquelles il donne lieu
20. aquelles ils participent ensemble La position de l valuateur par rapport l valuation est dans ces situations complexes une question tr s d licate mais in vitable Il n y a plus externalit de l valuateur D une part l valuation n est pas totalement externalis e puisque les acteurs demeurent valuateurs ou co valuateurs D autre part le tiers l agent d valuation intervient dans le syst me d acteurs m me il peut tre pris voire utilis par ceux ci et son intervention valuative confine parfois une intervention op rationnelle La question par qui est faite l valuation renvoie la question pour qui est elle faite Cette seconde question primordiale est en fait li e l utilisation que l acteur ou les acteurs pourront faire des conclusions de cette valuation Il s agit ici de ce que l on appellera la finalit de l valuation On dit aussi l objectif de l valuation Il ne faut pas confondre la finalit ou objectif de l valuation pourquoi l entreprend on avec la finalit ou objectif de l action ou de l organisme valu que doit il faire Cette derni re finalit les buts de l action ou la mission de l organisme ont voir avec les crit res de valeur voqu s plus haut Il est clair que les conclusions de l valuation ne doivent pas tre pr d termin es dict es par le sens des d cisions que tel ou tel souhaite prendre Mais l valuation doit tre con ue en fo
21. avoir pleinement conscience n induit pas forc ment les conduites adapt es Par cons quent sous la distinction entre long terme et court terme on voit qu il y a une confusion entre l objet mesur l information et les objectifs de l action provoquer une baisse de consommation d une panoplie de produits Plus encore on pourrait pr ciser par quels indicateurs consommation globale baisse dans la quantit brute de produits consomm s sans variation du nombre de consommateurs consommation relative il reste autant de consommateurs mais ils consomment moins etc 3 La notion d efficacit ne re oit pas d attribut comme si on limitait son appr hension en termes d absence ou de pr sence Or de quelle efficacit s agit il c est dire au regard de quoi de quelle vis e Sauf recourir aux objectifs mentionn s qui deviennent ainsi des crit res de valeur Le recours l objectif de pr vention est ici peu clairant puisqu il mobilise rigoureusement les m mes questions veut on emp cher les consommations de drogues intervenir sur leurs causes en modifier les formes et leurs cons quences sociales sanitaires A c t de la question pour qui le programme est efficace on peut placer celle du comment et en quoi est il efficace Encore que la premi re question est quivoque hour qui peut concerner aussi bien les destinataires du programme que leurs commanditaires Signalons enfin sur ce point que l hypoth
22. ble de la personnalit d un dysfonctionnement du syst me familial ces mod les en entra nant des strat gies de traitement diff rentes sugg rent que les indicateurs aptes en mesurer les effets seront n cessairement diff rents ie L pid miologie est un outil utile aux politiques sanitaires mais qu en est il pour une valuation par exemple dans une institution de soin qui poss de un mod le sp cifique de soin A quoi sert il Les concepts et les modes de raisonnement issus originellement du savoir m dical propos des maladies infectieuses ont t transpos s au champ de la toxicomanie en faisant relativement l impasse sur les conditions de possibilit de cette exportation Celle ci se voit pourtant redoubl par le passage de l pid miologie l valuation De fa on rapide on peut dire que l valuation men e par les pouvoirs publics est toujours une allo valuation m me si des pr mices d endo valuation peuvent affleurer ici ou AU l endo valuation endo signifiant en dedans supposant un agent valuateur singulier ou collectif interne au dispositif attenant l objet valuer En tout tat de cause celles ci ne constituent pas pour l instant une voie tr s affirm e Les demandes d valuation adress es par les pouvoirs publics aux institutions de soins sont en quelque sorte l image de l valuation laquelle elles proc dent la discipline pid miologique
23. e probl me est donc pos de mani re peut tre critiquable mais l irr futabilit d une proposition n est pas l enjeu premier d une valuation La d cision prendre le choix dans les priorit s restent entiers EVALUATION PROBLEMES DE METHODE Dans un rapport qui a fait date F LERT et E FOMBONNE dressent un recensement des donn es relatives l valuation des prises en charge en pr sentant les m thodes engag es et les r sultats produits Ce rapport illustre le risque d une valuation absolue consistant comparer les effets de strat gies th rapeutiques diff rentes cure de maintenance la m thadone traitement en communaut th rapeutique traitement ambulatoire sans chimioth rapie substitutive d sintoxication programme am ricain de suivi DARP Drug Abuse Reporting Program L tude laisse en fait appara tre une dissym trie entre les objectifs de d part et les effets pris en compte S il est clair que l objectif d un programme de maintenance diff re sensiblement d une strat gie th rapeutique visant l abstinence cette diff rence pourtant radicale s estompe sous le jeu des indicateurs retenus dans la majorit des enqu tes valuatives En imageant la situation c est comme si l on comparait plusieurs types de v hicule sur une m me configuration d utilisation ind pendamment du cahier des charges adopt par le constructeur On s aper oit ainsi que dans la quasi totalit des cas les indicateurs
24. ec le m me succ s que ceux qui ont suivi un enseignement traditionnel Cette vaste tude durera 8 ans Tyler introduira une distinction entre l valuation et la mesure L valuation est alors con ue comme un processus inscrit dans le temps dans une approche bas e sur la notion d objectifs de r f rence C est la connaissance de ces objectifs qui va guider le choix des variables mesurer et les crit res utilis s Ces trois notions objectifs de r f rence mesure comparative et effets r sultants vont se retrouver dans un grand nombre de travaux et t moignent de la naissance d une rationalit technocratique Cette approche pour dat e qu elle soit semble tre toujours dominante Elle repose pourtant d apr s P Viveret sur trois hypoth ses discutables la croyance en des objectifs clairs alors que les objectifs affich s par des acteurs politiques et plus largement sociaux sont souvent le r sultat de compromis m lant des logiques contradictoires de plus les objectifs officiellement affich s ne sont pas forc ment lesobjectifs r els que poursuit le d cideur la difficult construire des instruments de mesure qui ne peuvent tre dans le domaine de l action publique notamment exclusivement quantitatifs l hypoth se d une relation de causalit directe entre les effets constat s et les programmes publics ou les projets institutionnels alors que ceux ci peuvent tre produits par des facteurs trangers
25. en termes de sant et une focalisation de l valuation sur le syst me de prise en charge via l apport de donn es scientifiques La mise en cause de la sant de personnes jeunes la marginalisation sociale d une partie importante des sujets la d linquance associ e l usage de drogues font de l efficacit du syst me de prise en charge une question fondamentale relevant la fois de l ordre public et de la sant publique Ce double enjeu que l on retrouve pour d autres th mes est ici particuli rement marqu l apport de donn es scientifiques relatives l valuation des prises en charge peut donc apporter aux partenaires du d bat public des l ments d information utiles En 1989 dans le rapport du conseil conomique et social le terme valuation est assez peu utilis par le rapporteur Toutefois sous l appellation valuation m dicale p 82 l efficacit du traitement des toxicomanes est voqu e plus exactement l efficacit compar e de diverses approches th rapeutiques Il est dit que l ensemble des th rapeutes n est pas parvenu accepter les limites pratiques et th oriques contraignantes qui encadrent les valuations sans que soit indiqu e la nature de ces limites Les crit res semblent vains ceux ci notamment celui de gu rison et ils r cusent souvent toute comparaison entre institutions et pratiques diff rentes Cette analyse est reprise p 99 o il est indiqu qu il faudrait avec les
26. es Le journal du sida 46 janvier 1993 p 26 Dans la litt rature consult e de fa on partielle s agissant d valuation g n rale des politiques publiques comme de l valuation dans le champ des toxicomanies E MONNIER Evaluation des pouvoirs publics du projet au bilan Paris Editions Economica CPE 1992 pp 14 20 P VIVERET L valuation des politiques et des actions publiques Paris La documentation fran aise 1989 L SFEZ Critique de la d cision Paris Presses de la Fondation Nationale des Sciences Politiques 1992 Cf E MONNIER op cit M PELLETIER Mission d tude sur l ensemble des probl mes de la drogue Paris La documentation fran aise 1978 Id pp 223 et sq F LERT E FOMBONNE La toxicomanie vers une valuation de ses traitements La documentation fran aise PARIS INSERM 1989 144 p 00 Qui dans ce rapport sont de nature principalement pid miologiques dans la tradition des approches anglo saxonnes 9 E SULLEROT Les probl mes pos s par la drogue Paris J O juin 1989 2 C TRAUTMANN La lutte contre la toxicomanie et le trafic de stup fiants Paris La documentation fran aise 1990 266 p 3 INSTITUT FRANCAIS DE DEMOSCOPIE Evaluation des centres d accueil sp cialis s dans la prise en charge des toxicomanes tude pour l ANDEM Paris Direction G n rale de la Sant 1991 100 p 9 R PADIEU l information statistique sur les drogues et les toxicomanies
27. es en oeuvre puis aux dispositifs de soins et la pr vention Ce qui peut tre lisible au travers de quelques rapports officiels En 1978 il s agissait avant tout pour la Mission d tude sur l ensemble des probl mes de la drogue ici et maintenant de r pondre la demande des pouvoirs publics c est dire valuer pour autant qu on puisse le faire le ph nom ne de la toxicomanie tel qu il se pr sente aujourd hui en France et d appr cier les solutions mises en oeuvre L accent sera mis sur l analyse de l action des pouvoirs publics et ce rapport ne constituera pas une tude d ensemble des aspects psychosociaux de la toxicomanie ni un trait de toxicologie ni un manuel de th rapie des toxicomanes susceptible d aider les praticiens de celle ci Tout au plus rappellera t il sur ces diff rents points les donn es g n rales n cessaires la compr hension du probl me Et dans ce fout au plus on ne trouve gu re la pr occupation d une valuation des th rapeutiques seul le souci du diagnostic clinique appara t D autre part le souhait de proc der des valuations des institutions ou plus largement des activit s n appara t pas Au fond l objet principal qui suscite une valuation est indiqu par l intitul du chapitre IV Le ph nom ne de la drogue en France et son volution un essai d valuation En 1989 dans l introduction du rapport Inserm on peut lire une d finition du ph nom ne
28. ettant de d gager a posteriori des conceptions implicites Or plusieurs r flexions peuvent tre formul es propos de l valuation propos e par ce guide pratique 1 L valuation ne peut tre effectu e que par l exercice d une comparaison par exemple de l occurrence d un fait selon deux programmes diff rents Il s agit donc d une mesure relative qui a cependant l inconv nient de supposer inerte tous les autres v nements autres que l exercice du programme sur la population vis e S il n y a de comparaison que toutes choses gales ailleurs il faut donc ma triser suffisamment la connaissance et la mesure des d terminismes susceptibles de modifier un comportement Concernant le domaine de l usage des drogues ce pr suppos pist mologique semble quelque peu ambitieux 2 Ce qui est mesur est plus la mise en oeuvre de la proc dure que les effets de celle ci C est ce rang que l on peut consid rer l enqu te de satisfaction propos e par ce guide comme un l ment d valuation Mesurer le degr de r tention d informations l int r t rencontr par un message peut rendre compte de la coh rence p dagogique d une prestation ce qui ne saurait se superposer son efficacit au regard d un objectif vis Pourtant tre renseign sur un v nement en l occurrence la drogue et ses effets n est pas la m me chose que ne pas en prendre On peut rappeler ici l vidence selon laquelle tre inform d une menace et en
29. imparfaite Ce constat n gatif en premi re analyse trouve une explication imm diate dans les r sistances que la d marche a rencontr es Mais on doit constater aussi en seconde analyse que les r sistances ainsi sollicit es se sont elles m mes d plac es Ainsi le travail d valuation peut tre valu lui m me soit en r f rence aux cibles successivement brandies mais qui ont pu jouer le r le de leurres soit en r f rence au d placement induit dans l institution Une autre appr ciation peut galement tre port e sur le travail valuatif si l on consid re que le probl me de positionnement que le groupe d valuation s efforce de traiter vis vis de l institution est une r plique du probl me de positionnement de l institution vis vis de son environnement public tutelle client le les difficult s de l un refl tent celles de l autre et donc leur traitement peut tre un levier pour traiter celles ci Cette dialectique produit des effets qui seuls permettent un travail sur l institution elle m me et la production de nouveaux angles de r flexion Ce travail est interne et presque intime pour l quipe Il ne s agit pas ici de d voiler dans une d monstration sans int r t heuristique les arcanes quotidiennes de l exercice Signalons seulement titre d exemple le d bat engag propos du nombre de fois o les patients viennent consulter au centre d accueil Alors que les statistiques
30. in en cinq modalit s possibles positif n gatif en cours inconnu et d c d Comptage lilliputien ou g ant aux pieds d argile Depuis 1977 un bilan d activit annuel faisait tat du travail accompli dans notre institution La forme adopt e tait r solument succincte nombre de personnes accueillies caract ristiques sociales l ensemble n tant que peu comment Jusqu en 1985 ce travail adoptera donc une forme des plus modestes et ne mobilisera qu un ou deux membres de l quipe direction et secr tariat pendant une tr s courte p riode Le recueil des donn es est r alis manuellement sans proc dure clairement d finie ni r flexion p riph rique annonc e En 1986 la forme exp rimentale du logiciel Argile fut introduite dans le centre Ce travail men entre 1986 et 1990 a eu des r percussions institutionnelles mise au point d un nouveau syst me de comptage des patients et des actes th rapeutiques introduction de l outil informatique et des statistiques dans le bilan d activit r alisation et passation de questionnaires aupr s des patients etc Cependant et malgr un travail constant avec les concepteurs l outil propos s est r v l tr s mal adapt lourd dans sa manipulation et trop lointain de nos pr occupations institutionnelles comme de notre forme de travail Le surcro t de travail et l inflation imaginaire sur le mode du Big Brother ont surtout produit une frustration celle
31. it une quatri me valuation de quoi crit res de valeur valuation par qui et donc valuation pour quoi 1 l objet valu Dans le domaine qui nous occupe drogue et toxicomanie une valuation peut par exemple porter sur l tat d un individu une institution centre d accueil une th rapeutique une politique publique On peut cat goriser ceci dans le tableau suivant acteur instrument sujet objet de l action vis e individuelle institution th rapeutique individu cas vis e collective politique programme population On remarque il ne faut pas confondre l objet de l action avec l objet de l valuation Celle ci peut aussi bien porter sur l acteur ou sur ses instruments Souvent lorsqu on parle d valuer une action contre la toxicomanie on se laisse obnubiler par la toxicomanie elle m me au point de la d crire par des tudes de neurobiologie de clinique psychologique d pid miologie et de croire ce faisant qu on fait une valuation une voie th rapeutique peut tre consid r e d un point de vue individuel comme d un point de vue collectif Par exemple l injonction de soins la psychanalyse la substitution la m thadone sont des moyens la disposition de celui qui intervient aupr s d un toxicomane L ensemble des dispositions juridiques organiques et budg taires relatives l injonction th rapeutique ou celles organisant les prescriptions de m
32. itionne des acteurs dans des rapports de l gitimit divers LES QUESTIONS DE L EVALUATION Un Guide d valuation canadien r cent propose une illustration de techniques visant am liorer les programmes de traitement de la toxicomanie la notion renvoyant en fait si l on en juge par les th mes trait s la consommation de drogues mais aussi d alcool ou de m dicaments psychotropes Dans l introduction on peut lire que Pour beaucoup l valuation des programmes consiste d terminer l efficacit des programmes Dans le domaine de la toxicomanie un programme de pr vention est habituellement dit efficace lorsqu on peut d montrer qu il peut pr venir les probl mes reli s l alcool et aux autres drogues et que les personnes qui y participent cessent de consommer ces substances Cependant il est rarement facile d valuer l efficacit r elle d un programme il faut se poser au moins les questions suivantes Arrive t on de meilleurs r sultats en suivant ce programme ou en l absence de programme En suivant un programme diff rent Quels aspects du programme sont efficaces Pour qui le programme est efficace A Concernant la mise en oeuvre le rapport propose d valuer tout projet selon des composantes diff renti es en mentionnant chaque fois leur objectifs les r sultats quantitatifs les objectifs long terme les indicateurs de r alisation des objectifs court terme les objectifs
33. la politique mise en oeuvre Apr s les travaux de Tyler et de ses disciples l valuation des services publics am ricains voit son essor restreint Les chercheurs en sciences sociales ou en sciences politiques ne sont plus convoqu s par les pouvoirs publics ces derniers jouissant d une forte l gitimit Mais un v nement le plus d cisif pour l ensemble des recherches en mati re d valuation selon E Monnier se produit le 4 Septembre 1957 le monde apprend qu un nouveau satellite le Spoutnik a t mis en orbite par les sovi tiques Ce qui met un terme provisoire la supr matie technologique am ricaine Le syst me ducatif ayant t tenu pour le principal responsable du retard scientifique am ricain toute une s rie de programmes d am lioration de la formation scolaire des enfants am ricains accompagn s de programmes d valuations destin s en mesurer les effets voit le jour De fa on g n rale la l gitimit de l efficacit de l administration am ricaine est remise en cause Le domaine de l enseignement mais aussi les agences de service social et de sant d veloppent un grand nombre d valuations Le mod le Tyler largement repris ainsi que le d veloppement des connaissances statistiques augmentent la technicit des m thodes d valuation Si en ce domaine une comparaison entre pays para t possible la crise de l gitimit de l Etat fut en France plus tardive 1962 1968 Pour ce pays m me si
34. le s il s agit d valuer l tat ou le comportement d un toxicomane nous devons tre au clair sur ce qui constiturait son tat normal ou satisfaisant sur ce que nous regrettons dans sa toxicomanie qu elle ali ne sa personnalit qu elle soit un trouble pour son entourage qu elle l expose des accidents ou des maladies De m me s il s agit d valuer une th rapeutique nous devons savoir si en l appliquant nous visons conf rer au toxicomane une qualit de vie ou le d barrasser de sa d pendance etc De m me encore lorsque nous valuons une institution portons nous int r t au non d tournement de ses ressources son efficacit mesur e au co t moyen d une prestation ou d un traitement son efficience c est dire son aptitude faire cesser la toxicomanie de ses patients ou les maintenir dans une forme de toxicomanie non pr judiciable Et ainsi de suite Sur ces exemples on voit l importance d avoir explicit ce qui fait valeur non seulement afin de justifier que le jugement se fonde sur l information recueillie mais auparavant parce que l on ne recueillera pas la m me information selon pr cis ment les crit res qui font valeur De plus lorsque l objet valu est collectif une institution a fortiori une politique lorsque diverses personnes ou institutions sont concern es des titres divers prescripteur intervenant toxicomane entourage elles n ont en g n ral pa
35. le caract re ambigu ou r ducteur de ces donn es la fonction d s lors d un tel recueil non tant pour tablir une v rit inconstestable mais pour mobiliser la r flexion de chaque cat gorie d acteur sur sa propre action ainsi que sur la relativit des divers points de vue Cette mobilisation se fait la fois avant le recueil lorsqu on le d cide et le d finit et lorsqu on traite les r sistances qu il sollicite et apr s recueil et traitement des donn es lorsque les r sultats invitent un retour sur la fa on dont chacun construit sa position e valuation de la politique Malgr des tentatives on ne peut pas dire que la politique de lutte contre la drogue et la toxicomanie ait jamais donn lieu valuation Quelques rapports d ensemble Pelletier 1979 Trautmann 1989 Henrion 1995 ont d crit les instruments de cette politique ont repris certaines informations disponibles et ont donn des avis souvent en refl tant les divers choix thiques possibles Une multitude d autres tudes et rapports de champ plus limit ont t produits comptes rendus administratifs statistiques pid miologiques analyses cliniques neurobiologiques ou sociologiques etc Rien de tout cela ne constitue m me sur des objets restreints une valuation l objet valu n est pas toujours clairement circonscrit les crit res de jugement sont souvent implicites les finalit s de ces tudes ne sont le plus souvent pas indiqu
36. me processus peut conduire Amorc e par ce groupe de travail la d marche d valuation a pris en compte ses effets sur l quipe en termes de r actions r sistances ou int r ts que pouvaient provoquer les questions pos es par les r sultats chiffr s ou non du travail du groupe de recherche Alors qu une enqu te tente d liminer ou de contr ler les variables parasites la d marche d valuation elle les prend en compte au m me titre que toute autre donn e L enqu te d crit le travail l valuation y participe Plus qu une technique il s agit donc d une posture qui ne peut tre envisag e que concernant une institution dans son ensemble L valuation ainsi envisag e permet de d passer la production d un savoir qui serait circonscrit par les cueils li s la nature m me de la population accueillie On pourra prendre en compte les effets de r troaction et envisager la prise en charge d un patient sur un continuum en pr cisant quelle place et avec quels effets une institution est intervenue quel moment Du pr t porter on passe la confection sur mesure c est dire la cr ation L valuation ne peut pas tre standardis e du fait qu elle porte n cessairement la marque toujours singuli re de l valuateur et de l institution qu elle concerne L EVALUATION QUELQUES ELEMENTS DE FORMALISATION Parler d valuation appelle trois pr cisions dont la troisi me condu
37. n comment es Le promoteur d Argile avait donc renonc son projet pour lui pr f rer une standardisation minimum donc r alisable Restait pos e la question de l utilisation de cette compilation de chiffres puisque dire combien ne dit jamais comment et pourquoi L EVALUATION AUTOUR D UN GROUPE DE RECHERCHE Le Centre d accueil de Reims abandonne donc aussi le logiciel alsacien D cision est alors prise de reprendre la question de l valuation dans son ensemble l chelle de notre association avec ce projet de faire autrement autre chose qu un bilan Le lancement d une campagne d information visant faire conna tre le plus largement possible notre institution au plan r gional fut motif une r flexion et un groupe de recherche se constitua L action valuer tait inscrite dans une strat gie de l institution se faire mieux conna tre des partenaires et faciliter ainsi l acc s aux soins pour le plus grand nombre de consommateurs dans la ville et ses entours La question de l valuation de la campagne entra na logiquement des questions cliniques Il s agissait de savoir qui venait au centre dans la suite de la campagne de se demander si ces patients taient les m mes que ceux qui fr quentaient le centre pr alablement mais aussi de pouvoir tudier leur demande les r ponses qui pouvaient leur tre faites Tr s vite la question des ad quations entre demande et r ponse fut pos e
38. n encontre ou son profit cas du th rapeute envers son patient de l autorit hi rarchique sur un service de la tutelle ou de l organisme qui subventionne un centre d accueil A l inverse il y a jugement galement externe de l assujetti envers l intervenant ou l autorit dont il est tributaire le patient juge son th rapeute une structure d accueil est jug e par ses clients actuels ou potentiels en cons quence ils y recourent ou s en abstiennent De m me il est in vitable que l organisme subventionn ait une appr ciation sur sa tutelle Enfin il advient que le jugement externe soit d l gu un tiers suppos plus comp tent ou mieux plac pour recueillir l information n cessaire et plus neutre pour former un jugement objectif sans tre influenc par les pr f rences ou les a priori de son mandant Dans ce cas de tierce valuation il est vident que l valuateur ne doit pas porter un jugement pour lui m me c est dire selon son propre syst me de valeurs Il doit tel un juge qui tablit son jugement en r f rence une loi dont il n est pas l auteur s enqu rir de ce qui fait valeur pour celui pour qui il intervient Mais il peut aussi lui tre demand de se r f rer aux valeurs d autres personnes que celles de celui qui le mandate c est qu alors ce dernier reconna t des valeurs diff rentes des siennes Par exemple un th rapeute peut soigner son patient non pas en vue de ce qu il estime lui souhai
39. nction des d cisions qu elle doit clairer la m me information ni les m mes crit res de valeur ne seront pas mobilis s selon qu il est envisageable d interrompre une action de suprimer un organisme de le d velopper au contraire ou bien d en r orienter les buts ou encore d en modifier l organisation pour en accro tre l efficacit En r sum une valuation est une op ration qui sur la base d une information et en r f rence aux crit res de valeur d un ou plusieurs acteurs conduit un jugement sur une action une proc dure une personne ou un organisme et qui oriente les d cisions des acteurs en question Elle comporte en g n ral une collecte d information mais ne s identifie pas celle ci enqu te Ce sur quoi elle porte son objet doit tre pr cis ment d fini et circonscrit champ de l valuation Elle comporte souvent la recherche des crit res de valeur qui ne sont pas toujours explicites et qui sont parfois contradictoires d une partie prenante l autre Ces crit res inspirent le jugement sur les finalit s de l action valu e et sur ses r sultats Enfin la finalit propre de l valuation est ayant amen lesdites parties prenantes former un jugement de leur permettre soit d ajuster leurs crit res de valeur soit de modifier plus ou moins profond ment l action en cause ou l organisation par laquelle elle est men e Trois observations sur des valuations particuli res e valuation des tr
40. nts n cessitant des objectifs diff rents de l abstinence la maintenance non justiciable d un traitement uniforme de la psychanalyse l orthop die comportementale er En commen ant par baliser les niveaux de cette diversit des projets certes mais aussi de leur moment d intervention sur la trajectoire des consommateurs de leur mode d intervention partenarial ou total et enfin de leur client le On pourrait ainsi discuter l hypoth se selon laquelle tous les consommateurs 1 ne suivent pas le m me parcours 2 disposent de supports sociaux diff rents tant pour alimenter leur consommation que pour g rer la d pendance revenus milieu social d appartenance r seau d amis etc 3 connaissent des degr s d exposition divers du point de vue de la stigmatisation et la p nalisation de leur pratique 4 pour finalement int grer les institutions de soins officielles dans des strat gies radicalement diff rentes du point de vue des b n fices attendus Cette approche permettrait d int grer deux choses qu une valuation absolue et globalisante gomme de fa on pr judiciable au rendu de la r alit 1 Le fait qu il existe des consommateurs invisibles par d finition non d nombrables et difficilement accessibles qui parviennent g rer leur pratique clandestine et retrouver une abstinence sans tre rep r s comme tels c est dire sans tre signal s par les services r pressifs et sans le recour
41. oire ou encore le paradigme d mographique constituent cette taxinomie On peut dire que l valuation manant du champ politique quant au champ des toxicomanies s apparente aux paradigmes exp rimentaliste et de l expertise Ce qui appelle deux remarques que cette valuation est une allo valuation allo venant du grec allos ce qui signifie autre c est dire que la place de l valuateur est comparable celle d un juge ext rieur au champ de l observation consid r on peut d ailleurs observer que souvent l valuateur est ext rieur au dispositif qu il est cens valuer que l pid miologie est la discipline de r f rence de cette allo valuation LA PLACE DE L EPIDEMIOLOGIE Il est frappant d observer dans la majorit des documents consult s la place pr pond rante occup e par l pid miologie dont il convient de rappeler qu elle est une technique labor e et d velopp e avec succ s dans le champ m dical Toutefois le mod le de l pid miologie ne s accorde pas toutes les vis es valuatives dans le champ de la toxicomanie comme en t moigne cette r flexion Le mod le explicatif choisi par tel ou tel auteur n est pas sans influencer l approche th rapeutique choisie et r ciproquement de m me que les crit res d finis pour en valuer les r sultats En effet si l on consid re que la toxicomanie rel ve surtout d un trouble biologique ou m tabolique d un trou
42. on peut dire que les valeurs peuvent tre rapport es quatre syst mes diff rents pour chacun des acteurs sociaux ou chacune des institutions Ces valeurs contextuelles sont les valeurs affich es celles nonc es par la rh torique officielle autrement dit celles que revendique l institution les valeurs de fait celles qui peuvent se d gager partir d un examen attentif des pratiques de l institution les int r ts imm diats poursuivis par l institution l id al qui comprend les valeurs normatives auxquelles l institution est suppos e souscrire Ces deux exemples sont bien videmment partiels et restent un grand niveau de g n ralit On trouvera plus loin un d veloppement de ces questions LES PRATIQUES EVALUATIVES ENJEUX ET PROBLEMES Cette partie ne saurait pr tendre un examen exhaustif de la litt rature abondante sur le sujet de l valuation On est plut t parti de l objectif consistant proposer au lecteur un premier d coupage th matique des diff rents volets qu il convenait de distinguer l int rieur de la cat gorie g n rique de l valuation Ce d coupage distingue trois grands chapitres l valuation du point de vue de son objet que veut on valuer du point de vue de sa m thode qualitative ou qualitative enfin du point de vue de son acteur qui value Il est vident que ces trois volets sont intrins quement li s puisqu un objet implique des m thodes et pos
43. onvoqu es souvent dans la confusion propos de l valuation Psychanalyste CAST de Reims di Psychologue clinicien sociologue CAST de Reims FIA Statisticien Inspection g n rale de l INSEE Paris Fe Sociologue CAST de Reims EVALUATION ET POUVOIRS PUBLICS 2 2 2 3 2 pote L valuation figure dans de nombreux nonc s comme une pr occupation Ses d finitions et ses conceptions ont subi des r ajustements Ce concept revendiqu correspond des constructions successives et n est compr hensible qu au travers de son histoire Ces constructions d terminent en partie et influencent peu ou prou les valuations actuelles Ainsi nous proposons un rep rage historique allant de la volont de l valuation manant du champ du politique au r le de l pid miologie dans l valuation s agissant du champ des toxicomanies EVALUATION ET POUVOIRS PUBLICS REPERAGES HISTORIQUES Depuis une vingtaine d ann es le mot valuation a connu un regain d int r t Mais ce terme peut aussi bien recouvrir des domaines diff rents expertise contr le audit ainsi que des modalit s diff rentes mesure tude enqu te voire sondage d opinion et enqu tes de satisfaction etc D apr s P Viveret et E Monnier les premi res commandes d valuation par des pouvoirs publics portent au d but du si cle sur une recherche d efficacit des syst mes ducatifs Il s agit en effet d un secteur par essence symbolique
44. pr tend pas tre exemplaire bien au contraire il s agit de montrer la difficult de l exercice qui ne saurait se r duire l application d une proc dure au moins pour deux raisons la premi re concerne la prise en compte n cessaire des diverses contraintes externes et internes qui se croisent pour la mise en place du projet la seconde s illustre par ce qui a t expos pr c demment et qui d finit l valuation comme autre chose que l application d un outil universel avec son mode d emploi Il s agit d une d marche volutive complexe dans ses pr alables op ration de d finition son exercice et ses effets la diversit des interactions dont on ne voit pas n cessairement la fin m me s il convient d en percevoir la finalit Autant dire qu il y aurait mati re une monographie que le cadre de cette pr sentation ne permet pas Dans un premier temps il est apparu utile de retracer la position de d part de l institution compte tenu de son histoire son projet ses habitus pour ensuite exposer plus pratiquement les modalit s par lesquelles ce travail d valuation a pu se mettre en place POSITION DE DEPART Le fantasme du pr t porter Pendant longtemps et ce n est sans doute pas termin la question de l valuation en toxicomanie semble s tre limit e l observation des patients et aux interrogations sur l efficacit respective des divers traitements propos s Le mod le qui s offrait t
45. r senter une menace et d clenche toujours plus ou moins des parades d fensives des contre tudes une contestation de la validit des informations et des logiques employ es un refus de communiquer des renseignements une participation un groupe de travail en vue de le contr ler Quel que soit son niveau politique publique activit s institutionnelles etc les acteurs de l valuation sont souvent d finis en terme d valu s plut t que d valuants tant donn leur non participation la d finition des crit res ou la n gociation sur celle ci ce qui peut engendrer quelques strat gies de r sistance EVALUATION ET TOXICOMANIE REPERAGES HISTORIQUES La notion d valuation est en fait apparue il y a une cinquantaine d ann es en m me temps que les m thodes propres aux sciences sociales appliqu es Mais elle n a connu un v ritable succ s en France qu partir des ann es 60 Les administratifs et les politiques d siraient valuer les r sultats obtenus par l investissement de sommes tr s importantes consacr es aux programmes sociaux C est partir des ann es 70 que le souci d valuation appara tra dans le domaine sanitaire et social fran ais Le souci sera un peu plus tardif s agissant du domaine des actions de soins et de pr vention concernant la toxicomanie Les volont s d valuation et les objets valuer dans le champ des consommations des drogues ont vari du ph nom ne aux solutions mis
46. retenus pour parler d volution sont l usage d opiac s et autres drogues l incidence de la criminalit et du trafic de stup fiants l emploi la situation familiale Autant dire que le r sultat de l valuation ressort moins d une efficacit quelconque des programmes consid r s que des crit res retenus pour l atteindre Il est vident que la standardisation d indicateurs est un objectif difficile dans un champ d intervention marqu par la diversit des institutions de leur projet m thodes et moyens Il est clair que les promoteurs des diverses strat gies visent en fait des objectifs diff rents implicites ou explicites Les consid rer tous ensemble sans expliciter leurs objectifs respectifs rel ve d une confusion Il reste que l on peut valuer les diverses m thodes l gard d un m me objectif Par exemple l abstinence la pr valence du V I H les conduites d linquantes etc Il n y a pas d impossibilit logique mais on verrait alors les partisans des diff rentes m thodes s opposer selon que telle ou telle m thode int gre ou non sa propre vis e c est dire le ou les objectifs que lui m me poursuit et qui justifie son choix quant la m thode On pourrait ainsi proposer que l valuation prenne pour objet cette diversit plut t que de la niveler par des artefacts m thodologiques Cette diversit pouvant tre une valeur en l occurrence l aptitude du syst me satisfaire des demandeurs diff re
47. rn e r gionale de criminologie de Bordeaux Association r gionale de criminologie d Aquitaine 9 oct 1987 pp 11 20 Toulouse Er s 1991 68 on devrait viter l expression objet de l valuation car certains d signent ainsi l objet valu voir plus haut tandis que d autres d signent par ce terme l objectif de l valuation D autres encore plus nombreux peut tre d signent m me par objet de l valuation ce qui n est que l objectif de la collecte d information sur laquelle l valuation se fonde ra ils disent l objet de cet valuation est de savoir quels sont les effets de telle action 47 r f rence Inserm 4 r f rence Documentation Fran aise 69 r f rence CESDIP ERRATUM Quelques erreurs rectifier dans le dossier de la revue documentaire sur les enfants de parents de toxicomanes par T r sa Esquivel 1994 n 4 4 me trimestre page 1 4 me paragraphe Les tudes en langue fran aise prennent en compte le fonctionnement psychique des sujets et l histoire familiale et non pas des effets page 3 et page 9 SAINTE FARE GARNOT et GEADAH R R 1986 deux noms d auteurs page 3 3 me paragraphe la grossesse est d abord un moyen de v rifier l int grit et le bon fonctionnement de son corps et non pas l int gralit page 3 4 me paragraphe La reconnaissance tardive de la grossesse et non pas renaissance page 8 6 me paragraphe Mais la situation est aussi
48. s des formes de soins institutionnalis es On retrouve ici le probl me des groupes t moins consid r s comme talon pour la mesure des effets des traitements sp cialis s En poussant le paradigme l absurde on pourrait se demander si les institutions de soins n ont pas un effet n faste puisque du point de vue de l abstinence elles obtiennent des taux de r ussite inf rieurs au groupe des consommateurs sortant de leur toxicomanie par leurs propres moyens 2 Le fait que les traitements n interviennent qu au sein d un spectre de supports disponibles pour traiter la pharmacod pendance Le choix permettant de privil gier telle forme de support ou d en associer plusieurs est socialement d termin comme le montre la recherche effectu e par l quipe de R CASTEL On pourrait aussi s interroger sur la pertinence de l opposition entre toxicomanie et abstinence du point de vue de la d pendance Des auteurs ont montr que la consommation de drogue n excluait pas n cessairement des formes de gestion de la d pendance certes plus ou moins formalis es et efficaces Au total on pourrait consid rer le traitement comme l entrecroisement de deux postures celles de l intervenant et celle du patient avec chacun sa propre strat gie La premi re difficult de l valuation pour ne pas dire la principale consiste donc d limiter un objet On en a discut la n cessit concernant les traitements du point de
49. s les m mes valeurs Ce qui est souhaitable pour l une sera n gligeable voire n gatif pour une autre On a donc un syst me d acteurs imbriqu s porteurs d un syst me de valeurs Les valeurs en pr sence ne sont pas forc ment compatibles De sorte que l on risque des jugements contradictoires partir d une m me situation L valuation a prendre en compte cette pluralit cette complexit Par exemple dans l valuation de la politique de lutte contre la drogue on a consid rer la valeur attach e la sant celle attach e la libert individuelle celle attach e l ordre public etc Ce qui fait tout l int r t de l valuation telle qu on essaie de la promouvoir depuis quelques ann es c est justement que prenant en compte les contradictions inh rentes aux syt mes d acteurs elle permet de d passer les blocages o les actions conduites s anihilent o les politiques sont l vidence inefficaces alors m me que ceux qui y concourent sont comp tents et diligents 3 l valuateur Qui value qui recueille les informations pertinentes et porte le jugement recherch Ce peut tre le sujet lui m me endo valuation ou un tiers allo valuation Un toxicomane peut valuer son propre tat une institution de soins peut valuer son propre fonctionnement et son efficacit Le jugement externe lui peut tre le fait d une personne ou institution qui intervient sur la personne ou l acteur valu so
50. s un champ inter jugement C est ici m me qu une dialectique a pu s instaurer entre le groupe de recherche et l quipe Le groupe a pu proposer l quipe des probl mes diff remment formalis s et recueillir ses r actions tant sur les questions pos es que sur la d marche d valuation en elle m me C est en cette dialectique que consiste la production de l valuation articul e sur deux axes une r flexion sur la place de l valuateur sur son mandat et sur ses m thodes une reprise en compte de l valuation par l quipe toute enti re A ce point de l exp rience il ne faudrait pas donner l impression que ce double changement de perspective s est accompli que toute une quipe soit prise dans une d marche volontaire d valuation Au contraire des objectifs imm diats que pouvait se donner le groupe d valuation ne se sont pas concr tis s l offre fait l quipe th rapeutique d illustrer et donc de d passer la production chiffr e n a pas t saisie l adoption progressive d une attitude valuative par l ensemble de l institution notamment gr ce la cooptation de certains membres de l quipe dans le groupe de recherche ne s est pas faite l association de la direction l valuation de sa propre strat gie n a pas pu se d partir d une d l gation donn e au groupe m me la formalisation en son sein des acquis du groupe en vue d une transmission est rest e
51. t affirmer qu il doit y avoir une am lioration au niveau d effets indirects tels que la situation professionnelle la d linquance ou les relations interpersonnelles On voit ici la pluralit des lectures possibles pour une d finition de l efficacit qui recouvre en fait la diversit des objectifs des diff rents traitements de la toxicomanie A la diff rence d un bilan dont il est peut tre une tape pr alable et constitutive le r sultat d une valuation ne fait que donner des l ments permettant parfois une aide la d cision qu elle ne saurait dicter On en trouve un exemple dans les conclusions du jury r uni suite la conf rence inter universitaire de Chatenay Malabry sur les traitements de substitution Le moment ad quat pour la mise en place de telles th rapeutiques substitutives ne peut tre d fini au vu des donn es disponibles L avantage th orique d une intervention pr coce serait d viter un long v cu de morbidit toxicomaniaque L inconv nient serait d hypoth quer trop t t l espoir d une vie sans addiction On voit ici que le probl me pos par cette valuation est celui de l institutionnalisation de la toxicomanie comme traitement aux probl mes pos s par les toxicomanes marginalit d linquance probl mes sanitaires constitution d conomies souterraines troubles de l ordre public sachant que a substitution ne gu rit pas la toxicomanie mais elle traite le toxicomane L
52. table mais afin que le patient lui m me se d clare satisfait Dans les situations complexes qui ont t voqu es plus haut lorsqu une pluralit d acteurs de personnes d institutions sont porteurs de valeurs diff rentes il a t dit qu il est difficile d obtenir une explicitation de ce syst me de valeurs L valuation par les diverses partie est alors tr s difficile Dans ce cas une valuation organis e telle que nous la d crivons est un moyen de sortir d embarras Et il est tout particuli rement indiqu de recourir un tiers qui aide reconna tre les enjeux et valeurs et en d brouiller l cheveau Mais on constate aussi que ces valeurs et enjeux peuvent rarement tre suffisamment explicit s pour que le jugement soit compl tement d l gu ce tiers Les valuateurs restent les divers acteurs eux m mes dans le r seau de leurs interactions et contradictions Le tiers en question est parfois appel dans ces conditions agent d valuation plut t qu valuateur pour marquer qu il n value pas par lui m me mais qu il assiste les diff rents acteurs afin qu ils forment par eux m mes des jugements pertinents La neutralit dudit tiers change un peu de statut il ne se contente pas d tre respectueux des crit res de valeur qu il constate il doit avoir aussi une conduite d ontologique o il prot ge mutuellement les acteurs de d voilements ill gitimes l occasion d une op ration valuative l
53. tatistique etc Or l valuation est en fait l op ration qui suit le constat et la synth se d information l valuation est le fait de porter un jugement partir de cette information Porter un jugement c est dire quelle valeur s attache l objet consid r Il faut donc savoir ce qui est bien ou mal Dans la vie courante on porte de tels jugements sur ce que nous avons fait sur les gens ou les situations qui nous entourent sur l effet probable de ce que nous ferons On peut donc dire que l valuation est la chose la plus banale Ce que l on entend sp cialement lorsqu on parle express ment d valuation c est au dela de ce comportement banal et constant une recherche organis e syst matis e de la valeur de l objet en cause Il s agit donc d une d marche explicite o l on dit pourquoi ce qu on value est satisfaisant ou non et donc d abord quels sont les crit res du bien et du mal Que le jugement valuatif fasse partie de la vie courante fait que nous n explicitons en g n ral pas les valeurs auxquelles nous nous r f rons Les jugements port s autant dans la vie priv e que dans l ordre professionnel ou politique sont directement nonc s Nous n prouvons que rarement le besoin de dire quelles sont les fins que nous poursuivons les id aux que nous r v rons La d marche explicite d valuation telle qu elle est envisag e ici suppose donc que en pr alable nous explicitions nos valeurs Par exemp
54. tr s dramatique pour les enfants non contamin s et non pas contamin s page 9 2 me paragraphe Remarquons que l infection VIH reste parfois asymptomatique et non pas symptomatique
55. valuation du traitement et de la r habilitation Gen ve OMS n 98 1990 65 p 6 Id p 3 e p 11 en p 11 e8 Int r ts et limites des traitements de substitution dans la prise en charge des toxicomanes Conf rence inter universitaire sous la pr sidence du Pr Boyan CHRISTOFOROV avec le concours de la DGLDT Chatenay Malabry juin 1994 Pour les expos s Cf Ann Med Interne 1994 145 suppl ment n 3 104 p ed Id p 103 6 E FOMBONNE F LERT La toxicomanie vers une valuation de ses traitements Paris INSERM La Documentation Fran aise 1989 144 p 61 Id pp 70 71 63 D LAHAYE G MAUGER Traitements des toxicomanies g n alogie et inventaire D G S I R S Reims 1990 72 p 69 Pour ne prendre que l exemple du dispositif avec h bergement Cf Analyse de l activit du dispositif national de soins avec h bergement pour toxicomane DGS Ao t 1992 64 ce propos on peut se demander si l mergence du Sida n a pas provoqu une polarisation des pratiques autour de ce probl me rel guant quelque peu l arri re plan la n cessit pourtant pr alablement revendiqu de la diversit On serait ainsi pass d un syst me de pratiques compl mentaires celui de pratiques concurentielles 65 WALDORF D Natural Recovery from Opiate Addiction Journal of Drug Issues 2 1983 69 R CASTEL sous la direction de Les sorties de la toxicomanie types trajectoires tonalit s Paris GRASS MIRE 1992 303 p 8
56. vue des institutions de soins traitements dont l intelligibilit est remise en cause par une approche globalisante qui voudrait quantifier l efficacit d un dispositif sans en discuter pr alablement les l ments constitutifs et la pluralit des objectifs Ainsi par exemple on pourrait probl matiser l valuation d un traitement pharmacologique L valuation de l efficacit de la d livrance d un traitement de substitution par un produit quelconque consiste principalement d crire ses propri t s pharmacologiques effets morphinomim tiques sympt me de sevrage dur e d action acceptabilit pour les comparer deux gammes de produits d abord la panoplie des drogues disponibles sur le march clandestin h ro ne morphine etc ensuite d autres mol cules 69 Un autre volet consiste tudier les effets de ce traitement compte tenu des objectifs encourus la diminution des risques associ s la fiabilit des modifications de comportement dans le temps la pr vention de l infection au VIH ses possibilit s d application Etc La m me n cessit s impose quelque soit le volet du traitement social des toxicomanies que l on souhaite aborder En particulier l ensemble ou une partie des dispositions juridiques UNE EXPERIENCE D EVALUATION AU CAST DE REIMS 1977 1995 Cette partie relate succinctement une exp rience d valuation l chelle d une institution de soin Exemple elle ne
Download Pdf Manuals
Related Search