Home

QUEL TABLEAU DE BORD POUR LA BPI ? L`évaluation au

Contents

1. 64 ILLIEN Gildas DCB11 M moire d tude 2003 5 2 3 1 valuation r seau d concentration la Ville de Paris 65 2 3 2 valuation et management strat gique l exemple de la BnF 70 3 SYNTH SE POINTS DE VIGILANCE ET CADRE DE R F RENCE POUR LA MISE EN UVRE D UN TABLEAU DE BORD 2 nan et tnt taste ous 82 3 1 La dimension DONS sn land AR nt nr ee 82 3 2 La dimension humaines essndenraismstiaentesmmnnteesal esiensatel 84 3 3 La dimension LCR R RNA nr 86 3 4 La dimension conomique es Ne ann de 89 PARTIE 2 PROBL MATIQUE DE L VALUATION LA BPI 92 le LADEMARCHE SUIVIE anne ai e nan SAME a E ant otre 95 1 1 Cheminement des hypoth ses nnooooeeesessonsnnnnnresssssseneerseresssrereereene 95 1 2 M thode d investigation et identification des enjeux 96 1 2 1 D finition des objectifs et p rim tre de l tude 96 1 2 2 A alysede esta et D needs 99 1 2 3 Analyse externe eena a a 101 1 2 4 Pr sentation et validation des pr conisations 102 2 R SULTATS DE L ANALYSE DE L EXISTANT PROBL MATIQUE G N RALE DE L VALUATION A LA BPI nas ner ads e tds E AE E 103 2 1 Une marge de man uvre politique troite mais r elle 103 DL Eia deslieurar i dan Re et 103 2 122 Obstacles des missions impr cises une repr sentation galitariste d s publi es are nn a nl dd relais 108 2 1 3 Atouts une volont politique forte associ
2. Mettre en sc ne une offre documentaire lectronique est une chose V rifier l usage que le public en fait ou n en fait pas en est une autre tout aussi importante vrai dire la plupart des biblioth ques prouvent quelques difficult s pour mesurer pr cis ment le succ s de leur offre num rique Les outils quantitatifs s av rent d cevants pour saisir des pratiques encore minoritaires En fait ce que les biblioth caires per oivent en premier lieu ce sont les d tournements de l offre La concurrence de Google et plus largement d Internet se fait sentir la simplicit d utilisation des m ta moteurs les personnels de la BPI sont les premiers opposer l architecture relativement complexe de la F d ration des ressources de la BPI accessible depuis les postes informatiques La sectorisation des ressources lectroniques semble compliquer l orientation des lecteurs bien qu elle corresponde un parti pris politique d int gration des ressources lectroniques l ensemble des collections La diff renciation des supports et des th mes et leur pr sentation l cran n est pas comprise par di EVANS Christophe GAUDET Fran oise Coord Babel ou le choix du caviste la biblioth que l heure du num rique Colloque virtuel text e 14 janvier 2002 lt http www text e org conf index cfm fa printable amp ConfText_ID 17 gt consult le 01 01 2003
3. Annexes 13 Pourcentage des sessions B 1 3 4 Rapport technique rejet es Taux de refus 14 Taux de disponibilit des B 2 9 4 ISO 11620 syst mes informatis s Consultation des documents 15 Taux de consultation par relev s par douchette via secteur th me code sujet ou Best Seller Mmediaview cote CDU rapport au total des consultations documents imprim s et lectroniques 16 Part des ouvrages en fran ais Best Seller dans les collections 17 Part de la consultation des relev s par douchette via ouvrages en fran ais Best Seller Mmediaview 18 ge moyen des collections Best Seller 19 ge moyen des collections Relev s par douchette via consult es Best Seller 20 Nombre moyen de Rel v s par douchette via consultations par entr e Best Seller Mmediaview compteur d entr es B 2 2 4 ISO 11620 adapt 21 croiser avec les indicateurs Best Seller de co t et les donn es budg taires Impressions 22 Nombre moyen d impressions Mmediaview ou SEDECO journali res par entr e 23 Part des impressions dans le Mmediaview ou SEDECO total des reproductions photocopies impressions Photocopies 24 Nombre moyen de photocopies SEDECO journali res par entr e T l chargements 25 Nombre moyen de statistiques du site web t l chargements par visite B 1 3 1 Rapport technique virtuelle 26 Co t par document t l charg statistiques du site web
4. valuation se fait habituellement deux niveaux celui des effets ou outputs que produit on et celui des co ts ou inputs que consomme t on Nous pr senterons l analyse des comp tences et des dispositifs gestionnaires de la BPI partir de cette distinction 2 4 1 La valeur des effets probl matique du retour sur investissement Nous avons vu que ce que l on appelle valuation des co ts et des effets tait l un des chantiers de la recherche biblioth conomique actuelle Les pistes explor es reposent sur des fondements m thodologiques tablis d s le milieu des ann es 80 et prolongent un certain nombre de r flexions engag es cette poque autour de l analyse de la valeur de l information documentaire Les initiatives conduites dans ce cadre ont surtout t suivies dans les centres de De Cf MICHEL Jean et SUTTER ric Valeur et comp titivit de l information documentaire Paris ADBS 1988 138 Quel tableau de bord pour la BPI documentation et dans le secteur de la documentation scientifique et technique m me si certaines m thodes de management issues de l analyse de la valeur modes de fonctionnement par projet groupes de travail d marches qualit etc ont essaim dans toutes les organisations Les travaux de recherche actuels visent d velopper des solutions adapt es aux besoins sp cifiques des biblioth ques et nous avons souhait pr senter quelques unes des r fle
5. 194 Quel tableau de bord pour la BPI tous loin s en faut Pourtant lors de la derni re enqu te en 2000 62 des personnes interrog es d claraient avoir utilis le catalogue de la biblioth que dont l alimentation repr sente probablement la charge de travail la plus importante dans les services internes Comment pourrait on savoir ce qu il en est r ellement Comment mieux appr hender les strat gies de recherche des usagers et leur utilisation des interfaces Nous nous concentrons ici sur l utilisation du catalogue mais la r flexion porte plus largement sur les trajectoires et les strat gies des lecteurs face aux crans de consultation La norme ISO 11620 propose un dispositif d enqu te relativement lourd mettre en uvre mais qui pourrait tre envisag tous les deux ans ou comme d veloppement sp cifique d une enqu te lourde Ce dispositif vise valuer la capacit de la biblioth que bien informer les usagers sur la mani re de conduire une recherche par titre ou par sujet gr ce aux catalogues on pourrait galement appliquer la m thode d autres interfaces de recherche On demande un chantillon d usagers consultant le catalogue d effectuer une s rie de recherches correspondant leurs centres d int r t Il pourra s agir de titres pr cis ou de sujets On leur demande galement de remplir un formulaire afin d y r diger un court signalement bibliographique des titres ou su
6. En conclusion sur cet outil aux fortes potentialit s mais aux utilisations tr s h t rog nes il nous reste pr ciser que l ensemble des op rations statistiques d crites ne n cessite pas de ressaisir les donn es le transfert de Mmediaview vers Excel se faisant sans difficult Il repr sente n anmoins une charge de travail assez lourde trois quatre jours par mois pour les statistiques du r seau g n ral Enfin 1l a sembl judicieux de reproduire ici quelques extraits d un document de travail r dig par Paule Ruiz Elle y pr sente en effet mieux que nous ne pourrions le faire un certain nombre d observations et d analyses qui r sument les difficult s rencontr es pour l exploitation de Mmediaview mais que l on pourrait ais ment appliquer aux autres outils statistiques utilis s dans l tablissement L exploitation des statistiques actuellement existantes est clat e entre plusieurs services et sections Les niveaux d exploitation sont diff rents et il n existe aucune harmonisation dans leur pr sentation Peu de collaboration existe entre les services concern s L unique point de rencontre se situe au niveau des probl mes techniques pos s par le gestionnaire de diffusion Il n est pas possible actuellement 128 Quel tableau de bord pour la BPI d obtenir des statistiques pour l ensemble des applications mises la disposition du public aucune collaboration structur e n e
7. ILLIEN Gildas DCB11 M moire d tude 2003 12 tutelles et examiner les motivations int r ts et croyances de chacun de ces groupes avant de pr coniser des actions de changement nous a paru particuli rement adapt e l laboration des tableaux de bord Celle ci implique en effet de d composer les processus de production et de d cision propres l organisation et de les situer dans un environnement dont le p rim tre et la nature varient en fonction des repr sentations de chaque acteur Enfin notre travail se caract rise par une conception assez tendue de la discipline en constante volution qu est la biblioth conomie Travailler sur l valuation des biblioth ques implique une approche multidisciplinaire Il s agit naturellement de prendre en compte les dimensions politiques humaines documentaires conomiques et techniques qui interviennent dans la gestion d une biblioth que Au del la recherche dans le domaine de l valuation n cessite galement de recourir d autres disciplines choisies pour leurs apports th oriques ou leur ing nierie technique En l occurrence notre tude fait des emprunts au management l administration publique la sociologie l histoire administrative et la g ographie Le plan adopt refl te les probl matiques voqu es organis es en trois tapes correspondant des niveaux de lecture compl mentaires La premi re partie est une introduc
8. budget B 1 3 3 Rapport technique IV Annexes Renseignement 27 Nombre moyen et journalier de questions de r ponses ou d changes avec le public par bureau d information semaines tests 28 Nombre moyen et journalier de questions de r ponses ou d changes distance avec le public RADIS 29 Part des questions complexes par bureau semaines tests 30 Part des questions complexes aux RADIS RADIS 31 Nombre moyen et journalier de questions par entr e semaines tests 32 Nombre moyen et journalier de questions par visite virtuelle statistiques du site web 33 Pourcentage des questions transmises sous forme lectronique RADIS et semaines tests B 1 4 1 Rapport technique Signalement et recherche documentaires 34 Taux de succ s de la recherche par titre dans le catalogue enqu tes lourdes 35 Taux de succ s de la recherche par sujet dans le catalogue enqu tes lourdes 36 Pourcentage de sessions de consultations distance du catalogue interrogeable en ligne B 1 3 5 Rapport technique 37 Formation des usagers Nombre de sessions de formation par an service responsable de la formation aux usagers Annexes Annexe 3 Diaporamas pr sent s aux chefs de service de la BPI VI Annexes Annexe 3 1 Pr sentation de la d marche d valuation VI
9. 66 d clarent avoir trouv ce qu ils cherchaient 30 disent s tre adress s au personnel le jour de l enqu te mais 62 ont utilis le catalogue L exploitation des donn es produit des indicateurs comme le taux d utilisation des documents ou la fr quentation des espaces sp cifiques en fonction de l activit principale des lecteurs ils permettent d avoir une approche segment e des publics Ces informations indiquent des tendances des volutions g n rales qui peuvent servir les choix de politique d am nagement ou d organisation Mais lorsque ceux ci viennent d tre arr t s on ne d place pas facilement une caf t ria ni un escalator on souhaiterait galement obtenir des informations plus fines pour travailler sur l am lioration de l offre de documents et de services cet gard il nous semble que l articulation entre les interrogations des chercheurs sociologues et celles des praticiens biblioth caires est encore trop t nue En tout tat de cause les enqu tes de publics de la BPI ne peuvent constituer elles seules un outil d valuation clairant les d cisions notamment techniques et documentaires Parmi les outils traditionnels sans doute les plus anciens qu aient connus les biblioth ques les cahiers demeurent des outils tr s utiles l valuation des services Nous avons voqu les cahiers des lecteurs mais la BPI dispose 131 Quel tableau de bord pour la BPI
10. Quel tableau de bord pour la BPI la d cision disponible dans le commerce Dans tous les cas l utilisation d un produit standard est pr f rable un d veloppement sp cifique plus co teux et source d une d pendance l gard du prestataire Nous proposons d examiner les principales fonctionnalit s de cette base de donn es Le premier crit re de choix de la base serait sa capacit g rer des donn es h t rog nes provenant d autres bases install es sur les serveurs de la BPI ou de la saisie directe des informations pour les donn es issues de la semaine test ou d autres proc dures manuelles telles que les relev s des cahiers Si la plupart des bases de donn es standard permettent d int grer des donn es tr s diff rentes la difficult tient surtout l installation de passerelles automatis es permettant d aller chercher les informations dans ces bases diff rentes partir d une m me interface En d autres termes le syst me d aide devra pouvoir recueillir les donn es dans toutes les applications qui constituent le syst me d information de la BPI Mmediaview Best Seller Lotus MUSE applications de GED etc sans que le transfert des donn es n oblige passer par une tape interm diaire de saisie ou de retraitement L importation et l exportation de donn es posent g n ralement des probl mes de format la connexion de deux applications informatiques implique en eff
11. a t une tape pr alable tr s utile mais pas seulement Elle implique galement d tre attentif d autres types de relev s plus qualitatifs qui ne produisent pas toujours des donn es chiffr es mais peuvent aider prendre des d cisions De plus en l absence des indicateurs cardinaux pr ts inscriptions p n tration utilis s partout ailleurs dans les biblioth ques publiques ces dispositifs alternatifs ouvrent la voie d autres mani res de penser et de compter les activit s ou la performance Notre pr sentation des outils statistiques de la BPI se limitera aux secteurs concern s par l valuation des services aux publics Les instruments utilis s pour la gestion des moyens humains et financiers feront l objet d un d veloppement sp cifique de l analyse conomique Nous avons organis la pr sentation des outils en fonction de leur mode d utilisation qui a des implications m thodologiques financi res et humaines et non selon une logique th matique ou sectorielle Ainsi les outils sont ici distingu s selon qu ils s apparentent des dispositifs automatis s ou manuels 122 Quel tableau de bord pour la BPI 2 3 1 Les outils automatis s Par outil automatis nous entendons tous les dispositifs s appuyant sur une machine pour proc der la collecte des donn es Naturellement il demeure n cessaire de param trer ces machines et de retraiter les informations obtenu
12. qu il ne pourrait r aliser dans les conditions et au rythme souhait s le programme pour lequel il avait t nomm une mise plat pr alable de l organisation du travail et des processus de communication l int rieur de la biblioth que s est av r e n cessaire Comme le rappelle l adjointe au directeur la probl matique organisationnelle de la BPI est fondamentalement li e aux volutions majeures qu a connues l tablissement depuis 1995 date de lancement du projet de r novation de la biblioth que dans le cadre de la modernisation de l ensemble du Centre Pompidou Investis dans l urgence d un gigantesque chantier au terme duquel mobilier am nagement services internes collections quipements et syst me informatique ont totalement chang les personnels de la BPI ont eu des difficult s passer d un mode de fonctionnement par projet tir par la perspective de la r ouverture au 1 janvier 2000 un mode d exploitation Alors que tout avait chang les quipes taient rest es peu pr s les m mes les agents de la BPI ont une faible mobilit et l organigramme en r teau reliant directement la vingtaine de services de taille tr s variable de 2 70 agents la direction n avait lui non plus pas boug Une d marche d audit de r organisation et d accompagnement au changement tait donc indispensable En effet aux effets pervers de la r novation s ajoutent de
13. rapport annuel destin la Direction des affaires culturelles de la Ville rapport annuel destin la DLL sch ma directeur et cartographie aff rente rapports individuels communiqu s chaque ann e aux biblioth ques du r seau Ce dispositif malgr ses lourdeurs fonctionne correctement et permet la mission de remplir ses engagements vis vis de ses diff rents interlocuteurs Il convient d insister sur ce point car peu de biblioth ques organis es en un r seau au maillage complexe sont en mesure de fournir aussi r guli rement l ensemble des donn es qui sont 87 PET F P z A up 55 des 58 biblioth ques du r seau de la Ville de Paris sont informatis es Des extractions peuvent tre ponctuellement r alis es dans le cadre d tudes plus pr cises destin es alimenter la r flexion sur la politique documentaire ILLIEN Gildas DCB11 M moire d tude 2003 67 Quel tableau de bord pour la BPI recueillies par le r seau de la Ville de Paris On peut donc consid rer que la d marche statistique a atteint dans cet exemple un degr de r alisation quasi optimal Que manque t il alors la mission valuation et prospective pour passer des statistiques une v ritable d marche valuative Cette question est primordiale pour Val rie Alonzo qui estime que le travail qu elle effectue partir des statistiques n est pas enti rement satisfaisant Selon elle une modernisation technique s
14. Ces tudes n ont pas t confi es aux administrations qu elles visaient mais externalis es Parce qu ils n taient pas impliqu s dans la d marche les services des administrations ne se sont pas non plus sentis concern s les initiatives pr conis es sont g n ralement rest es lettre morte Les 41 Dans sa contribution l ouvrage d Anne Kupiec Pierre Mayol retrace le d veloppement et l chec de la RCB Pour un tat des lieux plus complet de l valuation des politiques publiques au d but des ann es 90 on pourra se reporter ILLIEN Gildas DCB11 M moire d tude 2003 40 Quel tableau de bord pour la BPI ann es 80 marquent en revanche un tournant pour l organisation de l tat avec les d buts de la d centralisation et de la d concentration des administrations L valuation des politiques publiques conna t alors un v ritable essor car elle s appuie directement sur les administrations qui vont enfin tre consid r es comme les plus comp tentes pour r fl chir aux finalit s et aux modalit s d valuation des actions qu elles conduisent travers les diff rentes proc dures mises en place cercles de qualit projets de service ambition de l tat est de moderniser et de simplifier le rapport avec les usagers c est dire d am liorer le service public tout en ma trisant ses d penses Pierre Mayol a retrac les grandes tapes et analys les textes impo
15. D ici dix ans on peut parier qu il fran aises notamment celle de la Ciota se sera g n ralis dans nombre d tablissements et qu il sera devenu plus abordable S agissant des outils permettant d valuer la consultation des documents lectroniques nous ne reviendrons pas sur les principales fonctionnalit s de Mmediaview qui fournit chaque mois des tableaux indiquant les consultations par th me documentaire par document et par poste Ces r sultats permettent d diter des listes statistiques mais aussi de rep rer des coquilles dans les notices et de nettoyer la base au fur et mesure Les possibilit s d exploitation de ces statistiques sont tr s nombreuses et permettraient de construire beaucoup d indicateurs de niveau op rationnel si elles taient plus utilis es Quelques dysfonctionnements ont t observ s le filtre de Mmediaview qui effectue les tris ne g n re pas toujours l affichage les donn es demand es il faut alors supprimer le bruit les tris automatiques par secteur de la biblioth que ne peuvent tre r alis s il faut recomposer les secteurs partir des cotes les documents qui ont deux cotes sont compt s deux fois les doublons faussent marginalement les statistiques Par ailleurs la consultation des documents lectroniques ne concerne que ceux qui font partie du fonds virtuel de la BPI et qui sont int gr s aux interfaces d acc s install s sous Mm
16. DIRE DLL EPBF ESGBU ETP FLE IFLA INTAMEL ISO IUFM LOLF NABUCO NPM OPLPP RADIS RCB SDBD SGBD SI SIG SIGB SLL U3M Plan UNESCO WTP WTA Quel tableau de bord pour la BPI D l gation interminist rielle la r forme de l tat Direction du livre et de la lecture au minist re de la Culture et de la communication tablissement public de la Biblioth que de France Enqu te statistique g n rale aupr s des biblioth ques universitaires quivalent temps plein Fran ais langue trang re International Federation of Library Associations F d ration internationale des associations de biblioth caires et des biblioth ques International Association of Metropolitan City Libraries Association internationale des biblioth ques des m tropoles International Standard Organization Organisation internationale de normalisation Institut universitaire de formation des ma tres Loi organique du 1 ao t 2001 relative aux lois de finances Nouvelle approche budg taire et comptable New Public Management nouvelle gestion publique Observatoire permanent de la lecture publique Paris R ponses distance service de la BPT Rationalisation des choix budg taires Sous direction des biblioth ques et de la documentation au Minist re de la Jeunesse de l ducation nationale et de la Recherche Direction de l Enseignement sup rieur Syst me de gestion de base de donn es Syst me d
17. Fran oise Gaudet consid re cet outil comme un moyen efficace d valuer des seuils de fr quentation et d envoyer le cas ch ant des signaux d alerte la direction Cependant un autre indicateur le taux de saturation peut galement tre calcul il s agit du rapport entre le nombre d heures de saturation dites heures de coupure et le nombre d heures d ouverture Ce taux permet de relativiser les chiffres de la fr quentation Celle ci peut tre en baisse non parce que les lecteurs viennent moins nombreux mais parce qu ils restent plus longtemps dans la biblioth que bloquant l acc s d autres Ce taux devient alors un indicateur potentiel du probl me de la file d attente Il est aussi un indicateur utile aux bureaux techniques Autoformation Son Vid o car lorsqu il y a saturation ces derniers sont g n ralement sous utilis s le taux de saturation permet d expliquer des chutes de fr quentation dans ces espaces Le calcul de cet indicateur requiert un traitement statistique relativement lourd c est pourquoi il n est pas syst matique En revanche celui de la fr quentation hebdomadaire est bien r d et fournit un indicateur qui est l objet de toutes les attentions D autres compteurs r partis dans les espaces fournissent des donn es qui semblent fiables bien qu elles ne soient pas trait es directement par des agents de la BPI il s agit des compteurs de la soci t SEDEC
18. Nouvelle Z lande les chartes d objectifs ou projets d tablissements pr sent s selon une nomenclature arborescente d objectifs et assortis d une batterie d indicateurs de suivi sont d sormais monnaie courante Parmi les grands tablissements relevant de la comp tence du minist re de la Culture la BnF est notre connaissance le premier avoir engag cette d marche Elle s est ainsi dot e d un r f rentiel de pilotage et de gestion moyen terme S il faut saluer cette r alisation il convient cependant d en souligner les limites Celles ci sont de deux ordres technique et organisationnel Au niveau technique il appara t d abord que les angles morts voqu s propos du recueil des donn es dans l tablissement se retrouvent assez logiquement dans les tableaux d indicateurs Certains objectifs sont assortis de plusieurs indicateurs d autres n en ont aucun De plus les indicateurs retenus ne semblent pas toujours tre les plus pertinents Par exemple l un des deux indicateurs retenus pour mesurer l am lioration du projet social et des conditions de travail est le montant du budget consacr la formation des personnels Celui ci tait de 6 230 KF en 2000 et l objectif vis est d arriver un niveau de d penses au moins gal en 2003 En soi cet indicateur n exprime pas l effort de formation consenti par l tablissement car il n est pas rapport aux autres d penses
19. Quel tableau de bord pour la BPI 3 Synth se points de vigilance et cadre de r f rence pour la mise en uvre d un tableau de bord La pr sentation de l appareil m thodologique de l valuation ainsi que l examen critique de son application par l administration centrale et plusieurs tablissements au cours des vingt derni res ann es nous ont conduit identifier plusieurs l ments qui contribuent la r ussite ou l chec de la mise en uvre de la d marche valuative En conclusion ce chapitre nous avons souhait r capituler les points essentiels de cette analyse regroup s selon quatre dimensions politique humaine technique et conomique Le cadre de r f rence ainsi d fini sera repris au second chapitre dans la proposition de tableau de bord pr sent e la BPI mais peut s appliquer d autres biblioth ques 3 1 La dimension politique Qu on parle de d centralisation de d concentration ou de d mocratie de proximit l ambition des r formes en cours est de replacer l usager au c ur des politiques publiques l tat souhaite am liorer la qualit des services qu il rend tout en s assurant de la ma trise des co ts par la rationalisation de ses dispositifs Des logiques de contenus et de projets se substituent aux nomenclatures administratives ou comptables qui avaient jusque l structur son action Cette ambition ne peut se r aliser sans une mutation profonde du mod le
20. action de stage qui fit office de cahier des charges de l tude l issue de ces entretiens il fut tabli que les quatre principales finalit s du tableau de bord devaient tre par ordre d croissant de priorit am liorer la communication interne contribuer faire voluer le nouveau Projet d tablissement rationaliser le suivi et la gestion de l activit des services fournir un outil de n gociation avec la tutelle Cette hi rarchisation des orientations nous a conduit investir davantage la piste de la communication interne et porter une attention particuli re au Projet d tablissement Les relations avec la tutelle et les imp ratifs de gestion des services se sont av r s tre des enjeux relativement secondaires par rapport aux premiers Si le d cret fondateur de la BPI est alors apparu tous comme le texte de r f rence indiquant les missions de l tablissement il restait identifier les objectifs g n raux que la direction souhaitait poursuivre afin d actualiser pour reprendre les termes du directeur ces missions Les cinq orientations du 96 Quel tableau de bord pour la BPI Projet d tablissement nonc es dans plusieurs documents internes s impos rent assez naturellement comme les objectifs du tableau de bord Rappelons l intitul de ces orientations d velopper l identit documentaire de la BPI en red finissant les concepts fondateurs d actualit et d in
21. ces trois niveaux et de les faire converger En l absence d une loi sur les biblioth ques les tablissements fran ais ont le plus grand mal formuler leurs missions et les faire valider par leurs autorit s de tutelle La Charte des biblioth ques adopt e par le Conseil sup rieur des biblioth ques en 1991 est le seul texte du genre mais il n a aucune valeur juridique Il ne peut par ailleurs se substituer aux tablissements et aux collectivit s territoriales ou universitaires auxquelles il revient de d finir de fa on concert e les missions de la biblioth que en fonction d une politique et d un environnement sp cifiques On pourrait croire que des tablissements publics dont les missions sont fix es par d cret ou par la Loi sont mieux arm s que les autres En r alit si l on revient au d cret de la BPI on voit bien que les missions qui y sont d finies ne sont pas A ISO 11620 Op cit p 3 Ibid p 3 3 CONSEIL SUPERIEUR DES BIBLIOTH QUES Charte des biblioth ques adopt e par le Conseil sup rieur des biblioth ques le 7 novembre 1991 Rapport du pr sident pour l ann e 1991 Paris Association du Conseil sup rieur des biblioth ques 1992 ILLIEN Gildas DCB11 M moire d tude 2003 22 Quel tableau de bord pour la BPI clairement formul es en termes d impact social de public d termin ou d action publique le libre acc s n est pas une mission en soi il s agit
22. cessaire de mettre en place au pr alable des proc dures caract re syst matique susceptibles de peser sur le fonctionnement quotidien de l tablissement Sans approfondir davantage les conditions de mise en uvre de cette d marche qui seront abord es plus loin il convient de poser un dernier principe essentiel qui explique pourquoi le terme tableau de bord est souvent employ au pluriel Si la notion de tableau de bord renvoie d abord l image d un pilote ou d un capitaine ce serait une erreur d envisager sa construction comme la r alisation solitaire d un technicien d un consultant ou du seul directeur de l tablissement ILLIEN Gildas DCB11 M moire d tude 2003 30 Quel tableau de bord pour la BPI tous les niveaux et dans toutes les fonctions de la biblioth que travaillent des pilotes des quipages La d marche d valuation qui contribue tout la fois la valorisation du travail et la responsabilisation de chacun n a de sens que si elle est partag e par le plus grand nombre Il faut tre r aliste rien ne sert dans ce domaine de faire preuve d un volontarisme excessif qui force de vouloir convaincre les agents du bien fond de la d marche finirait par les persuader du contraire en l assimilant finalement la fonction de contr le et de sanction dont on cherche la dissocier Une telle entreprise ne peut tre engag e que si elle est accompagn e d
23. de pens e de parole et d action J esp re qu elles jugeront mon tude la hauteur de la qualit des changes que nous avons eus Je souhaite galement remercier G rald Grunberg qui a pris le risque de me confier un sujet d licat dans le contexte de la r organisation de l tablissement qu il dirige et qui m a accord sa confiance tout au long de ce stage J esp re que la d marche initi e la BPI avec le concours de ses quipes trouvera des prolongements et que la proposition de tableau de bord qui r pond sa commande y contribuera Il m est impossible de remercier tous les personnels de la BPI qui m ont r serv le meilleur accueil dans leurs services Je souhaite n anmoins saluer Suzanne Mallet Souad Hubert et leurs quipes du service de la formation et du service des relations professionnelles internationales pour m avoir apport leur soutien quotidien Je tiens galement adresser mes sinc res remerciements Fran oise Lenoir Bruno B guet Paule Ruiz Claire Chaumet Fran oise Gaudet Katherine Sebire Dominique Sprenger Jean Jouffret Danielle Resche Claire Dartois Yann Marchand et Madeleine Avrain dont les contributions et les r actions ont nourri ma r flexion sur la probl matique et la d marche d valuation la BPI Merci Thierry Grognet Martine Blanchard et Pierre Yves Renard pour m avoir expliqu dans quels termes la question de l valuation se pose pour les administrations centrales cha
24. distance Descripteurs Biblioth que publique d information Paris R organisation Tableaux de bord gestion Biblioth ques valuation France Politique publique valuation France Administration publique R forme Planning Performance Indicators for the BPI Evaluation and organizational change Abstract Performance measurement in French libraries relies on a long tradition of statistics However new public management has made necessary the construction and implementation of performance indicators They stimulate and assist librarians in the process of defining their goals improving the use of their resources and accounting of their outcomes In the case of the BPI performance measurement meets technical and political obstacles but proves to be relevant in the fields of communications space management in house and online services Subject Headings Biblioth que publique d information Paris Reorganization Management information systems Libraries Evaluation France Political planning Evaluation France Public Administration Reorganization Remerciements J adresse mes remerciements et ma plus grande gratitude ma directrice de m moire Daisy McAdam et ma directrice de stage Isabelle Dussert Carbone qui ont conjugu leurs exigences et leurs talents afin d encadrer mon travail sur le terrain et dans ces pages tout en respectant et en stimulant ma libert
25. entretiens et d observation a t d terminante elle nous a fait prendre conscience d enjeux dont certains comme la s curit ou l hygi ne s taient av r s tabous ou secondaires lors des rencontres avec les cadres Nous avons ainsi recueilli un mat riau d une grande richesse qui t moigne de situations contrast es et incite un diagnostic plus subtil et plus nuanc que nos hypoth ses et nos impressions de d part ne l avaient laiss penser Parce que les conclusions de cette analyse m ritent d tre trait es en cons quence nous les aborderons plus loin de fa on approfondie 1 2 3 Analyse externe Notre s jour la BPI mena ait force d immersion de tourner la noyade dans l oc an des donn es Nous avions heureusement envisag de prendre du recul apr s cette seconde tape en allant rencontrer des professionnels d autres tablissements Les enseignements th oriques et les comptes rendus d exp riences tir s de ces rencontres ont t pr sent s dans la premi re partie du m moire Sans viser l exhaustivit nous nous sommes efforc s de rencontrer des conservateurs qui avaient accept de r pondre nos questions et qui pouvaient nous recevoir en r gion parisienne Ces entretiens furent de deux types entretiens avec des experts et avec des praticiens les deux n tant naturellement pas incompatibles Dans le premier cas notre grille de questions tait adapt e au champ d expe
26. es pour l valuation Typologie des de docs puis PEB ou fonds du renseignement en SP dans les demandes pr t 23 dont 26 espaces de la BPI au regard de la particulier reproduction peb et 74 repro semaine test notamment Demandes Cette typologie est encore affin e dans le rapport pr cise par exemple les domaines bureaux sur lesquels portent les questions Elle est r alis e partir de l archivage lectronique sous Lotus Ces r sultats sont comment s intitul Mode de calcul Exemple de Que mesure t il Est il crois avec Commentaires valeur d autres cl Donn es sur Province 56 Origine g ographique Anoter se fait c la distinction courrier postal et R gion parisienne 22 des usagers Province R gion parisienne qui ne peut fax origine Etranger 22 actuellement se faire pour les m ls g ographique Indicateur int ressant pour mesurer le r le national de la BPI Donn es sur Particuliers 45 Profil des usagers Cette r partition du public tr s courrier postal et institutionnels et 29 significative n est pas non plus r alis e fax Type entreprises pour les utilisateurs du Web d utilisateurs Etudiants scolaires 25 Donn es sur m me nomenclature que Donn es Comparer typologie des demandes courrier postal et pour les courriers comparables entre courrier et fax demandes par internet fax Typologie des lectroniques elles demandes z4 Remarques La se
27. informatique ma tre d ouvrage en la mati re de recenser tous les besoins exprim s par les services par exemple des demandes d am lioration des modules de gestion des p riodiques ou de catalogage pour le SIGB afin qu ils ne soient pas pr sent s en ordre dispers Notons que les demandes de la cellule valuation pourraient ainsi se greffer opportun ment sur de plus larges projets Par exemple la cr ation d une fonction statistique pour le site web serait ins rer dans le cahier des charges concernant la refonte de l ensemble du site Cela implique n anmoins qu il y ait convergence des calendriers ainsi qu une bonne communication entre les services autour de ces diff rents projets Dans un second temps la cellule valuation pourrait se voir confier la r daction du cahier des charges de la base de donn es avec l aide du service informatique ce stade il deviendrait en effet possible de r diger ce qu on appelle un dictionnaire des donn es c est dire de lister tr s pr cis ment toutes les statistiques ou donn es brutes n cessaires la construction des indicateurs tables structur e de donn es puis les relations tablir entre ces diff rentes donn es formules de calcul et enfin l ensemble des fonctionnalit s attendues pour l exploitation quotidienne de la base ergonomie Nous pr conisons l utilisation d un logiciel de type Access ou d un syst me d aide 158
28. la concertation avec les personnels a t forte Elle a t organis e par le biais de r unions ou d ateliers de services puis de d partements puis de r unions de cadres dans chaque d partement puis entre les d partements jusqu au sommet de l tablissement Pour Denis Bruckmann si le Projet d tablissement a laiss un souvenir amer une partie des personnels ce n est donc pas le fait d une concertation insuffisante mais plut t parce que nombre de propositions qui avaient merg cette occasion n ont pas t retenues dans le document final la plupart du temps parce qu elles r pondaient des pr occupations trop sp cifiques un service ou d partement donn Il souligne une seconde difficult qui a trait la participation des personnels de cat gorie C charg s de la communication des documents aux lecteurs Comment introduire une d marche d objectifs chez des personnels charg s de t ches tr s r p titives et dont les perspectives d volution sont troites Bilan nuanc donc et diversement appr ci par les agents Denis Bruckmann estime que pour cette premi re dition du Projet d tablissement on ne peut v ritablement parler d une appropriation de la d marche par les personnels mais qu on doit en revanche souligner qu elle a donn lieu un gros investissement de leur part Si la d ception fut chez certains la mesure des efforts r alis s ce processus a eu l
29. la charge de travail qu impliquent leur exploitation et leur interpr tation Malgr le succ s rencontr par la semaine test premi re tentative de coordination structur e de ces outils les principaux d fauts du dispositif existant tiennent son parpillement et l absence d harmonisation M me dans le service o le travail est le plus approfondi SLL les sections ne pr sentent pas leurs statistiques de la m me fa on Comme la BnF les unit s les nomenclatures les fr quences les repr sentations la profondeur de 136 Quel tableau de bord pour la BPI l valuation varient rendant peu pertinente une comparaison ou un croisement des donn es qui permettraient de construire des indicateurs synth tiques L actuelle h t rog n it des pratiques rend tr s complexe l agr gation des donn es qui pourrait s av rer pourtant tr s utile dans le domaine de la politique documentaire par exemple Plusieurs agents appellent de leurs v ux un effort de concertation tout en insistant sur la n cessaire validation de cette entreprise de r organisation par la direction Ce travail de coordination n a pas seulement des implications organisationnelles Il implique aussi des d veloppements techniques car le croisement des donn es issues de bases diff rentes n cessite de greffer aux logiciels actuels des outils de tri et de transfert automatique des informations ainsi qu une base de donn es commune dans
30. la fin du stage illustre certains gards ces prises de conscience tardives Le regard r trospectif port aujourd hui sur les d tours les impasses et le cheminement de notre r flexion permet de dresser une sorte de bilan de cette assimilation progressive Plus qu une d marche autor flexive l observation de notre propre compr hension du sujet est peut tre un indice de l investissement intellectuel que doivent 95 Quel tableau de bord pour la BPI fournir les professionnels trangers au domaine de l valuation qui souhaitent en ma triser les principes 1 2 M thode d investigation et identification des enjeux Notre m thode de travail s est organis e classiquement selon une logique de conduite de projet Elle s est en effet structur e en quatre principales tapes d finition des objectifs et du champ de l tude analyse de l existant analyse externe pr sentation et validation des pr conisations 1 2 1 D finition des objectifs et p rim tre de l tude Les premiers changes avec l quipe de direction ont t l occasion de faire pr ciser aux commanditaires leurs attentes vis vis de l tude Il s agissait galement de prendre connaissance des objectifs de leur politique auxquels le tableau de bord devait accorder la priorit de la d finition des objectifs allait en effet d couler le choix des indicateurs Les d cisions furent formalis es et valid es dans un plan d
31. ni surtout aux besoins Ceux ci sont naturellement tr s difficiles chiffrer et anticiper Il serait n anmoins plus judicieux de rapporter les d penses de formation la masse salariale et d utiliser ce pourcentage comme indicateur Par ailleurs le chiffre retenu ne prend pas en compte les formations internes organis es au sein de l tablissement qui sont pourtant tr s nombreuses on aurait pu choisir une unit de mesure qui ne soit pas l expression d une d pense budg taire mais plut t d un investissement en temps L indicateur serait alors le rapport du nombre d heures de formation au nombre d heures de travail Pour finir pr cisons que le nombre d indicateurs d objectifs op rationnels cibles et seuils atteindre reste limit En d finitive un examen attentif du Projet d tablissement r v le qu il est le r sultat d une d marche trous L examen des bilans d indicateurs pr sent dans les rapports d activit des derni res ann es cf infra montre cependant que ceux ci ILLIEN Gildas DCB11 M moire d tude 2003 75 Quel tableau de bord pour la BPI font l objet d une r flexion critique et continue de la part de l tablissement qui a progressivement exclu certains indicateurs jug s non pertinents compte tenu de l volution du contexte dans le domaine du d p t l gal ou de l archivage lectronique par exemple Une autre r serve s applique l
32. on automatis e et de plus en plus finement un nombre croissant d activit s notamment les nouvelles pratiques documentaires S ils ne sont pas toujours satisfaisants les modules statistiques des logiciels de biblioth que demeurent un moyen efficace d extraire les donn es essentielles relatives aux pr ts aux inscriptions aux acquisitions Ces donn es combin es avec d autres sont de pr cieux outils d valuation au service de la politique de l tablissement D autres instruments tels les compteurs d entr es permettent de suivre l volution de la fr quentation Les services distance des biblioth ques b n ficient pour leur part des possibilit s statistiques de l Internet et dans ce domaine la recherche comme les pratiques connaissent des avanc es rapides qui permettront bient t de compl ter le dispositif normatif sur l valuation des services en particulier l analyse des consultations distance et des strat gies de recherche des usagers pourrait bient t apporter des informations utiles pour comparer l utilisation des catalogues et des moteurs de recherche et en retour faire voluer les techniques de signalement Il reste que la mise en place et l exploitation de ces outils est lourde Elle requiert la mobilisation de moyens techniques financiers et humains d di s cette t che En effet il ne suffit pas de recueillir les donn es il faut encore les traiter et surtout savoir les interp
33. r seau national de production de signalement et de diffusion de documents destin s aux malvoyants Rien n interdit de distinguer de cette activit l accueil sur place des malvoyants qui est un service de proximit pour des habitants de la r gion parisienne Avec l aide des associations parisiennes ou franciliennes il serait assez ais de mieux conna tre la population des malvoyants dans cette 130 Voir HOLMES Anne et WHITEHEAD Derek Dir Les communaut s multiculturelles Directives de IFLA pour les biblioth ques 2 dition r vis e 1998 Aucun terme n est vraiment satisfaisant pour d signer les communaut s trang res ou d origine trang re qui fr quentent la BPI Le public vis ici ne comprend pas les touristes qui visitent ponctuellement la biblioth que mais ne la fr quentent pas r guli rement Il d signe aussi bien des personnes ayant acquis la nationalit fran aise que des personnes de nationalit trang re Des immigr s de seconde g n ration peuvent tre rattach s cette cat gorie lorsque leurs pratiques documentaires les conduisent faire un usage intensif de documents relatifs leur pays d origine Il semble que le crit re le plus objectif pour identifier cette population soit celui qu utilisent les sociologues du service tudes et recherche lors des enqu tes lourdes personnes qui parlent une autre langue que le fran ais la maison 168 Quel tableau de
34. rapport aussi au nombre d inscrits Nombre de pr sents par visite organis e Nombre et statut des intervenants encadrant les visites pendant un an 2 visites par mois 12 pr sents sur 25 inscriptions 6 personnes 1 visite 93 intervenants La pertinence des visites g n rales La fr quentation des visites r serv es aux adh rents et des autres types de visites th matiques et de groupe La pertinence des visites ldem th matiques Donn es de l ann e pr c dente 169 en 2000 Le co t des visites de groupes Les p riodes concern es ne sont pas pr cis es difficile d appr cier la valeur de ces donn es Une seule exp rience mais la voie est qualifi e de prometteuse observer Comparer l aussi inscrits pr sents Manque la dur e moyenne d une visite et le temps ventuel de pr paration pour estimer son co t r el en personnel T7 j La quantit de public publics des visites de groupes des biblioth ques 298 l ves de r gion parisienne 127 enseignants et stagiaires de l enseignement 47 membres d association int ress par les visites de groupe pr c dente lorsque la comparaison est Jug e significative d une volution importante Ex public des associations en net d clin Nombre de visites Donn es BPI Donn es de l ann e T de groupes par an touch e par ces visites pr c dente 120 en 2000 R partition des Donn es BPI
35. t g obal d un ensemble d activit s pr sentant une coh rence fonctionnelle ou intellectuelle par exemple le co t du traitement documentaire d une activit pr cise par exemple le co t du catalogage ou d un projet par exemple la mise en place de la nouvelle version du SIGB La BPI ne dispose pas d une comptabilit analytique c est dire qu elle n a pas la possibilit de d finir les nomenclatures les plus adapt es son mode de fonctionnement et de gestion Quelles sont les causes de cette situation En premier lieu il semble que le caract re hybride de l tablissement complique sensiblement le calcul des co ts Le statut et l identit juridique de la BPI sont particuliers elle est un tablissement public caract re administratif dot de la personnalit civile et d une autonomie financi re plac e sous la tutelle de la DLL et de la Direction des affaires g n rales du Minist re de la Culture qui fournit les finances et une partie des personnels elle est galement d pendante du CNAC GP qui fournit les locaux Son identit budg taire est mixte les r mun rations de la plupart des personnels permanents 227 emplois d agents titulaires et non titulaires sont assur es par le minist re de la Culture mais les autres charges agents contractuels permanents 15 CES 3 Emplois jeunes 70 000 heures de vacation repr sentant 38 ETP charges de fonctionnement et d investissement sont
36. valuation doit permettre d laborer des outils d aide la d cision pour le pilotage et la planification des actions de la biblioth que par rapport des objectifs pr cis et avec des moyens donn s on ne portera plus d appr ciation subjective sur des r sultats d tach s de tout r f rentiel de comparaison et d interpr tation On qualifiera au contraire ces r sultats en tenant compte de ce que la biblioth que a souhait r aliser ses objectifs et des ressources dont elle dispose pour y parvenir ses moyens On ne comparera plus les statistiques de pr t de biblioth ques sur le seul motif que les arbitrages politiques ou la g ographie les placent en situation de concurrence mais celles de biblioth ques qui se sont fix les m mes buts et qui disposent des m mes moyens L augmentation ou la baisse du nombre de pr ts ou d inscrits ne pourra tre judicieusement interpr t e que si l on tient compte de l volution des ressources humaines et budg taires de la biblioth que ou encore d un changement dans ses objectifs qui auront pu voluer de la recherche du plus grand nombre d inscrits vers une politique s lective tourn e vers certaines cat gories de publics moins nombreux mais identifi s comme prioritaires En r sum valuer c est mettre en relation trois facteurs les objectifs les ressources et les r sultats Cette mise en relation s analyse g n ralement deux niveaux celui de l action pu
37. veloppement et les principes techniques de fonctionnement des SIG La diffusion et la modernisation de ces derniers d coulent de l volution conjointe des techniques de cartographie et de gestion 142 DELRUE Laure Les syst mes d information g ographique un nouveau service pour les biblioth ques de recherche M moire d tude Enssib Villeurbanne cole nationale sup rieure des sciences de l information et des biblioth ques 2002 199 Quel tableau de bord pour la BPI des bases de donn es La conception comme la r alisation des cartes ont t boulevers es par la cartographie automatique Celle ci est op rationnelle depuis 1960 environ mais se perfectionne tr s rapidement Les ann es 90 ont vu une tr s forte croissance des SIG dans tous les secteurs gestionnaires d espaces et de territoires entreprises collectivit s locales r gionales nationales ou supranationales D abord utilis s dans des secteurs proprement g ographiques gestion des sols et des ressources naturelles laboration de cartes et d atlas ils connaissent un nombre croissant d applications architecture urbanisme transports environnement d veloppement durable d mographie sant publique criminologie histoire conomie biologie etc La recherche dans ce domaine est d sormais interdisciplinaire et s organise autour de ce qu on appelle la g omatique Selon Marius Th riault sp cialiste de cette disci
38. Agence bibliographique nationale Bulletin des biblioth ques de France 1998 t 43 n 1 II S LECTION D ANNUAIRES ET D OUTILS STATISTIQUES DE BIBLIOTHEQUES SUR INTERNET FRANCE Minist re de la Culture et de la communication Direction du Livre et de la lecture Biblioth ques municipales biblioth ques d partementales de pr t donn es 1999 www culture fr culture dil biblio stats index bibliostatsO1 htm consult le 31 10 2002 Minist re de l ducation nationale et de l enseignement sup rieur Application statistique interactive des biblioth ques universitaires www sup adc education fr asibu consult le 31 10 2002 Association des directeurs des biblioth ques des grandes villes Annuaire statistique de l Association des directeurs des biblioth ques des grandes villes de France www adbgv asso fr index php page statistique consult le 31 10 2002 ORGANISATIONS INTERNATIONALES ET AUTRES PAYS ARL Resources and Links on Performance Measures www arl org stats perfmeas index html consult le 31 10 2002 ARL Statistics Interactive Edition http fisher lib virginia edu arl index html consult le 02 12 2002 EQLIPSE Evaluation and Quality in Library Performance System for Europe www mmu ac uk h ss cerlim projects eqlipse htm consult le 02 12 2002 EQUINOX Library Performance Measurement and Quality Management Systems Performance Indicators for Electronic Library Services h
39. Association for Information Management 1996 The ASLIB Know How Series ASSOCIATION DES DIRECTEURS DE LA DOCUMENTATION ET DES BIBLIOTHEQUES UNIVERSITAIRES Actes du XX congr s de l ADBU tenu la biblioth que universitaire de Nantes du 20 au 22 septembre 1990 Paris ADBU 1991 p 53 59 BERTRAND Anne Marie Les biblioth ques Nouv d Paris La D couverte 1998 Rep res n 170 ASSOCIATION DES DIRECTEURS DE BIBLIOTHEQUES CENTRALES DE PR T Biblioth ques centrales de pr t l valuation du service rendu ADBCP 1991 BIBLIOTHEQUE NATIONALE DE FRANCE Projet d tablissement 2001 2003 Paris BnF 2000 BIBLIOTHEQUE NATIONALE DE FRANCE Rapport d activit 2001 Paris BnF 2002 BORCHARDT Peter WIMMER Ulma d Performance measurement and quality management in public libraries IFLA satellite meeting Berlin 25 28 August 1997 proceedings Actes de la conf rence satellite de l IFLA organis e par la section des biblioth ques publiques de l IFLA Berlin Deutsches Bibliotheksinstitut 1998 CALENGE Bertrand Accueillir orienter informer l organisation des services aux publics dans les biblioth ques Paris Electre ditions du Cercle de la Librairie 1996 Biblioth ques CALENGE Bertrand Conduire une politique documentaire Paris Electre ditions du Cercle de la Librairie 1999 Biblioth ques CALENGE Bertrand Les politiques d acquisition constituer une collection dans une
40. BPI r alit d une mani re tr s r ductrice Tous les choix de conception du tableau de bord d forment peu peu l image de l objet suivi Cela souligne l importance de l analyse des r sultats et le caract re imparfait inachev du tableau de bord Il apporte galement quelques l ments utiles de classification des tableaux On retrouve dans les cat gories qu il propose certaines distinctions d j voqu es propos des indicateurs La finalit du tableau de bord peut tre principalement externe ou interne Dans le premier cas les indicateurs qu on aura retenus devront tre ais ment comparables ceux d autres tablissements avec lesquels la tutelle place la biblioth que en concurrence On s en tiendra g n ralement un niveau macropolitique ou macro conomique Destin prioritairement aux autorit s et la n gociation externe le tableau de bord s inscrit alors dans le cadre d une valuation politique de la biblioth que Dans le second cas il se concentrera sur les diff rentes activit s internes de l tablissement leurs apports et leurs co ts respectifs dans la r alisation de ses objectifs et la consommation de ses ressources les dysfonctionnements que peut g n rer une organisation imparfaite ou des objectifs inadapt s Lorsque dans cette hypoth se il est port une attention particuli re la mesure des moyens employ s et l analyse des co ts la d marche sous jacen
41. Jo McCLURE Charles R et al Output Measures for Public Libraries a Manual of Standardized Procedures Chicago Illinois et Londres American Library Association 1987 A VAN HOUSE Nancy A WEIL Beth T McCLURE Charles R Measuring Academic Library Performance a Practical Approach Chicago Illinois American Library Association 1990 3 KING RESEARCH LTD Op cit 0 CRAWFORD John Op cit p 1 2 ILLIEN Gildas DCB11 M moire d tude 2003 34 Quel tableau de bord pour la BPI grande distribution commerciale Ils conna tront un certain succ s en France quelques ann es plus tard mais la d marche d valuation dans les biblioth ques s en inspire d s le d but des ann es 80 aux tats Unis puis au Royaume Uni Au c ur de cette approche la d marche qualit du service implique de regarder la biblioth que d un point de vue syst mique c est dire de la replacer dans son environnement et de prendre en compte les int r ts et les attentes de tous les acteurs qu elle concerne on s int resse d s lors au trio que forment les usagers les d cideurs et les biblioth caires Dans cette perspective l valuation a alors pour objectif principal de produire des outils de dialogue entre ces trois parties Dans le monde anglo saxon l valuation des biblioth ques intervient galement dans une p riode marqu e par le lib ralisme politique et au Royaume Uni surtout par les restrictions budg t
42. KING RESEARCH LTD Keys to Success Performance Indicators for Public Libraries a Manual of Performance Measures and Indicators Londres HMSO 1990 KUPIEC Anne Dir Biblioth ques et valuation Paris Electre ditions du cercle de la librairie 1994 Biblioth ques ABBOT Christine Op cit CRAWFORD John Evaluation of Library and Information Services Londres ASLIB The Association for Information Management 1996 The Aslib Know How Series ILLIEN Gildas DCB11 M moire d tude 2003 17 Quel tableau de bord pour la BPI montre en effet comment l on est parti d une d marche de sensibilisation par des contributions th oriques et sectorielles et des comptes rendus d exp riences Biblioth ques et valuation pour passer la pr sentation de l valuation comme l un des outils du management moderne des biblioth ques Management des biblioth ques qui devient ensuite l objet d un manuel part enti re o l valuation appara t comme l aboutissement d une r flexion d ensemble adapt e au contexte culturel et institutionnel fran ais Manuel th orique et pratique d valuation des biblioth ques et centres documentaires Le dernier ouvrage sur le sujet Construire des indicateurs et des tableaux de bord a paru en 2002 Pour Pierre Carbone qui en a assur la direction son objet n est plus de d finir les termes et la d marche consid r s comme acquis gr ce aux publi
43. LA BPI N Service ou activit mesur s Indicateur d activit Sources et r f rence ou de performance la norme ISO Fr quentation 1 Moyenne journali re des compteur d entr es entr es 2 Moyenne journali re des visites logiciel statistique du site virtuelles web 3 Taux de saturation des espaces compteur d entr es publics 4 Co t par entr e la compteur d entr es Budget biblioth que B 2 1 4 ISO 11620 5 Co t par visite virtuelle logiciel statistique du site web Budget 6 Pourcentage des lecteurs enqu tes lourdes utilisant le site web de la B 1 1 1 Rapport technique biblioth que adapt Int gration sociale 7 Moyenne mensuelle des visites comptages par Accueil d usagers malvoyants d ficients visuels 8 Taux de p n tration dans la Accueil d ficients visuels et population parisienne des associations malvoyants 9 Pourcentage des lecteurs enqu tes lourdes parlant une autre langue que le fran ais la maison 10 Part de la consultation des Mmediaview m thodes de fran ais langue trang re l Autoformation 11 Part de la consultation des Mmediaview p riodiques trangers d information g n rale en ligne Satisfaction des usagers Pas d indicateur pertinent sauf enqu tes enqu tes ponctuelles sur des services pr cis Disponibilit des documents 12 Exactitude du rangement reclassements mensuels B 2 2 8 Amendement n 1 III
44. Librairie 1999 Biblioth ques CALENGE Bertrand Les politiques d acquisition constituer une collection dans une biblioth que Paris Electre Editions du Cercle de la Librairie 1999 Biblioth ques ILLIEN Gildas DCB11 M moire d tude 2003 18 Quel tableau de bord pour la BPI 1 3 Les termes cl s de l valuation 1 3 1 Les statistiques au service de l valuation Les statistiques sont bien connues des biblioth ques fran aises qui sont amen es en recueillir r guli rement afin de les transmettre leurs tutelles depuis de nombreuses ann es Ce sont des relev s de donn es brutes qui concernent par exemple le nombre d inscriptions d entr es de pr ts ou d heures d ouverture La collecte de donn es homog nes et identiques permet de voir comment un tablissement se situe par rapport d autres ou une moyenne nationale On l utilise galement pour savoir si l activit a progress ou diminu d une ann e l autre Cette approche permet de mesurer r trospectivement certaines activit s quantifiables de la biblioth que ce qui explique que l on parle d un contr le a posteriori des tablissements au moyen des statistiques Le travail et les outils d ploy s pour cette collecte constituent une tape importante dans la d marche d valuation mais celle ci ne s y r duit pas on pourrait plut t dire qu elle les met son service L valuation est en effet une
45. Responsable Colette Bergeal R dacteur s signataire s N D Intitul du document Service des documents lectroniques Rapport d activit de l ann e 2001 Taille du document 14 pages 4 pages d annexes Plan sommaire du document 1 Les points forts L activit du service politique de collection politique de service 3 Moyens financiers et mat riels besoins ventuels 4 Personnel tat et gestion 5 formations dispens es interventions l ext rieur 6 Relations avec les autres services l ext rieur 7 Difficult s rencontr es 8 Fiche r capitulative Annexes Donn es vocabulaire mots cl s D finition du p rim tre documentaire du service les documents lectroniques qui ne rel vent pas d un type de document sp cifique Son Audio autoformation participation au site Internet rubrique sites web 3 cibles public de la BPI sur place et distant personnel professionnels des biblioth ques publiques Une politique de collection veille connaissance des fonds BPI gestion courante des c d roms s lection et gestion des sites web et une politique de service information formation des cibles sites web du site BPI Mise jour du march des documents lectroniques consortium des biblioth ques de droit pour Jurifrance bilan de la collection c d roms multimedia chantier des revues en ligne avec le service des Imprim s formations ext rieures Changement de chef de service en cours
46. Rss 208 SOURCES ua cena ronumeons 210 BIBLIOGRAPHIE inanin isn ia EE AA AN nan 213 TABLE DES ANNEXES nodia ana E a S ai 223 ILLIEN Gildas DCB11 M moire d tude 2003 8 Introduction Ce m moire a t r dig l issue d un stage d tude au sein de la direction de la Biblioth que publique d information BPI Il s articule autour d une analyse th orique et historique de l valuation des biblioth ques et d une application pratique au cas de la BPI L tude r pond trois objectifs synth tiser et actualiser l tat des connaissances sur le sujet analyser la probl matique de l valuation la BPI faire la proposition d outils d aide la d cision organis s en tableaux de bord La question pos e par les commanditaires de l tude Quel tableau de bord pour la BPI induisait une autre question pourquoi engager une d marche d valuation dans cet tablissement Si la commande formul e par la direction de la BPI exprimait implicitement un besoin d outils de pilotage pour son management strat gique la r alisation d un tableau de bord devait elle pour autant se limiter l laboration d un dispositif technique En amont de la conception de ces auxiliaires de gestion que sont les indicateurs de performance n tait 1il pas indispensable de r fl chir aux conditions humaines et organisationnelles de leur r alisation de leur exploitation et de leur appropriation par l
47. SIGB dispose en effet d un sous module statistique permettant d diter automatiquement des rapports d taill s Ceux ci fournissent mensuellement et annuellement des indicateurs budg taires tat des engagements et des d penses par acqu reur et par code sujet indicateurs de d passement budg taire volum triques nombre de titres command s au total et par acqu reur ou th matiques nombre de titres acquis par grand secteur ou code sujet de la collection L ensemble de ces donn es doit tre ressaisi manuellement sous Excel ce qui repr sente 3 heures de travail chaque mois Bruno B guet estime que pousser l automatisation plus loin serait contre productif le syst me tant en l tat tout fait satisfaisant La proc dure est en revanche plus complexe lorsqu il s agit de produire des indicateurs sur l tat des collections Le module statistique du SIGB ne peut tre pr param tr afin d enregistrer les quations de tri elles doivent tre crites chaque fois et les donn es galement saisies manuellement sous Excel Les indicateurs se rapportent la totalit de la collection ou d un sous ensemble de la collection ventil e en secteurs ou plus finement en codes sujets Les indicateurs actuellement utilis s concernent la langue des documents part du fran ais leur fra cheur part des ouvrages parus depuis qui 125 Quel tableau de bord pour la BPI permet notamment de calc
48. Un forum lectronique des usagers de la BPI accessible depuis son site ne serait il pas un moyen int ressant de mettre la disposition des communaut s qui se construisent dans ses espaces une plate forme d changes virtuels permettant de les initier ou de les prolonger Le site Internet de la BPI pourrait ainsi servir la fois de produit d appel pour des services sous utilis s ou mal connus et de prolongement des pratiques de socialisation qui forgent l identit de la biblioth que Les indicateurs utiles ce type de d marche sont connus mais relativement difficiles calculer en l absence d un public captif Les enqu tes lourdes conduites par le service tudes et recherche permettraient n anmoins de recueillir ces informations tous les quatre ou cinq ans Le projet de rapport technique pr conise un indicateur qui nous semble utilisable dans ce cadre le pourcentage de la population utilisant le site web de la biblioth que indicateur B 1 1 1 pourcentage de la population touch e par les services lectroniques Il n est naturellement pas possible de calculer cet indicateur pour la population de r f rence puisqu elle n est pas d finie mais l enqu te permettrait de proc der cette valuation aupr s de la population des usagers interrog s 167 Quel tableau de bord pour la BPI 2 1 2 Mesurer la fonction d int gration sociale de la biblioth que Bien qu elle ne figure pas parmi les mi
49. abord port sur les biblioth ques publiques puis sur les biblioth ques universitaires L ALA American Library Association publie d s 1982 le premier ouvrage de Nancy Van House Output Measures for Public Libraries a Manual of Standardized Procedures dont une seconde dition para tra en 1987 avant que ne soit publi en 1990 Measuring Academic Library Performance a Practical Approach Au Royaume Uni le premier manuel du genre d j cit est Keys to Success Performance Indicators for Public Libraries 1990 qui sera suivi 5 ans plus tard par la publication de The effective Academic Library Tous deux ont t dit s par l Office of Arts and Libraries John Crawford pr cise les conditions qui ont favoris le d veloppement rapide de l valuation aux tats Unis et au Royaume Uni En premier lieu il rappelle l mergence dans les ann es 70 du consumer movement mouvement des consommateurs souvent improprement traduit par mouvement de d fense des citoyens qui va conduire les administrations publiques tenir davantage compte des attentes des contribuables Ces derniers seront d sormais trait s comme des clients qui il conviendra de rendre des comptes on commence se soucier de leur satisfaction Les travaux sur la qualit des services publics vont s inspirer des d marches entreprises dans le secteur priv en particulier dans la dl VAN HOUSE Nancy LYNCH Mary
50. administrations Paris Cour des comptes 2002 DELANO Bertrand Communication sur les orientations de la politique budg taire de la Ville et du d partement de Paris pour 2003 Mairie de Parie 28 10 2002 lt http www parisFrance org FR La Mairie declarations maire conseil default ht gt consult le 06 12 2002 DELANO Bertrand Paris la d centralisation en actes In Le Monde 26 10 2002 lt http www lemonde fr gt consult le 06 12 2002 DIRE D l gation interminist rielle la r forme de l tat L am lioration de la gestion publique rapport du groupe de travail rapport Weiss Paris Minist re de la Fonction publique de la r forme de l tat et de 1 Am nagement du territoire 2000 DIRE D veloppement et g n ralisation du contr le de gestion Notes de synth se apr s l laboration des plans minist riels Paris Minist re de la Fonction publique et de la R forme de l tat 2002 DIRE Le contr le de gestion dans les administrations de l tat l ments de m thodologie Paris Minist re de la Fonction publique et de la R forme de l tat 2001 MOULINIER Pierre Dir valuation des politiques publiques Paris La Documentation fran aise 1994 OSBORNE David GAEBLER Ted Reinventing Government How the Entrepreneurial Spirit is Transforming the Public Sector from Schoolhouse to Statehouse City Hall to Pentagon Reading MA Addison Wesley 1992 PATTYN Christian C
51. ce service une partie des usagers desservis contribuant ainsi l am lioration de leurs comp tences Une autre m thode repose sur des enqu tes aupr s des usagers qui il est demand de fixer un prix aux services dont ils b n ficient gr ce la biblioth que Ces enqu tes s appuient sur des questions comme Combien seriez vous pr t payer pour ce service ou Seriez vous pr t payer 20 30 ou 40 dollars pour ce service m thode dite de WTP willingess to pay ou encore Combien faudrait il vous donner pour que vous acceptiez de renoncer ce service m thode dite de WTA willingness to accept Roswitha Poll donne des exemples tir s d exp riences men es l tranger la Biblioth que publique de Saint Louis aux tats Unis une enqu te a t men e par t l phone et par entretiens aupr s de la population locale pour estimer la valeur qu ils conf raient aux services de la biblioth que Les r sultats de l enqu te sont exprim s sur la base d une somme de 1 dollar correspondant ce que les contribuables paient d j pour la biblioth que par le biais les imp ts locaux D apr s l enqu te ils accepteraient de renoncer aux services de la biblioth que fermeture de tous les services si on leur remboursait 9 dollars ils attachent ces services une valeur 9 fois sup rieure ce qu elle leur co te r ellement Les personnes interrog es seraient par ailleurs
52. centes men es dans des tablissements parisiens proches de la BPI Un premier exemple celui des biblioth ques de la Ville de Paris permettra de mieux appr hender la probl matique de l valuation l int rieur d un r seau et dans le contexte de la d centralisation Un second celui de la BnF conduira analyser un certain nombre d outils strat giques d valuation mis l preuve des contraintes propres un grand tablissement national Cette seconde approche qui porte sur l environnement imm diat ou la p riph rie institutionnelle de la BPI rel ve de l analyse externe ou compar e Elle s est appuy e sur des visites d tablissements et des entretiens conduits l automne 2002 et a permis d introduire l tude de cas de la BPI au c ur de l actualit de l valuation en France En d autres termes ce chapitre se propose de d ployer quelques techniques de benchmarking Recommand e pour la conduite de projet cette d marche consiste aller voir ailleurs afin de s inspirer des bonnes id es des autres et de tirer de leurs checs des enseignements pour son propre projet J ajouterais qu il s agit de fournir un contexte notre tude de cas de dresser un tat des lieux afin d identifier ceux qu on est susceptible d investir d occuper sous b n fice d inventaire naturellement 2 1 Le contexte international Au niveau de la communaut professionnelle internati
53. ces donn es permettent une analyse approfondie de la consultation qui convient aux besoins d une politique de d veloppement des collections Cet outil pr sente quelques d fauts Lors de l exp rimentation Delphine Fanget ne disposait pour l enregistrement des codes barres que d un poste fixe install sur la banque d accueil du bureau 3 Les vacataires de rangement ont donc t oblig s de conduire syst matiquement leur chariot la banque d accueil avant de ranger les ouvrages dans les rayons L acquisition pr vue au budget 2003 de douchettes codes barres portables devrait consid rablement simplifier l op ration et permettre de l tendre l ensemble des secteurs Il restera 136 ge 2 Pour un compte rendu des conclusions de cette exp rience voir BEGUET Bruno La consultation des collections imprim es en Haut de jardin analyse statistique du sondage de d cembre 2000 Document de travail BnF Direction des collections Adjoint aux questions scientifiques et techniques Mission de coordination version du 31 05 2001 Paris BnF 2001 dact 179 Quel tableau de bord pour la BPI n anmoins d finir la p riodicit de ces relev s Des relev s continus permettraient naturellement une prise en compte syst matique des pratiques des usagers mais risqueraient d alourdir sensiblement le travail des vacataires On pourrait alors envisager un relev par mois ou encore de caler des
54. confusion des querelles de chapelles et de nombreux malentendus l emploi de termes identiques pour d signer des r alit s ou des m thodes diff rentes a sensiblement compliqu le travail des praticiens d sireux d appliquer la d marche d valuation dans leur tablissement Le fait que la terminologie fran aise ait t stabilis e dans le cadre d instances internationales l Organisation internationale de normalisation ISO et la F d ration internationale des associations de biblioth caires et des biblioth ques IFLA est galement un atout pour les biblioth ques fran aises Elle permettra terme de faciliter les comparaisons et les changes internationaux Le partage d un m me r f rentiel terminologique peut s av rer particuli rement utile dans le cadre europ en notamment cet gard on peut donc dire que les l ABBOTT Christine Performance Measurement in Library and Information Services Londres ASLIB The Association for Information Management 1996 The ASLIB Know How Series p 1 2 ILLIEN Gildas DCB11 M moire d tude 2003 15 Quel tableau de bord pour la BPI biblioth caires fran ais b n ficient paradoxalement par rapport leurs coll gues anglo saxons de leur retard ou des voies d tourn es qu ils ont emprunt es pour arriver la situation pr sente Pr cisons enfin que les experts fran ais qui ont particip aux travaux de traduction et de normalisation son
55. court Toutefois ce mode de pr sentation n est pas seulement d des difficult s techniques Il correspond galement un parti pris plusieurs reprises nous avons eu l occasion d insister sur le fait que l valuation tait une d marche volutive et non une agr gation de proc dures et de chiffres Nous avons galement insist sur le b n fice qu une biblioth que pouvait tirer de l appropriation et de la r alisation de cette d marche par ses propres agents plut t que par une personne ext rieure On peut consid rer qu un premier l ment de r ponse la question pos e se r sume par le choix de notre pr sentation d lib r ment elliptique Il e t t possible de proc der aux calculs pour lesquels des formules ont t identifi es Cependant quel aurait t l int r t d une d marche aussi ponctuelle men e par un stagiaire dans l urgence d un exercice solitaire Il a sembl plus judicieux de sensibiliser et d associer une partie des personnels de la BPI notre r flexion qui a donc accord plus d importance et de temps la formulation de la d marche d valuation qu la production de r sultats chiffr s Le tableau de bord pr sent en annexe a peut tre une autre vertu paradoxale il ment Certaines de ses donn es sont des approximations de ce que la r alit semble tre d autres expriment exactement l inverse des tendances observ es l automne 2002 P
56. d tablissement Les objectifs d finis dans ce document devront tre coh rents avec les indicateurs de suivi utilis s par le minist re de la Culture Ils serviront appr cier la politique conduite et d cider du montant de la subvention vers e la BPI Interrog sur cette perspective le Chef du Bureau des biblioth ques territoriales de la DLL d crit le mode de communication souhait par le minist re comme un change la fois plus transparent et plus rapide comparable une partie de ping pong Selon lui les changes se structurent autour d une concertation permanente entre la direction de l tablissement la DLL et le cabinet du ministre Ces propos rejoignent les orientations pr cis es par Jean Jacques A llagon qui concernant les relations de son minist re avec les tablissements publics a r cemment crit Le rapport de tutelle doit se d cliner selon trois principes autonomie responsabilit confiance Il faut favoriser une relation positive faite d une tr s large d l gation de responsabilit aux tablissements publics en contrepartie de leur 102 Entretien avec Thierry Grognet le 18 octobre 2002 105 Quel tableau de bord pour la BPI participation de fa on non ambigu et non quivoque aux grandes perspectives de la politique de ce minist re La mise en place d indicateurs devrait faciliter ces changes gr ce l laboration d un r f rentiel comm
57. d autres outils du m me type Les cahiers des vacataires charg s du reclassement des ouvrages sont des documents de liaison permettant d assurer le suivi de certains probl mes qui d coulent le plus souvent d usages de lecteurs qui sont r v lateurs de leurs pratiques le d classement volontaire qui est une ruse bien connue dans les biblioth ques de consultation la d gradation ou l usure de certaines collections indiquent qu elles font l objet d une utilisation passionnelle ou intensive Les cahiers des bureaux d information permettent ensuite de suivre l volution des griefs ou des demandes du public et des r ponses apport es par les biblioth caires Enfin le cahier des chefs de service est sans doute un des objets les plus instructifs pour qui cherche avoir une vision transversale des difficult s auxquelles la BPI est confront e au quotidien Lorsqu ils sont en service public les chefs de service de l tablissement ne sont pas affect s un bureau d information Leur r le consiste effectuer des rondes dans l ensemble des espaces et r gler tous les probl mes que les autres agents ne peuvent ou ne veulent r soudre Le rapport de stage d j cit consacre plusieurs pages l observation de cette activit La lecture de ce cahier est difiante car elle r v le toutes les difficult s que rencontrent ou cr ent les lecteurs au quotidien agressions incivilit s vols exhibitionnisme harc
58. d organisation centralis et vertical qui a longtemps pr valu Il implique de faire intervenir dans la prise des d cisions tous les acteurs concern s qu ils soient usagers ma tres d ouvrage ou ma tres d uvre et de donner ces derniers les moyens d tre de v ritables centres de d cision Le passage de la statistique l valuation dans les biblioth ques est un indice de cette modification des flux de responsabilit et de pouvoir Celle ci s observe deux niveaux entre l administration et les tablissements d une part entre l encadrement et les personnels l int rieur des tablissements d autre part Cette volution suit celle du cadre juridique et r glementaire fran ais Elle refl te aussi une mutation profonde des pratiques et de la culture professionnelles dans le domaine de la gestion publique ILLIEN Gildas DCB11 M moire d tude 2003 82 Quel tableau de bord pour la BPI Les biblioth ques doivent saisir cette opportunit et profiter de la plus grande autonomie qui leur est accord e tout en prenant conscience qu elle implique de leur part une plus forte implication dans la d finition des objectifs et dans la mise en uvre des proc dures de suivi et de contr le de leur r alisation En effet on n assiste pas une inversion des flux de pouvoir mais un r quilibrage et une contractualisation des relations entre la tutelle et l tablissement Ces deux acteurs
59. d tude 2003 84 Quel tableau de bord pour la BPI S agissant des usagers il faut naviguer entre deux cueils Le premier consisterait comme le font parfois nos coll gues anglo saxons consid rer que l expression explicite de la satisfaction ou de l insatisfaction des lecteurs est le crit re ultime d appr ciation d une politique Il convient de s interroger sur les besoins implicites de la population desservie dont une grande partie ne fr quente pas la biblioth que Ces besoins ne sont pas exprim s en tout cas pas dans l enceinte de l tablissement ils se d duisent s observent s anticipent Le second cueil consisterait l inverse vouloir penser et appr cier en lieu et place des usagers la qualit des services qu on leur rend sans jamais les consulter S agissant des personnels l appropriation de l valuation par le plus grand nombre est d terminante La prise en charge de son suivi ne doit ainsi pas faire l objet d une trop grande sp cialisation ni d une trop forte externalisation m me si parfois pour certains aspects ces deux cueils sont in vitables L valuation implique par ailleurs d introduire des changements dans la biblioth que et se heurte des r sistances et des confrontations culturelles ainsi qu des probl mes de formation de communication d organisation Elle ne peut toujours s adresser tous ni emporter une adh sion consensuelle Dan
60. d une typologie des questions facilite le traitement ult rieur des donn es Nous avons n anmoins observ que la typologie propos e 190 Quel tableau de bord pour la BPI questions complexes questions rapides questions par t l phone questions d orientation interventions techniques n tait pas toujours pertinente D abord elle permet de comptabiliser les questions mais pas les r ponses une question peut donner lieu plusieurs r ponses et plusieurs questions peuvent converger vers une seule r ponse apr s reformulation Ensuite une question d orientation peut impliquer un entretien assez long avec l usager si le biblioth caire saisit cette occasion pour lui expliquer le fonctionnement de l OPAC du plan de classement ou l organisation g n rale de la biblioth que l inverse une question complexe peut tre trait e rapidement si elle est clairement exprim e et que le biblioth caire ma trise bien le fonds et les outils de recherche On pourrait consid rer que ces difficult s sont marginales et reconduire en l tat le dispositif de la semaine test On pourrait aussi r fl chir une autre typologie qui consisterait ne retenir qu un seul crit re totalement objectif le temps que dure l change entre l usager et le professionnel Sur ce principe la grille serait alors structur e selon une autre nomenclature questions dont le traitement a requis moins de trente secondes moin
61. d cliner les types d animation tables de nouveaut s ou th matiques expositions venues d auteurs ateliers d criture spectacles ete ILLIEN Gildas DCB11 M moire d tude 2003 61 Quel tableau de bord pour la BPI Enfin les travaux du groupe ont port sur un remaniement du questionnaire destin mieux rendre compte de l action conduite travers un r seau par les BDP et de mettre par exemple l accent sur le r le de conseil aux communes en comptabilisant le nombre de rencontres entre communes et BDP ou encore le nombre de communes ayant utilis au moins une fois dans l ann e les services de la BDP L ensemble des modifications propos es devrait prochainement tre soumis pour validation plusieurs instances avant d tre test aupr s d un chantillon de biblioth ques cobayes L introduction du nouveau questionnaire est pr vue partir de 2003 Si l on a cru bon de rendre compte du travail en cours la DLL c est qu il a sembl int ressant de voir comment de telles proc dures s engagent et quelles difficult s techniques ou administratives elles se heurtent La prise en compte de la dimension intercommunale appara t probablement comme l un des grands enjeux pour l avenir de l valuation dans les biblioth ques territoriales elle m riterait de faire l objet d une tude sp cifique Interrog e sur les perspectives de l valuation la DLL Martine Blan
62. d marche d auto connaissance permanente ou ponctuelle pratiqu e par la biblioth que afin de rendre compte de ses activit s et d en am liorer la gestion Elle peut tre interne lorsque la biblioth que souhaite mesurer l volution de ses propres activit s dans le temps Elle peut galement tre externe lorsque la biblioth que souhaite comparer son activit celle d autres tablissements et se situer dans un environnement plus large Elle peut tre ant rieure valuation ex ante vis e prospective ou post rieure l action valuation ex post des bilans et rapports d activit Elle pourra galement tre r alis e en m me temps que l action se d roule on parlera alors d valuation concomitante L utilisation de tableaux de bord correspond ce dernier cas de figure La d marche d valuation diff re de la statistique en ce qu elle se propose de mesurer l activit de la biblioth que non plus comme une valeur absolue mais par rapport un contexte interne et un environnement externe d termin s Elle s inspire en ce sens du management strat gique et du contr le de gestion qui inscrivent l activit des services dans une r alit sociale conomique et politique ILLIEN Gildas DCB11 M moire d tude 2003 19 Quel tableau de bord pour la BPI Il s agit alors de confronter la strat gie de l tablissement la mise en uvre de ses actions Autrement dit l
63. de classement et de comp tition pour analyser au niveau national l activit des biblioth ques des tablissements de l enseignement sup rieur en fonction de grandes th matiques fonctionnelles lectorat collections acquisition moyens locaux personnels ou de th mes r cemment introduits tels que la formation des usagers l acquisition et la consultation de ressources lectroniques Pierre Yves Renard pr cise qu en ajoutant au questionnaire des questions portant sur ces enjeux nouveaux l objectif du minist re est naturellement de recenser les pratiques et les r sultats mais aussi de sensibiliser les tablissements ces enjeux Par exemple la derni re enqu te statistique interrogeait les tablissements sur leur capacit valuer les usages de leurs ressources lectroniques poser la question participe la prise de conscience de la n cessit d y parvenir Les am liorations de Il ESGBU fournissent ainsi aux gestionnaires de l administration centrale des outils de d cision mieux adapt s leurs priorit s et leur nouveau mode de fonctionnement L ambition du minist re est cependant 5 Sources MINISTERE DE LA JEUNESSE DE L DUCATION NATIONALE ET DE LA RECHERCHE Sous direction des biblioth ques et de la documentation Annuaire des biblioth ques universitaires 2000 R sultats de l enqu te statistique g n rale aupr s des biblioth ques et services documentaires des tablissements de l
64. de l ESGBU Enqu te statistique g n rale aupr s des biblioth ques universitaires dont Pierre Carbone explique qu elle devait permettre d une part l administration centrale de collecter les statistiques pour l chelon national et international ainsi que produire les informations indispensables la poursuite de son action en faveur des biblioth ques pour ce qui concerne en particulier la r partition des moyens de fonctionnement la planification et la programmation ainsi que le d veloppement de la coordination documentaire au sein des universit s L auteur qui a particip la mise en place et l am lioration de l enqu te en souligne toutefois les limites qui sont celles de toute statistique nationale l agr gation de donn es dans un cadre totalement normalis ne permet pas de voir les importants carts d activit et de situation entre les diff rentes composantes d un tablissement ni de mettre en valeur leurs difficult s ou leurs atouts sp cifiques Un de ses effets pervers est de conduire la comparaison des activit s de chaque tablissement une moyenne nationale qui en soi ne refl te pas la diversit des situations De plus l ESGBU s est v ritablement construit selon la logique verticale et lin aire du contr le a posteriori refl tant davantage la vision n cessairement englobante de l administration que les pr occupations particuli res
65. de la performance dans les biblioth ques universitaires publi es par l IFLA en 1996 et qui contiennent un glossaire anglais fran ais des termes cl s Keys to Success Performance indicators for Public Libraries est l un des premiers manuels publi s sur le sujet en Grande Bretagne Sa traduction fran aise est pr sent e en annexe de l ouvrage dirig par Anne Kupiec en 1994 sous le titre Les cl s du succ s indicateurs de performance pour les biblioth ques publiques Signalons galement les ouvrages plus anciens publi s par Christine Abott et John Crawford remarquables par la concision et la clart de leur pr sentation ainsi que leurs sch mas explicatifs En langue fran aise on pourra consulter les ouvrages et manuels publi s successivement par Anne Kupiec Thierry Giappiconi et Pierre Carbone dit s dans un intervalle de huit ann es ils permettent la fois de s approprier la terminologie technique de l valuation et d observer comment l approche fran aise du sujet s est progressivement approfondie La comparaison de ces publications i CARBONE Pierre valuer la performance des biblioth ques une nouvelle norme Bulletin des biblioth ques de France 1999 t 43 n 6 p 42 POLL Roswitha TE BOEKHORTS Peter Measuring Quality International Guidelines for Performance Measurement in Academic Libraries Munich New Providence Londres Paris Saur 1996 IFLA Publications 76
66. directeurs de BDP et les conseillers pour le livre et la lecture CLL on peut donner quelques exemples significatifs Les d bats au sein du groupe portent sur la d finition de quatre crit res minimum permettant de qualifier un quipement de biblioth que et de prendre en compte ses statistiques dans l enqu te nationale En effet la base actuelle agr ge les donn es d tablissements qui ne r pondent pas des crit res ILLIEN Gildas DCB11 M moire d tude 2003 60 Quel tableau de bord pour la BPI homog nes De plus le recoupement et le doublonnage de donn es entre BDP et BM fausse les calculs Une proposition est l tude qui fixe les seuils suivants pour d finir une biblioth que a minima 8 000 de d penses de personnel 1000 d acquisitions 50 m2 de locaux 6 heures d ouverture hebdomadaire Elle soul ve bien des interrogations les crit res semblent trop exigeants pour les uns et pour d autres pas assez ou en tout cas manquant de coh rence interne L harmonisation des crit res utilis s dans les diff rentes bases de donn es Annuaire et base statistique de la DLL et du r seau des BDP et pour diff rents exercices rapports annuels questionnaire pour le r pertoire d adresses questionnaire pour le concours particulier 1 part bilan des cr dits DGD 2 part dossiers du Centre national du Livre se r v le tre un v ritable casse t te Le groupe de travail a cepend
67. doivent d sormais collaborer plus troitement il revient aux tutelles de pr ciser les missions et de subventionner les tablissements aux biblioth ques en retour de d finir et de r aliser les objectifs qui permettront de remplir leurs missions au meilleur co t Les collectivit s les universit s ou l tat doivent savoir et dire ce qu ils veulent ils sont en quelque sorte les ma tres d ouvrage Les biblioth ques elles sont les ma tres d uvre Leur r le est de r aliser les missions qui leur ont t fix es mais aussi d observer d anticiper et de signaler les volutions structurelles ou conjoncturelles qui rendent n cessaire l actualisation ou la remise en cause de ces missions l chelon national la d centralisation conduit les administrations centrales d laisser leur fonction de contr le a posteriori au profit de missions d expertise et de conseil qui interviennent en amont des r alisations et des projets des tablissements et constituent parfois dans les faits une forme de contr le a priori Cette transformation se traduit notamment par certaines initiatives des tutelles visant partager avec les tablissements leur savoir faire et bases statistiques comme inciter leur exploitation afin de construire les indicateurs les plus pertinents au regard des objectifs et de l environnement propres chaque biblioth que D s lors l administration centrale encourage les ta
68. du concours particulier Dix ans plus tard l histoire semble pourtant se r p ter En 2001 le Directeur du livre et de la lecture a annonc une relance de la politique d valuation de la DLL lors du congr s de l Association des biblioth caires fran ais ABF Montpellier L ancienne pr sidente de l ADBDP Martine Blanchard a rejoint la DLL pour piloter ce nouveau plan d valuation Un groupe de travail a t form autour d elle pour travailler une nouvelle refonte du questionnaire On y retrouve Anne Marie Bertrand Alain Caraco et Bertrand Calenge Il faut esp rer que leur 80 MINIST RE DE LA CULTURE Direction du livre et de la lecture Biblioth ques municipales biblioth ques d partementales de pr t donn es 1999 Paris D L L 2001 ILLIEN Gildas DCB11 M moire d tude 2003 59 Quel tableau de bord pour la BPI connaissance qu on pourrait d sormais qualifier d intime de la probl matique des questionnaires d valuation et des difficult s de leur mise en uvre la DLL aboutira cette fois des r sultats la hauteur des efforts d ploy s Le souci du groupe de travail qui s tait r uni en 1991 de mettre en coh rence les questionnaires adress s aux diff rents types de biblioth ques territoriales se pose aujourd hui de fa on encore plus pressante Le renforcement de la d centralisation et de l intercommunalit implique d avoir une meilleure vision la fois
69. du monde anglo saxon l volution des enqu tes statistiques vers une d marche plus globale celle de l valuation tout en s effor ant d en harmoniser les pratiques peu pr s la m me poque l IFLA se saisit du dossier et prend de facto le relais Introduit pour la premi re fois par John Willemse lors du congr s de Sydney en 1988 le th me de l valuation mobilisera rapidement un nombre croissant de membres et de sections MOORE Nick Measuring the Performance of Public Libraries a draft manual Paris UNESCO 1989 ILLIEN Gildas DCB11 M moire d tude 2003 37 Quel tableau de bord pour la BPI de la F d ration internationale des associations de biblioth caires et des biblioth ques Roswitha Poll dont les travaux dans ce domaine font autorit retrace les diff rentes tapes franchies par le groupe qu elle pr side d s 1990 congr s de Stockholm et dont les r flexions aboutiront six ans plus tard la publication des Recommandations sur les indicateurs de performance dans les biblioth ques universitaires Ce qu on peut consid rer comme l anc tre de la norme ISO 11620 restreint volontairement son champ d application puisqu il ne concerne que les biblioth ques universitaires et exclut la mesure de l efficience et les indicateurs relatifs au traitement et la conservation des collections pour privil gier la piste des indicateurs de services aux usagers La d marche suivie est
70. du point de vue de la direction que nous avons suivie dans la partie politique pour privil gier celui des usagers puis celui des agents Dans le second cas il s agira de pr senter un spectre assez tendu de perceptions individuelles de l valuation afin de montrer l int r t ou la m fiance que cette d marche inspire et d valuer ainsi la pertinence de son application du point de vue de la gestion des ressources humaines 2 2 1 Les usagers face l valuation r ceptifs mais volatils La prise en compte de la dimension humaine de l valuation se pose en des termes tr s diff rents selon que l on s int resse aux usagers ou aux personnels Dans le premier cas on peut dire que le public de la BPI pr sente deux caract ristiques paradoxales il n aime pas qu on le contr le mais il appr cie qu on lui demande son avis Le contraste entre ces deux attitudes est peut tre encore plus accus la BPI que dans d autres tablissements Cela tient d abord au fait que les usagers tiennent garder l anonymat que leur garantissent les modalit s d acc s aux espaces et aux services de la biblioth que Cet anonymat et la gratuit dont il est assorti contribuent forger le sentiment de libert au m me titre que la densit et l am nagement des plateaux ainsi que l organisation des collections et des circulations Le d sir d anonymat est cependant davantage tourn vers l institution que vers l
71. en effet jour des statistiques permettant de distinguer les ouvrages destin s tre d sherb s selon des crit res intellectuels l ouvrage est volontairement retir du fonds parce qu on estime qu il n a plus sa place dans la collection de ceux qui doivent tre restaur s ou recommand s parce qu ils sont en mauvais tat Ces statistiques sont tr s int ressantes car elles permettent d une part de prendre la mesure des d gradations volontaires sur les collections et d autre part et c est ce qui nous int resse ici d identifier des pans de la collection qui font l objet d un usage intensif on peut consid rer que les indicateurs d usure sont aussi des indicateurs d usage La section retraitement pourrait donc contribuer l analyse de la consultation des collections En conclusion sur ce point il reste pr ciser que le dispositif propos n aurait pas une dur e de vie sup rieure 180 Quel tableau de bord pour la BPI dix ans En effet lors de sa prochaine r informatisation probablement autour de 2012 la BPI aura certainement l opportunit d quiper ses collections d imprim s des nouvelles puces lectroniques qui simplifient le travail de r colement et d valuation de la consultation sur place Ce syst me est encore co teux Utilis dans un nombre croissant de biblioth ques am ricaines il est exp riment depuis deux ans dans quelques biblioth ques municipales t
72. enseignement sup rieur Paris La Documentation fran aise 2002 ILLIEN Gildas DCB11 M moire d tude 2003 49 Quel tableau de bord pour la BPI d aller plus loin en restituant aux tablissements qui les ont fournies les donn es recueillies Qu il s agisse de d velopper des pratiques de benchmarking ou de construire leurs propres indicateurs on comprend que la d marche vis e peut radicalement modifier la perception que les tablissements ont de l enqu te En effet la SDBD se propose par la mise en place de nouveaux outils de leur rendre la main et remplit dans cette perspective une mission qui s apparente davantage l expertise et au conseil mise disposition d outils et de m thodes de calcul qu au contr le Cet objectif supposait la r alisation d un outil informatique permettant aux utilisateurs distants de manipuler les chiffres de la base de donn es de l ESGBU C est chose faite depuis peu gr ce l Application statistique interactive des biblioth ques universitaires ASIBU lt www sup adc education fr asibu gt Cette application s inspire d outils d velopp s depuis quelques ann es aux tats Unis et dans plusieurs pays europ ens et recens s p riodiquement par la section Statistiques de PIFLA L un des meilleurs exemples peut tre observ sur le site de l ARL Association of Research Libraries lt www arl org stats gt qui permet de consulter et de
73. es et remarquablement utilis es comme en t moigne le rapport annuel du service qui illustre au moyen de graphiques tr s clairs les commentaires qui sont faits sur son activit Ces donn es et les pratiques statistiques qui les soutiennent constituent incontestablement un mod le du genre au sein de l tablissement Cela tient au professionnalisme des agents charg s des statistiques mais aussi la configuration des sections concern es qui fonctionnent comme deux petites biblioth ques autonomes l int rieur de la BPI De plus elles sont les seules disposer d un outil permettant de mesurer non seulement la r servation des postes de travail de visionnage ou d coute mais aussi celle des documents 127 Quel tableau de bord pour la BPI analogiques et informatiques parmi lesquels il est possible de distinguer les supports et les cat gories Cette valuation ressemble beaucoup une analyse des pr ts dans un SIGB classique m me si les usagers ne consultent pas n cessairement le document qu ils ont r serv ce qui fausse marginalement les r sultats Le sch ma suivant r sume les principales fonctions statistiques de Mmediaview EI Internet R seau Autoformation Son Audio Mmediaview libre g n ral consultation consultation r servations consultation r servations r servations impressions impressions impressions impressions En gras les statistiques g r es par Paule Ruiz CBI
74. et d outils statistiques Dans leur cas le manque de coordination et d harmonisation des proc dures tait n anmoins patent D s lors c est dans ce secteur que la construction d indicateurs semblait la fois la plus utile et la plus faisable Enfin les travaux conduits en France et au niveau international notamment dans les instances de normalisation ont fait des services aux publics une piste d investigation privil gi e pour des raisons qui n chappent personne alors que les modalit s d acc s et de fourniture d information et de 98 Quel tableau de bord pour la BPI documents se multiplient les biblioth ques tirent leur l gitimit de leur capacit devancer et satisfaire des besoins de formation de m diation et de socialisation exprim s explicitement ou implicitement par leurs usagers La r flexion de la BPI sur les services aux publics pouvait contribuer aux travaux engag s ce sujet hors de ses murs Notre tude devait donc se concentrer sur l une des cinq orientations du Projet d tablissement am liorer les services rendus aux publics sur place et distance Elle se d clinait trois niveaux Le premier regardait les services aux particuliers et aux groupes accueillis par la BPI dans ses espaces du Centre Pompidou Le second portait sur les services propos s via l Internet aux usagers distants Le troisi me concernait le d veloppement de la coop ration de l ta
75. et des p riodiques En l absence de statistiques de pr t la mesure a port sur le nombre d ouvrages sortis des rayons comptabilis s par les vacataires charg s du reclassement Le traitement des donn es ainsi collect es a abouti la r alisation de deux autres histogrammes permettant d observer la r partition des collections rang es par secteur et par jour de la semaine Rapport s au nombre total d ouvrages par secteur les volumes rang s ont donn une indication de la part des livres consult s dans chacun des secteurs de la biblioth que Il convient de pr ciser que l valuation de la consultation des imprim s dans le secteur Droit conomie a donn lieu une tude beaucoup plus pointue et une exp rimentation conduite par Delphine Fanget l ve conservateur de l Enssib Nous reviendrons dans la derni re partie du m moire sur le dispositif qu elle a test l automne 2001 16 5 z hits ou donn es brutes globales paquets de requ tes multiples venant d une m me adresse IP et mises successivement dans un intervalle de moins de 30 minutes 135 Quel tableau de bord pour la BPI La semaine test de 2001 a ind niablement contribu faire avancer l id e de l valuation dans l tablissement Alors que toutes les tentatives de la direction pour mettre en uvre semblable proc dure avaient chou par le pass l exp rience conduite cette occasion a de l avis g n
76. et la BPI l int r t des SIGB para t assez limit Pourtant il nous semble que ces outils informatiques pourraient tre utilement employ s dans ces organisations complexes et tendues non plus pour mesurer leur impact sur l environnement ext rieur mais afin de mieux g rer leurs stocks et leurs flux int rieurs de documents et de lecteurs En effet ces quipements ont d pass la taille critique au del de laquelle on peut s en remettre aux observations empiriques la BnF un outil qui se rapproche beaucoup d un SIG a t d velopp en 1995 afin de faire des simulations d implantation de collections Ce logiciel permettait de relier une base Access contenant toutes les donn es relatives aux collections en libre acc s aux plans d am nagement de la nouvelle biblioth que sur le site Fran ois Mitterrand Bruno B guet qui a utilis ce dispositif explique que le logiciel donnait une vision extr mement d taill e des plans d am nagement et servait faire des simulations Il a t utilis pour l implantation des collections en Rez de jardin en 1996 puis en Haut de jardin en 1998 mais n est plus maintenu depuis Notre proposition vise consid rer l int rieur de la BPI comme un territoire part enti re et y utiliser les fonctionnalit s classiques d un SIG appliqu es aux besoins sp cifiques de la gestion des services aux publics 3 1 Le syst me de gestion des espaces publics applications
77. explicitation ou une nonciation des missions et des objectifs y En pratique et dans la norme les indicateurs se d clinent et se classent plut t selon une logique fonctionnelle ou sectorielle qui para t plus simple mettre en uvre et donne des r sultats plus ais s communiquer aux personnels et aux autorit s les indicateurs se pr senteront plut t selon les types de services rendus fourniture de documents recherche de documents pr t de documents les fonctions remplies acquisitions traitement promotion du service ou le cas 26 GIAPPICONI Thierry Op cit p 59 1 CARBONE Pierre Op cit p 45 ILLIEN Gildas DCB11 M moire d tude 2003 26 Quel tableau de bord pour la BPI ch ant les diff rentes unit s de l organigramme de la biblioth que service administratif service des collections service de l animation La liste des indicateurs retenus par la norme ISO 11620 est loin d tre close et la r vision en cours promet d apporter des d veloppements int ressants notamment pour l valuation des services distance De plus rien n interdit de chercher des indicateurs ailleurs que dans la norme Le contr le de gestion dans les administrations publiques pourra notamment constituer un vivier d indicateurs pertinents On y a par exemple puis des indicateurs d environnement qui permettent de prendre en compte les caract ristiques g ographiques de l es
78. fonction de la valeur haute ou basse attribu e cette information Par exemple les incidents mat riels pourraient tre signal s au moyen de points jaunes Si le nombre d incidents est lev le point jaune grossit ou change de couleur Le r sultat final constituerait de facto un tableau de bord cartographique des services publics de la BPI dont on trouvera quelques illustrations en Annexe 3 Le choix des domaines d application de cette cartographie d pend du mode et de la fr quence d alimentation de la base de donn es En effet l utilisation de l outil infographique n est videmment pertinente que si les donn es sont fiables Sur la base des dispositifs et des indicateurs d crits dans ce chapitre nous avons retenu les activit s suivantes consultation renseignement maintenance logistique et informatique hygi ne et s curit D autres applications sont envisageables Pour la consultation des documents les donn es g ographiques pourraient tre automatiquement d duites et g n r es partir des cotes CDU indiquant la localisation des documents Gr ce aux relev s r guliers on aurait une vision d ensemble de l volution des flux de consultation dans les espaces publics Cette application pourrait tre aussi bien utilis e pour la r gie des espaces la gestion des vacataires de rangement ou la politique documentaire Elle int resserait plus largement l ensemble des personnels car elle permet
79. impose Celle ci permettrait d all ger la t che de la mission de diffuser plus largement les r sultats et de d gager du temps de travail pour une exploitation plus strat gique des donn es Le projet qu elle a pr sent l autorit administrative a pour objet d aboutir une application d velopp e sous Access gr ce laquelle nombre d op rations et de circuits statistiques pourraient tre automatis s simplifi s et perfectionn s traitement automatique des donn es extraites de G ac cr ation de formulaires de saisie pour les donn es entrer manuellement cr ation d tats pour les ditions papier mise disposition des statistiques pour une consultation via Intranet et Internet r alisation d une cartographie des activit s L ensemble de ces d veloppements permettrait en effet une importante simplification des t ches La mise en ligne des donn es sur l Intranet du r seau favoriserait par ailleurs la communication avec les biblioth ques et rendrait possible une plus grande implication de leurs personnels dans la d marche Au del des opportunit s offertes par cette modernisation technique Val rie Alonzo estime n anmoins que des questions de fond m ritent d tre pos es quoi comparer toutes ces donn es Aux moyennes nationales Aux moyennes des autres villes des moyennes d arrondissement Cela ne semble pas tr s pertinent Qui se sert vraiment de ces statistiques Le travail
80. indicateurs 132 P x RIA nitA Nous nous r f rons son intervention au congr s de P IFLA Glasgow d j cit e 171 Quel tableau de bord pour la BPI pose trois types de difficult s La premi re est li e au mode de fonctionnement de la BPI qui exclut la possibilit de d nombrer les pr ts on ne peut mesurer que l activit de consultation La seconde tient la part croissante qu occupent les documents immat riels dans la collection et dans les usages Comment valuer l utilisation des documents lectroniques Enfin un troisi me d fi concerne la fonction de fourniture de documents par le biais de la biblioth que distance Comment pourra t on terme rendre compte de ce service Alors que la BPI cherche red finir sa politique documentaire lui font d faut des indicateurs qui lui permettraient d avoir une vue d ensemble de l utilisation qui est faite de ses collections mat rielles et immat rielles sur place et distance La construction d indicateurs documentaires hybrides est devenue indispensable pour chapper au cloisonnement de politiques d acquisition jusqu pr sent men es s par ment en fonction des supports et non des contenus Les fonctions d acquisition et de traitement des documents lectroniques ont t int gr es au service des imprim s en d cembre 2002 Les propositions qui sont faites ici r pondent un besoin urgent d outils de pilotage pour la mis
81. interlocuteurs des services semblent avoir appr ci le mode de r flexion qui leur tait propos pour parvenir in fine expliciter en quoi consistait pr cis ment leur politique et souvent la requalifier C est pourquoi nous pensons que le travail de communication et de sensibilisation conduit la BPI dans le cadre de cette tude et pr alablement la r daction du Projet d tablissement a t utile Certes nos propositions d indicateurs auraient gagn s appuyer sur des missions et des objectifs mieux d finis Mais ceux ci ne seront ils pas pr cis ment exprim s plus librement gr ce l accompagnement qui a t propos En d autres termes le calendrier nous a desservi mais il s est av r pertinent pour la direction de la BPI En effet il ne nous a pas permis d laborer des outils tr s pr cis car la technique a t mise au service d une 116 Quel tableau de bord pour la BPI politique encore impr cise En revanche il facilitera peut tre l mergence et la formulation d objectifs nouveaux pour la BPI 2 2 Ressources et r sistances d une organisation humaine au c ur du changement La dimension humaine de l valuation est au c ur des questions politiques que nous avons abord es Nous examinerons donc plus bri vement les r sultats de l analyse de l existant relatifs aux usagers et aux personnels qui n ont pas t d j trait s Nous nous d placerons ainsi
82. intrins que mais force est de constater que l o la plupart des tablissements chouent identifier et d cliner leurs missions la BnF a su r aliser une avanc e consid rable Il va sans dire que notre r flexion gagnerait cependant s appuyer sur une observation du terrain Des aspects fondamentaux de la d marche d valuation nous chappent car ils ont trait sa perception et son appropriation par les diff rentes cat gories de personnels Sur ce point nous nous permettons d exprimer des r serves d j voqu es compte tenu du mode d organisation de la BnF qui en d pit des efforts engag s demeure assez cloisonn et fortement hi rarchis Outre les nombreux probl mes techniques et culturels voqu s propos de la collecte des donn es il y a lieu de veiller ce que les outils construits ne se r duisent pas une superstructure formelle r serv e aux seuls d cideurs de l encadrement et produite par une D l gation dont l activit est trop souvent associ e par les personnels au contr le et la sanction Le risque est grand en effet de voir les indicateurs tableaux de bord et fiches de poste de l tablissement r duits des instruments de contr le a posteriori au d triment d une d marche d anticipation de prospection et de mobilisation des quipes de BIBLIOTHEQUE NATIONALE DE FRANCE 2002 Op cit p 57 ILLIEN Gildas DCB11 M moire d tude 2003 81
83. la Biblioth que publique d information ILLIEN Gildas DCB11 M moire d tude 2003 21 Quel tableau de bord pour la BPI Un objectif g n ral se d finit comme la situation atteindre gr ce des plans d action et des moyens adapt s il est une application de la mission au contexte particulier de l tablissement Si l on retenait du d cret pr c demment cit la mission de la BPI de pr senter ses collections en libre acc s on pourrait lui fixer comme objectif g n ral de d ployer la totalit de ses collections dans les espaces publics de la biblioth que Enfin un objectif op rationnel est un but sp cifique qu une activit doit atteindre afin de contribuer r aliser l objectif g n ral d une organisation ce niveau o il s agit d objectiver des r sultats tangibles et pour conclure sur l exemple du libre acc s on pourrait imaginer que la BPI se fixe pour l ann e 2003 l objectif op rationnel de mettre en libre acc s la totalit de ses dossiers de presse dont une partie est actuellement conserv e en magasin en vue d une num risation Contrairement ce que l on pourrait penser la complexit de la mise en uvre de l valuation dans une biblioth que tient autant aux moyens techniques qu il convient de mobiliser afin de recueillir et d exploiter des donn es qu la difficult laquelle on est confront lorsqu il s agit de d finir ses objectifs
84. la d centralisation que cette politique verra le jour Le projet de d concentration de certaines comp tences vers les arrondissements port par le nouveau Maire de Paris constitue en effet une opportunit nouvelle pour les biblioth ques du r seau de sensibiliser les lus d arrondissement la construction et la modernisation des quipements Ce projet s inscrit dans le cadre juridique de la Loi du 27 f vrier 2002 sur la d mocratie de proximit qui pr voit le transfert aux conseils d arrondissement des quipements de proximit notamment des biblioth ques cet effet les maires d arrondissement doivent b n ficier de moyens budg taires et humains renforc s Cela implique une modification de la structure du budget 2003 avec des transferts financiers tr s importants vers les arrondissements Certes l annonce officielle par le Maire lors du Conseil de Paris du 28 octobre 2002 du transfert de 56 des 58 biblioth ques du r seau les biblioth ques patrimoniales ne sont pas concern es vers les 34 GIRARD BILLON Aline Les biblioth ques Paris une nouvelle approche des statistiques Bulletin des biblioth ques de France 2000 t 45 n 1 p 13 19 ILLIEN Gildas DCB11 M moire d tude 2003 65 Quel tableau de bord pour la BPI arrondissements n a pas fait l unanimit L Association des conservateurs biblioth caires et responsables des biblioth ques de la Ville de Paris ACERB relay e par
85. la d marche propos e pour la BPI Avant de s engager dans cette voie il semble judicieux de faire un d tour afin d explorer l environnement institutionnel politique et professionnel dans lequel la r flexion sur les tableaux de bord de la BPI doit tre conduite En effet l valuation est une d marche qui a beaucoup volu en quelques ann es au point de devenir une discipline biblioth conomique part enti re Le terrain n est pas vierge et sous un autre nom d j rencontr celui de la statistique elle s appuie en France sur une histoire qui a profond ment structur la culture et les rapports professionnels dans ce domaine il est utile de conna tre cet h ritage et ses prolongements C est cette histoire et cette actualit confront es aux volutions observ es l tranger et replac es dans le contexte de l valuation des politiques publiques qui seront d abord examin es et d clin es pour deux grandes familles d tablissements les biblioth ques universitaires et les biblioth ques publiques On a pr f r approfondir l analyse de ces deux types d quipement plut t que de s attarder sur un plus vaste panorama les biblioth ques scolaires et les centres de documentation ne seront donc pas trait s 35 GIAPPICONI Thierry Op cit p 193 ILLIEN Gildas DCB11 M moire d tude 2003 32 Quel tableau de bord pour la BPI On se concentrera ensuite sur deux exp riences r
86. la dur e Nos pr conisations dans ce domaine ne sont que des esquisses nous invitons le lecteur consid rer ce qui suit davantage comme une r flexion sur les instruments qui pourraient claircir cette situation que comme une proposition fig e 2 4 1 Les services de renseignement valuer les questions La m diation humaine sur place ou distance est l occasion privil gi e d un change qui est la fois un transfert de comp tences et un service que l on rend l usager La question est l expression de demandes ou de besoins plus ou moins clairement formul s par lui Le r le du biblioth caire est d analyser la question de la reformuler et enfin d apporter la ou les r ponses qui lui semblent les plus pertinentes compte tenu de l analyse qu il en a faite ainsi que de la disponibilit et des moyens documentaires dont il dispose L analyse des questions et des r ponses est un exercice la fois passionnant et complexe car il implique de confronter le syst me de repr sentation de l usager celui du biblioth caire La qualit du service rendu ne se mesure pas l exhaustivit de la r ponse mais son exactitude par rapport aux sources qui font autorit et la mission de la biblioth que qui selon son statut n a pas vocation r pondre de la m me fa on toutes les questions Elle se mesure aussi son ad quation en termes de profondeur de vocabulaire d attitude aux b
87. la pr sentation du contrat quadriennal aupr s de la SDBD est en fait la seule variable d ajustement de leur budget sur laquelle ils peuvent exercer leurs talents d valuateurs 2 2 3 Les biblioth ques publiques une situation contrast e 63 X Re ti de A A ne z M me si par ailleurs ind pendamment de consid rations strictement financi res ces comp tences peuvent leur servir au quotidien pour coop rer avec les autres composantes et renforcer leur insertion dans l universit ILLIEN Gildas DCB11 M moire d tude 2003 51 Quel tableau de bord pour la BPI 2 2 3 1 De la sensibilisation la mise en uvre quel bilan En 1994 Anne Marie Bertrand dressait un premier bilan de l acceptation du terme et de la d marche de l valuation chez les professionnels des biblioth ques publiques l valuation semble n tre consid r e que comme une version sophistiqu e des statistiques Elle rappelait n anmoins que les volutions technologiques budg taires et culturelles avaient fait merger la fois un besoin croissant et une meilleure capacit d valuation dans ces tablissements ces facteurs il conviendrait d ajouter peut tre au premier chef les importants changements administratifs et politiques n s de la d centralisation et plus r cemment de l intercommunalit ceux ci conduisent en effet les biblioth ques publiques conduire des projets et d fendre leurs moyens a
88. le co t par entr e et le co t par visite virtuelle ni ISO TC 46 SC 8 Information et documentation Indicateurs de performance pour les services lectroniques des biblioth ques Rapport technique stade du document Enqu te version du 05 07 2002 p 22 Ibid d finition 3 16 p 4 166 Quel tableau de bord pour la BPI En derni re analyse on gagnerait r fl chir la notion d indicateur hybride en prenant en compte les usages mixtes de la biblioth que c est dire en s int ressant aux pratiques combin es visites physiques assorties de consultations du site web qui donnent davantage d indications pour am liorer le service que la simple juxtaposition des donn es de fr quentation En effet il nous semble que ce type d observation peut aider la biblioth que travailler efficacement la requalification de son offre documentaire et de services Il serait int ressant de conna tre la part de la double fr quentation la fois du site physique et du site Internet car cela permettrait d imaginer des services assurant une continuit ou une compl mentarit entre les deux lieux et les deux types d usage Les lecteurs utilisent ils le catalogue de la biblioth que avant de venir y consulter les ouvrages qu ils y ont rep r s Seraient ils int ress s par un service de r servation distance pour les postes de l Autoformation ou pour des formations la recherche documentaire
89. les auditeurs de musique de la Salle d Actualit de la BPI tude sociologique Paris BPI 1983 EVANS Christophe La BPI l usage 1978 1995 analyse compar e des profils et des pratiques des usagers de la Biblioth que publique d information du Centre Georges Pompidou Paris Centre Georges Pompidou BPI 1998 EVANS Christophe GAUDET Fran oise La Biblioth que publique d information Brant me Un cas de restructuration des publics par l offre Bulletin des biblioth ques de France 1999 tome 44 n 4 EVANS Christophe GAUDET Fran oise Coord Babel ou le choix du caviste la biblioth que l heure du num rique Colloque virtuel text e 14 janvier 2002 lt http www text e org conf index cfm fa printable amp ConfText ID 17 gt consult le 01 01 2003 EVANS Christophe CAMUS Agn s CRETIN Jean Michel Les habitu s Le microcosme d une grande biblioth que Paris BPI Centre Pompidou 2000 FANGET Delphine valuation de la consultation des collections du secteur 3 Droit conomie la Biblioth que publique d information proposition d une m thode M moire d tude Enssib Villeurbanne cole nationale sup rieure des sciences de l information et des biblioth ques 2002 LAUXEROIS Jean L Utopie Beaubourg vingt ans apr s Paris BPI Centre Pompidou 1996 LE MAREC Jo lle Dialogue ou labyrinthe la consultation des catalogues informatis s par les usagers Paris BP
90. libre acc s Cet indicateur concerne le degr d exactitude du rangement indicateur B 2 2 8 exactitude du rangement Il value dans quelle mesure les documents r f renc s au catalogue de la biblioth que sont leur emplacement exact sur les rayonnages Cela revient faire un mini r colement Lors de sondages ponctuels l occasion des op rations de reclassement effectu es une fois par mois par des titulaires par exemple la m thode consisterait choisir un chantillon repr sentatif de rayonnages et d imprimer la liste des documents correspondants dont le statut indique qu ils sont cens s tre en rayon on exclut les documents en cours de traitement ou de retraitement Sur cette liste les titres seraient class s par cote CDU afin de suivre le d roul des cotes dans les trav es Il conviendrait alors de noter le nombre d ouvrages manquants ou rang s au mauvais endroit L indicateur d exactitude de rangement s exprime sous la forme d un rapport entre le nombre de documents rang s correctement et le nombre total de documents de l chantillon Cette m thode pr sente un triple int r t elle permet tout la fois d valuer la disponibilit r elle des documents la qualit du travail des vacataires charg s du rangement et de proc der par vagues successives des r colements ceux ci ne sont que trop rarement organis s la BPI L indicateur d exactitude de rangement peut donc tre ut
91. mesurer la performance des politiques publiques du point de vue de l efficacit socio conomique celui du citoyen de la qualit du service celui de l usager et de l efficience celui du contribuable L innovation majeure de cette loi est tr s clairement d associer une logique d engagement une logique de compte rendu Pour garantir les engagements de performance des gestionnaires de nouvelles libert s leur sont accord es Ils vont en effet disposer d une marge de man uvre lev e pour rechercher la satisfaction des r sultats qui leur sont demand s dans le cadre d une globalisation par programme beaucoup plus large que celle des actuels chapitres budg taires Une logique d efficacit compl te une logique de r gularit jusqu maintenant quasi exclusive de toute autre consid ration dans la gestion financi re des services de l tat commentent des rapporteurs de la Cour des comptes La pr sentation par titres qui fait r f rence ces natures de charges deviendra indicative elle ne cr era donc plus de contrainte pour les gestionnaires qui vont pouvoir tr s largement redistribuer leurs moyens devenus fongibles entre fonctionnement intervention investissement et dans une certaine limite d penses de personnel Pour la r ussite de cet important chantier l administration s est mise en ordre de marche Plusieurs structures ont t cr es dont notamment un comit de pilotage i
92. n anmoins un mod le du genre et inspirera notamment aux auteurs de la norme ISO 11620 les crit res de fiabilit de comparabilit et de validit des indicateurs En effet les 17 indicateurs finalement retenus par le groupe de travail pr sid par Roswitha Poll ont t test s justifi s et pass s au crible d une redoutable exigence intellectuelle tant th orique que pratique C est donc sur un important travail conduit pour l essentiel par les associations professionnelles et souvent avec la collaboration des m mes personnes que l Organisation internationale de normalisation ISO s est appuy e pour construire la norme dont nous avons d j abondamment parl L homog n isation des pratiques et des termes a t conduite par le comit technique 46 consacr la documentation qui comprend un sous comit sur les statistiques de biblioth ques TC 46 WG 8 et auquel participent ou ont particip plusieurs des experts interrog s dans le cadre de cette tude Le correspondant fran ais de PISO est l AFNOR qui a des structures identiques pour la documentation Les principales caract ristiques de pr sentation de la norme ISO 11620 ont t voqu es pr c demment et on montrera plus loin quelques exemples de son application aux tableaux de bord de la BPI On trouvera davantage de pr cisions sur les normes ant rieures celle de 1998 ainsi qu une pr sentation de leurs m rites respectifs dans l ouvrage
93. photocopies 186 Quel tableau de bord pour la BPI Par rapport aux dispositifs pr sent s pour l analyse de la consultation les donn es relatives ces activit s pr sentent l avantage de pouvoir tre mesur es en continu et automatiquement nous avons vu que la CBI via Mmediaview et SEDECCO produisaient des informations fiables et compl tes sur l utilisation des quipements concern s Il reste laborer les indicateurs permettant d appr cier l volution des pratiques de reproduction et d impression Nous proposons de rapporter le total quotidien ou annuel de photocopies ou d impressions au total quotidien annuel des entr es Ce calcul a t r alis pour la BPI sur la base des chiffres de l ann e 2001 Si l on additionne le nombre de photocopies et le nombre d impressions on obtient un r sultat de 2 1 page A4 par jour et par entr e C est dire que chaque lecteur entrant la biblioth que effectue en moyenne deux tirages Cette information pourrait tre utile dans le cadre de discussions avec les repr sentants des auteurs et des diteurs par exemple Elle est plus parlante que le nombre total de photocopies qui sert au calcul annuel des droits qui leur sont revers s Les photocopies et les impressions ayant le m me prix on pourrait galement interpr ter l volution de la part relative de chacune de ces pratiques par rapport au nombre total de tirages ainsi l augmentation de
94. plus fr quent s Les analyses diachronique et synchronique pourront naturellement se conjuguer l int rieur du tableau de bord certains indicateurs comme la fr quentation peuvent tre tr s sensibles aux variations conjoncturelles ou saisonni res et on surveillera d abord leur volution dans le temps D autres comme ceux qui ont trait la consultation des collections sont g n ralement plus stables voluent plus lentement une analyse approfondie et ponctuelle de la ventilation des consultations ou des pr ts compar e la structure du fonds un moment donn clairera davantage les choix de la politique documentaire qu un suivi mensuel du volume total des transactions Notons pour finir sur ce point que l analyse synchronique pr sente un avantage certain sur l analyse diachronique qui implique la constitution de s ries historiques partir d un dispositif stable Lorsque l on n est pas s r de pouvoir disposer du temps ou des donn es n cessaires la production de tableaux intervalles r guliers elle permet de faire le point un moment donn sans que l on ne d pende de s ries statistiques ni que l on ne s engage sur la production de donn es dans le temps Au niveau exp rimental ou de sensibilisation de la d marche d valuation dans la biblioth que l approche synchronique permettra de donner des exemples concrets de r alisation de faire des tests sans qu il soit n
95. plut t d une modalit de fourniture de documents Thierry Giappiconi qui donne pour exemples de missions la formation initiale la formation continue ou le d veloppement de la lecture publique ne rangerait certainement pas le libre acc s parmi les missions de la BPI La plupart des personnels de l tablissement consid rent cependant que le libre acc s est une mission au m me titre que la gratuit ou l anonymat garantis aux usagers Par ailleurs la d finition d objectifs op rationnels implique une r flexion pouss e sur la programmation des activit s de l tablissement court et moyen termes ainsi qu une grande capacit traduire ces objectifs en actions pr cises le plus souvent chiffr es qui sont des seuils ou des cibles d finis en concertation avec les personnels Peu de biblioth ques sont en mesure de le faire En termes d objectifs il semble qu au lieu des trois niveaux auxquels la norme fait r f rence la plupart des biblioth ques ne soient pour le moment en mesure de s appuyer que sur un entre deux qui n est gu re satisfaisant car il fausse ou brouille la finalit m me de la d marche d valuation Dans son manuel d valuation Thierry Giappiconi insiste sur le fait que La coh rence entre missions objectifs g n raux et objectifs op rationnels doit tre rigoureusement respect e Sans doute faut il comprendre cette recommandation comme l expression d
96. pour 2002 rapporter au nombre de s ances initiations Internet de s ances moyenne en 2001 en un an Reclassement des documents Nombre d ouvrages semaine test 8500 Activit s de reclassement non reclass s par Jour let de consultation Moyenne du semaine test 2 ouvrages d plac s Idem non A exprimer galement en rapportant au nombre total de documents dans Ja biblioth que voir les travaux de Delphine Fanget sur ce sujet et par lecteur de visiteurs Il faut corriger les valeurs obtenues pour tenir comte du rangement par les lecteurs eux m mes Nombre de Nb de 1 3 Difficult s li es l emploi Les d missions des d missions des d missions nb des vacataires de vacataires de SP vacataires de de contrats rangement rangement J Nombre de Donn es BP peine 90 dans La participation des Jug en baisse par participants l ann e titulaires au reclassement rapport aux ann es titulaires au mensuel pr c dentes mais pas reclassement de termes de mensuel comparaison donn s photocopies Nb annuel 12 intitul Mode de Exemple de Que mesuret il Est il crois avec Commentaires questions suggestions calcul valeur d autres Divers Nombre de Donn es 4 700 000 T L activit de reproduction non Comment ces chiffres se r percutent ils sur le photocopies A4 par Sedeco Les flux dans les locaux reversement de droits an L _ de reprograp
97. pour clarifier ses missions et impossible r aliser compte tenu du statut de l tablissement Ce point de blocage doit donc tre consid r comme un probl me insoluble une contrainte accepter D un point de vue sociologique le marketing en biblioth que distingue habituellement des techniques diff renci es en fonction des publics cibl s offre concentr e offre adapt e un seul profil d usagers diff renci e offre proposant chaque profil d usagers des services r pondant ses attentes ou comme le fait actuellement la BPI indiff renci e offre qui propose les m mes services tous Du fait de l impr cision de ses missions l tablissement ne peut r fl chir plus avant une segmentation et une am lioration de ses 108 GIAPPICONI Thierry et CARBONE Pierre Op cit p 106 112 Quel tableau de bord pour la BPI services ni valuer finement la qualit des prestations rendues Certains dispositifs sectoriels montrent pourtant que l offre actuelle de services et de documents a pris en compte des publics sp cifiques notamment les trangers offre valoris e d actualit internationale et d autoformation la langue fran aise et les d ficients visuels cabines de consultation donnant acc s aux technologies du braille ph m re de l Internet et des synth ses vocales la BPI remplit bien une mission d int gration pour les populations immigr es ou malvoyantes Pourt
98. ques universitaires n ont pas su pr ciser la finalit de l institution et le champ de l valuation c est dire les missions et les objectifs on revient au constat TT Ibid p 82 T8 Ibid p 84 ILLIEN Gildas DCB11 M moire d tude 2003 57 Quel tableau de bord pour la BPI qu il ne peut y avoir d valuation pertinente sans re d finition pr alable de la vocation des tablissements Ces t moignages et ces tudes refl tent une situation tr s contrast e voire contradictoire entre le r cit d Alain Caraco les conclusions de l enqu te de 1997 et les constats tr s pragmatiques d Anne Marie Bertrand qui estime notamment que dans les collectivit s locales une biblioth que n investit dans une d marche d valuation que si la personnalit et le mode de communication des interlocuteurs de sa tutelle le justifient on ne sait plus trop quoi penser La probl matique de l valuation dans le secteur de la lecture publique semble se poser encore plus fortement que dans les BU dans les termes d une dialectique opposant tutelles et tablissements le caract re prescripteur des questionnaires statistiques de la DLL est souvent mal per u par les tablissements en retour c est pourtant travers le prisme de ces questionnaires qu ils d veloppent leur propre r f rentiel d valuation de m me la DLL se nourrit p riodiquement des r flexions conduites par les associ
99. r alis est il rentable par rapport l utilisation qui en est faite Les retours ne sont pas tr s nombreux qu il s agisse des biblioth ques du r seau ou de la tutelle Il conviendrait donc d imaginer une autre d marche pour laquelle la modernisation du traitement appara t comme une tape indispensable mais insuffisante De notre point de vue la belle m canique des statistiques de la Ville de Paris semble parfois tourner ILLIEN Gildas DCB11 M moire d tude 2003 68 Quel tableau de bord pour la BPI vide alors m me que des besoins nouveaux sont apparus les contacts avec les lus d arrondissement sont susceptibles on l a vu de faire merger de nouveaux projets qui impliquent d avoir une vision v ritablement qualitative et prospective la fois sur les tablissements de proximit et sur les r seaux et sous r seaux qu ils constituent dans l espace urbain De plus le contr le de gestion est progressivement introduit au Secr tariat g n ral de la Ville de Paris ce dernier a demand de tableaux de bord l ensemble des services municipaux Pour r pondre ces demandes plusieurs l ments font aujourd hui d faut la mission valuation et prospective La prise en compte de l impact r el de l action conduite par les biblioth ques dans les quartiers impliquerait de compl ter l actuelle approche quantitative par une d marche qualitative On pourrait alors rendre com
100. r f rence sur le sujet a t ILLIEN Gildas DCB11 M moire d tude 2003 35 Quel tableau de bord pour la BPI publi en 1992 par les Am ricains David Osborne et Ted Gaebler et s intitule Reinventing Government Il pr sente les principes de la r forme de l administration publique am ricaine qui ont inspir plusieurs pays europ ens dans leur approche de la fonction publique en particulier dans les r centes p riodes de restriction budg taire Ces principes se d clinent en dix recettes qui concernent respectivement l attribution d enveloppes budg taires la gestion par objectifs le contr le d impact le service remplit il ses missions le contr le d efficacit quel co t la mise en concurrence l externalisation vers le priv de certaines t ches la mise en place d une tarification des services l o c est applicable l assimilation de l administr un client l attribution du pouvoir aux usagers consid r s comme les seules sources de l gitimit du service la participation et l adh sion des personnels la d marche de service et la conduite des affaires Il est int ressant d observer que la formalisation de ces objectifs et de ces m thodes n a pas t le fait de personnalit s ou d instances politiques elle a t initi e par des fonctionnaires qui souhaitaient pr cis ment s affranchir d un certain nombre d al as de la vie politique et garan
101. r gnaient travers cet exemple on voit comment les cahiers permettent de conserver la m moire d activit s dont l interpr tation peut tre faite aussi bien chaud que r trospectivement Du c t du service des r ponses distance les RADIS nous avons galement identifi des outils tr s pertinents Les techniques employ es par les biblioth caires charg s de r pondre aux questions envoy es par courrier t l copie ou m l m ritent d tre examin s car les ambitions de la BPI dans ce secteur la conduiront sans doute traiter un nombre croissant de questions distance Gr ce Internet il est ais de conserver la trace des questions pos es et des r ponses apport es C est un gros avantage de l crit par rapport la communication orale qui dans l urgence du service public ne permet pas de consigner aussi pr cis ment les changes entre usagers et professionnels Certes les informations archiv es sont plus ou moins compl tes selon que la question a t envoy e par courrier postal ou lectronique Dans le premier cas il est possible d identifier l origine g ographique du demandeur le cachet de la poste faisant foi Les RADIS distinguent alors trois grandes cat gories demandes de la province de la r gion parisienne et de l tranger Les messages envoy s par Internet ne sont pas toujours aussi explicites et le d chiffrage des noms de domaine accol s aux adresses donne raremen
102. ral suscit un grand int r t et une forte mobilisation des quipes 2 3 3 Synth se forces et faiblesses du dispositif technique actuel En d pit de leur dispersion des outils tr s pertinents pour l valuation des services aux publics existent la BPI La plupart sont associ s aux comp tences et aux expertises statistiques sociologiques et biblioth conomiques identifi es au sein des quipes Les points forts du dispositif actuel concernent l valuation de la consultation des collections lectroniques et l utilisation des services de r servation d impression et de reproduction les enqu tes de publics et le suivi de la fr quentation l analyse des questions distantes D autres outils tels que le SIGB et les cahiers souffrent encore d imperfections techniques ou ne sont pas exploit s au maximum de leur potentiel mais sont bien int gr s au fonctionnement quotidien de la biblioth que et pourraient faire l objet de d veloppements ou d une utilisation plus syst matique Par rapport d autres biblioth ques la BPI dispose donc d un capital technique dans ce domaine qui compense en partie les difficult s que posent son mode de fonctionnement sans pr ts ni inscriptions l exception des enqu tes de publics qui repr sentent une lourde charge financi re tous ces dispositifs ont fait l objet d investissements au moment de la r novation leur co t de fonctionnement est principalement li
103. rassembl es dans une base de donn es unique La mise en uvre du dispositif pourrait s chelonner sur plusieurs tapes L analyse conomique des effets n est pas envisageable ce stade celle des co ts ne peut actuellement tre conduite en coh rence avec celle des r sultats Il conviendrait donc de pr voir l int gration ult rieure d indicateurs financiers au dispositif tout en mettant disposition des services charg s du budget et des personnels des moyens et des outils appropri s Cette d marche s inscrirait alors dans un plan d action visant plus largement l introduction du contr le de gestion la BPI La mise en place d indicateurs et de tableaux de bord pourrait s organiser en cinq tapes qui seront examin es successivement la constitution d une cellule valuation la s lection d indicateurs correspondant aux objectifs retenus la mise en place de proc dures valid es pour la collecte des donn es le choix puis l installation d une base de donn es la formation des utilisateurs 1 1 Constitution d une cellule valuation La r alisation le suivi et l interpr tation des indicateurs doivent s appuyer sur une organisation du travail permettant d viter deux cueils celui de l amateurisme et celui d une trop grande sp cialisation coup e des circuits de l activit quotidienne La construction et l exploitation des outils requi rent des comp tences dans quatre doma
104. relev s continus sur les dates des semaines tests L utilisation de ce d veloppement informatique se heurte d autres limites lors des relev s il y a toujours un risque de confusion entre le code barres de la biblioth que et le code barres commercial Par ailleurs cette m thode ne tient pas compte de la pratique du feuilletage en rayon Enfin il est impossible de d nombrer automatiquement les ouvrages sans code barres notamment les cartes et surtout les p riodiques Il semble tout aussi impossible de proc der r guli rement des relev s manuels pour cette cat gorie d imprim s Se pose en effet le probl me de l unit mat rielle consid r e est il pertinent d additionner des donn es qui concernent tant t des fascicules tant t des volumes tant t des microformes Le dispositif est donc restreint la consultation des monographies s ries annuaires partitions tous les imprim s hors ceux qui sont consid r s comme p riodiques et rang s part sans code barres et celle des CD audios de l espace Son Vid o l exception des titres diffus s au moyen d un robot juke box Le prototype test en 2001 est n anmoins le plus fiable et le plus pratique que l on puisse utiliser ce jour moyens constants Il pourrait tre compl t par l analyse des fonds qui sont r guli rement retir s des rayonnages par la section retraitement du service des imprim s Les agents de cette section tiennent
105. rents destin s aux BM et aux BDP gr ce auxquels on pourrait aboutir des tableaux sur la lecture publique par d partement par r gion et au niveau national Ces formulaires taient courts 4 6 pages et leur mise en page soign e ils furent envoy s aux tablissements en 1992 H las des difficult s internes la DLL et le manque de moyens informatiques des BDP et des BM vinrent retarder la collecte le traitement et la publication des donn es Anne Marie Bertrand qui fit partie du groupe de travail charg de mettre au point ce formulaire regrette avec d autres que la d marche engag e n ait pu aboutir un dispositif plus ambitieux que ce qui appara t encore certains comme un simple toilettage des questionnaires ant rieurs Ces derni res ann es il semble n anmoins que les Donn es de la DLL aient atteint un rythme de croisi re et que les efforts apport s l am lioration de leur pr sentation et de leur interpr tation aient port leurs fruits Des profils moyens correspondant diff rentes tailles de villes ont par exemple t introduits qui rendent plus pertinent l exercice de comparaison auquel tous les responsables de biblioth ques ainsi que leurs tutelles demeurent tr s attach s Ces donn es ont clair la DLL dans ses arbitrages relatifs aux nombreux projets de construction qui ont vu le jour ces derni res ann es et auxquels le minist re participe principalement par le biais
106. s est d roul e dans un laps de temps court et intense elle a fait l objet d une pr sentation d taill e dans le rapport de stage d j mentionn Rappelons qu elle a permis la validation de pistes de travail par plusieurs instances d cisionnelles de l tablissement La maquette du tableau de bord jointe en Annexe 3 a t approuv e par le directeur et son adjointe Ses rubriques relatives l valuation des services aux publics ont t discut es et retenues l issue d une r union du comit op rationnel du p le des services aux publics cette occasion l valuation a t inscrite parmi les chantiers du p le pour 2003 deux pistes tant retenues dans un premier temps la construction d indicateurs hybrides destin s rendre compte parall lement des activit s de service sur place et distance l exploitation de donn es pour la r gie des espaces et la gestion mat rielle et humaine dans les espaces publics de la biblioth que Des d cisions du m me ordre ont t prises lors d une r union du comit du p le du d veloppement documentaire Les deux chantiers retenus dans ce cadre furent l harmonisation des nomenclatures de suivi de la consultation documentaire des documents imprim s analogiques et num riques destin e faciliter la d finition d une politique documentaire multim dia pour l ensemble de l tablissement la poursuite des exp riences initi es conjointement
107. s large public plac en situation de pr carit vis vis de l information et plus g n ralement de la soci t l espace recherche d emploi la r servation des postes donnant acc s l Internet non brid l Autoformation et les t l visions du monde sont les premiers services que l on rencontre lorsque l on p n tre dans la biblioth que Le d cret elliptique et les enqu tes de public ne suffisent pourtant pas d finir une vraie politique une mission long terme Lors de la derni re enqu te la BPI accueillait toujours plus de 60 d tudiants Un agent de l tablissement rencontr au cours du stage r sumait tous les risques d une politique galitariste qui conduit offrir tout tout le monde un petit peu chacun ou rien de bien personne Cette approche indiff renci e semble d autant plus paradoxale que la BPI est avec la BnF la seule biblioth que disposant demeure d une quipe de sociologues en mesure de proposer tous les quatre ans une tude approfondie de ses publics L galitarisme ne s value 107 Intervention d Anne Marie Bertrand l occasion du colloque Le s public s des quipements culturels organis par le d partement tudes et prospective du minist re de la Culture le 29 novembre 2002 l Auditorium du Louvre 111 Quel tableau de bord pour la BPI pas ais ment et 1l n est pas facile de construire des indicateurs
108. senterons pas selon cet ordre mais en fonction de la logique propre l valuation o la d finition des objectifs est cens e pr c der le suivi et le compte rendu de leur r alisation Il est n anmoins important de noter que la d marche s est construite l envers les outils sont apparus progressivement pour r pondre des besoins internes suivi de la programmation puis du chantier architectural de la BnF tude d organisation ou externes demandes de l autorit de tutelle pr paration du contrat d objectifs c est dire de fa on conjoncturelle plut t qu en r ponse un plan d action pr alablement d fini Aujourd hui la mise en coh rence des outils de suivi et de compte rendu par rapport aux objectifs repose sur l adoption pour ces diff rents documents d un cadre commun qui est la nomenclature du Projet d tablissement L ensemble constitue une sorte de triptyque qui permet effectivement de croiser objectifs moyens et r sultats et constitue ce titre l une des d marches les plus abouties qu on a pu observer dans une biblioth que fran aise Approuv par le Conseil d Administration de la BnF du 4 octobre 2000 le Projet d tablissement est un document extr mement novateur pour les biblioth ques tant par sa pr sentation que par ses contenus Con u pour accompagner le contrat d objectifs qui devait lier l tablissement et l tat il n a pu tre utilis dan
109. service informatique charg de l installation et de la maintenance des acc s Pour avoir une vision plus globale de la disponibilit des ressources lectroniques on pourrait avoir recours des indicateurs qui touchent plus largement l accessibilit des infrastructures informatiques ou d un ensemble 174 Quel tableau de bord pour la BPI d applications documentaires Ces indicateurs mesurent tout simplement la gravit et la dur e des pannes informatiques qui sont relativement fr quentes la BPI La norme ISO 11620 pr conise l utilisation du taux de disponibilit des syst mes informatis s indicateur B 2 9 4 disponibilit des syst mes informatis s Ce taux se calcule en rapportant le nombre d heures d indisponibilit du syst me au nombre d heures d ouverture de la biblioth que On peut imaginer d appliquer ce calcul chacune des applications ou des espaces sp cifiques de la biblioth que par exemple le catalogue la base de dossiers de pressse num ris s BPI Doc l espace Autoformation ou l espace Son Vid o Pour ce qui concerne les services distance la disponibilit des documents en ligne pourrait tre mesur e dans ses grandes masses selon le m me principe sauf qu au lieu de retenir le nombre d heures d ouverture de la biblioth que comme base de r f rence il conviendrait de rapporter la dur e d indisponibilit du site web ou de ses rubriques sp cifiques l
110. sur le budget de l tablissement public Les circuits de gestion statutaire et budg taire des diff rents types de personnels impliquent l intervention d administrations diff rentes l int rieur des deux minist res et de l tablissement public ce qui rend l valuation globale des charges de personnel particuli rement complexe Le calcul des co ts de fonctionnement li s l entretien du b timent maintenance s curit m nage est lui aussi probl matique car ces prestations sont g r es et pay es directement par le Centre Pompidou pour 120 r i LS Ces huit cat gories sont les suivantes achat de documents et entretien des collections expositions et manifestations communication dition relations internationales tudes et recherche informatique et t l matique formation fonctionnement g n ral agents contractuels sur emplois BPI investissements 143 Quel tableau de bord pour la BPI l ensemble des organismes qu il h berge sans qu il soit possible de conna tre la r partition exacte des co ts que chacun d eux g n re La gestion du budget s inscrit donc dans une nomenclature de comptabilit g n rale et utilise un progiciel MUSE qui n est pas adapt la construction d indicateurs et de tableaux de bord ni l organisation du contr le de gestion Contrairement aux universit s la BPI est un tablissement qui fonctionne avec un budget comptable
111. surgir la n cessit de se doter d outils nouveaux Une fois la liste des indicateurs arr t e il conviendrait de mettre plat tous ces dispositifs de collecte afin de proc der aux derniers arbitrages et de prendre des d cisions relatives aux outils Une premi re tape concernerait les proc dures manuelles ou automatis es de collecte des donn es une seconde la mise en relation de l ensemble des informations dans une base de donn es unique Trois situations sont envisager soit le dispositif existant est maintenu soit il faut l am liorer ou le p renniser soit 1l n existe rien et la recherche d un dispositif ad hoc s impose Pour ces deux derni res options on peut donner quelques exemples La cellule valuation pourrait d cider d une exploitation plus syst matique du cahier des chefs de service pour le suivi des incidents dans les espaces publics Cela implique de modifier la pr sentation des cahiers en y introduisant un cadre de relev partir d une typologie des incidents et pour la direction de donner des consignes aux int ress s afin qu ils utilisent effectivement ce cadre Un choix particuli rement important consisterait p renniser comme nous le pr conisons le principe de la semaine test raison de deux trois campagnes par an Dans ce cas la mise en uvre du dispositif impliquerait surtout un travail de concertation et de discussion avec les personnels sur la base de l exp r
112. t l charger les statistiques des 112 biblioth ques membres de l ARL de g n rer des classements et des indicateurs de cr er des graphiques partir des donn es et de consulter l annuaire des biblioth ques membres de l association ASIBU ne dispose pas de toutes ces fonctionnalit s ni d une ergonomie aussi conviviale mais offre n anmoins aux utilisateurs la possibilit de consulter les donn es de synth se issues de la version imprim e de l Annuaire de produire des tableaux comparatifs et personnalisables par tablissement acad mie ou dominante disciplinaire de cr er des indicateurs quantitatifs et de calculer des ratios Ma tre d uvre de cette r alisation Pierre Yves Renard estime raison que cette application informatique marque un tournant pour la SDBD tant par les possibilit s techniques qu elle offre que par la d marche qui a inspir sa cr ation Le nouveau dispositif constitue en effet un moyen potentiel de passer de la culture consult le 05 12 2002 Jakob Harnesk a r alis une s lection de sites sur le sujet l occasion du congr s de l IFLA Boston en 2001 lt http www arl org stats north harnesk html gt consult le 05 12 2002 consult le 05 12 2002 ILLIEN Gildas DCB11 M moire d tude 2003 50 Quel tableau de bord pour la BPI x des statistiques celle de l valuation ce jour on se heurte toutefois deux limites D abord le questionnai
113. tablissement Ces buts sont enfin d compos s en objectifs op rationnels correspondant des actions concr tes Par exemple l am lioration du service au lecteur distingue les services rendus sur place et distance Dans le premier cas les objectifs fix s concernent l augmentation de l amplitude horaire ou encore l augmentation du nombre de biblioth ques r cup rant des notices de la Bibliographie nationale fran aise Un texte accompagne et pr cise l nonc des objectifs g n raux et op rationnels Un tableau les r capitule et identifie chaque objectif par un num ro de nomenclature Pour un certain nombre d objectifs mais pas pour tous un indicateur et un niveau de r f rence correspondant aux r sultats de 1999 ou 2000 sont donn s c t appara t parfois mais pas syst matiquement un niveau vis Par exemple le niveau de r f rence de l amplitude horaire est de 55 heures hebdomadaires en 1999 2000 Le niveau vis en 2003 est de 65 ou 66 heures hebdomadaires Ce type de document est fr quemment utilis par les grandes biblioth ques am ricaines et des pays du Commonwealth Un tour d horizon des sites Internet 2 BIBLIOTHEQUE NATIONALE DE FRANCE 2000 Op cit p 5 Ibid p 21 ILLIEN Gildas DCB11 M moire d tude 2003 74 Quel tableau de bord pour la BPI des biblioth ques nationales de ces pays montre que de la British Library la Biblioth que nationale de Wellington
114. tablissements Seuls 21 des BDP ont r pondu l enqu te alors qu en 1994 plus du tiers d entre elles d claraient avoir une d marche propre d valuation ind pendamment du rapport d activit demand par la DLL Le meilleur taux de r ponse fut celui des biblioth ques municipales des plus grosses communes Les principales conclusions de l enqu te sont les suivantes la d marche d valuation des tablissements s inscrit tr s largement dans le cadre le format et la fr quence annuelle des enqu tes statistiques de la DLL elle permet d abord aux biblioth ques de comparer leur niveau d activit pr ts inscriptions avec celui des ann es pr c dentes et avec celui d autres tablissements ainsi qu la moyenne nationale qualifi e de r f rence structurelle les indicateurs les plus utilis s sont dans l ordre le nombre de pr ts par inscrit le taux de p n tration dans la population desservir les co ts de fonctionnement du service et la satisfaction des usagers Derri re ce classement qui en soi ne donne qu un ordre d id e sur une base exclusivement d clarative les auteurs analysent les limites des pratiques identifi es Concernant les co ts de fonctionnement par exemple il est observ que si le co t par usager est fr quemment utilis ce n est pas le cas du co t par entr e alors que celui ci permettrait de rendre compte de l activit des non inscrits D u
115. termes n cessairement diff rents Ce qu il nous a paru int ressant d observer dans ce second exemple ce sont la fois les outils mis en place qui sont probablement parmi les plus labor s en France et leur r ception par les personnels ILLIEN Gildas DCB11 M moire d tude 2003 64 Quel tableau de bord pour la BPI 2 3 1 valuation r seau d concentration la Ville de Paris L valuation des biblioth ques de la Ville de Paris s inscrit dans le contexte g n ral d une offre insuffisante par rapport aux besoins de la population Les comparaisons tablies par Aline Girard Billon en 2000 partir des donn es statistiques du r seau de la Ville de Paris largies l offre globale des biblioth ques publiques membres de l Observatoire permanent de la lecture publique Paris OPLPP t moignent en effet d une p nurie de moyens d quipements de personnels et d heures d ouverture Compar e d autres m tropoles trang res membres de l International Association of Metropolitan City Librarires INTAMEL ou d autres grandes villes fran aises de plus de 300 000 habitants telles Toulouse Nice ou Marseille Paris souffre l vidence d un sous quipement de ses biblioth ques Les professionnels de la Ville font depuis longtemps appel la Mairie de Paris afin qu elle s engage dans une politique d investissement la hauteur des enjeux C est peut tre par le biais de
116. tre influenc par la facilit d utilisation du site web de la biblioth que visibilit et ergonomie de l acc s au service des r ponses distance depuis la page d accueil du site un niveau plus fin on pourrait analyser ponctuellement lors des semaines tests les questions et r ponses distance partir de la m me typologie que celle utilis e dans les espaces publics ce qui permettrait de diff rencier les profils et attentes des usagers distants mais aussi de faire appara tre les contraintes et les atouts propres aux professionnels travaillant depuis le bureau des RADIS et non en service post On pourrait enfin comparer le co t d une r ponse distance et 193 Quel tableau de bord pour la BPI le co t d une r ponse sur place ce dernier tant cependant beaucoup plus difficile valuer 2 4 2 L activit de signalement face aux pratiques de recherche Un exercice complexe consiste valuer la performance des interfaces de recherche documentaire et de l offre num rique qu une biblioth que met la disposition de ses usagers Il existe une forte demande de la part des personnels de la BPI dans ce domaine car nombre d entre eux travaillent l alimentation au catalogage et l indexation des diff rentes bases documentaires mais ont le sentiment que ce travail tr s lourd est sous exploit par les lecteurs Dans sa contribution au colloque virtuel text e l quipe de la BPI crit
117. un id al atteindre mais sa r alisation semble pour le moment bien difficile mettre en uvre 1 3 3 Au c ur de l valuation les indicateurs Les indicateurs de performance s lectionn s par une biblioth que constituent pris comme un ensemble un outil de gestion et de planification Leur but est selon les termes exacts de la norme de mesurer l efficacit dans la fourniture de services par la biblioth que et l efficience dans l affectation et l emploi des ressources 20 GIAPPICONI Thierry Op cit p 48 21 Thid p 51 ILLIEN Gildas DCB11 M moire d tude 2003 23 Quel tableau de bord pour la BPI utilis es pour fournir ces services Ils servent d une part optimiser le pilotage de l tablissement et de ses services et d autre part fournir une base de communication et de n gociation avec le personnel les autorit s de tutelle ou les usagers Un indicateur est l expression num rique symbolique ou verbale employ e pour caract riser les activit s v nements objets personnes la fois en termes quantitatifs et qualitatifs dans le but d en d terminer la valeur qui inclut la fois des chiffres bruts et des ratios Un indicateur num rique se pr sentera donc sous la forme d une donn e brute d un ratio d un taux d une moyenne d un indice ou d un pourcentage par exemple Le nombre de pr ts annuels rapport au nombre d habitants de la po
118. une d marche intelligente et progressive de communication interne C est pourquoi la proposition de Thierry Giappiconi d affecter chaque agent une fiche de poste correspondant aux objectifs d finis au niveau de ses t ches et dont on pourrait suivre la r alisation au moyen d indicateurs et de tableaux de bord personnalis s nous semble quelque peu pr matur e dans bien des tablissements fran ais Ainsi le tableau de bord peut se d cliner on parlera de tableaux gigognes construits sur le principe des poup es russes Moins exotique pour les biblioth caires la notion d arborescence qui structure et agr ge les donn es des plus fines aux plus synth tiques illustre galement l architecture que peut rev tir un ensemble de tableaux de bord Afin d assurer une bonne transmission des informations et une d l gation optimale des responsabilit s au sein de la biblioth que il est souhaitable d avoir des tableaux plusieurs niveaux de l tablissement un agent l quipe d un service ou la direction de l tablissement peuvent se doter de tableaux qui correspondront leurs niveaux respectifs de responsabilit et de d cision Plus l on montera dans la hi rarchie de l organisation et le niveau de responsabilit plus le tableau sera synth tique et proche des objectifs g n raux et des missions Plus l on se rapprochera l inverse des t ches autour desquelles s organise le circuit du doc
119. une partie de l opposition du Conseil de Paris a soulign que le fonctionnement actuel du r seau r pondait au souci de rationaliser commandes et collections et de sp cialiser certaines des biblioth ques et elle a exprim son inqui tude vis vis du projet Des discussions sont en cours Une d lib ration du Conseil de Paris du 30 octobre 2002 qui vient d tre rendue publique semblerait indiquer qu une solution de compromis est actuellement examin e Selon les termes de cette d lib ration les mairies d arrondissement se verraient transf rer les comp tences et moyens relatifs la gestion des b timents aux animations caract re local et auraient davantage de poids dans la concertation sur l activit g n rale des biblioth ques leurs horaires d ouverture par exemple La Direction des affaires culturelles de la Ville conserverait ses attributions actuelles concernant la mise en uvre de la politique de lecture publique les budgets d acquisition et de reliure l quipement mobilier et technique les nouvelles technologies et les animations caract re g n ral Quel que soit le montage qui sera finalement retenu la perspective de cette d concentration avait t anticip e par la mission valuation et prospective des biblioth ques de la Ville de Paris que dirige Val rie Alonzo Compos e de deux personnes la mission est galement charg e du suivi technique du sch ma directeur pour les nouvelles co
120. une population cible Ni l un ni l autre ne sont disponibles Certes dans la norme la notion d usager n est pas restreinte celle d inscrit ce qui permet de prendre en compte la population des non inscrits qui fr quentent la biblioth que voire ceux qui n utilisent qu indirectement ses services documents emprunt s par une seule personne mais qui sont consult s par plusieurs au sein d un m nage usages distants par t l phone ou Internet efc Malgr tout les calculs impliquent de ne pas compter la m me personne plusieurs fois La mesure de la fr quentation la BPI pr sente donc surtout un int r t pour la gestion mat rielle des flux L observation de certains ph nom nes saisonniers et la prise en compte de la fermeture d autres biblioth ques BnF Sainte Genevi ve permettent d anticiper des afflux ou des reflux de lecteurs Le taux de saturation est un indicateur tr s pertinent tant pour l interpr tation des donn es de fr quentation que pour la prise de d cisions concernant la file d attente et l accueil des publics Ce taux est la fois un indicateur de saturation des espaces appel la vigilance pour la s curit et la r gie des espaces d attente gestion de la file risques de d rapages devant le Centre Pompidou nervosit des lecteurs et tout simplement d insatisfaction des usagers soit qu ils attendent soit qu ils renoncent en ce sens le taux de saturation est a
121. 1375 professionnels Le profil du public Donn es de l ann e E Donner les ou faire diagramme exprimant ces donn es nombre d ouvrages reclasser par jour nb d ouvrages nb par jour et par lecteur intitul Mode de Exemple de Que mesure il Est il crois avec Commentaires questions suggestions calcui valeur d autres Nombre de Donn es BP 183 visiteurs au L utilisation de Donn es de l ann e Croiser avec donn es du rapport LLS r servations de cours de 10 s ances l autoformation par les pr c dente groupes dans groupes l espace autoformation et Nombre de s ances Re du Donn es BPI 31 au 1 trimestre La fr quence des visites non Croiser avec des donn es sur la fr quentation nombre de visites 21 au 2 trimestre de groupes dans l ann e g n rale pendant les heures d ouvure de groupes par 8 en septembre identification des mois semestre 27 au 3 trimestre les plus charg s S Nombre et statut de Donn es BPI 4 5 La participation du service non La lourdeur du travail d accueil de ces stagiaires est stagiaires re us la formation des voqu e mais pas mesur e _ professionnels ext rieurs Nombres de Moyenne nb 200 personnes La fr quentation des non Mesurer plus pr cis ment le co t en personnel de s ances et de de 42 s ances s ances d initiation ces formations Le nombre de 10 personnes est personnes pour personnes nb 4 5 personnes en Internet pr vu
122. 20 ILLIEN Gildas DCB11 M moire d tude 2003 54 Quel tableau de bord pour la BPI efficace On reste en effet dans une logique verticale et de contr le a posteriori qui n implique pas la participation active des tablissements une r flexion sur les outils pouvant tre utilis s comme base de communication de l gitimation et de prospective Cette situation semble se retourner la fin des ann es 80 lorsqu une association professionnelle d cide de prendre l initiative bousculant pour la premi re fois l ordre des choses et rapprochant ainsi de la dynamique associative observ e dans les pays anglo saxons le d veloppement de la recherche et des pratiques fran aises dans le domaine de l valuation Ce retournement institutionnel a t particuli rement efficace peut tre parce qu il d tachait de facto les pratiques valuatives du pouvoir de contr le des tutelles lib rant ainsi les nergies de professionnels d sireux de produire des outils plus maniables et plus proches de leurs pr occupations L Association des biblioth ques d partementales de pr t l ADBDP cr e en 1987 a jou un r le majeur dans ce domaine Le Guide des BDP document synth tique parution annuelle comportant pour chaque BDP une fiche signal tique contenant des donn es brutes et quelques ratios constitue un exemple remarquable de d marche coordonn e et pragmatique r alis e par et pour des professionnels s
123. 33 CARBONE Pierre Enqu te statistique g n rale aupr s des biblioth ques universitaires ESGBU synth se des r sulats obtenus pour 1974 Bulletin des biblioth ques de France n 1 1978 p 1 ILLIEN Gildas DCB11 M moire d tude 2003 45 Quel tableau de bord pour la BPI des tablissements Le traitement des donn es statistiques s est par ailleurs av r extr mement lourd et source d un d calage temporel entre la publication des r sultats et le calendrier des d cisions Pour ces raisons la nouvelle Direction charg e des biblioth ques et de l information scientifique et technique DBMIST cr e en 1982 et remplac e par l actuelle Sous direction des biblioth ques et de la documentation en 1989 s est lanc e dans plusieurs projets visant mieux exploiter ses statistiques des fins d valuation Dans sa contribution l ouvrage d Anne Kupiec Pierre Carbone fait un r cit tr s d taill des tapes qui ont marqu ce qu on pourrait qualifier d aventure administrative et qui constitue en tout tat de cause une d marche pionni re pour l valuation des biblioth ques fran aises Aux origines de cette histoire outre le mouvement g n ral d volution des politiques publiques fran aises et l influence des pratiques anglo saxonnes l auteur indique les facteurs de d veloppement de l valuation li s des volutions technologiques et statutaires dans les BU l informatisati
124. Arot In AROT Dominique Les biblioth ques de lecture publique en France une valuation encore ses d buts In CARBONE Pierre d Op cit p 29 ILLIEN Gildas DCB11 M moire d tude 2003 52 Quel tableau de bord pour la BPI administratives des biblioth ques publiques Dans le secteur de la lecture publique on ne peut donc parler d une tradition aussi ancienne centralis e et homog ne que dans les BU De fait voquer l valuation dans les biblioth ques publiques impose de tenir compte de la tr s grande h t rog n it des int r ts et des situations Au niveau des tablissements cette h t rog n it ne pr sente d autre inconv nient que d obliger l encadrement d velopper des techniques d valuation correspondant l environnement particulier de la biblioth que ce qui en soit est plut t une bonne chose c est une contrainte qui pousse fort heureusement sortir de la culture du mod le unique que certains qualifient de mauvaise habitude fran aise et qu on a pu reprocher au mod le centralis et normalis qu incarne l ESGBU En revanche l agr gation des donn es au niveau national s av re complexe il est difficile de proposer une synth se de cette diversit Nous nous efforcerons toutefois de d gager quelques lignes directrices concernant la fois l action du minist re de la Culture et celle des associations professionnelles qui a t d term
125. Dipl me de conservateur de biblioth que m N i Q gt GC v gt C1 AU T 9 i e O 2 QUEL TABLEAU DE BORD POUR LA BPI L valuation au service du changement Gildas ILLIEN Sous la direction de Daisy McAdam Directrice de la Biblioth que des Sciences conomiques et sociales de l Universit de Gen ve Uni Mail cole nationale sup rieure des sciences de l information et des biblioth ques Dipl me de conservateur de biblioth que QUEL TABLEAU DE BORD POUR LA BPI L valuation au service du changement Gildas ILLIEN Sous la direction de Daisy McAdam Directrice de la Biblioth que des Sciences conomiques et sociales de l Universit de Gen ve Uni Mail Quel tableau de bord pour la BPI L valuation au service du changement R sum L valuation des biblioth ques fran aises repose sur des traditions statistiques La r forme de l tat et l valuation des politiques publiques conduisent d sormais mettre en place des indicateurs de performance et des tableaux de bord qui incitent et aident les biblioth caires pr ciser leurs objectifs mieux g rer leurs moyens et rendre compte de leurs r sultats Cette d marche appliqu e au cas singulier de la BPI montre des limites techniques et politiques mais s av re pertinente en termes de communication interne de gestion des services et des espaces publics et de valorisation des services
126. I Annexes Annexe 3 2 Maquette de tableau de bord pour les services aux publics VIII
127. I 1988 Loi n 75 1 du 3 janvier 1975 portant cr ation du Centre national d art et de culture Georges Pompidou J O de la R publique fran aise Lois et d crets 4 janv 1975 POULAIN Martine Ni tout fait m mes ni tout fait autres profils et pratiques des usagers de films vid o la BPI Paris BPI 1985 POULAIN Martine Constances et variances les publics de la Biblioth que publique d information 1982 1989 Paris Centre national d art et de culture Georges Pompidou BPI 1982 ROUMIEUX Olivier G rald Grunberg La BPI est la biblioth que la plus ouverte de France Archimag mars 2002 n 152 p 17 18 SANTOTONIOS Laurence La BPI sur le qui vive Livres Hebdo 2002 n 485 p 66 67 S GUIN Jean Pierre Comment est n e la BPI Invention de la m diath que Paris BPI 1987 VERON Eliseo Espaces du livre Perceptions du classement et de la classification en biblioth que Paris BPI Centre Pompidou 1990 IV SUR L VALUATION DES POLITIQUES PUBLIQUES LA R FORME DE L TAT LA D CENTRALISATION ET LE CONTR LE DE GESTION COMIT D ENQU TE SUR LE CO T ET LE RENDEMENT DES SERVICES PUBLICS La mise en place d indicateurs de r sultats dans trois minist res Rapport d enqu te et conclusions du comit Paris La Documentation fran aise 2001 COUR DES COMPTES Rapport sur l ex cution des lois de finances en vue du r glement du budget de l exercice 2001 suivi des r ponses des
128. Library Performance Measurement and Quality Management System Nous nous r f rerons galement le projet d amendement N 1 de la norme ISO 11620 r dig par la commission ISO TC 46 SC 8 version du 21 01 2002 et en cours d approbation Le tableau pr sent en Annexe 2 dresse la liste des indicateurs propos s et renvoie le cas ch ant aux normes ISO utilis es 2 1 Fr quentation int gration satisfaction 2 1 1 Mesurer et agr ger les flux de publics sur place et distance La mesure de la fr quentation selon les modalit s d j pr sent es conduit raisonner en termes d entr es et non en termes d usagers Certes la file d attente a un effet dissuasif et on peut estimer que sur les 7 000 visiteurs qu accueille la BPI chaque jour la plupart ne sont compt s qu une seule fois En revanche il est impossible de savoir combien d entre eux reviendront le lendemain la semaine ou le mois suivant De fait on ne peut dire combien d usagers diff rents la BPI accueille effectivement sur une ann e Tous les calculs d indicateurs r alis s sur la base du nombre d entr es en lieu et place du 163 Quel tableau de bord pour la BPI nombre d inscrits sont donc faux Les indicateurs de la norme ISO 11620 qui croisent une activit ou un co t avec la quantit de public s av rent incalculables la BPI car dans la plupart des cas il est n cessaire de conna tre le nombre d usagers et de d finir
129. O charg e de l exploitation des photocopieurs et des serveurs d impression Ces compteurs fournissent chaque ann e le nombre d impressions et le nombre de photocopies r alis es soit si l on additionne ces deux chiffres la totalit du papier consomm Le logiciel Mmediaview donne des informations plus fines que 124 Quel tableau de bord pour la BPI SEDECO concernant les impressions les donn es relatives aux photocopies sont n anmoins pr cieuses car c est sur la base de leur total annuel que le service juridique de la BPI reverse des droits aux organismes charg s de collecter les droits de reproduction Le chef du service de l Accueil des publics Jean Jouffret assure le suivi des relations avec la soci t SEDECO et recueilles les donn es d impression et de photocopie Ces informations ne sont utilis es qu des fins juridiques Faute d inscriptions et de pr ts le SIGB de la biblioth que Best Seller ne fournit que des statistiques relatives aux acquisitions et l tat des collections Ces statistiques sont surtout exploit es par le service des imprim s Bruno B guet adjoint au chef de ce service exploite les donn es avec l aide d un de ses collaborateurs Les indicateurs de suivi des acquisitions et les indicateurs relatifs la collection s effectuent selon des modalit s diff rentes Pour le suivi des acquisitions la proc dure est relativement simple Le module acquisitions du
130. PI mais la Biblioth que de la Part Dieu Lyon qui utilise le m me SIGB aurait r ussi obtenir des donn es compr hensibles sur l activit de consultation du catalogue consid rons qu il faut continuer d explorer cette piste Les m thodes d interpr tation statistique qui mergeront peut tre de cette initiative nous semblent d autant plus int ressantes qu elles pourraient servir l analyse plus large des strat gies d utilisation de l offre num rique et conduire en retour faire des propositions d am lioration de l ergonomie et de l architecture des sites et des bases documentaires en ligne Qu en est il de la consultation distance du catalogue C est une donn e int ressante car elle peut conduire relativiser la d saffection des usagers qui 196 Quel tableau de bord pour la BPI pr f rent butiner directement dans les rayons plut t que de consulter le catalogue si d aventure la consultation sur place du catalogue venait baisser les chiffres de la consultation distance pourraient justifier la mise disposition d importantes ressources financi res et humaines pour l alimentation et l administration de la base Dans ce secteur l laboration d indicateurs hybrides semble donc tout fait pertinente Elle est par ailleurs relativement facile mettre en uvre le projet de rapport technique sur les services lectroniques des biblioth ques propose un indi
131. Qui sont tous les publics S agit il de tous les publics de la nation comme le statut 110 Quel tableau de bord pour la BPI de l tablissement pourrait le laisser penser Il n est pas envisageable de faire venir toute la nation la BPI ni de lui faire profiter indirectement comme le fait la BnF de son activit bibliographique ou patrimoniale Ce tous serait il alors synonyme du grand public que vise depuis plus de cinquante ans l id al de la d mocratisation culturelle En ce cas on est tent de rapporter les propos d Anne Marie Bertrand qui dans une communication r cente sur la repr sentation du public par les biblioth caires d finissait ainsi les deux principales caract ristiques du grand public Le grand public est pauvre Le grand public ne vient pas S il est une biblioth que qui a su et sait toujours accueillir des personnes que les autres tablissements intimident d couragent ou dissuadent c est bien la BPI Ses biblioth caires se sont battus depuis des ann es pour maintenir les principes de la gratuit et de l anonymat qui avec la localisation tr s centrale de l tablissement contribuent faire venir certains publics qui ne fr quentent gu re que la BPI L offre documentaire par son niveau son acc s libre et la pr sentation de ses services sp cialis s t moignent d une volont politique affich e et r affirm e lors de la r novation d attirer un tr
132. XE 2 LISTE DES INDICATEURS PROPOS S POUR LES SERVICES AUX PUBLICS san snif II ANNEXE 3 DIAPORAMAS PR SENT S AUX CHEFS DE SERVICE DE Annexe 1 R pertoire des indicateurs utilis s dans les rapports d activit des services de la BPI SERVICE OU SECTION FICHE TYPE Descriptif du document Responsable chef de section adjoint ou charg de mission R dacteur s signataire s Intitul du document Taille du document mention de graphiques ou tableaux Plan du document Donn es chiffr es vocabulaire et mots cl s pav encadr Indicateurs utilis s F Intitul Mode de calcul Que mesure t il Est il crois avec Commentaires questions suggestions d autres pe SERVICE DE L ACCUEIL DES PUBLICS Descriptif du document Responsable Jean JOUFFRET Adj Philippe BITEAUD R dacteur s signataire s N D Intitul du document Rapport d activit 2001 du service Accueil des publics Taille du document 10 p sans graphiques ni tableaux Plan du document l Activit s 4 service public post 2 r ception des visiteurs 3 r daction des d pliants 4 reclassement des documents 5 divers LR Ressources en personnel III Perspectives a Donn es chiffr es vocabulaire et mots cl s Bureaux d information 11 Personnels titulaires par bureau d information 16 groupes de 10 agents Composition du servic
133. a BPI et ont t valid s par sa direction mais ils ne sont pas toujours conformes aux recommandations 124 ve wx r 3 25 Cet aspect sera trait dans la derni re partie du m moire La question des co ts a t int gr e l o cela tait possible et pertinent au calcul des autres indicateurs 162 Quel tableau de bord pour la BPI faites dans la premi re partie de notre tude Il faut les consid rer comme des pistes de travail et non comme des solutions Leur principale originalit est d int grer l o cela semble la fois pertinent et possible l valuation des services sur place et distance nous utiliserons dans ce cas le terme d indicateur hybride Quand cela tait possible nous nous sommes galement efforc s de rapprocher les indicateurs pr conis s d indicateurs norm s L utilisation de la nomenclature de PISO facilitera en effet la mise en uvre pratique des dispositifs ainsi que la comparaison avec d autres biblioth ques Pr cisons toutefois que les documents sur lesquels nous nous appuyons n ont pas tous t valid s ni publi s en compl ment de la norme ISO 11620 nous utiliserons en effet le rapport technique de la commission ISO TC 46 SC 8 sur les indicateurs de performance pour les services lectroniques des biblioth ques version du 05 07 2002 Ce rapport en est au stade de l enqu te Il s inspire en partie des travaux du programme de recherche europ en EQUINOX
134. a direction et force de proposition pour l encadrement dans son ensemble Les comp tences identifi es sont actuellement dispers es dans les diff rents p les de l tablissement Le sch ma cible de l tude d organisation pr voit la cr ation d une cellule valuation rattach e au p le des services aux publics Ce choix restreint l application de l valuation un seul domaine D un point de vue fonctionnel il serait plus coh rent de placer cette cellule sous l autorit directe de la direction sa vocation transversale et strat gique le justifie ou de la rattacher au service tudes et recherche dont les missions seraient dans cette hypoth se largies Dans les deux cas la cr ation de la cellule impliquerait un red ploiement interne afin que des moyens humains consacr s l valuation soient d gag s Le terme de cellule pr f r celui de service rend n anmoins possible une organisation g om trie variable adapt e au fonctionnement par projet Autour d un ou deux agents charg s du pilotage et de l ex cution du projet on peut envisager des participations et la mise disposition d expertises qui varieraient en fonction du calendrier de mise en uvre des besoins d interpr tation et des obstacles rencontr s Il conviendrait n anmoins de formaliser ces collaborations ce qui pourrait par exemple aboutir la d signation de correspondants valuation sur le mod le des corr
135. a dur e totale 24 heures 30 jours 12 mois selon la fr quence choisie un site web tant suppos rester accessible 24 heures sur 24 2 2 2 Consultation des documents La question de la mesure de la consultation documentaire la BPI a t r cemment trait e par Delphine Fanget Nous nous contenterons de rappeler les principales conclusions de l exp rimentation qu elle a conduite dans l un des secteurs de la biblioth que le 3 dur Droit conomie et de les compl ter par quelques propositions visant harmoniser les dispositifs existants ou imagin s Nos propositions s appuient sur les principes g n raux de conduite d une politique documentaire qui visent mettre en coh rence la structure de l offre des collections avec celle de la demande des usagers tout en laissant aux biblioth caires la possibilit de privil gier certains choix li s aux missions sp cifiques de leur tablissement Ces principes ont t notamment 175 Quel tableau de bord pour la BPI formalis s par Bertrand Calenge et Thierry Giappiconi Nous consid rerons qu ils sont connus des professionnels de la BPI Pr cisons toutefois que notre r flexion s inscrit dans le cadre de l valuation des services aux publics les solutions pr conis es doivent servir la politique de d veloppement des collections mais aussi la gestion des services Dans le premier cas les indicateurs mesurent les pratiques de consultation relati
136. a prise en compte des co ts rarement int gr e au calcul des indicateurs Ceux ci demeurent trop souvent la simple expression d une activit Rapport s un objectif cibl pour 2003 ils permettent de mesurer l efficacit a t on atteint l objectif mais pas l efficience l a t on fait au meilleur co t Des indicateurs fr quemment utilis s dans d autres biblioth ques et pr conis s par la norme ISO 11620 tels que le co t par usager ou le co t de catalogage d un document ne sont pas retenus Selon Claire Vayssade cette approche n merge que dans certains secteurs de la BnF Notre interlocutrice insiste n anmoins sur la n cessit d une r flexion culturelle de fond pr alablement la d finition de tels indicateurs Cette r flexion devrait notamment permettre de mettre en regard des co ts calcul s des r sultats qui tiennent compte de l impact national de la BnF En effet les missions sp cifiques de la biblioth que notamment pour la conservation et le catalogage obligent penser la notion d efficience dans un cadre qui d passe le p rim tre physique et administratif de l tablissement si le co t du catalogage est tr s lev la BnF il faut consid rer que son impact est consid rable car l tablissement rend alors service toutes les biblioth ques fran aises qui r cup rent ses notices On pourrait faire la m me remarque pour les signets de la BnF Une des difficult s de l v
137. a question Quel tableau de bord pour la BPI se pr sente donc la fois comme un ensemble d instruments d aide la d cision qui sont pour la plupart op rationnels et comme une mise en garde concernant les 206 Quel tableau de bord pour la BPI finalit s et l exploitation de cet outillage Nous pensons que c est la coh rence de l articulation entre ces deux dimensions technique et politique qui conditionne la r ussite de tout projet d valuation La r flexion sur les indicateurs de performance conduit noncer plus clairement parfois modifier la strat gie de la biblioth que C est cette conclusion davantage que les solutions pr conis es qui nous semble devoir tre port e la connaissance des responsables d autres tablissements Quel int r t la d marche engag e la BPI peut elle avoir pour les professionnels d autres biblioth ques Si les pr conisations que nous faisons devaient tre suivies d effets certaines solutions sectorielles pourraient tre exp riment es la BPI et servir de mod le ailleurs On pense en particulier l analyse de la consultation qui permettrait de prendre enfin en compte les pratiques documentaires qui ne transitent pas par le pr t et qui concernent notamment la population des non inscrits La mise en place d indicateurs hybrides rendant compte de l activit de la biblioth que distance semble galement prometteuse La BPI souhai
138. aires Le gel ou la diminution des cr dits publics n pargne pas les biblioth ques britanniques qui vont s inspirer des m thodes du new managerialism afin d optimiser leur gestion interne et de convaincre l administration de leur utilit publique Ces m thodes reposent principalement sur la planification strat gique programmation et gestion par objectifs le customer service l usager est client et le devoted budgeting contr le de gestion Elles concernent galement l am lioration des relations publiques et de la communication externe des biblioth ques la recherche de moyens s duisants pour rendre compte de leurs activit s et des services qu elles offrent la collectivit Sans en tre une manation directe la r flexion sur l valuation des biblioth ques qui se construit cette poque se nourrit donc d outils et d un contexte qui clairent r trospectivement la conception des indicateurs de performance La plupart de ces principes seront formalis s et s ancreront tr s solidement dans la culture des administrations publiques d abord am ricaines puis britanniques vers le d but des ann es 90 sur la base des avanc es consid rables r alis es par leurs associations professionnelles les biblioth ques se sont progressivement fondues dans un mod le de gestion qui touche d sormais l ensemble des administrations le New Public Management NPM L ouvrage de
139. aires est confi e une soci t sp cialis e et se d roule chaque fois sur une semaine Le questionnaire est mis au point par le service tudes et recherche et administr en face face la sortie de la biblioth que en respectant un pas de tirage fixe afin de s lectionner de mani re al atoire les personnes interview es environ un millier chaque vague Les enqu tes sont co teuses et n ont lieu que tous les cinq ans environ Leurs conclusions tiennent lieu de r f rentiel pour la communication de l tablissement qui s appuie sur les volutions observ es la baisse du nombre relatif d tudiants l arriv e en masse de publics r sidant dans la grande couronne parisienne ou le r quilibrage des sexes observ s entre les deux derni res enqu tes par exemple pour objectiver certaines observations empiriques ou justifier certains projets Les chiffres cl s tir s de ces enqu tes sont des indicateurs que la direction utilise dans sa communication institutionnelle et strat gique Ils sont r guli rement cit s dans les articles de presse le rapport d activit les interventions dans les colloques Avec les chiffres de la fr quentation ils conf rent la BPI une certaine l gitimit montrent que dans la dur e elle remplit son r le bien que celui ci ne soit pas clairement explicit pour ce qui concerne la cible de ses publics nA EVANS Christophe La BPI l usage 1978 1995 anal
140. ale caract re th matique et ou 182 Quel tableau de bord pour la BPI fonctionnelle de la biblioth que Elle regroupe des services ou supports sp cifiques Autoformation Son Vid o Presse ainsi que des ensembles coh rents de cotes de la CDU mais il y a des exceptions et des ruptures de cotes On trouvera par ailleurs certains documents dans plusieurs secteurs c est le cas des usuels les plus courants mais aussi de certains groupes de documents lectroniques de r f rence accessibles dans tous les secteurs Alors que les personnels parlent fr quemment de secteurs le terme employ dans le catalogue pour indiquer le bureau de rattachement de chaque document est celui de cat gorie qui sert aussi donner d autres informations pour certains documents particuliers L application Mmediaview emploie une terminologie propre aux documents lectroniques puisqu elle les classe selon une arborescence d une soixantaine de th mes documentaires qui ne recoupent que tr s partiellement les cat gories eux m mes d clin s en sous th mes plus sp cifiques Les imprim s sont regroup s en secteurs puis en disciplines puis en domaines puis en codes sujets ces divergences de vocabulaire il faut ajouter que certains documents ont plusieurs cotes CDU que d autres documents lectroniques sur la presse trang re par exemple n ont en pas et qu il existe naturellement toutes sortes de cas particuliers Tous les d
141. aluation la BnF est que contrairement aux BM et aux BU qui peuvent se comparer d autres biblioth ques ou d autres quipements de la collectivit qu ils desservent elle reste incomparable dans le sens premier du terme L tablissement ne peut justifier sa performance que par rapport aux objectifs qu elle se fixe en concertation avec l tat le travail sur les co ts ne peut donc y tre r alis selon la logique habituelle Au niveau organisationnel on peut se demander si les objectifs retenus ont fait l objet d une consultation aupr s des personnels et des usagers en amont et pas ILLIEN Gildas DCB11 M moire d tude 2003 76 Quel tableau de bord pour la BPI seulement d une diffusion en aval du document produit Nous avons interrog Denis Bruckmann qui a particip entre 1999 et 2000 la mise en uvre du Projet d tablissement en qualit d adjoint au Directeur du D partement Litt rature et Art Son r le tait alors de coordonner la r flexion sur le sujet l int rieur du D partement qui emploie environ 250 personnes Selon lui le Projet d tablissement a fait l objet d une large concertation Un comit ext rieur r unissant des personnalit s comme le directeur de l INA ou celui de la British Library a t constitu et consult Un appel aux lecteurs a t lanc sur le site web de la BnF qui a donn lieu plusieurs dizaines de r ponses Surtout
142. ance des outils bibliographiques et du fonds par le biblioth caire mais pas sa capacit r pondre en des termes adapt s la personnalit et aux besoins implicites de son interlocuteur De plus la m thode pr conis e consiste dans les faits duper les personnels et briser le rapport de confiance sur lequel doivent s appuyer les relations professionnelles elle nous para t inacceptable d un point de vue d ontologique Il semble plus judicieux d impliquer les personnels dans l valuation de leur propre travail m me si l on s expose de fait des risques de falsification des donn es ou des ph nom nes de r sistance passive ou d auto valorisation la BPI l objectif principal tant de mesurer l volution des questions en nombre et en qualit dans le temps et dans les espaces publics on peut n anmoins consid rer que la stabilit du dispositif est plus importante que les biais introduits par le dispositif de recueil statistique les donn es seront certainement fauss es l essentiel est qu elles le soient toujours de la m me mani re Nous avons examin le dispositif qui avait t mis en place l occasion de la semaine test et qui a d j t d crit dans la seconde partie de cette tude L int r t de cette enqu te est qu elle est relativement l g re pour les personnels ils n ont qu cocher des cases dans un cadre pr tabli et que la d finition pr alable
143. ant ces choix ne sont pas valoris s et n apparaissent ni dans les missions ni dans les documents strat giques communiqu s par la direction Certes on observe des signes de changement le nouveau p le en charge des services a re u le nom de p le des services aux publics au pluriel Surtout le Projet d tablissement diff rencie les publics lorsqu il distingue des visiteurs du Centre Pompidou les publics distants et les publics institutionnels Ces derniers cible privil gi e de la politique de coop ration permettront peut tre la BPI de renouer avec l une des missions fix es par son d cret fondateur en liaison avec les autres centres biblioth ques et tablissements culturels Les agents actuellement charg s de r fl chir aux nouveaux dispositifs destination des publics distants ou institutionnels ont d ores et d j envisag de segmenter l offre de services qui leur sera propos e Par exemple il est pr vu d introduire des questionnaires en ligne remplir par les utilisateurs du service des r ponses distance RADIS Ceux ci faciliteront le traitement diff renci des demandes des publics institutionnels et des particuliers celles des actifs ou des tudiants celles qui viennent de France ou de l tranger Cette approche laisse pr sager d un service de qualit mais elle est en contradiction avec le discours galitariste qui caract rise l offre de services aux publics sur plac
144. ant r ussi passer en revue les deux grands modules du questionnaire moyens services aux publics Nombre de questions complexes ont pu trouver une r ponse la moins insatisfaisante possible compte tenu de la n cessit l encore de conserver une coh rence et une stabilit dans le suivi des s ries statistiques sans trop allonger actuel questionnaire Ainsi l intercommunalit pose un vrai d fi pour les statistiques comment mesurer les d placements des lecteurs sans doublonner les diff rentes inscriptions Comment viter de noyer les biblioth ques annexes dans un rapport global Comment rendre compte et r partir entre des tablissements qui coop rent au niveau local des t ches enchev tr es partag es transf r es ou non telles que l informatique les animations ou la coop ration pour les acquisitions Le groupe a par ailleurs r introduit 4 tranches d ge INSEE ainsi que la r partition sexu e des inscrits qui avaient t supprim es dix ans plus t t De nouvelles questions ont t ajout es traduisant la prise en compte de nouveaux services notamment distance comme le nombre de r servations de consultations du catalogue ou du compte lecteur partir du site web de la biblioth que Certaines rubriques ont t compl t es afin de pr ciser des notions parfois floues Ainsi une s rie de questions pr cise la rubrique portant sur l action culturelle il devrait d sormais tre demand de
145. antage du point de vue du contr le que du point de vue de l expertise et du conseil Nous reviendrons sur cette probl matique qui semble constituer un handicap pour la mise en uvre de l valuation la BnF Si une culture statistique existe depuis fort longtemps dans l tablissement celle ci ne concerne que certains secteurs et pose le probl me d une tr s forte h t rog n it des pratiques Certains services ont une culture du rendre compte d autres pas Surtout il semble qu on puisse qualifier ces pratiques de souterraines un grand nombre de donn es servent la gestion quotidienne des d partements mais ceux ci ne les communiquent pas volontiers de peur d tre davantage sollicit s par la suite Quand on est transparent on exige toujours ILLIEN Gildas DCB11 M moire d tude 2003 71 Quel tableau de bord pour la BPI plus de vous quand on ne donne rien on ne vous demande rien r sume Claire Vayssade La collecte des donn es en vue de la constitution des rapports d activit s est am lior e depuis 1999 mais elle reste disparate et lacunaire il y a beaucoup d angles morts Cela est d en partie des r sistances culturelles mais aussi des probl mes techniques et organisationnels li s aussi bien au syst me d information SI qu la difficult de communiquer avec les agents dans un tablissement dont la taille implique une forte hi rarchisation et qui so
146. aphie 1992 vol 39 p 95 109 POLL Roswitha Measuring Impact and Outcomes Do we make a Difference The Challenge to prove it diaporama pr sent au Congr s de l IFLA 2002 Glasgow lt http www uni muenster de ULB outcome index html gt consult le 08 12 2002 RENOULT Daniel Du bon usage des tableaux de bord Bulletin d informations de l Association des biblioth caires fran ais 1987 n 136 p 27 28 ROUX FOUILLET Jean Paul Les puces envahissent les biblioth ques une nouvelle technologie d identification des documents Bulletin des biblioth ques de France 2000 t 45 n 6 p 66 70 SUMSION John WARD Suzanne Performance Indicators and Library Management Models Bruxelles Bureau des Communaut s europ ennes 1995 The Effective Academic Library A Framework for Evaluating he Performance of UK Academic Libraries a consultative report to HEFCE SHEFC HEFCW and DENI by the Joint Funding Council s Ad Hoc Group on Performance Indicators for Libraries Londres HEFCE 1995 VAN HOUSE Nancy LYNCH Mary Jo McCLURE Charles R et al Output Measures for Public Libraries a Manual of Standardized Procedures Chicago Illinois et Londres American Library Association 1987 VAN HOUSE Nancy A WEIL Beth T McCLURE Charles R Measuring Academic Library Performance a Practical Approach Chicago Illinois American Library Association 1990 VAYSSADE Claire et GUITON Janine La d marche qualit l
147. ar ce biais nous avons souhait brouiller les pistes et susciter des r actions d indignation ou d enthousiasme chez nos interlocuteurs de l encadrement de la BPI qui ce tableau a t pr sent au terme du stage Notre objectif tait de faire prendre conscience l encadrement d une vidence qui surprend toujours lorsqu elle s applique nos propres activit s les chiffres et les graphiques peuvent facilement tre manipul s On peut leur faire dire pratiquement n importe quoi Cette mise en garde visait sensibiliser nos coll gues de la BPI au fait que le nouvel outil propos dont la simplicit et le graphisme avaient s duit l auditoire tait capable du meilleur comme du pire C tait une autre mani re de dire que la d marche importait davantage que les r sultats Qu on se rassure ceux ci seront toutefois pr sent s dans la troisi me partie 94 Quel tableau de bord pour la BPI 1 La d marche suivie 1 1 Cheminement des hypoth ses Notre compr hension des enjeux et des probl matiques du sujet s est approfondie et claircie au fil de d couvertes progressives et d observations sur le terrain Certains aspects fondamentaux de l valuation pourtant trait s dans la litt rature professionnelle consult e au pr alable n ont vraiment t compris qu mi parcours voire au terme du stage Certes l hypoth se de d part d un lien fort entre valuation organisation et chang
148. ar la politique g n rale de l tablissement Il pourrait aboutir l organisation au sein du service d un help desk bureau charg de coordonner l assistance et les prestations informatiques aux services de la BPI qui centraliserait l ensemble des demandes re ues de les r partir et de les planifier en fonction des ressources disponibles et des priorit s d finies Naturellement ce mode d organisation contraste avec le fonctionnement habituel des services de l tablissement et n est pas encore bien r d Il se heurte ponctuellement des r sistances culturelles internes bien qu il soit globalement accept par l quipe qui a pu mesurer certaines am liorations de ses conditions de travail r sultant directement de la nouvelle gestion interne Le syst me repose naturellement sur l honn tet des agents lorsqu ils remplissent leurs rapports individuels d activit Il est donc indissociable d une politique de communication interne et d animation de l quipe propre assurer un climat de confiance et de respect mutuel l int rieur du service Il faut garder l esprit que l apparent succ s de la r forme engag e au service informatique est fortement li la taille relativement modeste du service une dizaine de personnes et aux personnalit s qui y travaillent Il serait donc maladroit de vouloir tendre de fa on autoritaire ce fonctionnement l ensemble de 150 Quel tableau de
149. atio de postes lecteurs Pour le personnel chaque personne est quip e d un PC Important une fiche r capitulative permet de voir la r partition des postes dans les espaces exploiter pour analyse fine en regard de la fr quentation des demandes en SP et ES it des stats Mmediaview Activit s en chiffres Renouvellement et Postes renouvel s 65 Activit d installation Non Des comparaisons avec ann e installation de mat riel pr c dente sont voqu e mais pas mat riel Imprimantes mesur es install es 28 RUE des Titres de r f rence Activit d installation de Non titres de c d roms Mises jour 96 c d roms pour r seau pour le r seau Nouveaux titres 4 g n ral g n ral Titres multim dia Installations 29 Abandons 9 Installation de titres Titres remis par 63 Activit d installation de Non Mesurer la part de PEAF dans l activit de c d roms sur le SLL c d roms pour r seau d installation de c d roms du service r seau de l EAF install s 30 EAF Abandonn s 24 En attente 9 Code intitul Mode de calcul Exemple de valeur Que mesure t il Est il crois avec Commentaires traitement d autres FT Maintenance des Nb de postes 10 Activit de maintenance et Non postes publics 4 red marrer avec de r paration ouverture calsson jour Maintenance des Nb de postes r 5 Activit de maintenance et non postes publics 2 installer apr s de r paration r para
150. ation 19 1 3 2 La difficile convergence de trois niveaux d objectifs 21 1 3 3 Au c ur de l valuation les indicateurs 0000000eseseseeeeeeeeeeee 23 1 3 4 Les tableaux de bord outils de synth se et de d cision 27 2 L VALUATION DANS LES BIBLIOTH QUES TAT DE L ART 32 2 1 Le contexte international SITES RSR Ent tee re re se 33 2 1 1 Les origines anglo saxonnes de l valuation 34 2 1 3 Le r le moteur et normalisateur des organisations Ae OA RS SEE RTS el nn Ea NENE 37 2 2 La France du centralisme statistique l valuation locale 39 22 1 Origines principes et actualit de l valuation des politiques publiques eh Frances ie a e a a nets 40 2 2 1 1 De la d centralisation l valuation sssseessseesereeereeereerreeereeeee 40 2 2 1 2 L impact de la Loi organique du 1 ao t 2001 42 2 2 2 Les biblioth ques universitaires une histoire ancienne 44 22 21 L aventure de l ESGB SES See er er 44 2 2 2 2 Naissance et actualit d ASIRE AS net en 47 2 23 Les biblioth ques publiques une situation contrast e 51 2 2 3 1 De la sensibilisation la mise en uvre quel bilan 52 23 2 2 3 2 Actualit de l valuation la DLL et dans les associations professionnelles arassa i a aaa tr E a E 58 Analyse externe deux exemples proches de la BPI
151. ations professionnelles en retour celles ci r clament une clarification des missions Cette dynamique se complique alors que la DLL ne dispose plus hors le concours particulier de v ritables leviers d intervention directe aupr s des biblioth ques municipales qui rel vent des collectivit s locales Dans une logique administrative comparable celle qu a connue la SDBD elle recentre son action vers des fonctions de coordination d expertise et de conseil C est pourquoi nous avons souhait prendre galement connaissance des projets en cours dans cette administration lors d entretiens conduits en octobre 2002 Cette d marche nous semblait d autant plus justifi e que la DLL est la tutelle directe de la BPI 2 2 3 2 Actualit de l valuation la DLL et dans les associations professionnelles Le minist re de la Culture s est associ les comp tences de plusieurs experts des BDP et des BM qui avaient fortement contribu nourrir la r flexion sur 13 Entretien avec Anne Marie Bertrand le 4 novembre 2002 ILLIEN Gildas DCB11 M moire d tude 2003 58 Quel tableau de bord pour la BPI l valuation au sein des associations professionnelles C est notamment Bertrand Calenge auparavant directeur de la BDP de Sa ne et Loire qui pilota entre 1991 et 1992 le lancement d un plan d valuation concernant les BM et BDP L objectif tait de r aliser des formulaires de rapport d activit coh
152. au il s agit du pourcentage de sessions rejet es galement appel es refus Cet indicateur fait partie des propositions actuellement examin es par PISO dans son projet de rapport technique sur les indicateurs de performance pour les services lectroniques des biblioth ques indicateur B 1 3 4 pourcentage de sessions rejet es Mmediaview est param tr pour donner cette information pour chacune des ressources lectroniques diffus es sur le r seau de la BPI Le principal int r t de cette information est qu elle permet de d terminer si un nombre suffisant de licences a t souscrit afin de r pondre la demande des usagers Le taux de refus s exprime sous la forme d un pourcentage de sessions rejet es par rapport au nombre total de tentatives de sessions pour chaque base de donn es sous licence Il n y a pas vraiment d int r t calculer un chiffre global pour l ensemble des bases de donn es Le projet de rapport technique pr conise de ne pas comptabiliser les refus dus des erreurs techniques Nous pensons au contraire que ce crit re est pertinent et constitue un bon indicateur des dysfonctionnements techniques li s l installation et la maintenance des ressources lectroniques en particulier les c d roms qui posent beaucoup de probl mes Ces informations sont d j r unies par le service des documents lectroniques car elles servent au suivi des relations et des n gociations avec le
153. biblioth que Paris Electre ditions du Cercle de la Librairie 1999 Biblioth ques CARBONE Pierre Enqu te statistique g n rale aupr s des biblioth ques universitaires ESGBU synth se des r sultats obtenus pour 1974 Bulletin des biblioth ques de France 1978 t 23 n 1 1978 CARBONE Pierre Sfatistiques et valuation dans les biblioth ques universitaires fran aises Bulletin des biblioth ques de France 1989 t 34 n 4 p 374 381 CARBONE Pierre Evaluer la performance des biblioth ques une nouvelle norme Bulletin des biblioth ques de France 1999 t 43 n 6 p 40 45 CARBONE Pierre Dir Construire des indicateurs et tableaux de bord Paris Tec et Doc Villeurbanne Rh ne Presses de l Enssib 2002 La bo te outils CONSEIL SUPERIEUR DES BIBLIOTHEQUES Charte des biblioth ques adopt e par le Conseil sup rieur des biblioth ques le 7 novembre 1991 Rapport du pr sident pour l ann e 1991 Paris Association du Conseil sup rieur des biblioth ques 1992 CRAWFORD John Evaluation of Library and Information Services Londres ASLIB The Association for Information Management 1996 The ASLIB Know How Series GIAPPICONI Thierry Manuel th orique et pratique d valuation des biblioth ques et centres documentaires Paris Electre ditions du Cercle de la Librairie 2001 Biblioth ques GIAPPICONI Thierry CARBONE Pierre Management des biblioth ques programmer organiser c
154. bjectifs d un point de vue la fois prospectif et pragmatique Le choix des indicateurs pourrait s appuyer sur les recommandations de la norme ISO 11620 Les indicateurs qui y sont propos s ne r pondent que tr s imparfaitement aux besoins atypiques de la BPI Les conseils m thodologiques pr sent s dans la norme pourraient n anmoins commander les choix servir d armature une grille commune de s lection Pour chaque indicateur retenu les agents de la cellule d valuation pourraient se poser les cinq questions suivantes qui permettent d prouver le dispositif propos avant de l adopter L indicateur est il r ellement porteur d une information utile la prise de d cision Est il fiable sera t on en mesure de produire le m me type de r sultats dans les m mes conditions Est il valide mesure t il effectivement ce qu il est cens mesurer et non d autres variables Est il ad quat est ce qu il est adapt au but pour lequel il a t tabli Est il applicable implique t il des donn es que l on peut obtenir au prix d un effort raisonnable en temps et en qualification de personnel sans abuser de leur patience ni de celle des usagers La norme propose un sixi me crit re de s lection celui de la comparabilit Ce crit re ne peut tre syst matiquement appliqu la BPI compte tenu de sa mission nationale et de son mode d organisation Des comparaisons avec certaines biblioth ques tra
155. blique engag e par la biblioth que par rapport aux buts qu elle s est fix s et au del celui des enjeux et des probl mes de soci t dans lesquels son action s ins re ou auxquels elle se propose de r pondre L articulation de ces deux niveaux d analyse n tant peut tre pas imm diatement intelligible en ces termes elle sera illustr e plus loin au moyen d un exemple Thierry Giappiconi et Pierre Carbone apportent les pr cisions suivantes le terme de performance est la notion centrale de cette relation Il r unit trois notions celle d efficacit du service fourni par la biblioth que ad quation plus ou moins grande des r sultats aux objectifs celle d efficience dans l utilisation des ressources employ es ad quation plus ou moins grande des ressources aux ILLIEN Gildas DCB11 M moire d tude 2003 20 Quel tableau de bord pour la BPI r sultats et celle de pertinence des choix op r s ad quation plus ou moins grande des ressources aux objectifs 14 valuer une biblioth que consiste mesurer sa performance c est dire juger de sa capacit trouver le meilleur quilibre possible entre la qualit des services rendus et l conomie des moyens employ s Pour mettre en uvre une d marche d valuation il est n cessaire de formaliser les objectifs les moyens et les r sultats et de se doter d instruments de mesure et d interpr tation qui vont permettr
156. blissement avec d autres biblioth ques publiques en France Ainsi au niveau local ou national physique ou virtuel on se proposait de construire des indicateurs destin s au pilotage de cette mission de service public laquelle la direction de la BPI souhaitait donner un sens nouveau Il fut entendu que ce choix n excluait pas une r flexion plus synth tique portant sur des probl matiques transversales et sur la d marche g n rale d valuation la BPI Notre cahier des charges impliquait notamment que l on apporte des claircissements sur d importantes questions de m thode abord es dans la premi re partie de ce m moire en particulier l analyse des co ts la combinaison d approches quantitatives et qualitatives la place des tableaux de bord dans l organisation du travail les diff rentes exploitations et architectures de tableaux de bord 1 2 2 Analyse de l existant La seconde tape de notre tude s apparentait une collecte de donn es aupr s des services constitutifs du p le des services aux publics Elle visait recenser les pratiques et les outils existants localiser les comp tences et les expertises et identifier les principaux obstacles L objectif de cette phase tait double recueillir toutes les informations utiles l laboration de notre proposition 99 Quel tableau de bord pour la BPI mener ce travail en concertation avec les personnels afin de les sensibilise
157. blissements se doter des outils dont ils ont d sormais besoin pour n gocier avec les collectivit s locales vers lesquelles les sources de financement et le pouvoir de d cision se sont d plac es Dans un grand nombre de cas c est en effet en concertation avec les collectivit s que les objectifs sont valid s La n gociation avec les autorit s se complique du fait de la multiplication des niveaux de comp tence et des sources de financement La mise en uvre de l valuation implique donc que les ILLIEN Gildas DCB11 M moire d tude 2003 83 Quel tableau de bord pour la BPI biblioth ques veillent aux conditions d un renforcement de leur promotion et du dialogue avec les tutelles dont les int r ts et les modes de fonctionnement et de communication sont beaucoup plus divers que ceux d une administration centrale Dans la n gociation les biblioth ques doivent faire preuve d imagination et d anticipation afin de proposer les indicateurs et la d marche d valuation les plus pertinents avant qu on ne les leur impose l int rieur des tablissements une dynamique similaire s engage L encadrement doit prendre conscience que la mise en uvre d une gestion par objectifs est contre productive si elle est conduite sans la participation active de tous les personnels en amont comme en aval des proc dures d valuation La d finition des objectifs le suivi et le contr le de leur r alisation do
158. bord pour la BPI l tablissement L exp rience conduite m rite n anmoins d tre suivie avec attention car elle est susceptible d inspirer d autres services travers cet exemple nous avons souhait montrer que dans un domaine aussi sensible que l valuation des moyens humains et contrairement ce qu il y para t au premier abord la BPI dispose de vraies marges de man uvre pour l exp rimentation et le changement Il s agit l d un contexte favorable la mise en uvre d une d marche plus globale et plus structur e d valuation 151 Quel tableau de bord pour la BPI Partie 3 Esquisses plans et maquettes Dans cette derni re partie nous avons souhait donner un aper u des solutions propos es la BPI La richesse du mat riau rassembl lors du stage ne nous permet pas de faire tat de toutes les pistes qu il pourrait tre pertinent d examiner pour la mise en uvre d un tableau de bord des services aux publics Nous avons pr f r nous concentrer sur quelques indicateurs qui r pondent des besoins urgents de la BPI et qui sont susceptibles d int resser d autres biblioth ques Cette pr sentation des outils pr conis s pour l valuation des services sera pr c d e d une proposition de d marche qui d coule de l analyse de la probl matique de l valuation la BPI Cette proposition est principalement destin e aux agents charg s de mettre en uvre un
159. bord pour la BPI zone g ographique et de calculer le taux de p n tration de la BPI par rapport ce public cible Cette d marche permettrait de savoir si le taux d utilisation de ces quipements est satisfaisant mais aussi de mieux organiser la communication ext rieure de ce service ainsi que son insertion aupr s des r seaux associatifs Une d marche similaire peut tre envisag e une plus grande chelle aupr s de la population trang re La derni re enqu te du service tudes et recherche a permis de constater que plus de 29 des personnes interrog es parlaient une autre langue que le fran ais la maison Cette population est suffisamment nombreuse pour que l on prenne en compte ses besoins et centres d int r t sp cifiques ce que les biblioth caires de la BPI font d j dans une large mesure mais sans que la communication institutionnelle de l tablissement ne fasse v ritablement tat des services rendus Si les enqu tes lourdes fournissent un indicateur pr cieux son croisement avec les donn es sur les pratiques de consultation et de fr quentation permet galement de mieux conna tre les pr f rences et les besoins des populations trang res ou d origine trang re et d adapter l offre documentaire et de services leurs demandes Nous proposons quelques indicateurs compl mentaires qui permettraient d assurer un suivi plus r gulier de la composition et des pratiques de cette populati
160. cateur qui nous para t appropri le calcul de cet indicateur consiste compter le nombre de sessions distance sur POPAC et le nombre total de sessions pendant une p riode de r f rence puis rapporter le premier chiffre au second Le r sultat obtenu est le pourcentage de sessions de consultations distance du catalogue interrogeable en ligne indicateur B 1 3 5 2 4 3 Peut on valuer la formation des usagers La formation des usagers est une activit qui est appel e se d velopper Elle reste pourtant parfaitement tanche aux recherches des experts de l valuation en biblioth que Les auteurs de la norme ISO 11620 ont souhait inscrire la formation des usagers dans la liste des indicateurs de performance des services afin de montrer combien elle tait importante Pourtant personne n a t ce jour en mesure de proposer une m thode d valuation satisfaisante Trop de variables influent sur les processus cognitifs qui sont en jeu pour que l on puisse tablir un protocole mesurant l efficacit des formations organis es en biblioth que Dans ce contexte il faut se contenter de comptabiliser les formations et les visites organis es par la biblioth que et ventuellement en calculer le co t qui rapport d autres d penses courantes de la biblioth que permet d indiquer l effort consenti par l tablissement dans ce domaine Le projet de rapport technique sur les services lectroniques de
161. cations ant rieures mais d aborder avec pragmatisme et au moyen d exemples et de t moignages la mise en uvre de l valuation Pr cisons pour finir que l valuation en biblioth que a d abord connu des applications directes dans le champ de la politique documentaire et que les publications de Bertrand Calenge ont jou un r le majeur dans la diffusion de ces pratiques D autres ouvrages permettent d approfondir le sujet ils seront cit s plus loin ou figurent dans la bibliographie On n a mentionn ici que les plus pertinents pour une premi re approche et une mise plat des concepts essentiels KUPIEC Anne Dir Op cit GIAPPICONI Thierry CARBONE Pierre Management des biblioth ques programmer organiser conduire et valuer la politique documentaire et les services des biblioth ques de service public Paris Electre ditions du Cercle de la librairie 1997 Biblioth ques GIAPPICONI Thierry Manuel th orique et pratique d valuation des biblioth ques et centres documentaires Paris Electre ditions du Cercle de la Librairie 2001 Biblioth ques contient un lexique fran ais anglo am ricain des termes les plus utilis s CARBONE Pierre Dir Construire des indicateurs et tableaux de bord Paris Tec et Doc Villeurbanne Rh ne Presses de l Enssib 2002 La bo te outils 3 CALENGE Bertrand Conduire une politique documentaire Paris Electre ditions du Cercle de la
162. celui d efficacit le sens m me du terme d valuation moins quivoque en anglais qu en fran ais fournissent des exemples loquents de l aridit s mantique de la litt rature sur le sujet Celle ci fait cho au langage du management et du marketing dont elle est d ailleurs en grande partie issue L introduction de ces termes dans le monde des biblioth ques se heurte des r sistances culturelles et linguistiques qui compliquent la compr hension et l appropriation de la d marche d valuation par les professionnels Il faut toutefois souligner que l important travail de traduction et de p dagogie conduit notamment par Pierre Carbone et Thierry Giappiconi depuis le d but des ann es 90 a t men d s le d part dans le cadre de leur participation des instances internationales de recherche et de normalisation On peut se f liciter que la d marche d valuation ait t introduite en France par ce biais En effet la mise en place relativement rapide d un vocabulaire contr l valid par l Association fran aise de normalisation AFNOR a permis d viter bien des confusions et de pr parer le terrain de l valuation dans les biblioth ques avant m me que les tablissements ne se l approprient Comme le rappelle Christine Abott cela n a pas t le cas en Grande Bretagne o la multiplication d ouvrages et d articles th oriques ou pratiques sur le sujet a abouti une certaine
163. chard indique quelques pistes destin es tre suivies apr s la mise jour du questionnaire mise en place d approches th matiques et transversales fonds patrimoniaux services aux handicap s services aux jeunes par exemple permettant de r aliser des enqu tes plus pointues par le biais de questionnaires annexes adress s uniquement aux biblioth ques concern es valuation de la qualit des services rendus en isolant des groupes d tablissements d une m me taille et aux m mes missions afin d analyser les politiques de service ainsi que les politiques documentaires Par ces approches plus segment es gr ce auxquelles on souhaite pouvoir comparer ce qui est comparable on retrouve le souci de d passer l approche statistique et de l affiner afin d entrer dans une d marche qui se rapproche davantage de l valuation On en est cependant tr s loin la DLL comble pour le moment un retard important et travaille encore revoir assiette et le dispositif de relev et de traitement de donn es exclusivement quantitatives Elle souhaite en outre accompagner la mise jour en cours d une modernisation d ici deux ans de ses outils informatiques formulaires et publication en ligne Ainsi pour la premi re fois une partie des Donn es 1999 ILLIEN Gildas DCB11 M moire d tude 2003 62 Quel tableau de bord pour la BPI a t mise en ligne en octobre 2002 l adresse lt http www culture fr c
164. collecte pendant la phase d analyse des besoins et de l expertise du service informatique pendant la phase de r alisation technique 2 Propositions d indicateurs pour les services aux publics l issue de nos entretiens avec l quipe de direction et de l analyse de l existant nous avons d fini six grandes orientations pour l laboration d indicateurs destin s l valuation des services aux publics Ces orientations d coulent de l objectif g n ral d fini dans le Projet d tablissement de la BPI am liorer les services aux publics sur place et distance Elles correspondent des questions simples que l encadrement et les personnels se posent propos des publics dans le cadre du pilotage de ce projet d am lioration des services Nous avons regroup ces questions en cat gories qui correspondent partiellement la nomenclature de la norme ISO 11620 et qui nous serviront de fil conducteur au cours de la pr sentation des diff rents indicateurs propos s Les usagers e Combien sont ils Parmi eux combien de Sont ils satisfaits e Quels sont les documents qui les int ressent Y acc dent ils facilement Notre offre est elle adapt leurs besoins e Que rapportent ils chez eux e Quels services valeur ajout e leur offre t on et qu en font ils 9124 e Dans quel environnement e Combien a co te Les indicateurs pr sent s r pondent la commande de l
165. come index html gt consult le 08 12 2002 ILLIEN Gildas DCB11 M moire d tude 2003 89 Quel tableau de bord pour la BPI sp cificit s des activit s biblioth conomiques Bien qu elle soit au c ur de la probl matique de l valuation on est souvent conduit exclure l analyse des effets de son champ d application parce qu elle pr sente trop de difficult s Il est en revanche possible et m me vivement souhaitable de prendre en consid ration la dimension conomique de la prestation aux usagers en identifiant les co ts associ s chaque activit que l on mesure Cet exercice simple en apparence se heurte plusieurs obstacles qui sont d ordre culturel comptable et technique Ce n est que r cemment que l on a commenc concevoir que les co ts du service public pouvaient l gitimement tre calcul s et port s la connaissance des usagers ou des professionnels Plus exactement la prise de conscience du co t des services est quelque chose d assez nouveau dans une profession qui s est longtemps concentr e sur la gestion des collections et des services aux publics sans vraiment prendre la mesure du travail de gestion qu impliquait leur existence Dans le quotidien d une biblioth que moins d tre au service financier ou la direction on a rarement l occasion de conna tre d autres co ts que ceux des acquisitions de la reliure et plus r cemment du fonctionnement i
166. ction est rattach e au service des documents lectroniques mais deux rapports d activit distincts sont pr sent s et il ne sont pas harmonis s dans leur pr sentation II manque des donn es de gestion sur le traitement effectif des demandes demandes rejet es et sur quels crit res demandes trait es croisement des moyens mis en uvre en temps ou ressources particuli res avec la typologie des demandes I pourrait galement tre int ressant de croiser ces donn es avec celles concernant les demandes en SP sur place et t l phonique pour diff rencier les publics sur place et distance les profiler ou voir au contraire des possibilit s de mutualisation des outils notamment aspects relatifs aux langues et origines g ographiques des demandeurs celles trait es aux Relations internationales distinguer la r ponse fourniture d une information et la d marche de formation qui peut accompagner la r ponse Qui demande quoi faudrait croiser plus syst matiquement les donn es sur les profils des utilisateurs et la typologie des questions pos es Cela n est possible que si l on instaure le questionnaire usager Question de fond comment valuer une question une r ponse voir en concertation avec tous les services concern s afin de parvenir une typologie commune dans l tablissement Questions de qualit de fr quence Les axes d am lioration pour le futur sont retenir et constituent de
167. ctions Les services responsables de l entretien de la s curit et de la logistique des espaces et des quipements informatiques audiovisuels mobiliers ont besoin d outils de suivi et de gestion des incidents et des interventions dans les espaces De m me les d cisions relatives la r partition des personnels aux diff rents postes de travail en service public gagneraient tre prises au regard de l volution quantitative et qualitative des activit s de renseignement et de consultation L am lioration des services aux publics comme de la communication interne n cessiterait donc que l on mette la disposition de tous une sorte de panorama des services aux publics qui r pondrait ces besoins diffus d orientation et d identification tout en permettant de faire r guli rement le point sur la r solution des probl mes la r partition des moyens et la mise en place des projets nouveaux Nos entretiens avec les personnels de la BPI ont r v l un foisonnement de m taphores spatiales C est donc vers la g ographie que nous nous sommes tourn s pour trouver des solutions au probl me de la repr sentation des tableaux de bord 3 2 Les SIG principes de fonctionnement et utilisation dans les biblioth ques Dans un m moire d tude consacr l utilisation des syst mes d information g ographique dans les biblioth ques de recherche Laure Delrue a r cemment rappel les tapes historiques de d
168. cumentaires L inventaire des indicateurs utilis s dans les rapports d activit des services pour 2001 montre que la prise en compte des co ts pour qualifier l activit est tr s rare elle concerne surtout les services charg s des fonctions logistiques et 145 Quel tableau de bord pour la BPI informatiques Elle ne s exprime qu exceptionnellement en unit s financi res le nombre d heures ou de jours travaill s et le nombre de personnes mobilis es pour la r alisation d une action sont plus fr quemment utilis s Du c t des personnels administratifs comme des personnels de la fili re biblioth que le volet financier du dossier de l valuation semble donc quelques exceptions notables condamn rester dans l ombre pour quelques temps encore Cette situation nous a conduit exclure l analyse fine des co ts dans la pr sentation des indicateurs Nous n avons pu prendre en compte les param tres financiers que de fa on impr cise et globale les grandes masses budg taires que nous a fournies l administrateur nous ont par exemple permis de calculer le co t par entr e ou par poste de travail Ces estimations la louche ne semblent pourtant pas tr s satisfaisantes Puisque les co ts semblent plus volontiers exprim s en heures de travail ou en nombre de personnes on pourrait imaginer que le dispositif de la BPI est plus performant pour la gestion des moyens humains que pour celle des m
169. cuments lectroniques Cet outil certainement le plus fin et le plus performant dont dispose la BPI poss de un module statistique dont les fonctionnalit s sont nombreuses mais sous utilis es Les principales fonctions statistiques de Mmediaview g n rent des donn es relatives la consultation des documents lectroniques aux r servations de postes donnant acc s des services sp cifiques Autoformation Son Vid o postes Internet non brid s et aux impressions Les statistiques du r seau g n ral concernent plus de 1100 titres de documents lectroniques dont environ 250 c d roms et 850 sites Internet r f renc s consultables sur 171 postes dans les espaces publics ainsi qu en interne Elles sont exploit es par Paule Ruiz conservateur la CBI qui r alise sous Excel des ditions mensuelles de consultation class es par ordre alphab tique de titres de documents par poste informatique et par th me 59 th mes La liste de ces th mes ne recoupe pas la nomenclature utilis e pour les statistiques relatives aux imprim s Les donn es dit es sont mises 126 Quel tableau de bord pour la BPI disposition des personnels sur l Intranet de l tablissement mais semblent assez peu consult es D autres tris plus fins sont effectu s par support et par ordre d croissant de diffusion pr sentation de type Hit parade qui mesure les scores de diffusion des documents Les possibilit s de tri et d di
170. d un suivi statistique r gulier On peut consid rer que l ensemble ILLIEN Gildas DCB11 M moire d tude 2003 78 Quel tableau de bord pour la BPI constitu par la revue et les indicateurs constitue finalement le tableau de bord de la BnF en ce sens qu il rassemble des outils de d cision con us pour arr ter des choix et surveiller des chantiers court et moyen terme selon une p riodicit r guli re La pertinence de l outil semble n anmoins pervertie par certains usages qui en sont faits La plupart des projets sont en effet affich s comme en cours Le calendrier semble glisser et s actualiser d une dition l autre sans que l on puisse r ellement prendre la mesure des retards constat s dans l ex cution d un projet De fait la revue d avancement appara t plus souvent comme une reconstruction a posteriori des actions conduites que l outil d une v ritable d marche prospective Le circuit de r alisation de ce document semble par ailleurs fausser ses contenus une premi re version est r alis e par la D l gation la strat gie partir des l ments que ses agents ont pu r colter des r unions pr paratoires entre les Directions le Directeur et la D l gation permettent ensuite de compl ter et de modifier le document puis celui ci est tudi en Comit de direction avant d tre enfin pr sent l encadrement en pr sence du Pr sident Dans la cha ne suiv
171. d compte des activit s peut faciliter ou clairer le travail interne Dans les services o cette pratique est tablie ou en passe de l tre elle n est pas consensuelle Ainsi au service informatique ou au service des imprim s les statistiques sont g n ralement recueillies trait es et exploit es directement par les chefs de service ou leurs adjoints mais les quipes ne semblent pas manifester un int r t tr s marqu pour ce travail et refusent m me quelquefois d y contribuer l inverse dans d autres services notamment la CBI des agents isol s produisent des statistiques sans que leur activit soit coordonn e avec celle de leurs coll gues ni avec la politique 120 Quel tableau de bord pour la BPI g n rale du service On a finalement observ quelques cas rares mais assez exceptionnels d agents qui en service public ont entrepris de compter les lecteurs les questions ou encore de noter leurs r ponses sur des p riodes de plusieurs mois Interrog s sur les motivations d une telle d marche ils ont avanc les arguments suivants mieux savoir ce que je fabrique ici utiliser un jour toutes ces questions pour former les nouveaux coll gues quand on aura le temps alimenter une base de donn es pour les r ponses par t l phone ou par Internet Autant de d marches solitaires qui constituent une richesse mal ou pas exploit e Notre intention n est pas de minimiser ces acq
172. d ann e Lourdeur et complexit du dossier juridique Gestion de la base Mmedia View gestion biblioth conomique technique et statistique des acc s aux documents lectroniques des dysfonctionnements et des besoins de formation compl mentaires Sous utilisation des ressources lectroniques la BP temps d appropriation rajeunissement du public non visibilit maniement complexe p dagogie des acc s initiations la recherche documentaire formations parcours Forte interd pendance avec d autres services probl mes d irr gularit et de disponibilit des informaticiens notamment pour les c d roms surtout remplacement progressif des c d roms par des versions en ligne mais n cessit de g rer la transition L indicateurs utilis s Code traitement intitul Mode de calcul Exemple de valeur Est il crois avec d autres Que mesure t il Commentaires Fiche r capitulative l ann e La collection 3 L annuaire sites web Formations dispens es Ressources du web ratuit catalogu es Ressources signal es et d crites Sessions Stagiaires Jours d intervention dans des stages r f rences et 46 docs multimedia part des nouveaut s 7 7 L quipe 7 Personnes ETP 9 personnes Moyens humains non 7 E 8 3 ETP Budget Acquisitions 1 560 000 F Moyens financiers Oui le nb de docs Imp
173. d mieux pourquoi il est si difficile de r pondre la demande de son directeur d laborer des instruments capables de mesurer le retour sur investissement c est dire d valuer la valeur financi re des effets afin de la croiser avec les co ts Pour atteindre cet objectif il conviendrait d abord de d finir les missions de la BPI en des termes plus pr cis et de segmenter le public desservi en plusieurs cat gories Pour chacune de ces cat gories il faudrait ensuite dresser l inventaire des services rendus et calculer leur valeur sur le march ou l estimer aupr s des usagers La d marche a des implications culturelles techniques et politiques qui conduisent l carter de notre proposition consid rons que nous nous heurtons ici aux limites de l analyse et qu il faut faire machine arri re 2 4 2 La valeur des efforts gestion budg taire et gestion des comp tences Puisqu il semble impossible d valuer la valeur de ce que produit la biblioth que il faut au moins s efforcer d valuer la valeur de ce qu elle co te L valuation financi re des effets se trouvant de facto exclut de notre champ d application il reste en effet se concentrer plus modestement l analyse des co ts Il s agit alors de voir dans quelles conditions les services de la BPI 141 Quel tableau de bord pour la BPI appr hendent actuellement la gestion et l affectation de leurs ressources Nous distingue
174. dans l organigramme d une biblioth que fran aise f t elle nationale Le fait que ses agents rassemblent des expertises issues des domaines de la biblioth conomie de l informatique de la sociologie du contr le de gestion et du conseil montre que l tablissement a souhait s attacher des comp tences diverses qui s av rent compl mentaires dans la mise en uvre d une d marche d valuation globale Celle ci s inspire des pratiques de management issues du secteur priv tout en conservant son ancrage au c ur du m tier de biblioth caire Claire Vayssade souligne toutefois que l introduction formelle de cette d marche au sein de la BnF est r cente 1999 et n est pas tant le fait d une volont politique que des besoins qui ont t exprim s par les professionnels charg s de la r alisation du rapport d activit de l tablissement puis de son Projet d tablissement La mise en place progressive du contr le de gestion et de contrats d objectifs dans l administration publique n a fait que confirmer la n cessit d institutionnaliser un ensemble de pratiques qui avaient t lanc es de fa on pro active par plusieurs cadres de la BnF Il y a n anmoins lieu de penser que cette institutionnalisation et le rattachement direct de la D l gation la strat gie aupr s de la Direction g n rale et de la Pr sidence conduisent les personnels consid rer les fonctions d audit et d valuation dav
175. de postes multim dia th me Emploi r f rence sont classement par Comparaison 4446 4958 compar es th mes mai novembre i classement par Classement th mes Les c d roms les Nombre de Le Monde Centres d int r t des Oui les donn es des Idem plus consult s consultations par 1204 1184 publics deux mois de titre Myriade r f rence sont Comparaison 786 685 compar es mat novembre classement par titres Classement Les sites Internet Nombre de Le Monde Centres d int r t des Oui les donn es des idem catalogu s les plus consultations par 4217 4105 publics deux mois de consult s titre BBC World service r f rence sont Comparaison 2603 3997 compar es Remarques mal novembre classement par titres Classement Appr ciations et Examen des r v le une tr s int ressant de voir que l examen des commentaires du cahiers des grande discr tion cahiers de lecteurs des diff rents public lecteurs sur la collection de bureaux ait t mentionn documents lectroniques Moyens financiers et mat riels Budget du service 1 500 000 F Voir fiche r capitulative d tails dans le L rapport Equipement Nombre de PC 9 Nombre de Mac 1 Dans ce service on comprend que le type de travail r alis pr te difficilement une valuation par le biais d indicateurs le travail de veille d actualisation de n gociations juridiques de formation continue est au c ur de l activi
176. de Thierry Giappiconi et Pierre Carbone qui en ont fait une 1 POLL Roswitha Op cit p 7 10 44 GIAPPICONI Thierry CARBONE Pierre Op cit p 231 236 ILLIEN Gildas DCB11 M moire d tude 2003 38 Quel tableau de bord pour la BPI description synth tique au moyen de tableaux comparatifs Rappelons enfin que l article publi par Pierre Carbone dans le Bulletin des biblioth ques de France en 1999 constitue une bonne introduction la norme ISO 11620 2 2 La France du centralisme statistique l valuation locale En France on a d sormais pris l habitude de replacer la d marche d valuation des biblioth ques dans un cadre plus large celui de la r forme de l tat Avec l introduction r cente du contr le de gestion dans les administrations publiques celle ci n est pas sans rappeler certaines des recettes du New Public Management Si les similitudes et les importations sont aujourd hui patentes avec quelques ann es de d calage on aurait toutefois tort de croire que la mise en place d indicateurs de performance dans les biblioth ques fran aises d coule directement du mod le anglo saxon et s est organis e selon la m me dynamique institutionnelle En effet alors qu aux tats Unis et au Royaume Uni le r le des associations professionnelles a t d terminant l valuation des biblioth ques fran aises s est d velopp e selon des conditions sp cifiques la situation na
177. de catalogage et de l indexation mati re Il n est toutefois pas possible de d partir les diff rents facteurs intervenant dans la r ussite d une recherche documentaire cette m thode semble donc assez co teuse compte tenu des conclusions qu on peut en tirer Une m thode alternative est en cours d laboration la BPI et a fait l objet de tests l automne 2002 Le protocole vise enregistrer automatiquement les diff rentes op rations r alis es sur une s lection de postes informatiques r serv s pour l occasion l utilisation du catalogue de la biblioth que Le module statistique de Best Seller permet en effet de proc der ces enregistrements malheureusement les donn es cod es obtenues lors de l dition des r sultats sont inintelligibles Les exp riences en cours visent demander des biblioth caires t moins de proc der quelques recherches au catalogue noter pr cis ment l ensemble des actions qu ils effectuent sur un formulaire puis analyser les r sultats cod s partir des informations contenues dans les formulaires La CBI et le service informatique qui pilotent ce travail de recherche esp rent ainsi d crypter les donn es statistiques qui permettraient de comprendre le langage d analyse du logiciel et d exploiter ces donn es afin de mieux conna tre les strat gies de recherche des usagers Cette initiative n en est encore qu ses balbutiements la B
178. de ces observations serviront la gestion des services le rapport des consultations d un secteur par rapport au total des consultations est sans doute l indicateur le plus pertinent pour prendre des d cisions de gestion au niveau de chaque bureau d informations et dans sa p riph rie Pour chaque secteur la part des consultations lectroniques par rapport au total des consultations fournit un indicateur int ressant d utilisation des postes qui pourra tre utile l organisation de leur maintenance par le service informatique Le total des consultations pourrait tre rapport au nombre d entr es par jour ce qui permettrait de calculer le nombre moyen d imprim s de documents lectroniques ou de documents indiff renci s consult s par lecteur en r alit par entr e Ce dernier indicateur est celui qui se rapproche le plus du 184 Quel tableau de bord pour la BPI nombre de documents pr t s par personne de la population desservir indicateur tr s utilis et recommand par la norme ISO 11620 indicateur B 2 4 4 documents en pr t par personne de la population desservir Pour la politique documentaire la m me information se d cline selon d autres usages L exploitation des donn es doit en effet prendre en compte un plus grand nombre de param tres que dans le premier cas Outre la cote CDU les champs suivants tous renseign s syst matiquement dans le catalogue de la BPI son
179. de d cision et les flux de la communication interne mais aussi de localiser et de mutualiser les comp tences n cessaires la r alisation de tableaux de bord En d autres termes l identit de cette biblioth que nous a oblig mettre plat les ressources et les dysfonctionnements de son organisation interne nous poussant aller bien au del dans nos investigations que l intitul du sujet ne l avait d abord laiss imaginer Enfin notre entreprise devait s adapter des circonstances particuli res Le stage s est en effet d roul un moment charni re pour l tablissement r ouverte au public en janvier 2000 l issue d un long chantier de r novation la BPI a vu arriver un an plus tard son nouveau directeur Celui ci a souhait mobiliser les quipes autour du nouveau Projet d tablissement La r alisation de cet objectif impliquait une r organisation pr alable des services Ainsi notre r flexion est intervenue la suite d une tude d organisation conduite avec l aide de consultants et en amont de l laboration du Projet d tablissement En quelques mois la BPI a chang d organigramme des red ploiements de personnels et d attributions ont t d cid s Il nous incombait d ins rer le travail sur les tableaux de bord dans le calendrier de la direction et de l articuler avec les efforts engag s pour accompagner le changement l int rieur de la biblioth que Les ob
180. des ressources techniques nous avons souhait proposer un dispositif s appuyant autant que possible sur les pratiques et les ressources existantes Ce choix r pond un souci de pragmatisme et 121 Quel tableau de bord pour la BPI d conomie Au risque de se heurter rapidement aux r actions de d cideurs s duits par l id e mais rebut s l id e de devoir en financer la r alisation il faut que la d marche d valuation puisse tre engag e moyens constants au moins dans un premier temps Ce choix rejoint notre ambition d att nuer l effet pervers du tout technologique que peut produire l introduction d une ing nierie et de logiciels d apparence complexe vis vis des personnels Il convient en effet de leur montrer que des dispositifs simples et familiers peuvent tre recycl s ou am lior s il n est pas n cessaire d attendre la venue d un deus ex machina qui risque de techniciser outrance une d marche qui repose avant tout sur des choix et des interpr tations humaines bien qu elle utilise le plus souvent des outils automatis s Du point de vue technique notre programme impliquait donc un recensement exhaustif des instruments utilis s pour l valuation Partout o cela semblait pertinent on a cherch savoir ce qui tait compt par qui pourquoi et comment Une telle entreprise se r sume une chasse aux chiffres et aux statistiques et l analyse des rapports d activit
181. e l opportunit du Projet d tablissement ncssa E a 114 2 2 Ressources et r sistances d une organisation humaine au c ur du changement Le Sense nn a A T A ENO 117 2 21 Les usagers face l valuation r ceptifs mais volatils 117 222 Les personnels face l valuation un potentiel valoriser 119 2 3 Une constellation d outils harmoniser et actualiser 0 00 121 2 3 1 Les outils automatis s sets sed ne ries aG ERETO ein Eaa 123 2 3 2 Les outils manuels sis RS i araia aaia 129 2 3 3 Synth se forces et faiblesses du dispositif technique actuel 136 ILLIEN Gildas DCB11 M moire d tude 2003 6 2 4 Les co ts humains et financiers le cha non manquant 138 2 4 1 La valeur des effets probl matique du retour sur investissement 138 2 4 2 La valeur des efforts gestion budg taire et gestion des CO MDE LS TAE a E Cr ne 141 PARTIE 3 ESQUISSES PLANS ET MAQUETTES see 152 1 LA D MARCHE PR CONIS E suisses eue sue enueceuee sue seneseneceuceueeeneeeuene 152 1 1 Constitution d une cellule valuation 153 1 2 D finition des objectifs en coh rence avec le Projet d tablissement155 1 3 Choix des proc dures de collecte et d un outil informatique 157 1 4 Formation des utilisateurs et mise en uvre du dispositif 161 2 PROPOSITIONS D INDICATEURS POUR LES SERVICES AUX PUBLICS s s 162 2 1 Fr quentation int gration
182. e 16 agents soit 15 1 ETP dont 7 conservateurs 1 biblioth caire 2 BA 2 inspecteurs de magasinage 3 magasiniers 1 emploi jeune 1 CES 1 conservateur int gr d but 2002 pour gestion des grilles et accueil distance des usagers Chefs de service 19 Vacataires sur 6 mois raison de 60 70 heures mensuelles 3 200 heures Reclassement 3 magasiniers titulaires 50 vacataires recrut s pour 5 mois sur des contrats de 60 heures mensuelles Grilles de service public Gestion des plages de renfort pas de difficult s planning possible Gestion des plages de remplacement difficile car li e des absences impr visibles Service public quipes mobiles dans les espaces de la BPI L exp rience a t arr t e au bout de six mois indicateurs utilis s intitul Mode de calcul Exemple de valeur Que mesure t il Est il crois avec d autres Commentaires questions suggestions E Service public post E formation pour les vacataires par an X 500 Moyenne annuelle ND 324 heures Charge de service public Moyenne annuelle du Calculer la part restante en moyenne pour le travail du service public par agent titulaire service public par agent interne Exprimer en par agent titulaire dans les biblioth ques Affiner selon les p les les services les cat gories de municipales personnel titulaire A En Fr quence des ND 1 sur 5 Charge de service
183. e La d finition d une politique coh rente de services visant articuler et harmoniser les prestations distantes et sur place conduira in vitablement les personnels de la BPI s interroger sur leur perception du ou des public s et faire des choix Pour notre tude l insuffisante clarification des missions et des r sultats vis s en termes de publics a t un obstacle l laboration de tableaux de bord 113 Quel tableau de bord pour la BPI 2 1 3 Atouts une volont politique forte associ e l opportunit du Projet d tablissement D un point de vue politique l valuation se heurte donc des difficult s de choix et des contraintes fortes qu il n appartenait videmment pas notre tude de r soudre Ces difficult s sont relativiser au regard des conditions favorables qui semblent r unies pour que la BPI s engage dans son projet de tableaux de bord Nous ne reviendrons pas sur les attentes de la tutelle en mati re d valuation celles ci ont t pr sent es comme une contrainte externe on aurait tort pourtant de ne pas y voir galement une forme d encouragement Nos entretiens au minist re de la Culture nous ont permis d appr cier l int r t que la d marche entreprise la BPI suscite Alors que la DLL est elle m me engag e dans la red finition du cadre d valuation au niveau national elle incite la BPI rechercher des solutions des probl mes qui se posen
184. e 40 n 1 BAUDE Dominique nternet la Biblioth que publique d information mise en place et premi res impressions Bulletin des biblioth ques de France 1996 tome 41 n 1 BERTRAND Anne Marie La m diath que questionn e Bulletin des biblioth ques de France 1994 tome 39 n 2 BERTRAND Anne Marie Biblioth caires face au public Paris BPI Centre national d art et de culture Georges Pompidou 1995 BERTRAND Anne Marie L gitimit professionnelle et mod les d excellence le biblioth caire et l usage m tiers et formations Bulletin des biblioth ques de France 1989 tome 34 n 5 BLANC MONTMAYEUR Martine G rer les jardiniers de la connaissance Bulletin d information de l ABF 1994 n 162 BLANC MONTMAYEUR Martine La Biblioth que publique d information vingt ans apr s Bulletin des biblioth ques de France 1996 tome 41 n 5 COULAUD Philippe La t l matique documentaire l preuve usages et usagers des bases de donn es la BPI Paris BPI 1982 CHOURROT Olivier Messages de lecteurs propos de quelques usages de l crit en biblioth que M moire d tude Enssib Villeurbanne cole nationale sup rieure des sciences de l information et des biblioth ques 1996 DAVAL R gine JAY Anne VOLKOFF Anne L autoformation la Biblioth que publique d information Bulletin des biblioth ques de France 2002 tome 47 n 3 DUCHEMIN Pierre Yves L couteur cout
185. e d arr t d marrage distance des postes publics Corpus bureautique en EAF PORTFOLIO Best Seller F d ration March El Audiovisuel avenant comprend le d veloppement d un module statistiques de consultation des documents lectroniques pour le r seau g n ral et l autoformation en compl ment de celles fournies actuellement Statistiques par type de document et par langue Equipement cabines malvoyants salle de formation portables r servations Internet anti virus Lotus Notes Lien activit et service public se fait par l interm diaire des mat riels et des applications mis la disposition du public par l analyse du fonctionnement des syst mes et de l utilisation qu en fait le public LL Indicateurs utilis s Code intitul Mode de calcul Exemple de valeur Que mesure t il Est il crois avec Commentaires traitement d autres Fiche r capitulative Nombre de Personnes 9 Moyens humains Non personnes ETP 8 55 J F Budget de Apr s DM2 11 739 MF Moyens financiers Non fonctionnement Budget Apr s DM2 5 609 MF Moyens financiers Non d quipement Syst me Serveurs 25 Parc et syst me Non Compl t d informations techniques d information Postes publics 420 informatiques syst mes d exploitation architecture Postes internes r seaux 240 Pas de donn es sur les p riph riques Il pourrait tre int ressant de calculer le r
186. e de la BPI ne sont pas pr ts s engager dans ce qui s apparente une r volution technique et culturelle majeure Le service Budget a un rythme d activit tr s soutenu et d de surcro t s adapter r cemment deux innovations de gestion sources d une surcharge de travail l application de la nouvelle proc dure dite de la p riode d inventaire et le basculement de la comptabilit vers la base Euros Son quipe ne compte que 6 agents 5 7 ETP qui ne disposent pas de la disponibilit ni toujours des comp tences sp cifiques n cessaires au travail prospectif n cessaire la mise en place de tableaux de bord Dans ce contexte particuli rement difficile l administrateur semble seul avoir une vision d ensemble des actions qu il conviendrait d engager mais ne dispose pas lui non plus d une disponibilit suffisante pour travailler sur ce dossier Cette situation est aggrav e par des difficult s de fonctionnement et de communication entre le service Budget et les chefs de service dont les cultures budg taires sont h t rog nes Les pratiques ne sont pas normalis es certains chefs de service ne distinguant pas n cessairement le suivi des d penses de service qui devraient leur incomber du suivi des tats qui rel ve de la responsabilit du service Budget Comme dans beaucoup d autres tablissements les biblioth caires de la BPI restreignent g n ralement la notion de co t aux d penses do
187. e de les mettre en relation Examinons pr sent ces diff rents outils conceptuels 1 3 2 La difficile convergence de trois niveaux d objectifs On distingue habituellement trois niveaux d objectifs qui se d clinent en missions objectifs g n raux ou buts et objectifs op rationnels ou objectifs La norme ISO 11620 en donne des d finitions pr cises En apparence tout semble assez simple mais nous avons choisi d illustrer l nonc de ces principes d un exemple dont on verra qu il pose toutes les difficult s de la d finition des objectifs La mission d un tablissement correspond aux objectifs g n raux et aux choix en mati re de d veloppement de services et produits formul s par un organisme et approuv s par les autorit s dans un document officiel la mission exprime donc la vocation reconnue de l tablissement Dans notre exemple les missions de la BPI sont fix es dans son d cret fondateur qui stipule qu elle doit offrir tous et dans la mesure du possible en libre acc s un choix constamment tenu jour de collections fran aises et trang res de documents d information g n rale et d actualit constituer un centre de recherche documentaire en liaison avec les autres centres biblioth ques et tablissements culturels 14 GIAPPICONI Thierry CARBONE Pierre Op cit p 228 15 ISO 11620 Op cit p 3 D cret n 76 82 du 27 janvier 1976 portant cr ation de
188. e en uvre de cette int gration 2 2 1 Disponibilit des documents La notion de disponibilit s envisage deux niveaux qui ne doivent pas tre confondus D abord on peut se demander si les documents propos s au catalogue de la biblioth que sont effectivement en rayon ou disponibles sur le r seau Dans ce cas l indicateur de disponibilit sert la gestion du rangement physique des documents ou l administration des bases de documents lectroniques Puis il s agit de savoir si les titres demand s par le public sont pr sents dans la collection on mesure alors l ad quation de l offre la demande Dans ce cas l indicateur de disponibilit sert la politique d acquisition Nous examinerons successivement ces deux aspects en distinguant les documents imprim s des documents lectroniques S agissant des imprim s la norme ISO 11620 propose un indicateur visant mesurer la disponibilit des titres indicateur B 2 2 1 disponibilit des 172 Quel tableau de bord pour la BPI titres Celui ci ne convient pas la BPI car il r pond principalement aux besoins des biblioth ques dont tout ou partie des collections se trouvent en magasin et qui pratiquent le pr t Un autre indicateur issu du projet d amendement N 1 de la norme ISO 11620 est en cours d approbation et nous para t beaucoup plus pertinent pour une grande biblioth que dont les collections d imprim s sont enti rement en
189. e grande biblioth que dont l amplitude horaire d ouverture est tr s large Elles n envisagent en effet que des techniques d chantillonnages ponctuels alors m me que les r sultats sont cens s tre interpr t s par rapport la totalit de la collection Il n est pas possible de proc der manuellement aux d nombrements Fe FANGET Delphine valuation de la consultation des collections du secteur 3 Droit conomie la Biblioth que publique d information proposition d une m thode M moire d tude Enssib Villeurbanne cole nationale des sciences de l information et des biblioth ques 2002 176 Quel tableau de bord pour la BPI partir des chariots de rangement le rangement des livres se fait quasiment en continu la BPI et concerne entre 8 000 et 10 000 volumes chaque jour ou en comptant les livres pos s sur les tables la BPI les usagers lisent ailleurs que sur les tables et pas seulement des livres de la biblioth que Au del de ces consid rations pratiques les indicateurs de PISO posent un probl me de fond ils conduisent en effet raisonner par rapport un taux global d utilisation des collections qui est le rapport entre le nombre de documents consult s et le nombre total de documents dans le fonds alors que le calcul de ce taux ne nous para t pas pertinent En effet l agr gation des donn es trouve ses limites dans l analyse d un fonds documentaire surtout lor
190. e la collection notamment au niveau du domaine qui correspond au champ de comp tence d un acqu reur et au niveau de la coordination des acquisitions et de l limination qui correspond au champ de comp tence du chef de service et de ses adjoints Les indicateurs qui nous ont paru les plus int ressants compte tenu des d bats en cours et des volutions engag es la BPI sont pour chaque domaine ou secteur l ge moyen des collections calcul partir des dates de publication la part du fran ais le taux 185 Quel tableau de bord pour la BPI de renouvellement biais du fait du d sherbage et la part des documents lectroniques Pour chacune de ces variables le croisement des volumes consult s et des volumes propos s indiquera la pertinence de l offre Comme cela se fait d j avec Mmediaview on pourra galement diter des listes des titres collections ou auteurs les plus consult s tous supports confondus Gr ce au module de suivi budg taire des acquisitions on pourra galement croiser les statistiques de consultation avec les statistiques d acquisition lorsque l on s interroge sur l opportunit de certaines d penses documentaires Appliquer la m me d marche aux ressources lectroniques payantes impliquerait toutefois que l on renseigne et qu on actualise r guli rement le champ prix dans leurs notices bibliographiques Une s lection de ces indicateurs pourra aboutir la constr
191. e livre au c ur du dispositif de lecture publique En soi et bien que notre interpr tation puisse para tre contestable il nous semble que le terme d actualit exprime et implique quelque chose d assez fort pour relever de la cat gorie de la mission Cette mission d actualit qu on pourrait peut tre abusivement qualifier de non conservation autorise le d ploiement d une grande partie des ressources humaines et financi res vers les acquisitions ainsi que vers la veille documentaire et ditoriale au d triment de la conservation et du traitement aff rents Elle ne correspond pas seulement au contexte historique dans lequel le d cret fut crit l heure du num rique et des d bats sur l archivage du web elle invite la BPI pr ciser sa politique de diffusion et de conservation des documents lectroniques en compl mentarit des actions conduites par la BnF et d autres biblioth ques La notion de centre de recherche en liaison avec d autres tablissements est en revanche beaucoup plus explicite Elle fixe la BPI une vocation d innovation laquelle l tablissement a su faire honneur jusqu r cemment Nous ne reproduirons pas ici la liste des techniques et des produits documentaires pour lesquels la BPI a t la premi re Ce qui pose probl me dans les missions de la BPI a surtout trait son public Un petit mot du d cret tient lieu de programme dans ce domaine tous
192. e m rite d introduire pour la premi re fois une d marche de gestion par objectifs Il nous faudra sans doute deux ou trois autres projets Entretien avec Denis Bruckmann Adjoint du Directeur des collections Charg des questions scientifiques et techniques Chef de la Mission Coordination le 5 novembre 2002 ILLIEN Gildas DCB11 M moire d tude 2003 77 Quel tableau de bord pour la BPI d tablissement pour int grer tout fait cette d marche mais globalement je crois que tout cela fut tr s positif pr cise notre interlocuteur en ajoutant qu il est toujours plus facile dans les grands organismes de structurer la r flexion que l action C est le probl me que nous avons du fait de la lourdeur et de la parcellisation de notre organisation Second pilier du dispositif d valuation la revue d avancement appara t comme un outil extr mement int ressant car elle inscrit le suivi des objectifs et de leur r alisation dans un cadre temporel De fait elle constitue un v ritable instrument de planification et de conduite de projet au niveau strat gique de l encadrement Elle se pr sente sous la forme d un cahier de format A3 Sur la page de gauche sont inscrits l objectif g n ral qui est valu les actions correspondant aux objectifs op rationnels qui contribuent sa r alisation ainsi que le nom des agents ou des groupes de travail charg s de leur mise en uvre Ces informations son
193. e partie du travail de saisie qui l issue des semaines tests notamment pourrait s av rer tr s lourd Mais il s agit aussi d impliquer un plus grand nombre d agents r partis dans plusieurs services les correspondants valuation quoi bon les d signer correspondants s ils ne participent pas effectivement la r alisation des indicateurs Pour ces utilisateurs des services il conviendrait de param trer des profils permettant d acc der aux donn es concernant les activit s dont ils assurent le suivi Ils auraient ainsi la possibilit de g n rer leurs propres indicateurs et tableaux de bord au niveau de la gestion op rationnelle Les agents de la cellule valuation et les membres de la direction b n ficieraient en revanche d un acc s l ensemble des donn es et aux fonctions d administration et de param trage Ces outils leur permettraient de composer les indicateurs et les tableaux de bord concernant toutes les activit s de la BPI La distinction entre plusieurs niveaux d utilisateurs nous para t indispensable afin de garantir la s curisation de donn es dont certaines r mun rations des personnels par exemple pr sentent un caract re confidentiel La mise en r seau de la base de donn es faciliterait enfin la circulation des informations tats et tableaux de bord concernant l ensemble des personnels sur l Intranet de l tablissement La base de donn es devrait finalement pr senter de
194. eau de bord pour la BPI construction de cet espace collectif d interrogation et de prospection a rendu le doute l gitime De fait celui ci ne s exprime plus seulement par la contestation ou l indignation Il peut d sormais s inscrire plus positivement dans le champ d une reconstruction que le directeur qualifie volontiers de refondation Au niveau de l organisation le poids de cette volont politique est consid rable et marque un tournant important dans la dynamique du travail depuis trop longtemps anim e par la seule perspective de la r ouverture puis par la poursuite obstin e mais parfois aveugle des objectifs du service public celui ci pris comme une totalit impr cise et ambigu s apparente parfois une fuite en avant Ce contexte de bouillonnement et l tude d organisation ont fait surgir des critiques fortes concernant notamment la direction qui manque de lisibilit et l encadrement dont la capacit animer et diriger les quipes est contest e La mise plat des rapports avec l autorit s av re toutefois un exercice salutaire elle fait remonter des id es nouvelles et permet de hi rarchiser les probl mes La refonte de l organigramme et la nomination de chefs de p les apparaissent bien qu elles ne fassent pas l unanimit comme une premi re r ponse de la direction aux critiques dont le management a fait l objet Par ailleurs le probl me de calendr
195. eau de bord pour la BPI rigueur et de coh rence l int rieur du cadre m thodologique que l on s est fix Il s agit galement de faire montre de prudence et de discernement dans l interpr tation des r sultats obtenus On sait par exemple que toutes les donn es sont g n ralement fausses ou biais es il importe surtout qu elles soient toujours biais es de la m me fa on car c est l interpr tation de l volution des grandes masses qui suffit la plupart du temps identifier des tendances et des mouvements Indicateurs et tableaux de bord ne sont donc pas des outils scientifiques mais ce que Pierre Carbone appelle des auxiliaires de gestion 3 4 La dimension conomique L appr ciation de la valeur et le calcul des co ts des services est une d marche qui s av re particuli rement difficile mettre en uvre dans une biblioth que lieu o circulent des biens culturels qui forment une enclave atypique au sein du syst me de r gulation de l offre et de la demande valuer implique cependant que l on soit en mesure de croiser les r sultats obtenus avec les efforts consentis qui s expriment en moyens Id alement il faudrait pouvoir dire la collectivit combien l quipement lui rapporte en terme de b n fice social ducatif culturel voire m me conomique si l on consid re que des individus mieux form s et mieux inform s gr ce la biblioth que contribueront par leur
196. ediaview moins d un d veloppement sp cifique demand depuis plus d un an la soci t EI Audiovisuel il ne sera pas possible d valuer la consultation des postes donnant acc s l Internet libre De m me l valuation de la consultation des dossiers documentaires de BPI 137 Voir ROUX FOUILLET Jean Paul Les puces envahissent les biblioth ques une nouvelle technologie d identification des documents Bulletin des biblioth ques de France 2000 t 45 n 6 p 66 70 181 Quel tableau de bord pour la BPI Doc et d autres applications documentaires sp cifiques base de photographies num ris es de la collection Windenberger futur fonds audiovisuel num ris sur la deuxi me moiti du 20 si cle devra s appuyer sur des outils que la soci t DIP SYSTEM n a pas encore d velopp s Le plus difficile n est pas tant la cr ation de ces outils que le mode de structuration des statistiques de consultation Celui ci d pendra en effet des langages et des cat gories d indexation qui auront t utilis s pour le catalogage et le signalement de ces ressources Comme nous allons le voir pr sent le principal probl me pour l exploitation et l interpr tation de donn es hybrides r side en effet dans l h t rog n it des nomenclatures d identification et d indexation des documents qui sont actuellement li es leur support de diffusion 2 2 2 2 Interpr tation des donn es et ch
197. el qui s articule judicieusement avec le calendrier des t ches documentaires une enqu te annuelle sur les pratiques et les pr f rences des chercheurs permettra par exemple de modifier les abonnements aux p riodiques en fonction de leurs usages Les dispositifs impliquant des entretiens avec un public captif s av rent quasiment impossibles la BPI On se trouve donc dans une situation pour le moins frustrante les usagers sont nombreux souvent d sireux de communiquer et l on dispose d une expertise et de moyens pour aller leur rencontre Mais alors que les biblioth ques les plus modestes sont en mesure de dire combien elles ont d inscrits et que la plupart des tablissements recueillent des donn es assez fines sur l ge le sexe la CSP cat gorie socio professionnelle ou le lieu de r sidence de leurs lecteurs la BPI ne dispose d aucune de ces informations L analyse de l existant pour ce qui concerne l valuation des publics se r sume aux donn es du compteur d entr es aux messages des lecteurs et aux r sultats des enqu tes conduites tous les quatre ans ces donn es il conviendrait d ajouter les travaux plus r cemment conduits par le service des RADIS afin d analyser l origine et la nature des questions pos es par les usagers distants la BPI Si l valuation de ces pratiques nouvelles offre des perspectives int ressantes celle des usages sur place continue de poser un vrai d fi techniq
198. elle des autres au niveau national et international Actuellement la BPI ne dispose pas d outils pertinents pour se livrer de telles comparaisons En effet l tablissement ne peut recueillir les donn es utilis es par la plupart des autres biblioth ques De statut national et plac e au c ur du r seau francilien des transports publics elle attire par ailleurs une population qu on ne peut comparer qualitativement ni quantitativement une population de 18 AILLAGON Jean Jacques Mon objectif est de rendre la politique du Minist re claire lisible et compr hensible Cultures le journal du personnel du Minist re Num ro Hors s rie septembre 2002 p 4 106 Quel tableau de bord pour la BPI r f rence Dans ce contexte l laboration d indicateurs distincts de ceux qui sont utilis s dans les Donn es de la DLL s av re indispensable D autres contraintes expliquent que le premier objectif des tableaux de bord de la BPI demeure pour sa direction l am lioration de la communication interne L id e n est certainement pas de manipuler des graphiques afin de faire passer en force des d cisions Il s agit bien au contraire de doter l tablissement d un outil facilitant l change d informations dans les deux sens sur la base d un r f rentiel commun Ce besoin s est fait tr s clairement ressentir d s 2001 lorsque peu apr s sa prise de fonctions le directeur de la BPI a constat
199. ement qui avait motiv notre choix de traiter ce sujet dans cette biblioth que et ce moment l a rapidement t confirm e dans les faits les premiers entretiens qui devaient porter exclusivement sur les indicateurs ont mis en vidence que la confrontation des moyens et des objectifs ramenait invariablement nos interlocuteurs aux constats de dysfonctionnement et aux ambitions de r forme exprim s l issue de l tude d organisation Le lien entre valuation et communication interne bien qu il d coul t d observations ant rieures nous est apparu plus tard l issue de plusieurs s ances en service public L nous avons remarqu que nombre d impressions de rumeurs voire de fantasmes relatifs l ins curit l environnement des espaces ou au r le des biblioth caires pourraient tre att nu s au moyen d une objectivation des activit s des probl mes des incidents C est cette occasion qu il a paru int ressant d explorer la piste d une application graphique de l valuation instrument de communication interne dont il sera question dans la troisi me partie Dernier exemple la fois d stabilisant et essentiel ce n est que dans la derni re semaine du stage que les fondements de la distinction entre missions buts et objectifs nous sont v ritablement apparus l issue de plusieurs entretiens men s l ext rieur de la BPI Le tableau de bord pr sent l tablissement
200. ement de l ensemble de l universit la Sous direction des biblioth ques et de la documentation a finalement abandonn le projet de tableau de bord au profit d une liste d indicateurs plus restreinte L entreprise aura n anmoins contribu sensibiliser les personnels d encadrement la d marche d valuation Certaines pratiques telles que les enqu tes de satisfaction conduites aupr s des usagers se sont r pandues dans les tablissements la faveur de cette exp rience 2 2 2 2 Naissance et actualit d ASIBU 1 CARBONE Pierre Les biblioth ques universitaires In KUPIEC Anne Dir Op cit p 100 58 Jhid p 106 ILLIEN Gildas DCB11 M moire d tude 2003 47 Quel tableau de bord pour la BPI O en est on aujourd hui Un entretien conduit le 16 octobre 2002 aupr s de l actuel responsable des statistiques au sein du Bureau de la coordination documentaire de la Sous direction des biblioth ques et de la documentation SDBD nous a permis de faire le point sur les derniers d veloppements et les projets en cours Selon Pierre Yves Renard il semble que l action du minist re dans le domaine de l valuation se soit recentr e sur la modernisation et la valorisation de l outil le plus ancien et le mieux connu l ESGBU Les derni res ann es ont en effet t consacr es la modernisation technique et m thodologique du dispositif d enqu te Cette orientation refl te l volu
201. ement des protocoles tr s sophistiqu s et peuvent s appuyer sur des outils simples et connus tels que les cahiers des lecteurs ou les journaux tenus par les agents C est dire que le recueil des informations peut parfaitement se faire au moyen de techniques qu on pourrait qualifier de traditionnelles pourvu qu elles aient un caract re sinon syst matique du moins r gulier Elles donneront lieu des constats qui ne peuvent en aucun cas tre agr g s m caniquement aux produits des calculs statistiques mais qui permettront de mieux les interpr ter et de les relativiser au regard d une r alit humaine qui passe aussi par l observation empirique et quotidienne des agents La mise en uvre de d marches combin es ou mixtes emprunt es des champs disciplinaires vari s pourra donc s av rer n cessaire afin que toutes les dimensions de production et de consommation des services soient prises en compte au moment d arr ter les d cisions Enfin la dimension technique de l valuation soul ve des probl mes pist mologiques qui ont trait l apparence scientifique que rev t toute forme de communication utilisant des chiffres et s appuyant sur une d marche construite cet gard il faut se d fier de toute tentative de syst matisation des proc dures et viter tout prix de jouer l apprenti sorcier L essentiel est de faire preuve de ILLIEN Gildas DCB11 M moire d tude 2003 88 Quel tabl
202. entes ce sont en effet les param tres qui permettent de calculer le co t du travail L administrateur de l tablissement r alise ponctuellement des tats des effectifs qui regroupent l ensemble de ces informations ces tableaux permettent ainsi de voir la r partition des effectifs en fonction des services nombre d ETP par service ou des cat gories nombre de postes pour chaque corps ou chaque cat gorie pour les non titulaires La collecte de ces donn es est toutefois un exercice laborieux pour des raisons similaires celles qui ont t voqu es propos de la gestion budg taire De plus cette d marche appara t relativement isol e et n est gu re relay e dans les services Pour Le COACHING GROUP pour la BPI Rapport de synth se de la phase I de l tude d organisation 2002 147 Quel tableau de bord pour la BPI l organisation des projets et des actions il manque au niveau op rationnel des outils qui permettraient de clarifier l emploi du temps de travail interne de chacun l valuation des temps de travail appara t pourtant d autant plus n cessaire que l organisation du service public hache les journ es et complique consid rablement le travail en quipe la conduite et le suivi des projets Exsangues les quipes des services charg s des fonctions de support sont les premi res souffrir des effets pervers de cette organisation Par exemple le service quipement et
203. ents en service public Celle ci a t r alis e l automne 2002 et pr sent e dans le rapport de stage d j cit Pour cette application la localisation pr cise de certains incidents tels que les vols n est pas envisageable En revanche les informations li es des d t riorations de mat riel pourraient utilement tre recoup es avec le plan de suivi de la maintenance technique et informatique L outil servirait mieux organiser la gestion de la s curit des personnes et des collections dans les espaces publics mais aussi objectiver les difficult s rencontr es afin d veiller la vigilance du personnel ou au contraire le rassurer Si s duisante qu elle paraisse la cartographie assist e par ordinateur a ses limites La mise en m moire et la gestion d un SIG sont souvent plus longues et plus co teuses qu une cartographie classique En g n ral c est la cr ation de la base de donn es qui est la plus lourde La rentabilit de l automatisation n est pas garantie Si le relev et la saisie des informations g ographiques s av rent trop lourdes lors de l tude de faisabilit il ne faudra pas retenir cette id e ou alors se contenter de cartes traditionnelles r alis es la main ou comme nous l avons fait en Annexe 3 l aide du logiciel Powerpoint Le d veloppement technique propos ici n est envisageable que comme un compl ment au dispositif g n ral d valuation l a
204. erd pendance et la relativit des indicateurs du tableau de bord On ne peut prendre l un de ces indicateurs pour un absolu et tous doivent tre situ s dans un contexte Il s agit en effet d atteindre un point optimal dans le service rendu et non de viser simplement un maximum dans un secteur d activit Le tableau de bord ne dit pas tout il ne pr sente que les priorit s de la politique en cours Il donne l alerte clignote r pond des questions pr cises Alain Caraco compare cet outil des feux anti brouillard qui ne permettent pas d y voir aussi bien qu en plein jour mais se contentent de tracer de vagues contours du paysage gr ce auxquels il est possible d avancer malgr tout Le tableau de bord est donc un outil de d cision et de communication qui refl te de fa on synth tique l tat de r alisation d une politique Marc Maisonneuve met n anmoins en garde les valuateurs en herbe Dans tous les cas de figure le tableau de bord est une pr sentation synoptique qui refl te la 30 GIAPPICONI Thierry Op cit p 179 2l CARBONE Pierre Les biblioth ques universitaires In KUPIEC Anne Dir Op cit p 102 3 CARACO Alain Les Biblioth ques d partementales In Kupiec Anne Dir Biblioth ques et valuation Paris Electre ditions du cercle de la librairie 1994 Biblioth ques p 140 ILLIEN Gildas DCB11 M moire d tude 2003 28 Quel tableau de bord pour la
205. ervation des lecteurs dans les rayonnages entretiens avec eux analyse des demandes d ouvrages faites dans les bureaux d information toujours sur la base d chantillons Ces m thodes se sont av r es pertinentes pour l tude ponctuelle d un secteur mais les informations recueillies restent trop impr cises et les protocoles de d nombrement manuel et d exploitation sont lourds S inspirant d exp riences conduites la m diath que de la Cit des sciences et de l industrie et dans les salles de lecture du Haut de jardin de la BnF Delphine Fanget a donc pr conis l acquisition d un nouvel outil automatis Ce d veloppement informatique a t r alis par la soci t Port Folio aujourd hui Bibliomondo pour un co t d environ 3 200 Il permet de lire les codes barres des monographies et des ouvrages trait s comme tel et d obtenir partir du fichier de codes barres un fichier de notices bibliographiques qu on peut reverser dans une base de donn es Access Les fichiers de codes barres sont r guli rement transf r s sur le serveur du SIGB Gr ce aux codes celui ci acc de au fichier contenant les donn es d exemplaires Il fait ensuite le lien entre exemplaires et notices bibliographiques On obtient des donn es sur tous les champs renseign s lors du catalogage des documents en particulier la cote CDU la date de publication la langue du document les titres et les noms des auteurs Toutes
206. es afin de les rendre intelligibles Les donn es r unies de cette fa on peuvent tre relev es en continu la totalit des activit s mesur es est alors enregistr e Dans ce cas l exploitation peut porter sur des s ries compl tes ou sur des extractions correspondant des segments temporels une ann e une semaine ou th matiques un sous ensemble de documents d utilisateurs Le compteur d entr es de la biblioth que est l outil le mieux connu C est une cellule photosensible install e au niveau du portail antivol qui permet de mesurer le nombre d entr es et de sorties c est dire la fr quentation d un point de vue exclusivement quantitatif Le compteur est reli un cran install l ext rieur de la biblioth que afin que les agents de s curit qui contr lent les entr es puissent surveiller l volution de la jauge et arr ter le flux des visiteurs lorsque les espaces sont satur s au del de 2200 entr es Le compteur photosensible pr sente plusieurs inconv nients Contrairement aux compteurs tourniquet il arrive fr quemment qu il compte comme une seule entr e un groupe d usagers franchissant le portillon au m me moment De plus il comptabilise parmi les entr es les flux internes de la centaine d agents qui travaillent sur le site ainsi que tous les allers retours effectu s par les personnels entre les bureaux du Centre Pompidou et ceux du 25 rue du Renard En reva
207. es autres lecteurs Les solitudes se rencontrent fr quemment des communaut s s organisent ou s improvisent la foule de la biblioth que est en effet per ue pour reprendre 117 Quel tableau de bord pour la BPI l expression de Christophe Evans comme une matrice de socialisation qui favorise l expression des attentes individuelles ou collectives D s lors les lecteurs ne manquent pas de faire conna tre leurs impressions positives ou n gatives concernant la qualit des services L expression de la satisfaction se fait le plus souvent oralement aupr s des personnels post s aux bureaux d information Elle est plus rarement crite la plume servant surtout formuler des demandes d acquisition ou des griefs Comme l a montr Olivier Chourrot dans un m moire portant sur ce sujet la lecture des cahiers des lecteurs est une source intarissable d informations Les tudes conduites aupr s du public notamment celle de 1997 qui porte sur les habitu s illustrent ce constat Les enqu tes lourdes men es par le service tudes et recherche tous les quatre ans environ depuis le d but des ann es 80 sont des rituels pour la BPI Certes le renouvellement des g n rations de lecteurs assez rapide du fait de la forte proportion d tudiants et le tr s grand nombre de visiteurs ne permettent pas d affirmer que la succession de ces enqu tes est per ue par les lecteurs comme une exp rience habituel
208. es biblioth caires fran ais Application coordonn e de comptabilisation d ordonnancement et de r glement de la d pense futur progiciel de gestion budg taire du minist re de la Culture et de la communication Association des conservateurs biblioth caires et responsables des biblioth ques de la Ville de Paris Association des directeurs des biblioth ques municipales et intercommunales des grandes villes Association des directeurs de biblioth ques d partementales de pr t Association des directeurs de biblioth ques universitaire devenue en 2000 Association des directeurs et personnels de direction de la documentation et des biblioth ques universitaires Agence parisienne d urbanisme Association of Research Libraries Association des biblioth ques de recherche am ricaines Application statistique interactive des biblioth ques universitaires Biblioth que d partementale de pr t Biblioth que municipale Biblioth que municipale vocation r gionale Biblioth que nationale de France Biblioth que publique d information Biblioth que interuniversitaire Biblioth que universitaire Coordination biblioth conomique et informatique service de la BPI Contrat emploi solidarit Centre national d Art et de Culture Georges Pompidou Cat gorie socio professionnelle Direction des biblioth ques des mus es et de l information scientifique et technique au minist re de l ducation nationale 1982 1989 208
209. es commanditaires ou ma tres d uvre dans une relation caract re contractuel Pour chacun des projets ou des applications suivies par le service informatique une r union mensuelle est organis e avec le 149 Quel tableau de bord pour la BPI service ma tre d ouvrage afin d examiner l avancement des travaux et de pr ciser les conditions de leur r alisation Le tableau de bord sert alors montrer les moyens humains investis dans l op ration et planifier les tapes suivantes Le service informatique cherche actuellement d finir des indicateurs de suivi pour chacun des projets sur lesquels il travaille Par exemple le nombre de documents lectroniques install s dans le syst me d information d anomalies r solues pour une application ou encore le nombre d heures d indisponibilit de certaines bases documentaires sur le r seau vont indiquer le degr de r alisation d un projet ponctuel ou d une activit r guli re ces indicateurs vont donc servir valuer la performance du service Cette formalisation des objectifs et des r sultats vise clarifier les rapports avec les autres services et notamment conduire les ma tres d uvre pr ciser justifier et hi rarchiser leurs demandes terme ce mode de fonctionnement devrait permettre d identifier les lieux et les fonctions o il y a sur ou sous utilisation des prestations du service informatique par rapport aux objectifs fix s p
210. es personnels Le contexte particulier de la BPI nous a conduit largir le champ de l analyse afin de prendre en compte le besoin plus fondamental de l tablissement d am liorer sa communication interne Ce choix impliquait d envisager plusieurs utilisations du tableau de bord c est dire d imaginer son exploitation et sa diffusion des niveaux et dans des buts diff rents c est pourquoi il a paru judicieux de d cliner le tableau de bord de la direction en tableaux de bord pour la BPI La r alisation de ce projet s est heurt e trois obstacles l cart entre les recommandations qui sont faites dans la litt rature sur le sujet et l tat des pratiques dans les biblioth ques fran aises la culture d tablissement de la BPI peu favorable la mise en place d un dispositif d valuation le contexte actuel de cette biblioth que qui traverse une p riode d cisive de questionnement et de r organisation ILLIEN Gildas DCB11 M moire d tude 2003 9 La litt rature fran aise sur l valuation est aujourd hui abondante d montrant la fois l int r t croissant que les professionnels portent cette activit et l affirmation d une expertise nationale dans un domaine o les recherches anglo saxonnes ont longtemps t pr pond rantes Depuis une dizaine d ann es les ouvrages et manuels consacr s au sujet semblent n anmoins aboutir au m me constat pr sent que les f
211. esoins que l usager aura exprim s de fa on explicite je cherche une encyclop die compl te sur les chimpanz s ou implicite en fait c est un l ve de premi re qui fait un expos sur les singes Comment faire pour valuer l activit de renseignement l chelle d une biblioth que comme la BPI 140 Pie me pie z x Les exemples utilis s dans cette partie sont tir s de notre propre exp rience en service public lors du stage effectu la BPI l automne 2002 189 Quel tableau de bord pour la BPI Pour les renseignements donn s dans les murs de la biblioth que la norme ISO 11620 propose de calculer sur la base d un chantillon de questions et de r ponses le nombre de demandes de renseignement ayant re u une r ponse correcte divis par le nombre total de demandes de renseignement trait es indicateur B 2 6 1 taux de r ponses correctes Ce proc d utilise la m thode dite du test discret un ensemble repr sentatif de questions et de r ponses correspondantes est constitu Les questions sont ensuite utilis es par des usagers fictifs pour tre soumises au personnel sans que celui ci soit au courant Cette m thode ne semble ni pertinente ni acceptable D abord on l a dit il n y a de r ponse correcte que celle qui correspond aux besoins sp cifiques de l usager et aux missions de l tablissement Ce que l on mesure le cas ch ant c est la connaiss
212. espondants informatiques et des correspondants formation d j pr sents dans l tablissement Ceux ci participeraient des r unions r guli res consacr es la mise en place puis l exploitation du dispositif Une charte de l valuation la BPI pourrait galement tre r dig e afin de fixer les objectifs et le cadre de fonctionnement de la cellule Elle servirait de feuille de route et de document de r f rence tous les acteurs impliqu s Elle permettrait 154 Quel tableau de bord pour la BPI galement la direction de faire conna tre son projet l ensemble des personnels sa tutelle et ses partenaires ext rieurs Compte tenu de la complexit du dossier et des autres priorit s de l tablissement rien n interdit d envisager une installation progressive des applications et des proc dures de collecte des donn es La cellule valuation pourrait dans un premier temps mettre en place des indicateurs dans les p les des services aux publics et du d veloppement documentaire pour largir ensuite le dispositif aux p les de l action culturelle et des ressources et moyens o les pratiques sont moins d velopp es ou tributaires de solutions informatiques lourdes Imposer des protocoles dans tous les secteurs y compris l o ils ne sont ni souhait s ni indispensables serait contre productif le choix du p rim tre d application de la d marche et sa traduction dans l organigram
213. et limites Nous imaginons que le plan de la BPI pourrait servir d interface de visualisation et de gestion de ses espaces publics Ce plan quadrill et num ris permettrait d identifier tous les secteurs de la biblioth que et d associer chaque zone d activit un code spatial La nomenclature g ographique retenue pourrait reprendre l organisation de l actuelle signal tique qui est elle m me inspir e du plan de classement Il faudrait ensuite que les donn es collect es soit g o r f renc es c est dire que l on attribue chacune d elles une valeur g ographique correspondant la 145 Voir LE TOURNEAU C Un syst me d information g ographique Mise en uvre dans le cadre d une biblioth que d partementale Bulletin des biblioth ques de France 2000 t 45 n 6 p 77 81 202 Quel tableau de bord pour la BPI nomenclature de quadrillage des espaces Enfin une surcouche logicielle aux fonctionnalit s graphiques devrait tre ajout e la base de donn es g r e par la cellule valuation Au moyen de pictogrammes et de couleurs on obtiendrait une repr sentation graphique des activit s mesur es une table permettrait en effet de distinguer les donn es en fonction de leur localisation de leur appartenance un th me et de leur valeur Une information relative un th me donn serait repr sent e par un certain type de pictogramme La couleur ou la taille de celui ci varierait en
214. et non un budget de gestion qui lui permettrait de distinguer des centres de responsabilit correspondant l organisation de ses services et de ses actions En l absence d un instrument informatique adapt les services financiers sont oblig s de tordre et de r cup rer des donn es partir de sources diff rentes pour produire les agr gats et indicateurs adapt s une gestion par objectifs Cette r cup ration des donn es est d autant plus lourde qu il n existe pas on l a vu de passerelles pour le transfert automatique des informations celles ci doivent tre ressaisies manuellement g n ralement sous Excel Les fonctions d import export de donn es sont insuffisantes il manque un logiciel de requ te de type Business Object qui faciliterait la t che Concernant ses outils informatiques de gestion la BPI ne peut pour autant se lancer dans une modernisation de son dispositif de fa on isol e Elle est en effet tributaire des changements pr vus au niveau interminist riel et au minist re de la Culture Ceux ci s organisent autour de la mise en place du logiciel ACCORD Application coordonn e de comptabilisation d ordonnancement et de r glement de la d pense pr vue pour 2003 dans les services centraux les services d concentr s ne devant se raccorder cette nouvelle application informatique qu en 2006 Contrairement aux outils comptables actuellement utilis s au minist re de la Culture Symp
215. et que l on puisse convertir les donn es dans un format standard de type Access Excel ou TXT Les informations r cup r es doivent tre stock es sous forme de fichiers en ASCII d limit afin d tre exploitables avec des outils bureautiques L int gration de la base de donn es dans le SI nous semble donc tre la principale difficult d installation de cet outil L expertise du service informatique sera indispensable pour d terminer la faisabilit et l opportunit de ces transferts automatis s de donn es dans certains cas la saisie manuelle pourrait s av rer pr f rable l installation de dispositifs co teux ou pr sentant des risques d instabilit compte tenu de la configuration complexe et relativement mouvante du SI de la BPI 123 Re 273 SEN Pour des informations plus pr cises concernant le mode de fonctionnement des syst mes d aide la d cision voir GIAPPICONI Thierry 2001 Op cit p 181 182 159 Quel tableau de bord pour la BPI On propose ensuite que cette base de donn es soit install e en r seau Les responsables de la cellule valuation seraient les administrateurs de ce r seau dont l architecture devrait refl ter l organisation des t ches entre les diff rents agents participant l alimentation et l exploitation de la base Ce choix de d centraliser une partie des t ches correspond la n cessit de d charger la cellule valuation d un
216. ev s automatis s et essentiellement quantitatifs que produit l informatique Quand l interpr tation qualitative de ces donn es passe par la m diation humaine celle ci est en effet confront e des ILLIEN Gildas DCB11 M moire d tude 2003 87 Quel tableau de bord pour la BPI choix complexes de m thode dans la collecte et l analyse des donn es Les outils actuels parce qu ils permettent de g n rer des calculs automatis s all gent consid rablement le travail statistique Le temps ainsi d gag permet de concentrer les efforts sur l analyse des pratiques et de la r ception des produits documentaires comme des environnements physiques ou virtuels o ils sont mis la disposition des usagers Cette exigence de mesure est d autant plus forte que les usages non documentaires de la biblioth que se multiplient et se diversifient en particulier avec l augmentation du nombre de non inscrits dont l activit est mal connue ou en tout cas rarement valu e On entre alors dans le domaine de l intime du subjectif de l humain et du social C est pourquoi la d marche d valuation pourra solliciter des comp tences issues d autres disciplines telles que la sociologie l anthropologie les sciences cognitives ou la g ographie Les tudes conduites dans ce cadre tudes sur la composition et les pratiques des publics enqu tes de satisfaction tudes de r ception n utilisent pas n cessair
217. exercice de synth se Pr cisons que cette h t rog n it des proc dures est dans certains cas parfaitement justifi e le d compte des collections sp cialis es pose par exemple un vrai probl me Quelles unit s faut il utiliser pour compter des costumes des masques des portefeuilles Est il judicieux de vouloir les agr ger des monographies pour parler finalement de documents Quant aux p riodiques il semble que l on ne soit toujours pas arriv s entendre sur leur d compte exprim parfois en ILLIEN Gildas DCB11 M moire d tude 2003 72 Quel tableau de bord pour la BPI nombre de titres parfois en nombre de fascicules ce qui change naturellement les totaux Tout se complique quand on s aper oit que les agents modifient leurs proc dures de comptage d une ann e sur l autre Cela fausse naturellement la comparaison r trospective et d une mani re g n rale oblige observer les s ries statistiques de la BnF avec une certaine circonspection Pour r sumer la collecte des donn es la BnF est en soi une entreprise titanesque m me si certains secteurs o l usage des statistiques est imp ratif tudes de publics ou ancien jouent un r le moteur La d marche d valuation de la BnF s est construite autour de trois outils qui sont dans l ordre chronologique de leur apparition la revue d avancement le rapport annuel et le Projet d tablissement Nous ne les pr
218. formation et en constituant un ensemble hyperm dia de r f rence sur la seconde moiti du 20 si cle am liorer les services rendus aux publics sur place et distance affirmer le r le culturel de la BPI en red finissant ses champs sp cifiques d intervention au sein du Centre Pompidou et en d veloppant ses actions de coop ration nationale et internationale am liorer le suivi des questions sociales optimiser la gestion de l tablissement par la mise en uvre des propositions de l tude d organisation Un second texte pr cisait ces orientations et traitait des probl mes d organisation de la BPI le sch ma cible de l tude d organisation avait t soumis en juillet 2002 au Comit technique paritaire de l tablissement et pouvait tre utilis comme document de r f rence L tude s tait en effet appuy sur une analyse des dysfonctionnements de la biblioth que et avait identifi les besoins suivants r quilibrage des deux temps de travail entre service public et service interne consolidation des fonctions d appui ressources humaines gestion logistique informatique coordination des fonctions de valorisation tourn es vers l ext rieur communication action culturelle renforcement du pilotage par la refonte de l organigramme en quatre p les dirig s par de nouveaux responsables gestion par objectifs Ces propositions avaient t r dig es par un cabinet de conseil il nou
219. gie le contexte culturel conomique et politique qui est l origine des indicateurs de performance n est pas neutre 2 1 3 Le r le moteur et normalisateur des organisations internationales Les initiatives et les publications anglo saxonnes ont t relay es dans d autres pays par plusieurs organisations internationales Pr cisons toutefois que pour ces derni res le recueil de statistiques n tait pas une nouveaut les biblioth ques disposent depuis plus de trente ans d outils statistiques relativement pr cis et la production de donn es dans les diff rents pays comme au plan international est devenue une activit r guli re Depuis 1950 tous les deux ans puis tous les trois ans partir de 1970 l Organisation des Nations Unies pour l ducation la Science et la Culture UNESCO rassemble des statistiques sur les biblioth ques qui sont publi es dans son Annuaire Ces statistiques sont tablies selon la Recommandation adopt e par la Conf rence g n rale de l UNESCO en 1970 Elles sont pr sent es par pays et par cat gorie de biblioth que et comptabilisent notamment les collections les acquisitions les emprunteurs inscrits les pr ts les d penses de fonctionnement et le personnel En 1989 l UNESCO publie et diffuse tr s largement le manuel de Nick Moore Measuring the Performance of Public Libraries a draft manual l organisation internationale valide et cherche promouvoir ainsi hors
220. harg des questions scientifiques et techniques et Chef de la mission de coordination Direction des collections Biblioth que nationale de France 05 11 02 CARBONE Pierre Directeur du SCD Universit Cr teil Paris XII 19 11 02 GIAPPICONI Thierry Directeur Biblioth que municipale de Fresnes 12 11 02 GROGNET Thierry Chef du Bureau des biblioth ques territoriales Direction du Livre et de la lecture 18 10 02 McADAM Daisy Directrice Biblioth que des sciences conomiques et sociales Universit de Gen ve 24 10 02 RENARD Pierre Yves Charg des statistiques Sous direction des biblioth ques et de la documentation Direction de l enseignement sup rieur 16 10 02 VAYSSADE Claire Charg e de mission D l gation la strat gie Biblioth que nationale de France 05 11 02 IV PARTICIPATION A DES RENCONTRES PROFESSIONNELLES 68 Congr s de l IFLA Libraries for life democracy diversity delivery Glasgow SECC 15 24 ao t 2002 Colloque organis par la BPI Les 25 ans de la BPI Paris Centre Georges Pompidou 23 24 octobre 2002 Colloque organis par le d partement tudes et prospective du Minist re de la Culture Le s public s des quipements culturels Paris Auditorium du Louvre 28 30 novembre 2002 CCXII Bibliographie I SUR L VALUATION DANS LES BIBLIOTH QUES ABBOTT Christine Performance Measurement in Library and Information Services Londres ASLIB The
221. he 18 09 02 GRUNBERG G rald Directeur 07 10 02 GUILLERME Philippe Chef de l observatoire multim dia 27 09 02 HUBERT Souad Chef du service des relations internationales 06 09 02 JOUFFRET Jean Chef du service de l accueil des publics 19 09 02 LENOIR Fran oise Conservateur au service des relations internationales 04 09 02 MARCHAND Yann Conservateur au service des documents lectroniques 04 10 02 MALLET Suzanne Chef du service de la formation 02 09 02 NOUAILLES Marie Claude Conservateur au service des documents lectroniques 04 10 02 PUY Jacques Chef du service audiovisuel 04 09 02 RESCHE Danielle Conservateur au service des r ponses distance 16 09 02 RUIZ Paule Conservateur la CBI 09 10 02 SEBIRE Katherine Chef du service quipement et maintenance 26 09 02 SPRENGER Dominique Administrateur 21 10 02 TULLEU Beno t Conservateur au Service des imprim s section retraitement 14 10 02 211 Quel tableau de bord pour la BPI III ENTRETIENS AVEC DES PROFESSIONNELS EXT RIEURS ALONZO Val rie Responsable de la mission valuation et prospective Services techniques des biblioth ques de la Ville de Paris 30 10 02 BERTRAND Anne Marie R dacteur en chef Bulletin des biblioth ques de France 04 11 02 BLANCHARD Martine Conservateur au Bureau des biblioth ques territoriales Direction du Livre et de la lecture 18 10 02 BRUCKMANN Denis Adjoint c
222. herche alors conserver une forme de contr le sur les tablissements dans l histoire administrative ce souci se traduit souvent par un regain d int r t pour la statistique cette poque la DLL r unit donc un premier groupe d experts le questionnaire existant s toffe et s am liore toutes les rubriques sont pour la premi re fois quantifi es Le rapport d activit demand par le minist re de la Culture devient une obligation l gale fix e par le d cret 88 1037 du 9 novembre 1988 relatif au contr le technique de l tat sur les biblioth ques des collectivit s territoriales Ce formulaire statistique sera utilis jusqu en 1989 Alain Caraco souligne n anmoins les difficult s qu a prouv es la DLL obtenir un nombre satisfaisant de retours de la part des tablissements mais aussi assurer dans des d lais corrects le traitement et l exploitation des statistiques qui s av rent extr mement lourds Il pose par ailleurs un probl me de fond d j voqu propos des BU Ce n est pas en essayant de mettre profit l obligation l gale de rendre des comptes qu on pourra mettre en uvre un syst me d valuation 68 Alain Caraco a notamment not les probl mes suivants rapports 1986 et 1987 demand s simultan ment pendant l t 1988 r sultats 1986 et 1987 publi s en 1990 r sultats 1988 et 1989 imprim s en ao t 1992 mais jamais publi s int gralement Op cit p 1
223. hie Est ce une source de recettes pour la BPI Moyenne mensuelle Donn es Env 400 000 Idem non du nombre de Sedeco Ressources en personnel s exprime file d attente agents de s curit Vigie Pirate t l phones portables acc s aux messageries Internet p riodes ant rieures Nombre Donn es 299 000 L activit d impression non Est ce une source de recettes pour la BPI d impressions par Sedeco Les flux sur les serveurs an d impression Co t annuel du 7 Contrat Poly 43 736 Co t annuel de Co ts de l ann e Seul co t exprim en nettoyage des Prest Europe l externalisation du pr c dente sup rieurs ouvrages crans et D tail des nettoyage documentaire car nettoyage moins tag res op rations fr quent disponible ef Etude des cahiers Donn es BPI Pas de donn es Principaux domaines sur Comparaisons sans Cette analyse n a pas donn lieu une valuation des lecteurs chiffr es lesquels le public r f rentiel avec des syst matique n chiffr e Cela pourrait tre une piste creuser de m me que la main courante des chefs de service Id e d une main courante structur e avec cadres regroupant les interventions par grands types Quid d une main courante ou journal dans les bureaux th matiques A pr ciser au regard des diff rents statuts des S consacr s la formation en un an pour l quipe Donn es BP for
224. honie et Sigma ACCORD pr sente des fonctionnalit s de gestion Il permettra aux services gestionnaires de mettre en place des enveloppes de cr dits d corr l s de la nomenclature budg taire et de proc der ainsi un d coupage des cr dits adapt l organisation de leurs missions et un suivi en temps r el des moyens mis leur disposition Tout acte de d pense devra tre qualifi partir de plusieurs axes d analyse nature de la d pense identit du donneur d ordre localisation de la d pense insertion 144 Quel tableau de bord pour la BPI dans un contrat de plan tat r gion parmi lesquels seront identifi s les programmes et les projets d finis selon les principes fix s par la LOLF de 2001 c est dire pour la BPI les orientations de son Projet d tablissement Cette qualification analytique fournira aux gestionnaires comme au minist re une partie des donn es dont ils auront besoin pour assurer le contr le de gestion Cette volution va donc dans le sens d une modernisation et d une am lioration des outils dont la BPI pourra tirer profit Malheureusement il lui faudra manifestement attendre quelques ann es avant de disposer de cet outillage informatique l laboration d indicateurs de co ts se heurte ainsi au calendrier de modernisation de l Administration Outre ces probl mes techniques et comptables il reste pr ciser que les services charg s de la gestion budg tair
225. i se rejoindre 2 2 1 Origines principes et actualit de l valuation des politiques publiques en France 2 2 1 1 De la d centralisation l valuation L utilisation d indicateurs et de tableaux de bord dans les biblioth ques fran aises est une pratique vers laquelle convergent la fois les int r ts des biblioth caires et ceux de l tat Pour les biblioth caires l valuation offre des outils qui permettent de faire valoir l utilit de leur travail de d fendre leurs moyens et d obtenir plus g n ralement une reconnaissance de leur activit aupr s de l administration et des usagers Pour l tat l valuation des biblioth ques s inscrit opportun ment dans l entreprise de r forme engag e depuis une quinzaine d ann es et qui repose principalement sur l valuation des politiques publiques En France la question de l valuation a t abord e l origine de fa on centralis e et sous l aspect budg taire Elle s est ensuite pos e en des termes nouveaux avec la d centralisation Pierre Carbone voque les principales tapes de ce processus le mouvement est initi dans les ann es 70 85 p riode qu il qualifie de technocratique et dont le ma tre mot est la rationalisation des choix budg taires connue sous le sigle de RCB Celle ci visait appuyer sur des tudes approfondies les d cisions du gouvernement dans l laboration de sa programmation long terme
226. i a mis en place un dispositif national d valuation dans les biblioth ques universitaires La collecte de statistiques dans les BU remonte 3 Entretien avec Martine BLANCHARD le 18 octobre 2002 Entretien avec Thierry Grognet le 18 octobre 2002 Thierry Grognet pr cise galement les quatre grands objectifs actuellement l tude dans le domaine du livre et de la lecture objectif 1 soutenir la diversit dans la cr ation et la diffusion du livre objectif 2 soutenir le d veloppement de la lecture objectif 3 sauvegarder enrichir et valoriser le patrimoine crit objectif 4 am liorer la qualit des services rendus aux publics de la Biblioth que nationale de France ILLIEN Gildas DCB11 M moire d tude 2003 44 Quel tableau de bord pour la BPI aux ann es 50 et a longtemps t l instrument privil gi de connaissance et de contr le des tablissements par l administration de tutelle De ce fait et malgr des p riodes d interruption entre 1960 et 1973 en particulier les s ries statistiques dont dispose le minist re permettent de mesurer des volutions sur plus de 40 ans Elles ont t progressivement codifi es et normalis es pour permettre de recueillir des donn es aff rentes aux usagers la fr quentation au nombre de places aux communications et pr ts et l accroissement des collections Ce dispositif statistique a t tendu et syst matis en 1976 avec la mise en place
227. iaview d un outil qui permet d effectuer des relev s automatis s et continus concernant la totalit des titres trangers d information g n rale Il suffit pour cela de s lectionner parmi les ressources lectroniques les titres trangers ais ment identifiables car leur cote est fabriqu e sur le mod le suivant 0 code du pays Naturellement cet indicateur ne comptabilise que des sessions sur les postes informatiques et exclut les pratiques de consultation des personnes qui n utilisent pas les ordinateurs Il permet n anmoins de disposer r guli rement et automatiquement d informations fiables sur l volution de la part respective des langues trang res lues et parl es au quotidien par le public de la BPI 2 1 3 Faut il valuer la satisfaction du public La norme ISO 11620 pr conise l valuation de la satisfaction des usagers vis vis des services de la biblioth que indicateur B 1 1 1 satisfaction des usagers tout en pr cisant que cette valuation peut porter sur les services consid r s dans leur totalit ou bien isol ment Elle propose un protocole d enqu te assez simple permettant de calculer le classement moyen donn par les usagers sur une chelle allant de un cinq un repr sentant la valeur minimale des services de la biblioth que Nous ne pensons pas que cet indicateur soit pertinent la BPI Comme le rappelait r cemment Roswitha Poll la mesure de la satisfaction des
228. ibilit aux actions conduites en continu et souvent dans l urgence et de disposer d un instrument servant la fois au pilotage interne la hi rarchisation des t ches et la n gociation de moyens ou d interventions avec la direction Claire Chaumet a mis en place un tableau de bord des temps de travail qui est aussi un outil de planification et de communication Il est r alis sur une feuille de tableur Excel gauche de ce tableau une colonne 148 Quel tableau de bord pour la BPI indique toutes les activit s du service d clin es en t ches pr cises Les principales activit s recens es sont la maintenance les responsabilit s courantes suivi d applications installations administration et s curit le suivi des projets par exemple la nouvelle version du SIGB ou la refonte du site web le d veloppement personnel formations r unions d information veille documentaire et une cat gorie qui correspond au temps des cong s des r cup rations et des arr ts maladie Le tableau se pr sente comme un calendrier les jours et semaines tant indiqu s en colonne L unit de mesure retenue pour renseigner les cases est la journ e ou la fraction de journ e demi tiers ou quart de journ e Le tableau du service agr ge les donn es des relev s ou rapports d activit r alis s chaque mois dans un tableau similaire mais individuel par chacun des agents du service Les totaux sont report s dans une c
229. id o et de l Autoformation la consultation des c d roms et des sites Internet r f renc s les r servations aux postes Internet libre et les impressions les RADIS ont comptabilis les questions et les r ponses distance Le logiciel statistique du 134 Quel tableau de bord pour la BPI site web que nous n avons pas pr sent ici car il ne fonctionne plus a comptabilis le nombre de pages vues et le nombre de visites ainsi que de classer les rubriques du site par ordre d croissant de consultation Les cahiers les compteurs SEDECO et le SIGB n ont pas t utilis s En outre des techniques in dites ont t exp riment es Elles concernent d abord l valuation des questions pos es par les lecteurs aux bureaux d information Le protocole se voulait simple d usage puisqu il n tait pas demand aux agents post s de noter les questions mais de faire des croix dans un tableau distinguant cinq types de questions questions complexes questions rapides questions par t l phone questions d orientation interventions techniques Le traitement des donn es pour l ensemble des bureaux a permis de mesurer la r partition du volume total des questions entre les diff rents bureaux Tous ces r sultats trait s sous Excel ont t report s dans un histogramme pr sentant l activit de renseignement durant la semaine La semaine test a galement tent de mesurer la consultation des livres
230. ie par ce processus l information ne fait que monter mais elle ne redescend gu re Chaque d partement semble se contenter d y retrouver et d y d fendre les actions qui le concernent Une grande partie des personnels de l tablissement ne s est manifestement pas appropri e cet outil qui se cantonne au niveau des objectifs g n raux de l encadrement Il manque de reproduire la d marche de la revue d avancement au niveau des objectifs op rationnels c est dire de travailler collectivement autour de documents comparables labor s plus finement au niveau des d partements ou des services afin que toutes les cat gories de personnel puissent s exprimer sur les t ches qu elles accomplissent L ann e 2001 a toutefois t marqu e par la mise en place d une gestion des comp tences et des ressources humaines au sein de l tablissement qui s appuie sur la g n ralisation de fiches de poste con ues selon une logique d valuation par objectifs Il est trop t t pour d terminer si cette volution associ e la g n ralisation d entretiens annuels d valuation contribuera la responsabilisation et la valorisation du travail des personnels ainsi qu ILLIEN Gildas DCB11 M moire d tude 2003 79 Quel tableau de bord pour la BPI l am lioration de leur implication dans le Projet d tablissement ou si elle sera au contraire per ue comme un renforcement du contr le hi ra
231. ience men e en 2001 Il s agirait d arriver un accord sur les proc dures de comptage Que compter Qui s en charge Selon quelles modalit s Avec quels outils Cette tape de n gociation pr alable est indispensable car un tel dispositif ne peut fonctionner sans l adh sion des agents 157 Quel tableau de bord pour la BPI S agissant de l utilisation du module statistique de Mmediaview on pourrait demander ses diff rents utilisateurs d harmoniser leurs pratiques d exploitation et de pr sentation l aide d un mod le type Dans ces deux exemples 1l s agirait surtout de communiquer avec les agents et de formaliser des r gles de travail en interne L am lioration du dispositif pourrait galement conduire la cellule valuation pr coniser des d veloppements informatiques partir d outils existants ce qui impliquerait de recourir aux services des prestataires actuels La simplification des fonctions statistiques du SIGB relatives l tat des collections la cr ation d une fonctionnalit permettant d valuer la consultation partir des postes d Internet libre sous Mmediaview l ajout d un module statistique pour la base BPI Doc seraient r alis s par Bibliomondo anciennement Port Folio EI Audiovisuel ou DIP MAKER prestataires actuels Ces demandes sp cifiques seraient pr senter dans le cadre de prestations de d veloppement plus globales il reviendrait au service
232. ier voqu plus haut propos du Projet d tablissement ne semble pas irr m diable pourvu que la direction agisse dans le sens de la concertation dans les prochains mois On peut m me y voir une chance le calendrier retenu qui faisait pr c der le colloque interne du colloque des 25 ans a en effet permis dans un premier temps de faire conna tre l ext rieur cinq orientations qui au demeurant restent tr s g n rales Il est toujours possible de les faire voluer et pr ciser en interne En effet si l on revient sur ces orientations il appara t que celles ci sont davantage des capsules fonctionnelles que des projets arr t s La d finition d une identit ou d une politique documentaire n implique pas en soi les caract ristiques de cette identit ni les orientations de cette politique Il en va de m me pour l am lioration des services Quelles formes de m diation privil gier Pour quels publics l affirmation du r le culturel de la BPI 10 Allocution d ouverture de G rald Grunberg l occasion du colloque Les 25 ans de la BPI le 24 10 2002 115 Quel tableau de bord pour la BPI Selon quelle ligne ditoriale ou encore l am lioration du suivi des questions sociales et de la gestion Selon quels principes et quelles priorit s Faites de ces capsules que nous qualifions de fonctionnelles parce qu elles correspondent peu ou prou aux principales fonctions q
233. igne de questionnaires qui permettraient de pr ciser les informations actuellement recueillies et de compl ter ce dispositif Pour finir le dispositif de la semaine test ne constitue pas proprement parler un outil statistique comparable aux instruments pr sent s jusqu ici Il s agit plus exactement d un ensemble de proc dures d ploy es pendant une p riode limit e La BPI a conduit une op ration de ce type entre le 14 et le 20 mai 2001 cette occasion les personnels ont utilis la plupart des outils d valuation existants Cette exp rience nous a paru particuli rement int ressante et nous avons jug utile d en pr senter les principes d organisation Nous pensons en effet que la m thode con ue par la direction et le service tudes et recherche peut tre affin e et modul e afin que cette op ration soit r guli rement reconduite Elle s est appuy e sur une mobilisation de l ensemble des personnels autour des outils automatis s dont l tablissement dispose et d outils manuels exp riment s cette occasion La quasi totalit des dispositifs que nous avons d crits ont en effet t utilis s si l on en juge par la liste qui suit la fr quentation a t mesur e au moyen du compteur le calcul du taux de saturation permettant de mieux comprendre des chutes brutales du nombre d entr es Mmediaview a mesur la consultation et les r servations de postes dans les bureaux techniques du Son V
234. ilis comme un indicateur de performance du travail des vacataires une volution la baisse impliquera que l on prenne des mesures de formation de recrutement ou d encadrement en m me temps qu il mesure la qualit du service rendu en termes de fourniture de documents Concernant la pertinence de l offre par rapport la demande les solutions propos es par la norme ne sont pas applicables la BPI Elles impliquent en effet de proc der des enqu tes par sondages aupr s des usagers Compte tenu des flux et de la diversit des publics et de la vocation encyclop dique de la biblioth que les r sultats de telles enqu tes ne seraient gu re exploitables et la 173 Quel tableau de bord pour la BPI mise en uvre du dispositif serait trop lourde pour qu on puisse le reconduire r guli rement Nous croyons plus judicieux d en rester au syst me traditionnel des cahiers dans lesquels les lecteurs indiquent les titres qu ils souhaiteraient que la biblioth que commande Cette pratique ne permet pas d laborer des indicateurs synth tiques sur la disponibilit des titres en termes d ad quation la demande mais elle est bien r d e et convient aux responsables de domaines et aux acqu reurs Pour les documents lectroniques les proc dures sont connues et utilis es Un indicateur unique permet de mesurer la fois l int r t que suscite une ressource lectronique et sa disponibilit sur le r se
235. inante pour l valuation des biblioth ques territoriales Il n existe pas notre connaissance d tude portant sp cifiquement sur l histoire et les enjeux de l valuation dans les biblioth ques municipales BM En revanche Alain Caraco a pr sent en 1994 les grandes tapes et les probl matiques de l valuation dans les biblioth ques d partementales de pr t BDP Sa contribution compl te les comptes rendus de l enqu te de 1997 conduite par Aline Girard Billon et Thierry Giappiconi sur l valuation dans les biblioth ques publiques fran aises L ensemble de ces travaux t moigne de situations tr s contrast es et globalement d un retard des tablissements comme du minist re dans ce domaine Des initiatives r centes et cibl es semblent n anmoins encourageantes compte tenu des difficult s propres l valuation chez 6 CARACO Alain Op cit p 140 Cette enqu te r alis e pour la section des biblioth ques publiques de l IFLA a donn lieu plusieurs publications d articles en fran ais et en anglais notamment GIRARD BILLON Aline GIAPPICONI Thierry L valuation dans les biblioth ques publiques fran aises Bulletin des biblioth ques de France 1997 t 43 n 1 GIRARD BILLON Aline GIAPPICONI Thierry France In BORCHARDT Peter WIMMER Ulma d Performance measurement and quality management in public libraries IFLA satellite meeting Berlin 25 28 Augus
236. ines La ma trise des techniques d interpr tation math matique appliqu es aux proc dures qui caract risent l organisation complexe d une biblioth que n cessite d abord des connaissances statistiques L analyse des pratiques des nomenclatures et des processus documentaires et informatiques implique ensuite de solides comp tences en biblioth conomie L organisation et l interpr tation des enqu tes lourdes ou qualitatives conduites aupr s des publics doit s appuyer sur des m thodes issues de la sociologie Enfin l analyse des co ts et la construction d indicateurs financiers requiert des comp tences dans le domaine de la gestion Le choix et l interpr tation des 153 Quel tableau de bord pour la BPI donn es se trouvent ainsi la convergence de cultures professionnelles et scientifiques distinctes mais compl mentaires l valuation la BPI doit tre interdisciplinaire La repr sentation de plusieurs types d expertise pr sents dans l tablissement peut contribuer forger la l gitimit de la cellule valuation et viter qu elle ne soit per ue par les quipes comme loign e de leur travail quotidien Afin de coordonner l ensemble de ces comp tences un pilote pourrait tre d sign choisi pour ses qualit s humaines et de communication sa cr dibilit aupr s des personnels et une vision strat gique et prospective lui permettant d tre la fois r actif aux demandes de l
237. information Syst me d information g ographique Syst me informatis de gestion de biblioth que Son Langues et Logiciels service de la BPI Plan Universit s du troisi me mill naire United Nations Education Science and Culture Organisation Organisation des Nations Unies pour l ducation la Science et la Culture Willingness to pay disposition payer Willingness to accept disposition accepter 209 Quel tableau de bord pour la BPI Sources I DOCUMENTS DE TRAVAIL INTERNES B GUET Bruno La consultation des collections imprim es en Haut de jardin analyse statistique du sondage de d cembre 2000 Document de travail BnF Direction des collections Adjoint aux questions scientifiques et techniques Mission de coordination version du 31 05 2001 Paris BnF 2001 dact BIBLIOTH QUE PUBLIQUE D INFORMATION Budget 2002 Paris BPI 2002 dact BIBLIOTH QUE PUBLIQUE D INFORMATION Rapport d activit 2000 Paris BPI 2001 publi BIBLIOTH QUE PUBLIQUE D INFORMATION Rapport d activit 2001 Paris BPI 2002 publi BIBLIOTH QUE PUBLIQUE D INFORMATION Rapports d activit des diff rents services Paris BPI 2001 dact COACHING GROUP pour la BPI Rapport de synth se de la phase I de l tude d organisation Paris BPI 2002 dact COACHING GROUP pour la BPI Sch ma cible de l tude d organisation Paris BPI 2002 dact EVANS Christophe Les publics de la nou
238. inis Or si la Mairie a su indiquer les priorit s de sa politique sociale culturelle et ducative par exemple l int gration des personnes handicap es ou l am lioration des infrastructures et des services ILLIEN Gildas DCB11 M moire d tude 2003 69 Quel tableau de bord pour la BPI destin s aux jeunes celles ci n ont pas t r percut es au niveau de l administration des biblioth ques dont les orientations restent impr cises L exemple de la Ville de Paris montre bien les difficult s de mise en uvre de l valuation La r solution des questions techniques et informatiques ne suffit pas Il est important de prendre du recul par rapport aux circuits existants et aux proc dures en place afin d ins rer l activit mesur e dans un environnement plus large et plus mouvant qui int gre les aspects politiques conomiques et humains qui lui sont propres 2 3 2 valuation et management strat gique l exemple de la BnF L exp rience de l valuation la BnF int resse la BPI plus d un titre Plac s sous l autorit du m me minist re les deux tablissements publics vocation nationale se doivent de rendre des comptes d une mani re qui tant donn leur taille leurs missions et leurs modes de fonctionnement sp cifiques ne peut tre que singuli re De plus les biblioth ques sont toutes deux implant es Paris et l ouverture du Haut de jardin de la BnF en 1998 a co
239. ins dans la soci t de l information menace tr s s rieusement ce projet Si tel n tait pas le cas la BPI pourrait bient t utiliser deux indicateurs propos s par le projet de rapport technique sur les services lectroniques des biblioth ques le nombre de documents t l charg s par session indicateur B 1 3 1 qui recoupe le nombre d impressions ou de photocopies par entr e et le co t par document t l charg indicateur B 1 3 3 plus difficile calculer terme on pourrait imaginer un indicateur hybride agr geant les donn es d impression de photocopie et de t l chargement 2 4 Valeur ajout e documentaire renseigner signaler former Un des soucis majeurs des biblioth caires de la BPI est de savoir s ils servent encore quelque chose On l a vu les agents sont envahis par un doute profond qui se traduit par un sentiment de surqualification des personnels post s en service public compte tenu des questions qu on leur pose et des pratiques qu ils observent autour d eux Face aux ph nom nes de googelisation et alors que la pratique du catalogage local tend devenir une exception fran aise encore que la mise en ligne du SUDOC et les notices de la BnF fassent un nombre croissant d mules les professionnels s interrogent galement sur l utilit de certaines t ches effectu es dans les services internes Enfin les formations organis es aupr s des usagers ne rencontrent pas u
240. instrument de d cision pour la constitution des groupes et la gestion des plannings Part des questions d orientation pos es dans les bureaux 0 7 3 semaine test ND importante idem La part des questions complexes mais la comparaison reste allusive M mes remarques intitul Mode de calcul Exemple de je valeur Que mesure t il Est il crois avec d autres Commentaires questions suggestions R ception des visiteurs Fr quentation des visites r serv es Nombre d inscrits par 5 visites avec 0 adh rent annul es La pertinence du dispositif Activit du service de formation et d accueil public non mesur e passer vendus par le Centre sur six mois fournies par le Centre du Centre potentiellement fid lis s par la BPI photocopies offertes par la BPI 4500 aux adh rents visite organis e 1 visite avec 1 r serv aux adh rents sur SIX MOIS EA adh rent Nombre de laissez Donn es 28 965 Le nombre d adh rents Le nombre de cartes de Le croisement du nombre de laissez passer et du nombre de cartes de photocopie offertes est un indicateur int ressant pour identifier un public a priori fid lis Fr quentation des visites g n rales sur inscription Fr quentation des visites th matiques Co t en personnel des visites de groupes par an Nombre de pr sents par visite organis e
241. int rieur d une agglom ration pour les BM d un d partement pour les BDP ou d une r gion pour les BMVR On peut croiser les donn es d inscription avec des donn es d mographiques et g ographiques afin d obtenir une repr sentation cartographique du d veloppement de la lecture publique sur un territoire Ainsi la biblioth que d partementale de pr t des Yvelines utilise un SIG pour mieux g rer son fonctionnement et la distribution de ses activit s Cet outil informatique lui permet notamment de justifier les choix de sa politique aupr s des lus locaux d valuer son activit et de pr voir son plan de gestion et de d veloppement La mission valuation et prospective du r seau des biblioth ques de la Ville de Paris r alise avec l aide de APUR des cartes permettant de visualiser la couverture de l agglom ration par les biblioth ques du r seau et de donner des avis sur le sch ma directeur ainsi que sur les projets de construction et de modernisation Il semble que l ing nierie des SIG soit appel e se d velopper dans le domaine des biblioth ques territoriales elle se greffe opportun ment sur les syst mes d aide la d cision et les dispositifs d valuation 201 Quel tableau de bord pour la BPI L utilisation des SIG est plus rare dans les biblioth ques qui n ont pas vocation couvrir un territoire clairement d limit Ainsi pour les tablissements nationaux que sont la BnF
242. ions en termes d impact sur la soci t et les citoyens L auteur donne plusieurs exemples de missions l enrichissement du savoir knowledge la d mocratisation l int gration sociale social inclusion l identit locale la formation initiale ou continue lifelong learning la r ussite universitaire improved academic success ou professionnelle better career chances la pr servation de la m moire collective storing information for use in 100 years Il s agit ensuite de chercher d finir la valeur conomique des r sultats atteints l aune de ces missions Cette valeur correspond par exemple un gain de temps ou des comp tences acquises qui b n ficieront directement ou 139 Quel tableau de bord pour la BPI indirectement l conomie de la r gion desservie ou de la nation tout enti re La difficult de cet exercice tient naturellement la traduction d effets diffus et apparemment insaisissables en termes de b n fices financiers Plusieurs techniques sont propos es L une consiste calculer les proxy prices galement appel s shadow prices c est dire d terminer la valeur des services sur le march on additionne entre elles les valeurs affect es chacun des services rendus par la biblioth que On pourrait par exemple s aligner sur le co t d une formation Internet dans le secteur priv et utiliser ce co t pour montrer l apport de la biblioth que qui offre
243. isions qu il a besoin de prendre et pour lesquelles il manque d informations Auberge espagnole quoique polic e des biblioth ques l valuation laisse alors la porte ouverte des pr sentations autrement plus s duisantes que les s ries et tableaux statistiques L expression symbolique de l indicateur peut tre par exemple sa traduction graphique une fl che point e vers le haut ou vers le bas pour indiquer une tendance ou encore un jeu de couleurs souvent celles du feu tricolore signalant la gravit d un probl me ou la port e d un succ s Dans la proposition de tableau de bord faite la BPI on verra que cette libert accord e par la norme a t largement exploit e Parmi les nombreux indicateurs connus et utilis s quelques uns m ritent n anmoins d tre d finis plus pr cis ment car ils permettent de mieux comprendre les diff rents niveaux qu il convient de mettre en relation l int rieur de l environnement de la biblioth que Thierry Giappiconi r sume les fonctions de 25 Les crit res et le cadre de pr sentation des indicateurs sont d crits pr cis ment dans la norme ISO 11620 p 4 5 ILLIEN Gildas DCB11 M moire d tude 2003 25 Quel tableau de bord pour la BPI ces indicateurs dont la construction et le sens d rivent directement des concepts consubstantiels la notion de performance Les indicateurs d efficacit mesurent les carts entre les ob
244. it qui recoupe l organisation des services et reprend l essentiel des informations contenues dans leurs rapports d activit Compar celui de la BnF 45 pages hors annexes ce rapport est la fois plus complet et moins lisible l exception notable de quelques graphiques relatifs la fr quentation et la consultation des documents des sections Son Langue et Logiciels il n est pas illustr et ne permet pas de prendre rapidement connaissance des points forts et des points faibles de l tablissement On peut regretter cette situation tout en reconnaissant que la publication du rapport annuel sur la base d une collaboration plus r guli re des services constitue d j une avanc e importante Elle t moigne de l acceptation progressive du principe et de la culture du rendre compte m me si le r sultat obtenu reste limit l exercice d une analyse a posteriori qui sert principalement au contr le et au suivi des orientations par le Conseil d Administration de la BPI et par la tutelle Pour la direction il s agit d une tape que la mise en place d une valuation concomitante l activit au moyen de tableaux de bord devrait permettre de d passer dans les prochaines ann es I premi re note a t adress e en septembre 2001 Les rapports d activit ont t remis par la plupart des chefs services jusqu en avril 2002 Le rapport annuel 2001 a t publi en novembre de la m me ann e Une n
245. ites par la BPI dossiers num ris s de BPI Doc et bient t la base d images num ris es de la collection Widenberger ne disposent pas de modules statistiques Le site web n a plus lui non plus de logiciel 137 Quel tableau de bord pour la BPI permettant d valuer la consultation alors m me que le march dans ce secteur est florissant Plus g n ralement la r flexion engag e sur l interrogation des catalogues ne peut s appuyer sur des outils qui permettraient d analyser les parcours virtuels des usagers et leurs strat gies de recherche Du c t des fonctions de support logistique et technique les dispositifs font galement d faut La r gie des espaces le service quipement et maintenance et le service informatique ont besoin d instruments afin de mieux g rer les inventaires les incidents et les interventions Alors que les comp tences entre ces services se chevauchent la n cessaire clarification des responsabilit s ainsi que la rationalisation des moyens d ploy s pour maintenir niveau les quipements propos s aux publics n cessitent l laboration d outils nouveaux Enfin et c est le dernier volet de notre pr sentation de l existant il manque une r flexion et un outillage adapt s l analyse des co ts 2 4 Les co ts humains et financiers le cha non manquant Dans les mod les d crits par la litt rature professionnelle la prise en compte de la dimension conomique de l
246. ites virtuelles d j voqu s et ceux des t l chargements qui seront abord s plus loin C est donc uniquement pour la consultation sur place que l laboration d indicateurs hybrides est envisageable court terme L valuation de la consultation a t exp riment e une premi re fois lors de la semaine test de 2001 partir du d compte manuel des ouvrages rang s par les vacataires Cette premi re m thode donne une indication du volume global de consultation des imprim s mais ne permet pas d obtenir d informations sur les les th mes les plus consult s En effet les lecteurs sont tr s mobiles ils d placent les ouvrages des rayons vers l endroit o ils sont install s pour travailler et les laissent cet endroit en partant Nous avons examin plusieurs chariots charg s de livres ranger ils contiennent des titres qui concernent des sujets tr s divers et cette diversit t moigne de l parpillement des lieux choisis pour la lecture ind pendamment de l implantation des collections l automne 135 a x 3 Pr cisons que la BPI a pour politique de n acheter qu un seul exemplaire de chaque titre quelques exceptions pr s codes juridiques par exemple La question du volume se pose donc ici exclusivement par rapport au nombre et la diversit des titres 178 Quel tableau de bord pour la BPI 2001 Delphine Fanget a test d autres types de relev s manuels obs
247. itiques publiques du contr le l autonomie In KUPIEC Anne Dir Op Cit p 15 35 Ibid p 21 25 4 Voir le D cret n 98 1048 du 18 novembre 1998 relatif l valuation des politiques publiques publi au Journal officiel de la R publique fran aise du 20 novembre 1998 ILLIEN Gildas DCB11 M moire d tude 2003 41 Quel tableau de bord pour la BPI ne sont toutefois pas si simples la proc dure contractuelle n est pas exempte d ambigui t s que l on retrouve dans l valuation et le contrat cens tre conclu par deux parties gales met souvent en rapport la puissance publique avec un de ses d membrements qui est oblig de se plier aux r gles de la premi re La contractualisation conduit toutefois l tat les administrations et les tablissements publics se doter d outils permettant d exprimer les objectifs fix s et de mesurer leur r alisation l utilisation croissante d indicateurs dans le secteur public est l une des cons quences de la politique contractuelle 2 2 1 2 L impact de la Loi organique du 1 ao t 2001 L valuation des politiques publiques a connu une avanc e consid rable avec l adoption le 1 ao t 2001 de la Loi organique relative aux lois de finances LOLF Cette loi qui devrait entrer progressivement en application d ici 2005 pose en effet les fondements d une profonde modernisation de la gestion publique Trois grandes nouveaut s sont pr v
248. ivent faire l objet d une concertation permanente qui implique g n ralement la mise en place de nouvelles formes de gestion des comp tences et de l information l int rieur de la biblioth que valuer appara t alors non seulement comme une mani re de clarifier la politique de l tablissement mais aussi d am liorer la coh sion sociale et la responsabilisation des quipes et des agents Pour atteindre ces objectifs la biblioth que sera souvent conduite mettre plat ses processus engager une r flexion sur sa propre organisation et am liorer sa communication interne 3 2 La dimension humaine La prise en compte du facteur humain est d autant plus essentielle dans la mise en uvre de l valuation que les difficult s techniques ont tendance mobiliser toutes les attentions La construction de proc dures et l laboration d un discours manag rial sophistiqu s sont inutiles s ils ne permettent pas in fine d am liorer le service rendu l usager et de valoriser le travail et les comp tences des agents Mal ma tris e mal comprise l ing nierie valuative est capable du pire Le passage d une culture des moyens une culture de la performance implique d int grer trois pr occupations principales placer l usager au centre de l offre de services adopter des modes de fonctionnement collectifs mesurer r guli rement la performance ILLIEN Gildas DCB11 M moire
249. jectifs tant en phase de d finition ou de maturation la structure de l organisation tant elle aussi en pleine mutation il s agissait de proposer des solutions relativement pr cises dans un cadre mouvant Notre intervention impliquait donc de faire preuve la fois de prudence et de souplesse Elle b n ficiait n anmoins d un contexte favorable ILLIEN Gildas DCB11 M moire d tude 2003 11 car la r flexion collective engag e autour des objectifs et des responsabilit s tait propice clairer le choix des indicateurs Encore fallait il convaincre nos interlocuteurs qu il existait un lien entre valuation r organisation et Projet d tablissement Enfin le tableau de bord devait prendre en compte les projets nouveaux de coop ration et de biblioth que distance souhait s par la direction et son minist re de tutelle il ne suffisait pas de rendre compte des activit s et de la performance des services existants on devait galement s int resser ceux qui n existaient pas encore En proposant des indicateurs hybrides combinant l valuation des services sur place et celle des services lectroniques notre travail s est efforc de proposer quelques pistes de r flexion pour l avenir Pour r soudre ces difficult s et mener bien le projet nous avons adopt une m thodologie qui repose sur trois principes Lorsque cela tait possible et pertinent nous avons d abord souhait com
250. jectifs et l impact ou la qualit des actions Les indicateurs d efficience mesurent les carts entre les ressources et les r sultats Les indicateurs de pertinence mesurent les carts entre les objectifs et les ressources je L insistance de l auteur voquer ces trois aspects de la performance exprime moins une m thodologie id ale qu un souci p dagogique les indicateurs sont rarement utilis s selon cette typologie Il faut plut t y voir une mise en garde l adresse des professionnels qui souhaitent construire des indicateurs Le risque est grand en effet de se perdre dans les m andres des formules et des comptages sans s tre pr alablement pos la bonne question quoi ces outils vont il me servir exactement Est ce que la priorit de ma biblioth que est d atteindre co te que co te les objectifs qu elle a d finis dans son Projet d tablissement ou dans un contrat d objectifs pass avec la tutelle S agit il plut t de m nager mes personnels et mon budget quitte r duire mon niveau d ambition L valuation doit elle permettre ma biblioth que de montrer la tutelle que les objectifs qu elle m assigne ne sont pas r alisables compte tenu des moyens qu elle m accorde Ces questions conduisent le praticien clarifier ce qu il cherche C est d ailleurs une des vertus essentielles de l valuation qui peut motiver au pr alable ou bien entra ner en retour une
251. jets recherch s la fin du test les usagers indiquent sur le formulaire s ils ont trouv les notices des ouvrages au catalogue L analyse des r sultats conduit exclure les formulaires portant sur des titres que la biblioth que ne poss de pas Les indicateurs auxquels on aboutit s expriment sous la forme d un taux de succ s Pour la recherche par titre on rapporte le nombre de titres trouv s au nombre de titres recherch s figurant effectivement au catalogue indicateur B 2 7 1 taux de succ s de la recherche par titre dans le catalogue Pour la recherche par sujet on rapporte le nombre de titres trouv s r pondant aux sujets de recherche de l usager au nombre de titres r pondant aux sujets qui sont effectivement index s au catalogue indicateur B 2 7 2 taux de succ s de la recherche par sujet dans le catalogue Une tape suppl mentaire pourrait consister voir si les usagers trouvent effectivement les documents dans les rayons et en combien de temps Pour une pr sentation d taill e de ce dispositif compl mentaire on pourra se reporter la norme ISO 11620 indicateur B 2 3 2 d lai de recherche m dian des documents en acc s direct La 195 Quel tableau de bord pour la BPI proc dure du taux de succ s donne des informations la fois sur le niveau de formation des usagers l ergonomie des interfaces la formation l utilisation des catalogues et l ad quation des r gles
252. la part relative des impressions par rapport aux photocopies pourrait tre interpr t e comme un renforcement des pratiques de recherche et de consultation partir des postes informatiques au d triment de la consultation des collections d imprim s Le suivi de ces indicateurs permettrait enfin de mieux conduire les n gociations contractuelles avec les prestataires charg s de l entretien et de la maintenance des appareils On pourrait croiser l volution du nombre de tirages avec le nombre d heures d indisponibilit des machines ou le nombre d interventions techniques pour r paration afin de d terminer si la prestation de maintenance est satisfaisante ou pas et plus g n ralement pour voir si le nombre de photocopieurs et de serveurs d impression mis la disposition du public est suffisant ou pas Le projet de biblioth que distance impliquera que l on proc de des calculs similaires concernant les t l chargements Actuellement la BPI ne propose ses usagers aucun document t l charger mais les projets en cours pourraient 187 Quel tableau de bord pour la BPI aboutir la mise disposition de documents num ris s dont les droits auraient t n goci s On pense en particulier aux dossiers de presse num ris s de la base BPI Doc encore que la mise en uvre de la directive europ enne 2001 29 CE du 22 mai 2001 sur l harmonisation de certains aspects du droit d auteur et des droits vois
253. laquelle toutes les donn es pourraient tre revers es Le dispositif actuel m me perfectionn semble n anmoins insuffisant pour couvrir l ensemble des activit s de service qu il conviendrait de prendre en consid ration Certes les tableaux de bord ne doivent pas viser l exhaustivit De plus on peut consid rer que les outils install s jusqu pr sent l ont t parce qu il y avait des besoins urgents satisfaire le compteur d entr es et les enqu tes de publics pour pallier l absence d inscription et d identification des lecteurs les d veloppements de Mmediaview pour compenser l absence de pr ts ou de bulletins de communication le module statistique du SIGB pour mieux r partir et mieux contr ler une partie importante des d penses de documentation Les indicateurs actuels mesurent d j des priorit s Les nouvelles orientations de l tablissement impliquent n anmoins que l on largisse le champ de ces priorit s et qu on d finisse de nouveaux indicateurs cet effet Dans de nombreux domaines classiques consultation des imprim s ou nouveaux valuation des services lectroniques il reste beaucoup d angles morts et de zones d ombre le dispositif actuel est l arbre qui cache la for t L analyse de la consultation des imprim s a fait l objet de plusieurs exp rimentations mais les prototypes qui ont t test s ne sont pas utilis s Les bases documentaires produ
254. lastique mire de contr le signal tique tiqueteuse pr sentoirs plexis consommables navettes salons Cin ma du R el courses ventes aux Domaines pilon Indicateurs utilis s aucun Code intitul Mode de calcul Exemple de valeur Que mesure t il Est il crois avec Commentaires traitement d autres mil 12e ESS Remarques et commentaires Pas d indicateurs utilis s Les interventions et activit s du service sont pr sent es selon une logique la fois spatiale budg taire et administrative mais l on ne dispose pas d l ments plus synth tiques qui permettraient d valuer l activit du service par type de prestation Il faudrait classer ces interventions par grands types fonctionnels en reprenant par exemple l approche de C Chaumet pour le service informatique on pourrait par exemple distinguer les interventions li es la s curit des collections des personnes aux services internes etc voir la logique la plus pertinente et la plus coh rente et pr senter en regard les moyens en temps et en ressources financi res utilis s dans le cadre de ces diff rentes interventions sous forme de pourcentages Distinguer galement peut tre ce qui rel ve de l investissement pour le changement et des r parations li es au fonctionnement ou aux dysfonctionnements du quotidien SERVICE DES DOCUMENTS ELECTRONIQUES Descriptif du document
255. le Les publications de la BPI et plus r cemment la r alisation d un film documentaire sur les habitu s ont n anmoins contribu populariser l image d une biblioth que laboratoire de la lecture publique dont le microcosme est r guli rement diss qu par les sociologues La BPI est un terrain particuli rement favorable l observation des attentes des usagers r ceptifs ce type de d marche Au del des mesures purement quantitatives de la fr quentation au moyen du compteur d entr es il est donc possible de proc der une analyse fine et r guli re des pratiques et des attentes des publics L tablissement dispose l d un atout capital pour mener bien son projet d valuation En revanche son mode de fonctionnement et la volatilit de ses publics rendent inapplicables certaines mesures qui requi rent des contacts r p t s avec les m mes personnes dans la dur e Dans les biblioth ques de recherche o l on s int resse par exemple la satisfaction et aux besoins sp cialis s des chercheurs d une universit il est possible d inscrire l valuation de la qualit y 10 CHOURROT Olivier Messages de lecteurs propos de quelques usages de l crit en biblioth que M moire d tude Enssib Villeurbanne cole nationale sup rieure des sciences de l information et des biblioth ques 1996 118 Quel tableau de bord pour la BPI des services dans un cadre tempor
256. le avoir t v cu l issue de la r novation des espaces publics et internes Le directeur a exprim le souhait d un tableau de bord qui serait non seulement un outil de gestion mais aussi un miroir identitaire pour les quipes de la BPI 2 1 2 Obstacles des missions impr cises une repr sentation galitariste des publics Quels sont les principaux handicaps politiques susceptibles de faire obstacle au d veloppement d une d marche d valuation la BPI Nous avons identifi deux probl mes de fond qu il reviendrait la direction de l tablissement de prendre en consid ration Le premier est li l actuel calendrier de mise en uvre du changement Le second concerne les missions de l tablissement Tous deux ont trait la d finition des objectifs 104 Intervention d Isabelle Dussert Carbone dans le cadre de la table ronde sur le changement organisationnel qui s est tenue l Enssib le 16 d cembre 2002 108 Quel tableau de bord pour la BPI La direction de la BPI a fix les cinq orientations du Projet d tablissement d s le d but de son mandat le cadre des objectifs g n raux a donc t d termin avant m me qu une d marche de concertation ait pu tre entreprise aupr s des agents La direction a fait conna tre ces orientations la communaut professionnelle l occasion du colloque organis pour la c l bration des 25 ans de la BPI Toutefois la con
257. lement d tournements d crans d gradations probl mes d hygi ne de maintenance ou de s curit Malheureusement tous ces cahiers ne sont pas mis jour avec la m me exigence Qu il s agisse des lecteurs des vacataires des biblioth caires ou des chefs de service l h t rog n it des pratiques des styles et des contributions fausse totalement la perception de la r alit Ce sont ceux qui ont la plus belle plume ou le temp rament le plus pugnace qui laissent la plus forte impression Une utilisation diff rente et plus syst matique des cahiers am liorerait la pertinence de ces instruments pour l valuation des services Le service tudes et recherche a par exemple r alis une petite synth se des cahiers de lecteurs de l Accueil afin de prendre la mesure des r actions du public la suite du renforcement des conditions de s curit avec le plan Vigie Pirate la file 114 ILLIEN Gildas Op cit p 52 56 132 Quel tableau de bord pour la BPI d attente s est d plac e et allong e L observation de Fran oise Gaudet a port sur la p riode de septembre 2001 juin 2002 et montre comment les plaintes des lecteurs se sont progressivement d plac es des motifs d inconfort de l attente dans le froid vers une irritation grandissante l gard des resquilleurs puis vers des demandes d intervention de vigiles dans la file afin de calmer la violence et les agressions verbales qui y
258. lle de questions ouvertes visaient confirmer ou nuancer les constats auxquels la r alisation du r pertoire avaient abouti Ils visaient galement d celer les pratiques ou les probl mes que l examen des rapports n avait pas permis d identifier Plus g n ralement ils ont favoris une int gration progressive la vie des services des changes d informations facilitant la localisation des expertises et une analyse qu on pourrait qualifier de psychologique ou de culturelle des r sistances comme des int r ts suscit s par l valuation Nous avons souhait rencontrer une seconde fois et dans un autre cadre certaines des personnes interview es s lectionn es pour les points de vue contradictoires qu elles avaient exprim s Ces rencontres se sont d roul en service public c est dire dans un contexte de terrain o l observation des gestes des paroles et le partage des situations a permis de confirmer ou d infirmer certains points 100 Quel tableau de bord pour la BPI de vue exprim s au cours des entretiens Enfin nos investigations et d ambulations dans les espaces publics de la BPI ont t l occasion de discuter avec des agents de toutes les cat gories y compris des agents de m nage et de s curit Ces changes informels ont permis de confronter le point de vue des cadres celui des autres agents titulaires ou pas qui participent l activit de la biblioth que Cette phase d
259. maintenance intervient constamment dans l urgence et ne dispose ni du recul ni de la disponibilit n cessaire pour mieux planifier et organiser les projets d am lioration des infrastructures d accueil Paradoxalement ce mode de fonctionnement et le sentiment de surchauffe permanente qu il induit expliquent que les agents de ce service estiment ne pas avoir le temps d laborer ni de suivre des indicateurs qui les aideraient planifier et valoriser leur travail Nous souhaitons conclure sur ce point en signalant des initiatives qui att nuent ces constats peu encourageants Nous avons en effet observ avec int r t la d marche engag e depuis quelques mois par la nouvelle responsable du service informatique Claire Chaumet Celle ci a organis le service dont elle a la charge en appliquant des m thodes issues du management dans l entreprise Dans le service informatique qui g re des activit s sensibles et strat giques les outils d valuation sont pr vus trois niveaux optimisation de l utilisation des ressources internes pilotage du service rationalisation des prestations rendues aux autres acteurs de la biblioth que mise en place de contrats de service am lioration du suivi des interventions et des incidents ma trise des risques et gestion de l impr vu L ensemble de ces d marches repose sur la mise en place d outils d valuation de l utilisation des moyens humains Afin de donner une vis
260. manente qui est bel et bien physique Les probl mes de 92 Quel tableau de bord pour la BPI maintenance d hygi ne et de s curit se posent sans doute avec la m me acuit qu hier mais la nouvelle configuration architecturale accuse les difficult s qui inqui tent davantage les personnels qu autrefois Ceux ci constatent que la demande et les pratiques ont chang renvoyant aux biblioth caires l image parfois peu valorisante d une profession surqualifi e en qu te de sens de nouveaux r les de nouvelles mani res de valoriser son savoir faire On ne sert plus rien Les gens ne posent plus de questions Le doute s installe chez les 245 agents de la BPI et le malaise actuel contraste avec les jours heureux de l ternel hier Certes les lecteurs continuent de venir mais que font ils au juste Face ces interrogations la nouvelle direction tente de renouer avec une tradition d innovation d insuffler le changement dans l organisation tout en relevant le d fi des nouvelles orientations souhait es par son minist re de tutelle qui voudrait que l tablissement remplisse mieux sa mission nationale l ext rieur initiatives de coop ration efforts de communication dans la presse et dans le milieu professionnel l occasion du colloque Les 25 ans de la BPI par exemple comme dans les services internes tude d organisation nouvel organigramme articul autour de quatre p les Proje
261. mation dans ce service Force de travail du Exprim en ETP 15 1 Ressources humaines du non service quivalent service de l quipe temps plein Nombre de Jours 7 90 Investissement en non Calculer la part des formations sur le temps de travail total des agents de l quipe en faire la moyenne Croiser avec autres services Pr ciser la part de la formation consacr e la pr paration des concours SECTION DES REPONSES A DISTANCE RADIS Descriptif du document Responsable Fran oise Delmas Tuffet R dacteur s signataire s N D Intitul du document BPI Info Service des R ponses Distance de la BP Rapport d activit 2001 Taille du document 8 pages 7 pages d annexes quelques tableaux et impressions page web en annexe Plan sommaire du document Missions du service et organisation Fonctionnement et activit du service en 2001 R alisations de l ann e 2001 Statistiques d activit des R ponses Distance en 2001 Donn es sur les courriers lectroniques Courrier postal et fax Conclusion Annexes Donn es chiffr es vocabulaire et mots cl s Les questions sont pos es par courrier fax ou courrier lectronique 4 personnes 2 2 ETP compl ment de travail r alis aux documents lectroniques et Public Info 15 agents assurant des plages au titre du SP raison de 4 plages toutes les 10 semaines 30 heures par semaine aux horaires suivants lundi merc
262. me de l tablissement seront donc d terminants Ils doivent tre envisag s avec pragmatisme en se demandant toujours si les r sultats attendus justifient les moyens engag s En amont du projet il conviendrait n anmoins d associer les quatre p les la r flexion sur les objectifs de l valuation afin que la d marche autorise l int gration progressive des pr occupations et des int r ts de toutes les fili res concern es et motiv es par le projet 1 2 D finition des objectifs en coh rence avec le Projet d tablissement Nous avons vu que le choix d indicateurs pourrait opportun ment tre r alis dans le prolongement de l laboration du Projet d tablissement Les indicateurs doivent tre construits en parfaite coh rence avec les missions les buts et les objectifs op rationnels indiqu s dans ce document La cellule d valuation pourrait tre associ e au groupe de travail charg de la r daction du Projet d tablissement l issue du colloque interne intitul Quelle BPI en 2007 La r flexion sur les objectifs et celle sur les indicateurs seraient alors men es de concert Cette d marche nous semble particuli rement fructueuse car la m thode de s lection des indicateurs qui implique une d composition des processus et un aller retour permanent entre les ambitions politiques et les 155 Quel tableau de bord pour la BPI pratiques du terrain peut contribuer d finir les o
263. n des budgets et des logiciels de gestion publique plus facilement exploitables pour l valuation des biblioth ques qui s inscrit dans la d marche du contr le de gestion En effet les services financiers et administratifs gestionnaires des biblioth ques auront besoin dans le nouveau cadre impos par la r glementation d indicateurs techniques qui mesurent l activit biblioth conomique de leur c t les biblioth caires ont un besoin croissant d une meilleure tra abilit budg taire de leurs d penses les deux d marches sont donc amen es converger si l on veut effectivement mesurer la performance D ici l les responsables de l valuation des biblioth ques devront se contenter d exp dients ou faire preuve d imagination T Nouvelle approche budg taire et comptable ILLIEN Gildas DCB11 M moire d tude 2003 91 Quel tableau de bord pour la BPI Partie 2 Probl matique de l valuation la BPI Nous avons distingu l approche th orique et historique de l valuation de la proposition d application qui en est faite la BPI Cette distinction a pour objet de faciliter l utilisation de notre tude par les agents de l tablissement ces derniers pourront pratiquement isoler les pr conisations op rationnelles de leurs pr alables th oriques et m thodologiques Nous ne reviendrons donc pas sur les d finitions conceptuelles ni sur les exp riences d autres biblio
264. n succ s tr s visible en 2001 200 personnes ont t form es Internet lors de 42 s ances soit 4 5 personnes par s ance ce qui para t bien peu compar au million d entr es annuelles Les fonctions de recherche de signalement et de formation documentaires qui ont toujours t consid r es comme le c ur du m tier de 138 La directive pourrait en effet s appliquer aux panoramas de presse emp chant de facto la BPI de mettre en ligne les dossiers num ris s sur son site web Elle pourrait m me remettre en cause la mise disposition des dossiers dans les espaces de la biblioth que Ce n ologisme est employ pour d signer des pratiques de recherche documentaires en ligne de plus en plus r pandues Ces pratiques reposent sur l utilisation d outils d interrogation de type m tamoteur d un maniement tr s simple et dont Google est l exemple le plus connu 188 Quel tableau de bord pour la BPI biblioth caire font aujourd hui l objet de nombreuses interrogations Nous les avons regroup es sous l intitul de valeur ajout e documentaire car avec les fonctions de veille et de s lection elles regroupent un ensemble de t ches pr cises et de comp tences hautement qualifi es qui semblent pr cis ment remises en cause aujourd hui Dans ce contexte nous avons voulu proposer quelques pistes qui permettraient d objectiver les probl mes rencontr s et de mesurer leur volution dans
265. nationale et territoriale du d veloppement et des co ts de la lecture publique car les lus demandent souvent des donn es relatives l ensemble d un territoire c est donc l un des objectifs prioritaires du nouveau groupe de travail que de r ussir croiser les donn es des BM et des BDP cet chelon Pour cela ses membres doivent proposer une nomenclature statistique permettant d appr hender l activit des biblioth ques sur un territoire et pas seulement selon leur tutelle administrative Ils travaillent plus largement la construction d une typologie de r f rence des biblioth ques actuellement les seuils permettant de savoir partir de quelle taille et de quels moyens on peut dire d un tablissement qu il est une biblioth que sont mal d finis ce qui fausse sensiblement les Donn es de la DLL terme il est pr vu que la r flexion volue vers une r flexion plus approfondie sur les indicateurs de performance et les protocoles d valuation dans les biblioth ques publiques mais dans l imm diat l objectif se limite une nouvelle mise jour des questionnaires des rapports annuels La t che est assez lourde compte tenu de probl mes structurels li s aux fichiers et aux bases de donn es actuellement utilis s Sans entrer dans les d tails techniques qui font actuellement l objet de discussions complexes entre les membres du groupe de travail les associations professionnelles les
266. nche contrairement ce que l on observe dans d autres tablissements c tait aussi le cas dans l ancienne configuration de la BPI le compteur ne mesure pas les allers retours des lecteurs vers les sanitaires et la caf t ria ceux ci tant install s dans l enceinte de la biblioth que Le compteur est param tr pour g n rer des relev s hebdomadaires de fr quentation mais peut tre utilis selon d autres fr quences Les relev s sont en effet r alis s partir du cumul des entr es d compt es toutes les minutes Ils sont exploit s par la responsable du service tudes et recherche Fran oise 123 Quel tableau de bord pour la BPI Gaudet Celle ci communique chaque mois la direction une synth se pr sentant les caract ristiques de la fr quentation mensuelle compar e aux autres mois ou la m me p riode des ann es pr c dentes assortie de graphiques r alis s sous Excel courbes d volution ainsi que de commentaires explicatifs issus de son interpr tation des donn es Cette synth se est galement transmise la direction du Centre Pompidou et enregistr e sur l Intranet de l tablissement lisible par tous les personnels Les donn es mensuelles sont cumul es chaque ann e pour calculer la fr quentation journali re moyenne ainsi que le nombre total d entr es Le rapport d activit du service pr sente galement la courbe d volution de la fr quentation sur les 12 mois
267. nd on l applique des secteurs th matiques relativement homog nes Le calcul du taux global de consultation est inutile car il ne veut rien dire L valuation de la 134 Entretien avec Bruno B guet le 16 octobre 2002 177 Quel tableau de bord pour la BPI consultation des collections n a de sens que si elle s appuie sur des relev s fins et d taill s qui justifient la mise en uvre d un dispositif de collecte relativement lourd et co teux Une approche int gr e et multisupport de la collecte des donn es sur la consultation conduit examiner trois dispositifs compl mentaires le d nombrement informatique des imprim s au moyen du SIGB Best seller prototype test par Delphine Fanget le d nombrement informatique des ressources lectroniques au moyen du module statistique de Mmediaview dispositif existant qu utilisent la CBI et SLL le d nombrement des consultations et t l chargements distance de documents lectroniques au moyen du module statistique du site web Les deux premiers dispositifs concernent la consultation sur place et sont peu pr s op ratoires Le dernier concerne la consultation distance et n a pas encore t tudi par les responsables du site web de la BPI nous ne l voquerons pas directement ici car en l absence d une politique de diffusion documentaire clairement d finie pour le site web les indicateurs de consultation num rique recoupent ceux des vis
268. ndres Library Association Publishing Ltd 1993 MICHEL Jean et SUTTER ric Valeur et comp titivit de l information documentaire Paris ADBS 1988 MINIST RE DE LA CULTURE Direction du livre et de la lecture Biblioth ques municipales biblioth ques d partementales de pr t donn es 1999 Paris D L L 2001 MINIST RE DE L DUCATION NATIONALE Circulaire n 89 0709 du 24 mars 1989 sur la politique contractuelle publi e au Bulletin Officiel de l ducation nationale n 13 du 30 mars 1989 MINIST RE DE LA JEUNESSE DE L DUCATION NATIONALE ET DE LA RECHERCHE Sous direction des biblioth ques et de la documentation Annuaire des biblioth ques universitaires 2000 R sultats de l enqu te statistique g n rale aupr s des biblioth ques et services documentaires des tablissements de l enseignement sup rieur Paris La Documentation fran aise 2002 215 MOORE Nick Measuring the Performance of Public Libraries a draft manual Paris UNESCO 1989 POLL Roswitha TE BOEKHORTS Peter Measuring Quality International Guidelines for Performance Measurement in Academic Libraries Munich New Providence Londres Paris Saur 1996 IFLA Publications 76 POLL Roswitha Quality and Performance Measurement A German View British Journal of Academic Librarianship 1993 vol 8 p 35 47 POLL Roswitha Leistungsmessung in Wissenschaftlichen Bibliotheken Zeitschrift f r Bibliothekswesen und Bibliogr
269. nduit s int resser leur compl mentarit et parfois leur concurrence En d autres termes on est de plus en plus fr quemment amen les comparer Pour des raisons d chelle la BnF employait 2773 personnes en 2001 il nous est toutefois impossible de dresser un tat m me synth tique des lieux et des pratiques d valuation dans cet tablissement Nous avons donc choisi de privil gier l approche strictement strat gique telle qu elle nous a t pr sent e par Claire Vayssade charg e de mission la D l gation la strat gie rattach e la Direction g n rale de l tablissement Nous avons galement choisi de concentrer notre analyse sur trois outils d valuation utilis s la BnF dont la combinaison nous a sembl particuli rement pertinente la revue t d avancement le Projet d tablissement et le rapport d activit Ils seront 9 Entretien avec Claire Vayssade le 5 novembre 2002 29 BIBLIOTHEQUE NATIONALE DE FRANCE Projet d tablissement 2001 2003 Paris BnF 2000 BIBLIOTHEQUE NATIONALE DE FRANCE Rapport d activit 2001 Paris BnF 2002 ILLIEN Gildas DCB11 M moire d tude 2003 70 Quel tableau de bord pour la BPI pr sent s apr s un rapide examen des principales conditions techniques et humaines de collecte des donn es L existence d une D l gation la strat gie qui emploie six personnes est en soi une curiosit
270. ne mani re g n rale l valuation des co ts semble peu int resser les responsables des biblioth ques Quant celle des personnels elle demeure un sujet tabou L valuation des services offerts aux publics motive davantage les professionnels La satisfaction des usagers qui se mesure normalement au moyen d enqu tes ou de sondages est cependant prise en compte de fa on tr s empirique Faute de moyens humains et techniques les logiciels documentaires ne disposent g n ralement pas d un module statistique performant on observe g n ralement que plus la d marche d valuation est sophistiqu e moins elle est entreprise 7 GIRARD BILLON Aline GIAPPICONI Thierry 1997 Op cit 7 CARACO Alain Op cit p 125 gt GIRARD BILLON Aline GIAPPICONI Thierry 1997 Op cit p 80 Ibid p 81 ILLIEN Gildas DCB11 M moire d tude 2003 56 Quel tableau de bord pour la BPI Un premier enseignement de l enqu te est donc que malgr une sensibilisation manifeste au th me de l valuation les pratiques les moyens et les connaissances des responsables des biblioth ques dans ce domaine restent limit s De plus il nous semble que les pratiques recens es mesures d activit s tr s rarement mises en rapport avec des co ts ou des objectifs ces derniers n apparaissant pratiquement pas dans le questionnaire ne concernent pas l valuation proprement parler mais restent dans le sch ma tradi
271. ne refonte plus large du site Web dans son ensemble Distinguer les visites des entr es ou hits indicateurs utilis s intitul Requ tes moyennes journali res minimum Requ tes moyennes journali res maximum Requ tes moyennes journali res sur l ann e Requ tes totaux mensuels minimum Requ tes totaux mensuels maximum Requ tes moyenne mensuelle sur l ann e Mode de Exemple de valeur Que mesure t il Est il crois avec calcul d autres 11 191 en Janvier E Requ tes totaux annuels 5 420 425 22 434 en mars 539 844 en avri 188 024 en f vrier Commentaires questions suggestions Nombre minimum de pages vues chaque jour Le nombre de visites et les donn es de l an pass Le nombre de visites et les donn es de lan pass Nombre maximum de pages vues chaque Jour Le nombre de visites et les donn es de l an pass Nombre moyen de pages vue chaque jour Le nombre de visites et les donn es de l an pass Nombre minimum de pages vues chaque mois Nombre maximum de pages vues chaque mois Le nombre de visites et les donn es de l an pass Le nombre de visites et les donn es de lan pass Nombre moyen de pages vues chaque molis Le nombre de visites et les donn es de l an pass Nombre total de pages vues dans l ann e Mode de Exem
272. nent en compte les sp cificit s de l tablissement qui ont trait son mode de fonctionnement ses missions et sa culture L tude s est attach e faire merger des solutions partir de la structure des comp tences et des outils existants plut t que d imposer un appareil technique labor l ext rieur de l tablissement De fait la liste reste incompl te et les indicateurs retenus ne sont pas forc ment satisfaisants d un point de vue intellectuel Ils semblent n anmoins applicables et pertinents compte tenu des contraintes propres la BPI Notre travail s ach ve l o celui des agents de la BPI commence Il revient en effet la direction de pr ciser ses missions et ses buts en concertation avec sa tutelle Les services et les p les devront de leur c t pr ciser leurs objectifs op rationnels en fonction des chantiers futurs et de l analyse qu ils feront de l organisation de leurs t ches de leurs probl mes de leurs priorit s La r alisation de ce projet implique des choix politiques et techniques des investissements en formation et en informatique et une mobilisation des quipes indissociable du travail de communication interne que les tableaux de bord visent prioritairement am liorer Elle s inscrit opportun ment dans le calendrier de la BPI et constitue un chantier compl mentaire et non concurrent de l laboration du Projet d tablissement Notre r ponse l
273. nformatique On observe un relatif cloisonnement entre personnels biblioth caires et personnels administratifs qui ne facilite pas la circulation des informations de ce type De plus le budget des biblioth ques qui dans sa pr sentation la plus courante ne distingue g n ralement qu une ligne documentaire du reste des charges de fonctionnement souvent imput es la collectivit qui h berge la biblioth que n inclut pas non plus la plus grande partie des charges de personnels celle qui concerne les agents titulaires La situation varie naturellement selon que l on est dans une collectivit territoriale ou dans une collectivit relevant de l tat mais qu il s agisse des charges de personnel ou des charges de fonctionnement il est le plus souvent n cessaire de se livrer des calculs complexes et de solliciter les services financiers des tutelles si l on veut recomposer le co t r el et total de la biblioth que Lorsque l on parvient l obtenir l on s en tient g n ralement ce chiffre global qui suffit calculer les indicateurs les plus courants tels que le co t par usager ou par entr e une analyse plus fine de la performance des services ou des fonctions ne peut se contenter de ces grandes masses budg taires et sous ILLIEN Gildas DCB11 M moire d tude 2003 90 Quel tableau de bord pour la BPI ensembles approximatifs que si l on sait prendre en compte les amortissements e
274. ng res ou le Haut de jardin de la BnF pourraient n anmoins s av rer utiles dans certains domaines tels que la consultation des collections ou les services distance En ce cas il pourrait tre judicieux de conduire une analyse externe parall lement la r flexion interne en maintenant des contacts r guliers avec des interlocuteurs d autres tablissements Cette phase d analyse des besoins et de s lection des indicateurs est concevoir comme une p riode de sensibilisation des esprits et de maturation des id es Elle est indispensable l adh sion des personnels et la diffusion des connaissances internes Les agents de la cellule d valuation auront sortir de leurs champs d expertise respectifs et recueillir l avis et les suggestions d un grand nombre de personnes C est pourquoi cette tape devrait pouvoir 122 ISO 11620 Op cit p 5 156 Quel tableau de bord pour la BPI s organiser sur une p riode jalonn e d ch ances mais relativement longue il serait en effet risqu de se pr cipiter vers les outils 1 3 Choix des proc dures de collecte et d un outil informatique Le choix des indicateurs implique d j que l on arbitre en amont de la d cision entre diff rents dispositifs de collecte des donn es Les crit res d applicabilit et de co t devront en effet carter certains dispositifs s duisants mais trop on reux D autres priorit s auront au contraire fait
275. nstructions Pour Val rie Alonzo les changements politiques cons cutifs aux derni res lections municipales et le projet de d concentration introduisent un contexte nouveau la fois pour la relance des constructions et pour la modernisation des statistiques des biblioth ques du r seau En effet un dialogue s est instaur avec les lus d arrondissement ces derniers manifestant souvent le souhait d am liorer le dispositif local de lecture publique La mise en place de politiques culturelles de proximit rend n cessaire la cr ation d outils plus performants pour communiquer avec les lus et le cas ch ant 3 DELANO Bertrand Communication sur les orientations de la politique budg taire de la Ville et du d partement de Paris pour 2003 28 octobre 2002 Source site internet de la ville de Paris communications du maire au Conseil de Paris lt http www paris France org FR La_Mairie declarations_maire_conseil default htm gt consult le 06 12 2002 Entretien avec Val rie Alonzo le 30 octobre 2002 ILLIEN Gildas DCB11 M moire d tude 2003 66 Quel tableau de bord pour la BPI clairer les d bats et les arbitrages relatifs la construction ou la modernisation d quipements Si la r alisation du projet pr par par Val rie Alonzo reste conditionn e l obtention de moyens suppl mentaires il nous a paru int ressant d en pr senter la d marche et les probl matiques Le disp
276. nt des volutions profondes de la culture professionnelle elle rev t une forte dimension politique laquelle il convient d tre attentif Atypique par son statut la BPI int resse potentiellement tous les acteurs que nous avons identifi s dans la mesure o elle est un tablissement public rattach au minist re de la Culture qui participe la vie des associations professionnelles et souhaite par ailleurs nouer des liens privil gi s avec d autres tablissements dans le cadre de sa politique de coop ration nationale Il est donc important que ses responsables connaissent le contexte politique et administratif au sein duquel d ventuelles initiatives dans le domaine de l valuation pourraient tre accueillies Nous avons souhait compl ter ce panorama en voquant l exp rience de deux tablissements qui ont en commun d avoir d velopp une d marche d valuation relativement labor e mais qui pose des probl mes d application Il s agit d abord du r seau des biblioth ques de la Ville de Paris qui accueille des publics dont les caract ristiques recoupent en partie celles du public de la BPI bien que l architecture de ce r seau soit fondamentalement diff rente et de fait compl mentaire du grand quipement de la BPI on peut tirer de cet exemple quelques enseignements int ressants pour notre tude de cas La probl matique de l valuation la Biblioth que nationale de France se pose en des
277. ntenance Taille du document 8 pages 7 pages d annexes Plan du document Service Equipement et Maintenance pr sentation g n rale Interventions du service 1 25 rue du Renard 2 BPI CNAC GP 3 Des choses et d autres 4 Relations ext rieures 5 Relations avec les autres services de la BPI Annexes organigramme 2001 liste du mat riel multim dia g r par le service formations 2001 tat budget fonctionnement 2001 du service Donn es vocabulaire mots cl s 13 personnes dont 5 magasiniers 6 techniciens de maintenance audiovisuelle 2 sites 280 bureaux 13 km de rayonnages 2200 places de lecture 220 postes audiovisuels multim dias 62 lecteurs microfilms loges malvoyants 4 robots juke box mat riel et banc de montage audiovid o Logistique mat riel et fournitures signal tique hors Informatique Suivi des travaux Stores c blage si ges petit mat riel repose pieds porte manteau calculatrices fax armoires tables moquette peinture des murs balance courrier magn toscopes perforeuse cisaille lecteurs DVD vacuation des encombrants rayonnages joues but es de tablettes renforts de tablettes tablettes pi tements de chaises horloges poubelles loges malvoyants insonorisation cloisons bornes sensormatic chauffeuses magasins des bureaux techniques lecteurs de microfilms casques crans vitrines sismographie monte charges porte coupe feu pare chocs couloirs serrures gants bacs en p
278. nterminist riel et au sein de chaque minist re une quipe de conduite de projet Bien qu loign es et souvent peu inform es du mouvement qui s est engag la t te de l tat les biblioth ques et les tablissements publics nationaux comme la BPI ou la BnF en premier lieu sont concern es par cette r forme Au del des applications directes dont quelques unes conna tront moyen terme les effets elles ne peuvent rester trang res au changement culturel qui devrait se r pandre dans bon nombre de collectivit s et d universit s L appareil m thodologique que nous avons d crit est plus que jamais d actualit dans les tablissements et d autant plus que le calendrier de la r forme est particuli rement serr les 5 COUR DES COMPTES Rapport sur l ex cution des lois de finances en vue du r glement du budget de l exercice 2001 suivi des r ponses des administrations Paris Cour des comptes 2002 p 119 ILLIEN Gildas DCB11 M moire d tude 2003 43 Quel tableau de bord pour la BPI minist res de la Culture et de l ducation travaillent d s pr sent l laboration d indicateurs destin s rendre compte de la performance de l ensemble de leurs services notamment les biblioth ques Dans deux ans pour le projet de Loi de finances de 2005 le Gouvernement devra en effet pr senter la liste des missions des programmes et des indicateurs de performance associ s chacun de ces
279. ocuments tant catalogu s dans Best Seller il existe n anmoins une coh rence dans la description bibliographique de toute la collection le croisement des crit res cote CDU et support permet de regrouper peu pr s tous les documents formant un ensemble th matique relativement pr cis et homog ne Mais les nomenclatures documentaires utilis es couramment au niveau des modules statistiques de Best Seller et de Mmediaview ne concordent pas Il faudrait donc que les utilisateurs des deux bases tablissent des correspondances et une nomenclature statistique unique afin d analyser dans les m mes termes la structure de l offre et celle de la consultation des imprim s et des ressources lectroniques Pour la gestion des services et des espaces l unit du secteur correspond peu ou prou l implantation des documents imprim s ou analogiques et des bureaux d accueil sp cialis s les livres traitant des sciences sont rang s dans le secteur 5 ainsi qu l installation des acc s aux documents lectroniques les sites Internet et les c d roms scientifiques ne sont accessibles que dans le secteur 5 183 Quel tableau de bord pour la BPI Le d coupage des espaces en fonction des secteurs fournit donc un cadre d analyse qui convient aux besoins de la r gie des espaces du service informatique ou des agents charg s de l organisation des plannings En effet si les chiffres de la consultation par sec
280. oix des indicateurs L interpr tation des donn es de la consultation peut se faire deux niveaux Le premier qui concerne la gestion des services aux publics peut se contenter des grandes masses de consultation par secteur de la biblioth que sans entrer dans la caract risation d taill e de ce qui est consult Le second propre la politique documentaire repose sur une analyse plus approfondie prenant en compte tous les crit res pertinents afin d analyser dans le d tail la structure de la consultation et de la comparer celle de l offre Nous examinerons successivement ces deux types d exploitation qui concernent aussi bien les donn es relatives aux imprim s mesur es par Best Seller que celles concernant les documents lectroniques mesur es par Mmediaview Pr alablement nous pr ciserons quelles harmonisations sont n cessaires pour pouvoir agr ger les donn es relatives aux diff rents supports La terminologie employ e la BPI pour d signer un ensemble de documents varie en fonction des supports et de la profondeur de pr sentation ou d analyse de l offre documentaire L agr gation de donn es concernant les documents imprim s analogiques et lectroniques implique que l on proc de des recoupements entre les diff rentes cat gories utilis es afin d viter les doublons et d assurer la couverture statistique de la totalit de l offre et de la consultation Un secteur est une unit spati
281. olonne l extr mit droite du tableau du service Les donn es sont ensuite pr sent es sous forme de pourcentages et de graphiques utilis s chaque mois dans les r unions pour rendre compte de la politique suivie et des difficult s rencontr es Gr ce cet outil le service informatique est le seul de la BPI qui soit en mesure de dire pr cis ment quelles activit s ses ressources internes sont employ es et pouvoir montrer de fa on tangible quels obstacles il se heurte Il a pu par exemple attirer l attention de la direction et des autres services sur le fait que la gestion des probl mes de s curit li s Internet occupait une trop grande part de l activit de ses agents au d triment du suivi des projets Cette d marche a permis de provoquer un certain nombre d actions et de d cisions visant responsabiliser les lecteurs comme les personnels afin de r duire les pratiques sources de dysfonctionnements De la m me fa on le tableau du service a r v l que le temps consacr au d veloppement personnel tait nettement insuffisant compte tenu du secteur d activit concern qui exige une mise niveau constante des connaissances ce constat a permis d appuyer des demandes de formation pour les agents du service Cette m thode sert galement structurer les rapports entre le service informatique qui se d finit comme service prestataire ou ma tre d ouvrage et les autres services qui sont l
282. olutions pragmatiques adapt es l organisation complexe de la BPI il y avait urgence proposer des pistes concr tes c est ce que nous avons tent de faire sans toujours avoir la possibilit de nous appuyer sur les r alisations d tablissements comparables La t che s est av r e d autant plus complexe que la BPI est un tablissement vocation nationale dont le mode de fonctionnement est atypique Biblioth que de consultation elle ne dispose en effet d aucune statistique de pr t ou d inscription contrairement la plupart des autres biblioth ques Anonymes et nombreux ses ILLIEN Gildas DCB11 M moire d tude 2003 10 usagers chappent aux protocoles de l valuation qui s appuient habituellement sur l tude de publics captifs L organisation des services laquelle notre tude a accord une attention particuli re ne peut tre valu e finement en l absence d une approche segment e des publics et de leurs attentes De plus la mise en uvre de tableaux de bord dans cet tablissement implique que l on s int resse sa culture aussi bien qu sa structure Or ces derni res se caract risent par une dispersion et une dilution des responsabilit s que vient contrecarrer une forte revendication d autonomie de la part des personnels Dans ces conditions notre tude ne pouvait se limiter la recherche de solutions techniques elle impliquait d analyser les circuits
283. omplexes ou longues par rapport au nombre total Nous avons imagin une repr sentation graphique de ces r sultats partir d un plan simplifi de la BPI Cette exploitation cartographique des donn es de la semaine test sera voqu e dans la derni re partie et est illustr e en Annexe 3 un niveau plus g n ral celui du tableau de direction on pourra agr ger l ensemble des donn es pour rapporter le nombre de questions pos es au nombre d entr es sur un jour ou un an l indicateur obtenu correspondra alors au nombre de questions pos es par lecteur entr e de la biblioth que En conclusion sur ce point il convient de pr ciser que si la typologie des questions pos es pose autant de difficult s la BPI cela tient deux facteurs Le premier n est pas propre la BPI mais tient davantage l histoire des biblioth ques et des pratiques culturelles en France Contrairement ce que l on observe dans les pays anglo saxons ou germaniques la notion de question de r f rence de service d information de r f rence ou de biblioth caire de r f rence Reference Librarian n est pas tr s r pandue et elle est souvent mal comprise dans les biblioth ques publiques De fait nos coll gues britanniques ou am ricains ont les plus grandes difficult s comprendre pourquoi les normes internationales propos es dans ce domaine ou la notion m me de question correcte posent probl me aux bibli
284. on Le premier est un des indicateurs que calcule d j le service SLL mais auquel on pourrait accorder une plus grande visibilit il s agit de la part de la consultation des m thodes d apprentissage du fran ais langue trang re FLE l Autoformation La gestion automatis e sous Mmediaview des r servations de postes de consultation ainsi que des documents r serv s permet d obtenir en continu des donn es tr s fines sur la consultation des m thodes de FLE Pour chaque document ou chaque poste on conna t le nombre de sessions le temps total des sessions et on peut les rapporter au nombre total de sessions ou au temps total d ouverture du service Actuellement la part de la consultation du FLE est de plus de 60 ce qui est un indicateur tangible de la mission d int gration que remplit la BPI en mettant disposition des publics trangers les moyens d apprendre gratuitement le fran ais Il est cependant impossible de rapporter cette activit une population de r f rence Le second indicateur 169 Quel tableau de bord pour la BPI mesure davantage le r le de passeur que joue la BPI entre culture d origine et culture fran aise Alors que la mesure de la consultation de la presse p riodique imprim e est impossible r aliser celle de la presse en ligne est tr s simple valuer Comme l offre de presse g n rale trang re en ligne est abondante et diversifi e on dispose gr ce Mmed
285. on technique incombe aux agents charg s des grilles au sein du service de l Accueil des publics Alors que le service public repr sente un tiers du temps de chaque agent de la fili re biblioth que il se caract rise par des dysfonctionnements et des in galit s que l tude d organisation r alis e par le cabinet COACHING GROUP a mis en vidence Certes la r organisation en cours pr voit la r union des comp tences qui ont trait la gestion des ressources humaines actuellement dispers es dans l organigramme De plus les consultants de COACHING GROUP ont proc d une analyse d taill e des activit s conduites par tous les agents dans l ensemble des services ils ont r dig un r f rentiel tr s complet des t ches et des emplois L objectif des actions engag es est d aboutir une gestion pr visionnelle des emplois et des comp tences Pourtant le dispositif actuel ne permet pas d obtenir ais ment les informations quantitatives et qualitatives n cessaires la r alisation d indicateurs pertinents Pour exprimer en chiffres les co ts humains engag s dans la r alisation d un projet ou le fonctionnement d un service il est en effet n cessaire de s appuyer sur des donn es fiables et r guli rement actualis es exprimant la fois le volume d heures travaill es et le degr de qualification des agents impliqu s correspondant aux cat gories de personnels et aux r mun rations aff r
286. on des biblioth ques est source de d penses nouvelles et les pousse mieux valuer les co ts que leur activit engendre les nouveaux statuts de 1985 donnent par ailleurs aux tablissements une plus grande autonomie et les conduisent mieux d finir leurs objectifs dans la perspective de la f d ration des ressources documentaires et de leur int gration l universit pour contrebalancer ce renforcement de leur autonomie l administration centrale se lance en 1984 dans la politique contractuelle qui donne naissance aux contrats d tablissements dont l application est g n ralis e en 1989 Enfin parall lement aux contrats d tablissement on assiste la mise en place progressive des contrats tats R gions qui vont pr voir des investissements importants en mati re de biblioth ques universitaires De ces bouleversements dans l organisation des BU il faut retenir un changement majeur pour la gestion des tablissements L attribution de moyens ne se fait plus seulement selon des crit res norm s lecteurs potentiels disciplines desservir Les proc dures contractuelles doivent tre p riodiquement soumises valuation par les partenaires et 56 Voir Circulaire n 89 0709 du 24 mars 1989 sur la politique contractuelle publi e au Bulletin Officiel de l ducation nationale n 13 du 30 mars 1989 ILLIEN Gildas DCB11 M moire d tude 2003 46 Quel tableau de bord pour la BPI n ce
287. on ne puisse faire l conomie d un travail de contextualisation et de d finition compte tenu du caract re technique et relativement r cent de la d marche d valuation dans les biblioth ques fran aises Cette pr sentation se veut une forme d atelier introductif qui permettra au lecteur de s approprier les termes cl s dont il sera question ensuite 1 1 La terminologie de l valuation des termes tranges mais normalis s L valuation des politiques publiques fran aises s appuie sur un ensemble de concepts et d outils dont la plupart ont t import s des pays anglo saxons Dans ce secteur le moins que l on puisse dire est que la langue fran aise n a gu re eu l occasion de s illustrer Si l on s en tient au domaine d application des biblioth ques on observe en effet que les experts fran ais ont davantage fait porter leurs efforts sur l adaptation de d marches et la traduction de termes utilis s par leurs coll gues britanniques ou am ricains que sur des propositions v ritablement originales qui auraient pu g n rer une terminologie propre On peut regretter cet tat de fait qui a pour cons quence de donner l ensemble du vocabulaire de l valuation une coloration parfois trange et de toute fa on trang re la ILLIEN Gildas DCB11 M moire d tude 2003 14 Quel tableau de bord pour la BPI distinction subtile et n anmoins essentielle entre le terme d efficience et
288. onale le passage progressif d une culture des statistiques une culture de l valuation partir du milieu des ann es 80 est porter au cr dit des associations professionnelles anglo saxonnes et des organisations de normalisation internationales 36 Pierre Carbone et Thierry Giappiconi donnent la d finition suivante du benchmarking II s agit en fait de se r f rer aux meilleurs usages m thodes et proc dures dans le but d am liorer le fonctionnement des services de sa propre biblioth que Avec le benchmarking la biblioth que adopte en quelque sorte un point de vue externe sur elle m me GIAPPICONI Thierry CARBONE Pierre Op cit p 226 ILLIEN Gildas DCB11 M moire d tude 2003 33 Quel tableau de bord pour la BPI 2 1 1 Les origines anglo saxonnes de l valuation Des travaux de recherche dans le domaine de l valuation des biblioth ques ont t conduits dans les ann es 70 aux tat Unis en particulier mais ce n est qu une dizaine d ann es plus tard que les professionnels am ricains et britanniques sont pass s au stade de l application D abord exp rimentale la pratique de l valuation s est tr s rapidement r pandue gr ce la publication de manuels qui sont l origine des travaux de normalisation lesquels dans les ann es 90 ont permis d harmoniser les pratiques et la terminologie Les Am ricains ont t les premiers publier ce type de manuels qui ont d
289. ondements th oriques et m thodologiques ont t pos s il revient aux professionnels de passer l acte d exp rimenter et de mettre en uvre Il ne s agit plus de sensibiliser et d expliquer mais de faire Soucieux d appuyer notre r flexion sur des comptes rendus d exp riences nous n avons cependant rencontr que des praticiens eux m mes la recherche d autres praticiens qui auraient enfin r ussi mettre en uvre une vraie politique d valuation et construire des indicateurs et des tableaux de bord Les professionnels sont en qu te d exemples et de mod les alors que les sp cialistes s accordent dire qu il n en existe pas il revient chaque tablissement d laborer son propre dispositif d valuation en fonction de ses objectifs et de ses contraintes De toute vidence le passage de la th orie la pratique ne se fait pas sans difficult s De plus l valuation est rarement per ue comme une priorit alors que le monde des biblioth ques est confront des mutations profondes Cela tient aux sp cificit s du contexte fran ais et son histoire administrative que nous avons souhait confronter aux exp riences trang res afin de mieux comprendre cette singularit souvent assimil e tort un retard Notre propre exp rimentation au cas de la BPI s est donc apparent e la recherche parfois p rilleuse d un quilibre entre le respect des normes et la recherche de s
290. onduire et valuer la politique documentaire et les services des biblioth ques de service public Paris Electre ditions du Cercle de la librairie 1997 Biblioth ques GIAPPICONI Thierry De la biblioth conomie au management subordonner la gestion aux missions Bulletin des biblioth ques de France t 43 n 2 p 26 34 GIRARD BILLON Aline Les biblioth ques Paris une nouvelle approche des statistiques Bulletin des biblioth ques de France 2000 t 45 n 1 p 13 19 214 GIRARD BILLON Aline GIAPPICONI Thierry L valuation dans les biblioth ques publiques fran aises Bulletin des biblioth ques de France 1998 t 43 n 1 Guide des BDP ADBDP 1993 HERNON Peter Service Quality in Academic Libraries NJ Alex Publishing Corporation 1995 ISO Association internationale de normalisation Information et documentation indicateurs de performance des biblioth ques ISO 11620 Gen ve ISO 1998 ISO Association internationale de normalisation Quality Management and Quality System Elements Part 2 Guidelines for Services ISO 9004 2 Gen ve ISO 1994 KING RESEARCH LTD Keys to Success Performance Indicators for Public Libraries a Manual of Performance Measures and Indicators Londres HMSO 1990 KUPIEC Anne Dir Biblioth ques et valuation Paris Electre ditions du cercle de la librairie 1994 Biblioth ques LANCASTER F Wilfrid f You Want to Evaluate Your Library Lo
291. onstituer un centre de recherche documentaire en liaison avec les autres centres biblioth ques et tablissements culturels 105 Entretien avec G rald Grunberg le 7 octobre 2002 D cret n 76 82 du 27 janvier 1976 portant cr ation de la Biblioth que publique d information 109 Quel tableau de bord pour la BPI Nous avons d j abord la question du libre acc s qui pour novatrice qu elle ait pu para tre lors de la fondation de la BPI n en demeure pas moins une modalit de fourniture des documents et non une mission proprement parler La notion d actualit est plus riche dans son ambigu t car elle d signe tout la fois une caract ristique de l offre et une sp cificit forte de son traitement documentaire qui conduit l limination au d sherbage des collections domaine dans lequel la BPI a jou un r le pr curseur ce qui est actuel ne peut le demeurer ind finiment La mission de conservation dont le d cret d charge implicitement la BPI lui donnait l poque une singularit tr s forte par rapport aux autres biblioth ques ne pas conserver mais faire vivre et donner conna tre donner savoir voil sans doute une premi re manifestation de la dynamique qui allait s imposer dans les autres biblioth ques publiques elle allait conduire passer d une logique de pr servation des documents une logique de fourniture de services placer l usager et non l
292. ontr le valuation inspection Revue fran aise d administration publique 1993 n 65 p 101 110 V SUR LES SYST MES D INFORMATION G OGRAPHIQUES ET LA GEOMATIQUE ARONOFF Stanley Geographic Information Systems a Management Perspective Ottawa Ontario WDL Publications 1989 CLARAMUNT Christophe LARDON Sylvie SIG et simulations Revue internationale de g omatique 2000 t 10 n 3 p 1 18 DELRUE Laure Les syst mes d information g ographique un nouveau service pour les biblioth ques de recherche M moire d tude Enssib Villeurbanne cole nationale sup rieure des sciences de l information et des biblioth ques 2002 LE TOURNEAU C Un syst me d information g ographique Mise en uvre dans le cadre d une biblioth que d partementale Bulletin des biblioth ques de France 2000 t 45 n 6 p 77 81 TH RIAULT Marius Les SIG entre le mythe et l utopie Journ es d tudes SIG et Gestion des sols potentialit s et limites d application Lausanne Institut d am nagement des terres et des eaux et Soci t suisse de p dologie 1992 TH RIAULT Marius CLARAMUNT Christophe La repr sentation du temps et des processus dans les SIG une n cessit pour la recherche interdisciplinaire Revue internationale de g omatique 1999 t 9 n 1 p 67 99 Table des annexes ANNEXE 1 R PERTOIRE DES INDICATEURS UTILIS S DANS LES RAPPORTS D ACTIVIT DES SERVICES DE LA BPI sn I ANNE
293. ositif actuel pr sente les caract ristiques suivantes les statistiques proviennent du SIGB G ac qui fournit des donn es mensuelles annuelles et ponctuelles relatives aux pr ts aux acquisitions et aux inscriptions de comptages mensuels et annuels r alis s localement par les biblioth ques du r seau portant notamment sur la fr quentation les animations et les visites de groupes scolaires et des donn es cartographiques et d mographiques fournies par l Agence parisienne d urbanisme APUR sur la base d informations recueillies par INSEE lors des recensements L ensemble de ces donn es est centralis par la mission valuation et prospective charg e de leur exploitation et de leur pr sentation Le traitement statistique est r alis sous Excel et est assez lourd Il implique en effet de d coder les donn es extraites de G ac de ressaisir celles qui proviennent d autres sources puis de mettre en relation ces diff rents l ments Ce travail repr sente environ quatre jours de traitement chaque mois Les statistiques obtenues sont des indicateurs classiques qui mesurent l activit de mani re principalement quantitative nombre de pr ts d inscrits ratios par habitant viennent compl ter les chiffres relatifs aux acquisitions aux personnels aux horaires d ouverture Le traitement des donn es donne lieu des pr sentations diff rentes correspondant aux besoins des interlocuteurs internes ou externes
294. oth caires fran ais Le second facteur explicatif est li la composition du public de la BPI Lorsqu un public est captif dans une biblioth que universitaire par exemple les questions d orientation dans les espaces et de localisation des documents se posent g n ralement au d but de l ann e universitaire pour les nouveaux arrivants En cours d ann e les lecteurs ne posent plus ce type de question car ils connaissent le b timent et le fonctionnement des services D s lors leurs questions aux biblioth caires sont essentiellement des questions de r f rence correspondant la discipline qu ils tudient et la section de la biblioth que qui traite de cette sp cialit Ce mode de fonctionnement et de relations entre usagers et professionnels n est naturellement pas envisageable la BPI o tout moment et dans n importe quel bureau on vous demandera le chemin des toilettes le mode d emploi des serveurs d impression ou les modalit s d acc s Internet 192 Quel tableau de bord pour la BPI Qu en est il des r ponses distance Nous avons d crit le dispositif mis en place par le service des RADIS Il reste s interroger sur les indicateurs synth tiques qui permettraient de rendre compte de leur activit et voir si une articulation hybride est possible avec le d compte des questions sur place Compte tenu du fait que le d nombrement des questions et r ponses trait es a
295. ou de service distance sans que l on puisse clairement d partir deux usages qui n ont pourtant pas les m mes implications Le probl me est ancien et s est pos d s le d but des ann es 80 lorsque la BPI a mis disposition de ses publics un nombre croissant de services par t l phone puis par minitel Dans une tude c l bre Jean Fran ois Barbier Bouvet a examin les usages distants de la biblioth que bien avant l arriv e d Internet Aujourd hui la crise de l gitimit que traversent bon nombre de biblioth ques am ricaines a conduit les professionnels d outre Atlantique mettre en place une nouvelle comptabilit de la fr quentation qui nous para t discutable Certes il faut appr cier ces pratiques l aune d une situation devenue critique la fr quentation des biblioth ques universitaires am ricaines est en chute constante depuis quelques ann es alors que la consultation de leurs catalogues et de leurs ressources en ligne est en hausse continue Prendre acte de ce d placement des pratiques du pr sentiel vers le distantiel est une mani re de d montrer aux autorit s que la biblioth que continue de remplir pleinement ses missions et qu il faut continuer la subventionner Toutefois cette d marche conduit agr ger des donn es peu comparables Ainsi le projet de rapport technique relatif aux services lectroniques des biblioth ques envisage d utiliser un indicate
296. ouvelle note a t adress e auxc chefs de service en octobre 2002 afin de pr parer la r daction du rapport annuel 2002 M On pourra consulter les deux derni res ditions de ce rapport BPI Rapport d activit 2000 BPI Rapport d activit 2001 104 Quel tableau de bord pour la BPI L laboration de tableaux de bord se trouve la convergence de contraintes politiques externes et internes Bien que la direction ne pr sente pas cette demande comme prioritaire sans doute parce qu elle ne rev t pas le m me caract re d urgence que les pr occupations internes la n cessit de rendre compte plus syst matiquement et diff remment l tat constitue l galement et administrativement le premier motif d valuation En effet le ministre de tutelle a r cemment r affirm son attachement une double d marche qui concerne la fois le renforcement de l autonomie des tablissements publics et du dispositif d valuation les concernant tablissement public national caract re administratif la BPI est concern e au premier chef par la Loi organique du 1 ao t 2001 Les d crets d application de cette loi seront pr ts en 2004 et devraient conduire l tablissement conform ment aux recommandations de son minist re de tutelle modifier le cadre de pr sentation de ses objectifs et de ses r sultats La mise en place d un contrat d objectifs entre l tat et la BPI justifie l laboration de son Projet
297. oyens budg taires Malgr des initiatives isol es particuli rement prometteuses et une dynamique engag e pour am liorer la gestion des temps et des plannings la situation actuelle complique plut t qu elle ne facilite la mise en uvre d une d marche d valuation la BPI Pour ce qui concerne les personnels l tablissement souffre en effet d un cloisonnement des fonctions de gestion administrative traitements affectations mouvements internes promotions et de gestion des comp tences identification des ressources et des lacunes valuation du travail r alis plans de formation Les fiches et profils de poste sont flous ou ne correspondent pas toujours la r alit des t ches effectu es Il est significatif que des applications informatiques et des bases de donn es relatives aux personnels existent des niveaux diff rents de la biblioth que Par exemple le service formation g re une base sous Acces qui permet d assurer le suivi des formations dont les agents ont b n fici mais elle n est pas reli e au fichier des personnels Il manque une m moire institutionnelle et des outils automatis s qui permettraient de retracer les carri res et les parcours internes des agents et de localiser les 146 Quel tableau de bord pour la BPI expertises les savoir faire les probl mes Cette situation refl te et renforce les difficult s qui ont trait l organisation du service public dont la gesti
298. pace ou du territoire desservi la densit les flux ou les caract ristiques de la population d usagers des outils qui se sont av r s tr s pertinents la BPI Pour chacune des fonctions et l int rieur de chaque service d crits par les indicateurs on pourra se demander si l action est efficace efficiente pertinente On pourra par ailleurs proposer des indicateurs transversaux qui agr gent les donn es de ces diff rents ensembles tout d pendra des niveaux de responsabilit concern s prioritairement par l valuation c est dire de l architecture g n rale qu on aura choisie pour les tableaux de bord de l tablissement 1 3 4 Les tableaux de bord outils de synth se et de d cision Ces diff rentes strates conceptuelles et instrumentales nous conduisent assez naturellement l objet principal de notre tude qui contient et combine toutes les notions voqu es jusqu ici Un tableau de bord est en effet un document r alis partir d une s lection et d une combinaison pertinentes d indicateurs pour parvenir des fins d termin es Sa pr sentation est tr s importante et inspire nos auteurs bien des m taphores Marc Maisonneuve la qualifie de synoptique Thierry 28 cet gard on ne peut que recommander la lecture et l exploitation du document suivant DIRE D legation interminist rielle la r forme de l tat Le contr le de gestion dans les administration
299. par le service informatique et la CBI coordination 102 Quel tableau de bord pour la BPI biblioth conomique et informatique sur l valuation de la consultation du catalogue 2 R sultats de l analyse de l existant probl matique g n rale de l valuation la BPI Notre diagnostic suit le cadre d analyse et de r f rence pr sent en conclusion de la premi re partie qui distingue les aspects politiques humains techniques et conomiques Pour chacun des points de vigilance voqu s dans ce cadre nous dresserons un tat des lieux des handicaps et des atouts de la BPI 2 1 Une marge de man uvre politique troite mais r elle 2 1 1 tat des lieux Depuis son arriv e la BPI G rald Grunberg a pris plusieurs d cisions qui d montrent l int r t qu il porte l valuation La plus significative de ces mesures est la demande formul e officiellement dans une note aux chefs de service de remettre chaque ann e un rapport d activit la direction En donnant cet exercice un caract re obligatoire le directeur a souhait faciliter le travail de synth se qu implique la r daction du rapport annuel de la BPI mais aussi sensibiliser l encadrement la n cessit de rendre compte de toutes les activit s de la biblioth que Les notes adress es individuellement chacun des chefs de service indiquent une trame de r daction commune structur e autour des points suivants points fo
300. pl ter la lecture des ouvrages th oriques des normes et des documents techniques par des entretiens avec leurs auteurs qu il s agisse de professionnels de la BPI ou d experts et de praticiens ext rieurs l tablissement Cette d marche visait revenir aux sources de l information afin de mieux la comprendre de la v rifier et d en faire valider notre propre interpr tation Elle a galement permis de glaner quelques comptes rendus d exp riences peu connus et de s appuyer sur des faits ou des d veloppements qui n ont pas encore fait l objet de publications ce m moire n apporte pas de contribution th orique mais s attache rendre compte de l actualit fran aise et internationale de la recherche dans le domaine de l valuation des biblioth ques En second lieu il convient de pr ciser que l analyse que nous proposons du mode de fonctionnement de la BPI s inspire de la sociologie des organisations Il existe en effet une continuit intellectuelle entre cette discipline et l approche syst mique qui caract rise le management strat gique ainsi que les fondements th oriques de l valuation L analyse de la d cision a fait l objet de nombreux travaux que l on doit des sociologues des organisations notamment dans le domaine des politiques publiques La m thode qui consiste distinguer les diff rents acteurs qui interviennent dans une biblioth que personnels encadrement usagers
301. plan d action pour l valuation dont l ch ance a t r cemment fix e par la direction la fin de l ann e 2003 1 La d marche pr conis e L analyse de l existant conduit formuler les recommandations suivantes Les missions et les objectifs de la BPI ont besoin d tre pr cis s dans le cadre du Projet d tablissement Les comp tences identifi es gagneraient tre valoris es et coordonn es au sein d une structure d expertise et de pilotage reconnue par les instances de direction et relay e par les services Le dispositif d valuation ne sera efficace que s il repose sur une forte implication des quipes et s inscrit plus largement dans la politique de communication interne de l tablissement il n est donc pas souhaitable d externaliser l analyse des besoins L laboration de l outillage informatique et la formation des utilisateurs pourrait n anmoins impliquer de recourir dans un second temps des prestataires sp cialis s Les proc dures non automatis es de collecte de donn es doivent tre con ues dans le cadre d op rations syst matiques mais 152 Quel tableau de bord pour la BPI r alistes int grer aux t ches quotidiennes ou selon une p riodicit d finir en concertation avec les personnels Le dispositif technique existant peut tre perfectionn et doit tre compl t par de nouveaux instruments Toutes les donn es collect es pourraient tre
302. ple de valeur Que mesure t il Est il crois avec Commentaires calcul d autres questions suggestions Visites moyennes journali res logiciel 27 663 f vrier Nombre minimum de Le nombre de requ tes minimum visites chaque jour et les donn es de l an pass Visites moyennes journali res logiciel 1 735 mai Nombre maximum de Le nombre de requ tes maximum visites chaque jour et les donn es de l an pass sur l ann e visites chaque jour et les donn es de l an pass logiciel 27 663 f vrier Nombre minimum de Le nombre de requ tes visites chaque mois et les donn es de l an pass logiciel 50 832 mai Nombre maximum de Le nombre de requ tes visites chaque mois et les donn es de l an pass Visites totaux mensuels minimum Visites totaux mensuels maximum Visites moyenne mensuelle sur l ann e logiciel 44 590 Nombre moyen de Le nombre de requ tes visites chaque mois et fes donn es de l an pass logiciel 535 077 Nombre total de visites dans l ann e Exemples Requ tes moyennes ljour 41 Totaux mensuels de requ tes 17 Visites totaux annuels Comparaison 00 02 Toutes les donn es pr c dentes sont compar es l cart est exprim en le rapport d activit Annexes Annexe 2 Liste des indicateurs propos s pour les services aux publics Annexes LISTE D INDICATEURS POUR LES SERVICES AUX PUBLICS DE
303. pline un SIGB est un ensemble de principes de m thodes d instruments et de donn es r f rence spatiale utilis s pour saisir conserver transformer analyser mod liser simuler et cartographier les ph nom nes et les processus distribu s dans l espace g ographique Les donn es sont analys es afin de produire l information n cessaire pour aider les d cideurs La notion de SIG se d cline de diverses fa ons selon les domaines d application Sous cette appellation on regroupe g n ralement des outils informatiques qui permettent la repr sentation et l analyse de la distribution de ph nom nes complexes dans l espace La structure informatique d un SIG s organise autour d une base de donn es int gr e qui comprend des informations relatives des points g ographiques un mat riel adapt selon les applications un simple ordinateur de bureau ou un r seau beaucoup plus puissant et un logiciel permettant de r pondre des requ tes d analyse statistique et de repr sentation visuelle Ce logiciel remplit plusieurs fonctions saisie et manipulation des donn es g ographiques fonctions classiques d un SGBD syst me de gestion de bases de donn es outils g ographiques de requ te d analyse et de visualisation Le 1 Selon Laure Delrue la g omatique d signe l ensemble des techniques et des applications d di es la repr sentation et l analyse de donn es num riques composan
304. pour l ann e 2001 et devront tre remplac s par de nouvelles r f rences chiffr es D autres posent des probl mes techniques quant leur laboration l tablissement ne disposant pas encore des interfaces permettant d en assurer une exploitation automatique Ce commentaire montre que la plupart des r serves que nous avons mises propos du Projet d tablissement font l objet de remarques ou de correctifs dans le rapport d activit la d marche entreprise doit donc tre consid r comme un travail en cours et non comme une r alisation fig e L exemple de la BnF est riche d enseignements Il fournit un certain nombre de pistes de r flexion et de r alisation pour des instruments de travail au service de ILLIEN Gildas DCB11 M moire d tude 2003 80 Quel tableau de bord pour la BPI l valuation dans un grand tablissement Pass un certain seuil d effectifs et d activit on ne peut plus s en remettre pour piloter un tablissement ses intuitions aux rapports interpersonnels ou l observation empirique travers l exp rience de la BnF on voit mieux comment peuvent converger les fonctions d valuation de planification et de communication Le point fort de la d marche pr sent e demeure l important travail de r flexion et de formalisation qui a t conduit autour des objectifs de l tablissement Nous ne sommes pas comp tents pour juger de leur pertinence
305. pplicatif graphique doit tre pr sent comme l une des briques de la base de donn es d valuation lors de la r daction du cahier des charges et non comme une base autonome Il conviendrait par ailleurs de r fl chir l utilisation en r seau de cet outil cartographique pour des raisons techniques volume des fichiers et de s curit certaines informations sont sensibles il faudrait pr voir plusieurs niveaux d utilisateurs et d autorisations Toutefois l int r t principal de cet instrument est de restituer toutes les quipes une vue d ensemble de leurs activit s il est donc essentiel qu il soit plac au c ur de la communication interne de l tablissement et lisible par le plus grand nombre Ce tableau de bord cartographique ne se substituerait pas aux pr sentations plus classiques utilis es dans les rapports d activit mais viendrait les compl ter et les illustrer 205 Quel tableau de bord pour la BPI Conclusion L tude r alis e la BPI aboutit une proposition de d marche pour la mise en uvre d un dispositif structur d valuation La liste d indicateurs dont elle est assortie pourrait servir de trame de r flexion la future cellule valuation de l tablissement Les pr conisations qui sont faites s inspirent d exp riences d autres biblioth ques fran aises et trang res ainsi que des travaux de normalisation conduits au sein de AFNOR et de PISO Elles pren
306. pr tes payer 1 dollar de plus pour maintenir l ouverture de la biblioth que elles sont donc dispos es payer le double pour le m me service la biblioth que parlementaire de Nouvelle Z lande on a compar ce que co terait l quivalent des services de la biblioth que si les parlementaires devaient les acheter dans le secteur priv La somme laquelle on a abouti repr sentait vingt fois le budget annuel de la biblioth que 140 Quel tableau de bord pour la BPI Naturellement la fiabilit de ces m thodes est contestable et il faudrait examiner de plus pr s les modalit s d estimation des proxy prices comme les proc dures d enqu te aupr s des usagers On ne sait pas s il serait opportun de poser des questions de type WTP ou WTA lors des enqu tes de public de la BPI On ne sait pas non plus comment ce type d argumentation pourrait tre accueilli par les fonctionnaires fran ais Pourtant dans l tat actuel de la recherche ce sont les seules m thodes que l on connaisse pour exprimer la notion de retour sur investissement et d montrer aux autorit s que les biblioth ques sont cr atrices d une valeur qui n est pas seulement immat rielle mais qui peut galement s exprimer en unit s financi res Cette d marche semble d autant plus int ressante que nombre de services des biblioth ques sont d sormais concurrenc s par le secteur priv Si l on revient au cas de la BPI on compren
307. proche synchronique du tableau de bord Ils peuvent galement tre reconduits selon une p riodicit r guli re afin que soit progressivement constitu e une s rie statistique r f rentiel n cessaire la mesure des volutions approche diachronique du tableau de bord Pi ce ma tresse de l valuation des services l enqu te men e aupr s du public de la biblioth que demeure l instrument le plus pertinent pour l analyse de sa Le RUIZ Paule valuation statistique des applications mises la disposition du public la BPI par l outil de f d ration Mmediaview Document de travail BPI 08 10 2002 p 3 4 129 Quel tableau de bord pour la BPI composition de sa satisfaction de ses attentes Les enqu tes conduites par le service tudes et recherche de la BPI depuis plus de 20 ans ont d j t voqu es et elles sont bien connues On pourra se reporter la bibliographie de cette tude qui recense les principales publications sur le sujet et consulter l ouvrage de Christophe Evans qui pr sente une synth se comparative et r trospective des enqu tes conduites de 1978 1995 Ces enqu tes qualifi es de lourdes par opposition aux tudes qualitatives men es par entretiens aupr s d chantillons plus restreints et qui comportent plus de questions ouvertes sont traditionnellement r alis es en deux vagues en mai et en novembre p riodes de forte affluence La passation des questionn
308. programmes Lors de l examen de la Loi de finances pour 2003 la Commission des finances du S nat a demand au ministre de la Culture et de la communication de faire le point de la d finition d indicateurs quantitatifs et qualitatifs de r sultat dans le secteur du livre Interrog sur ce point le chef du bureau des biblioth ques territoriales de la DLL pr cise que quatre programmes ont t d finis dans le domaine culturel et qu il revient aux directions minist rielles de r fl chir pr sent aux sous programmes et d en fixer les indicateurs Il semble donc urgent et judicieux de r fl chir aux objectifs et aux indicateurs et de s associer d s pr sent ce mouvement au risque de se voir imposer un cadre d valuation qui ne tiendrait pas compte des sp cificit s de l activit des biblioth ques Fort heureusement les biblioth ques universitaires et les biblioth ques publiques fran aises ont d j eu l occasion de se confronter la probl matique de l valuation et ont pu r aliser quelques progr s dans ce domaine Comme nous l avons constat il reste beaucoup faire mais le terrain n est pas vierge 2 2 2 Les biblioth ques universitaires une histoire ancienne 2 2 2 1 L aventure de l ESGBU Contrairement ce que l on a pu observer dans les pays anglo saxons ce ne sont pas les associations professionnelles mais l administration centrale du minist re de l ducation nationale qu
309. pte par des moyens diff rents de l importante activit d animation de formation et de m diation qui y est men e et qui est au c ur du projet de d mocratie de proximit Les personnels des biblioth ques engag s dans ces actions sur le terrain seraient sans nul doute plus motiv s par la restitution de ce type d informations que par l obligation mensuelle d envoyer des chiffres la centrale Actuellement la mission valuation et prospective ne dispose cependant d aucun moyen pour r aliser des tudes qualitatives de ce type Une analyse strat gique des co ts engag s dans le d veloppement de la lecture publique travers le r seau manque galement au dispositif actuel en particulier si celui ci doit tre valu dans le cadre plus large d un contr le de gestion conduit par la Mairie S il existe des donn es relatives aux co ts des personnels aux d penses informatiques aux acquisitions et qu il est techniquement possible de les ventiler par tablissement par section ainsi que par support cette d marche n a jamais t entreprise Par ailleurs un vrai travail d analyse sur les co ts n cessiterait des donn es plus fines que celles qui sont actuellement disponibles Enfin il semble qu on se heurte un obstacle d j identifi ailleurs pour transformer le travail sur les statistiques en d marche d valuation il faudrait pouvoir se r f rer des missions et des objectifs clairement d f
310. public non week ends travaill s pendant les week ends par agent titulaire Nombre de postes ND 10 18 postes de La difficult d organisation Le nombre d heures de Les chiffres fournis sont pr ciser s agit il d une de titulaires vacants titulaires vacants li e aux absences vacation de moyenne par semaine par mois par an Mode de par Jour Impr visibles des remplacement calcul titulaires n cessaires dans l ann e pour compenser ces absences Nombre d heures de ND 31 756 Co t des vacations non A chiffrer en vacations utilis es exprim en heures La part des vacations SP et celle des vacations par an reclassement n est pas pr cis e Heures de formation ND 3 heures temps Co t de la formation des non par vacataire sp cifique par vacataires bureau non chiffr Total d heures de 87 vacataires Plus de 500 Idem non A chiffrer en Part des questions complexes parmi les questions pos es au bureau 0 Semaine test 54 questions complexes 62 heures d ouverture 1 question complexe par heure La difficult des questions pos es la qualification n cessaire pour y r pondre Le degr de surqualification des agents titulaires post s La part des questions d orientation mais la comparaison reste allusive Reprendre la typologie des questions pendant la semaine test et voir s un travail plus fin par bureaux et sur des s quences plus fr quentes pourrait constituer un
311. pulation desservie le temps moyen consacr au traitement d un document sont des exemples d indicateurs qui croisent plusieurs donn es mais le nombre total d entr es la biblioth que pourra galement tre consid r comme un indicateur s il est interpr t in fine au vu d un ensemble de donn es Il s agit d une statistique d une donn e brute mais elle sera comme tous les indicateurs comprise dans sa relation avec d autres Lors de l laboration de la norme ISO 11620 le terme m me d indicateur a pr cise Pierre Carbone t pr f r celui de mesure refl tant l usage am ricain actuel qui implique un calcul parce qu il d signe plus exactement les outils mis en uvre qui ne se limitent pas la mesure un indicateur de performance tant une donn e jug e pertinente par rapport un contexte d fini Cette pr cision est importante car elle largit consid rablement le champ des possibilit s pour toute biblioth que qui cherche s lectionner les indicateurs qui lui conviennent le mieux Ceux ci ne se pr senteront en effet pas toujours sous la forme d un rapport arithm tique entre moyens et r sultats C est toujours un niveau plus global celui du tableau de bord que le niveau de performance de l tablissement sera effectivement tabli La normalisation des indicateurs ne doit donc pas tre per ue comme le simple corsetage des statistiques Il s agi
312. quoi changer puisque les gens continuent de faire la queue m me sous la pluie pour venir la BPI Notre travail sur le terrain s est n anmoins attach d passer cette premi re impression afin de d celer des comp tences souvent enfouies sous les pratiques quotidiennes Ces comp tences sont g n ralement li es l existence et la ma trise d outils c est pourquoi nous proc derons un examen plus approfondi des principales pistes sectorielles de l valuation dans la partie technique de notre analyse D une mani re g n rale nous n avons que tr s rarement t confront un rejet de principe concernant la culture du rendre compte Si quelques agents ont critiqu la d marche d valuation parce qu elle tait associ e dans leur esprit au monde de l entreprise et du secteur marchand leur point de vue reste tr s minoritaire Plus fr quente en revanche a t la r action observ e tant par Pierre Carbone dans les BU que par Aline Girard Billon et Thierry Giappiconi dans les biblioth ques territoriales l valuation requiert un temps pr cieux que l on pr f re consacrer d autres t ches jug es plus utiles Cette opinion trouve son ancrage dans une perception de l valuation qui reste attach e aux pratiques verticales et unilat rales des agents vers les chefs et des services vers la direction associ e l id e de contr le Rares sont les secteurs o l on consid re que le
313. r f rence la plus r cente pour le vocabulaire de l valuation biblioth conomique est la norme ISO 11620 publi e en 1998 et en cours de r vision Dans un article du Bulletin des biblioth ques de France publi en 1999 Pierre Carbone a introduit et pr sent cette norme aux professionnels fran ais Il i ISO International Standardisation Organization Comit technique ISO TC46 sous comit SC8 statistiques et valuation des r sultats Information et documentation indicateurs de performance des biblioth ques ISO 11620 Gen ve ISO 1998 ILLIEN Gildas DCB11 M moire d tude 2003 16 Quel tableau de bord pour la BPI explique notamment que par rapport aux manuels anglo saxons d valuation biblioth conomique un des avantages de la norme est l adoption d une terminologie propre aux indicateurs de performance des biblioth ques qui constitue dor navant pour cette communaut le langage commun dans ce domaine Nombre des citations qui suivent sont extraites de cette norme et sont compl t es de commentaires et de pr cisions que l on a jug utile d apporter On a formul ces derni res la lecture de publications ant rieures qui faisaient autorit avant la publication de la norme ou d ouvrages post rieurs qui montrent l appropriation progressive de la d marche d valuation par les professionnels fran ais Il s agit notamment des Recommandations internationales pour la mesure
314. r ter La principale difficult que rencontrent les professionnels lorsqu il s agit de greffer leur syst me d information des protocoles statistiques est l h t rog n it des bases Le calcul la conversion et l agr gation de donn es provenant de logiciels d velopp s par des soci t s et dans des buts diff rents peuvent rapidement induire des investissements et des co ts de fonctionnement dont il faut s rieusement mesurer la rentabilit Ainsi l int gration de donn es aux ILLIEN Gildas DCB11 M moire d tude 2003 86 Quel tableau de bord pour la BPI formats h t rog nes dans une base de type Access appelle le plus souvent des d veloppements sp cifiques qui doivent imp rativement s appuyer sur une analyse fine des besoins des proc dures et sur leur avenir car ce que l on mesure aujourd hui voluera moyen terme avec les projets et les priorit s de l tablissement En amont des r alisations techniques une r flexion pouss e sur les relev s les fr quences et les unit s de temps de co t de travail d activit est donc n cessaire afin que l agr gation des donn es demeure coh rente Le choix entre des relev s continus ou ponctuels sondages extractions intervalles r guliers s av re notamment d terminant pour la mise en uvre des proc dures et leur impact sur le travail quotidien des agents Les d cisions dans ce domaine auront une incidence forte sur les pos
315. r aux enjeux de l valuation Un premier travail a consist analyser syst matiquement les rapports annuels d activit des services concern s Cette tude a abouti la r daction d un r pertoire recensant les indicateurs utilis s et les pratiques que r v lait la pr sentation des rapports Le r pertoire se d compose en fiches analytiques qui pour chaque service distinguent les l ments suivants descriptif du document signataire intitul nombre de pages plan pr sence ou non de graphiques ou de tableaux terminologie propre l activit d crite descriptif de chaque indicateur utilis intitul mode de calcul exemple de valeur activit ou performance effectivement mesur e croisement avec d autres donn es Ce document joint en Annexe 1 correspondait une premi re tentative de recensement des pratiques existantes Les informations r unies de cette mani re furent utilis es lors des entretiens organis s dans un second temps Les entretiens ont permis de rencontrer une quinzaine de personnes pendant deux heures en moyenne Les personnes interrog es taient pour la plupart des chefs de service ou leurs collaborateurs qui avaient manifest de l int r t pour le sujet Plusieurs chefs de service ont par ailleurs propos que nous rencontrions des repr sentants de leur service ou encore notre participation des r unions de service Les entretiens formels r alis s partir d une gri
316. rchique Derni re figure de notre triptyque le rapport d activit de la BnF d coule des deux autres documents nous n insisterons donc pas sur ses contenus Introduit par la pr face du Pr sident et un rappel des faits marquants de l ann e il est structur en cinq parties qui sont les cinq volets du Projet d tablissement Certaines activit s qui font l objet d volutions strat giques tels les services distance site web catalogue collectif de France Gallica la r novation du site Richelieu l achat de collections patrimoniales d exception ou la modernisation des syst mes informatiques sont mis en exergue l int rieur de ce cadre Ce document est compl t par plusieurs annexes organigramme g n ral de l tablissement pr sentation des instances de concertation et de d cision synth se statistique intitul e La BnF en chiffres et bilan qui reprend la liste des indicateurs du Projet d tablissement 48 indicateurs g n riques d compos s ou d clin s en 74 indicateurs l mentaires La pr sentation des indicateurs est accompagn e de pictogrammes et de signes ou indiquant une tendance Le commentaire m thodologique qui pr c de ce bilan est int ressant Il indique notamment que sur les 48 indicateurs g n riques recens s 7 n ont pas pu tre renseign s Plusieurs raisons sont l origine de cette situation certains indicateurs ne sont pas ou plus pertinents
317. re de l ESGBU ne pourra pas bien qu il s toffe par touches successives offrir aux tablissements tous les indicateurs qui pourraient leur tre utiles pour tre vraiment proche des besoins des BU il lui faudrait multiplier les questions cela le rendrait ing rable Par ailleurs il est important que les s ries statistiques restent stables afin de permettre l analyse des volutions le questionnaire peut changer dans sa pr sentation et son exploitation mais pas dans la nomenclature de ses donn es Pour ces raisons et parce qu il demeure un instrument de synth se national ASIBU devrait rester un outil g n raliste La mise en ligne de cette application est r cente les responsables des biblioth ques universitaires ne se sont gu re manifest s aupr s de la SDBD pour r agir ou demander des claircissements sur son utilisation Est ce parce qu il est encore mal connu qu il ne correspond pas aux attentes des professionnels que ceux ci l utilisent mais ne le font pas savoir ou qu ils ne sont pas motiv s par l valuation La r ponse cette question est peut tre chercher dans la port e limit e des n gociations que les directeurs des SCD sont r ellement amen s conduire En effet alors que l essentiel de leurs ressources est calcul et affect math matiquement par l administration centrale et ne fait que transiter par la Pr sidence de l universit ces cr dits sont fl ch s
318. re de la satisfaction pourra ventuellement tre pertinent lors d enqu tes ponctuelles conduites autour d un service pr cis Par exemple on pourrait interroger un chantillon d usagers qui viennent d utiliser le catalogue de la biblioth que et leur poser les questions suivantes Cherchiez vous quelque chose de pr cis et si oui quel document ou quel sujet vous int ressait Comment avez vous proc d Qu avez vous trouv tes vous satisfait de ce que vous avez trouv En ce cas le crit re de satisfaction est int gr un ensemble de questions pr cises qui conduisent l usager mettre en coh rence son appr ciation du service avec la mani re dont il l a utilis 2 2 Fourniture et consultation de documents Les dispositifs pr sent s sous cette rubrique visent r pondre aux questions suivantes l offre documentaire de la BPI est elle ais ment accessible Est elle pertinente et suffisante compte tenu de la demande et des pratiques du public Les cr dits documentaires sont ils utilis s de la meilleure fa on Les indicateurs de disponibilit et de consultation de la collection permettent de prendre des d cisions ayant trait l organisation des services ainsi qu aux choix de la politique documentaire c est pourquoi ils int ressent la fois le p le des services aux publics et celui du d veloppement documentaire La collecte des donn es statistiques n cessaires l laboration de ces
319. redi jeudi vendredi de 9h30 12h30 activit r duite en juillet et ao t Refonte page web projet de formulaire pour les usagers Aide Radis volutive f d ration de ressources outils de r orientation instruments d aide la recherche guides d aide sur sujets r currents et r ponses types FAQ signets et portails th matiques Syst me d archivage du courrier lectronique qui permet de cr er une typologie des questions Formations Axes d volution et d am lioration meilleure coordination avec le service t l phonique du bureau d accueil des r f rences f d ration des instruments internes d aide au renseignement meilleure r activit du service face aux utilisateurs dialogue ne direct avec l utilisateur tude du public distant coordination avec d autres tablissement pour partage des ressources et des informations voir mission de coop ration nationale Indicateurs utilis s g intitul Mode de calcu Exemple de Que mesure t il Est il crois avec Commentaires valeur d autres Cr ation d une Nb de titres dans la base 600 titres Taille du fonds de non R alis sous Access base du fonds r f rence de la section Co t propre aux radis Evolution du fonds _ Actions de Nb de personnes 18 stagiaires re us Charge du travail de non formations accueillies temps pour dur e formation ext rieure ext rieures consacr moyenne de 2 heures ue Stati
320. res plus fines permettent par ailleurs de discriminer les donn es de consultation distante Le projet de rapport technique donne une d finition tr s large du terme de visite virtuelle recherche faite par un usager sur le site web de la biblioth que depuis l ext rieur de la biblioth que quel que soit le nombre de pages ou d informations consult es En pratique les logiciels statistiques distinguent les visites qui regroupent les requ tes lanc es par un m me utilisateur m me num ro IP dans un laps de temps de moins de 30 minutes des requ tes ou hits qui sont des donn es brutes le compteur est incr ment chaque appel d une page ou d un l ment de page du site quel que soit l utilisateur appelant et son temps de consultation La comparaison des entr es physiques la biblioth que avec les visites virtuelles comprises cette fois selon cette acception restreinte permettrait au moins de raisonner en des termes plus coh rents Le nombre de visites quotidiennes pourrait ainsi tre un indicateur de consultation du site web de la BPI comparer au nombre d entr es quotidiennes la biblioth que sur le tableau de bord des services aux publics Le total annuel des visites virtuelles pourrait galement tre rapport au co t total de fonctionnement du site web de la biblioth que que nous n avons pu calculer ne disposant pas de donn es budg taires suffisamment fines afin de pouvoir comparer
321. rg es des biblioth ques publiques ou universitaires Merci Claire Vayssade Denis Bruckmann et Val rie Alonzo qui m ont accueilli la Biblioth que nationale de France et la mission Evaluation et prospective de la Ville de Paris et ont bien voulu m y pr senter les outils statistiques et d valuation qui y sont utilis s Merci Anne Marie Bertrand qui a accept de tester gt ma proposition de tableau de bord pour la BPI et m a cette occasion fait profiter de sa connaissance et de son exp rience des biblioth ques publiques fran aises Merci St phanie Duvail pour m avoir expliqu le fonctionnement des SIG et encourag dans la recherche de nouvelles passerelles entre biblioth conomie et g ographie Merci enfin Pierre Carbone et Thierry Giappiconi qui m ont apport leurs lumi res et leur expertise sur ce sujet complexe tant par leurs publications que par les entretiens qu ils ont bien voulu m accorder Sommaire INTRODUCTION sorsecsjesesessisstisssscsesssssssvasosjov tassi ve sassi stdessssetesscseresioveres strei 9 PARTIE 1 L VALUATION DANS LES BIBLIOTH QUES ss 14 1 LES TABLEAUX DE BORD DANS LA D MARCHE D VALUATION MODE D EMPLOI 1 1 La terminologie de l valuation des termes tranges mais normalis s 14 1 2 Les sources de UE lRITIONS ss brand anti A lt nee 16 1 3 Les termes cl s de valuation nano mentales nettes 19 1 3 1 Les statistiques au service de l valu
322. rim s et DE Budget d acquisitions acquis 124 La collection 1 R partition 986 docs dont Etat du fonds non c d roms Internet 232 cd j 754 internet La collection 2 Acquisitions de 124 docs dont 78 Renouvellement du fonds non Pas de donn es sur les liminations 150 docs 1704 ressources 11 initiations internet 22h 3 agents 12 stagiaires pdt 9 sem et 3 21 5 Jours d intervention Renouvellement du fonds Signalement et catalogage du fonds Charge de formation E d Lien entre l activit et le public partir des statistiques de l annexe 1 Statistiques d utilisation des postes multimedia c d roms et sites internet catolgu s Nombre total de diffusions Nombre total de refus Comparaison entre mal et novembre donn es de la semaine test 48 436 55865 315 354 Evolution de l utilisation Oui les donn es des des documents deux mois de lectroniques en flux r f rence sont compar s 15 Que mesure le nombre de refus Code intitul Mode de calcul Exemple de valeur Que mesure t il Est il crois avec Commentaires traitement d autres a Statistiques Nombre de Presse Centres d int r t des Oui les donn es des et graphiques faciliteraient la lecture d utilisation des diffusions par 19971 24709 publics deux mois
323. rons un premier ensemble de proc dures relatives aux ressources financi res avant d voquer quelques unes des m thodes utilis es pour la gestion des ressources humaines envisag es non plus sous l angle de la culture de l tablissement et de la communication interne mais en termes de gestion du temps des emplois et des qualifications En mati re de gestion budg taire la BPI est confront e des dysfonctionnements et des retards que l administrateur de l tablissement Dominique Sprenger analyse avec une certaine clairvoyance L laboration d indicateurs budg taires et financiers et plus g n ralement l introduction du contr le de gestion s av rent indispensables dans la perspective de l application de la LOLF en 2004 2005 Les conditions d laboration de nouveaux outils de gestion ne sont toutefois pas favorables Les services financiers de la BPI ne sont actuellement pas en mesure de fournir des indicateurs financiers Il n y a pas de tableau de bord digne de ce nom L administrateur calcule et utilise ponctuellement des indicateurs de consommation et d ex cution du budget Il s agit plut t de photographies de la situation budg taire de l tablissement un instant donn que de v ritables indicateurs permettant un suivi r gulier Ces embryons de tableaux de bord distinguent trois grandes cat gories de d penses d penses de fonctionnement de personnel et en capital Ils sont notammen
324. rtants qui ont conduit au d veloppement de l valuation publique Rapports Deleau 1986 et Viveret 1989 qui apportent les premiers l ments de m thode et de r flexion ainsi que des propositions institutionnelles le d cret du 22 janvier 1990 relatif l valuation des politiques publiques qui fonde les premi res instances valuatives nationales l installation officielle en juillet 1990 du Conseil scientifique de l valuation CSE et de deux autres instances Ce dispositif que l on doit au gouvernement Rocard a t modifi et compl t par le gouvernement Jospin en 1998 la premi re instance est d sormais le Conseil national de l valuation CNE devenu autorit administrative ind pendante et dont le p rim tre de comp tence s est tendu aux collectivit s territoriales Un des principaux outils de la modernisation engag e a t la mise en place de contrats d objectifs entre les grandes directions minist rielles et les collectivit s services ou tablissements publics La contractualisation doit permettre de responsabiliser les services qui avec la d centralisation et la d concentration se voient dot s d une plus grande autonomie et doivent jouer pleinement leur fonction de centres de responsabilit plus proches des usagers que ne peut l tre une administration centralis e Pierre Carbone souligne que dans la pratique les choses MAYOL Pierre L valuation des pol
325. rtise de nos interlocuteurs et reprenait certains points d velopp s dans leurs ouvrages pour lesquels nous souhaitions obtenir des claircissements ou des pr cisions Dans le second cas on avait distingu deux probl matiques le point de vue des repr sentants des minist res de tutelle SDBD et DLL que l on a plus sp cifiquement interrog s sur l histoire les projets et les outils d valuation au service d une d marche f d ratrice ou de contr le caract re national celui des praticiens de la Ville de Paris et de 101 Quel tableau de bord pour la BPI la BnF qui privil giait l approche pragmatique des indicateurs dans les tablissements tous nos interlocuteurs nous avons pr sent les grandes lignes de la d marche propos e la BPI Ce test du tableau de bord r alis aupr s de huit personnes au total a permis de valider certaines pistes et d en exclure d autres C est l issue de ces entretiens que notre vigilance concernant les objectifs l organisation et la mise en uvre pratique a redoubl 1 2 4 Pr sentation et validation des pr conisations Dans le plan d action de stage la derni re tape de l tude avait t intitul e vers la mise en uvre Dans le doute nous avions jug bon d assortir ce titre d un point d interrogation Les perspectives d application demeur rent en effet incertaines jusqu aux derniers jours du stage Cette derni re phase
326. rts activit du service politique suivie activit de l ann e principales op rations moyens financiers et mat riels personnel relations avec ext rieur relations avec les autres services difficult s rencontr es le service en chiffres Les notes pr cisent galement pour chacun des services quelques points sp cifiques sur lesquels la direction souhaite obtenir des informations plus approfondies Cette trame et ces 103 Quel tableau de bord pour la BPI consignes de m me que les d lais indiqu s sont in galement respect s La collecte d informations est n anmoins riche de renseignements qu il tait plus difficile de r unir par le pass La synth se d une vingtaine de rapports d activit h t rog nes est un exercice complexe Elle aboutit la publication du rapport annuel qui concerne l ensemble de l tablissement et est diffus 150 exemplaires L dition de 2001 173 pages hors annexes adoptait le plan suivant une introduction du directeur rappelant les faits marquants de l ann e coul e et les perspectives pour l ann e suivante une pr sentation des publics suivie de chapitres de taille tr s variable consacr s au syst me int gr de gestion de biblioth que aux collections l action culturelle et la communication la recherche aux relations internationales et la gestion Le rapport annuel repose ainsi sur une pr sentation des grands secteurs d activ
327. s biblioth ques recommande de calculer le nombre de s ances de formation d usagers des services lectroniques par personne de la population desservir indicateur B 1 5 1 Cela revient rapporter le nombre de formations Internet la population de r f rence Mais ce rapport produit g n ralement des chiffres qui 197 Quel tableau de bord pour la BPI sont si bas qu ils en deviennent illisibles la BPI sans m me tenir compte de la population de r f rence ce calcul conduirait diviser 200 formations par un million d entr es ce qui donne un r sultat absurde et inutilisable 3 Une application cartographique pour la gestion des espaces publics Comment la BPI pourrait elle pr senter ses indicateurs l int rieur de tableaux de bord Quelle architecture quel support choisir Dans cette derni re partie nous ferons la proposition d un mode de visualisation et d exploitation des donn es qui utilise l ing nierie des SIG syst mes d information g ographique 3 1 Int r t d une repr sentation spatiale des donn es Une repr sentation spatiale de l environnement de l activit et de la performance semble r pondre aux besoins exprim s tant par la direction que par les personnels pour la gestion du service et des espaces publics La direction de la BPI souhaite que les tableaux de bord puissent tre utilis s comme un miroir identitaire de l tablissement Ses personnel
328. s caract ristiques plus anciennes et plus structurelles de la culture de l tablissement l tude d organisation a justement soulign que celle ci se caract risait par une forte 107 Quel tableau de bord pour la BPI revendication d autonomie sans que les responsabilit s et les d l gations soient pour autant assum es les agents de la BPI ont l habitude d inventer et de changer mais l exercice des responsabilit s est tr s mal partag et l autorit des chefs de service in galement per ue et exerc e En interne la pr occupation majeure de la direction est donc d obtenir l adh sion et l implication du plus grand nombre dans la r alisation du Projet d tablissement Comment sortir du discours de la confrontation de la mythologie et de la d ploration Quels moyens r unir afin de contrecarrer les id es re ues et les perceptions subjectives concernant l ins curit ou la baisse du nombre de questions toutes les peurs et les intuitions collectives qu alimentent rumeurs et anecdotes et qui sont comme des crans qui bloquent le changement interne Le besoin de tableau de bord de la BPI face ces pr occupations est avant tout un besoin de sens de rationalisation de formalisation Il importe que les tableaux de bord prennent en consid ration la dimension profond ment affective qui lie les agents leur tablissement et s attachent r pondre au traumatisme collectif qui semb
329. s certains cas elle s av re m me non pertinente et d cal e compte tenu de la nature r p titive de certaines t ches indispensables au fonctionnement de l tablissement la modernisation du syst me de communication des documents peut par exemple tre un objectif de la biblioth que mais tant qu il sera n cessaire de communiquer manuellement les ouvrages les agents charg s de cette t che peineront se reconna tre dans un discours enthousiaste sur les vertus de l valuation qui pour eux ne changera rien au travail quotidien La porte est donc troite et les risques d chec sont nombreux La probl matique organisationnelle sociale et culturelle de l valuation conduit alors consid rer celle ci davantage comme une d marche collective et volutive que comme une somme de proc dures individuelles et de r sultats mat rialis s par des programmes informatiques campagnes de comptage dispositifs d enqu te et tableaux de bord fig s Au fond l valuation bien comprise est peut tre d abord et ILLIEN Gildas DCB11 M moire d tude 2003 85 Quel tableau de bord pour la BPI avant tout un moyen d am liorer le climat social interne et d y introduire une y culture du changement 3 3 La dimension technique La modernisation et la multiplication des outils informatiques constituent la fois une opportunit et une difficult pour les biblioth ques Elle permet en effet de mesurer de fa
330. s comp tences l augmentation des richesses nationales par rapport ce qu il lui co te Autrement dit les biblioth ques pourraient d montrer leur tutelle qu elle b n ficie gr ce elles d un bon retour sur investissement Un axe de la recherche actuelle dans le domaine de l valuation des biblioth ques concerne la valeur des services rendus ou des effets outcomes au niveau des usagers et celui de la collectivit L analyse dans ce domaine reste exploratoire et peine prendre en compte les A C est en effet dans cette voie que Roswitha Poll s est engag e r cemment Sa derni re communication au Congr s de l IFLA Glasgow intitul e Measuring Impact and Outcomes Do we make a Difference The Challenge to prove it a permis de d finir un cadre m thodologique pour l analyse des effets et de la valeur financi re des services Si pour certains services cibl s comme les prestations offertes des individus la d marche semble possible elle appara t beaucoup plus difficile mettre en uvre lorsqu on se propose de mesurer l impact social de la biblioth que et la valeur ajout e qu elle apporte la collectivit en termes de formation initiale ou continue par exemple Nous reviendrons sur cette d marche dans la seconde partie Le diaporama de la pr sentation de Roswitha Poll l IFLA peut tre consult en anglais l adresse suivante lt http www uni muenster de ULB out
331. s d une minute moins de cinq minutes moins de dix minutes etc L int r t de cette m thode est qu elle permet d chapper l interpr tation subjective de la question tout en laissant la possibilit de d duire des r sultats chiffr s des informations pertinentes en dessous de trente secondes on a affaire une question rapide ou une question d orientation trait e comme telle au del de dix minutes on pourra consid rer qu il s agit d une question complexe ou d une mini formation donc d un change forte valeur ajout e Naturellement un temps d change tr s long peut aussi indiquer un manque de comp tences ou de m thode de la part du biblioth caire ou un comportement probl matique de la part du lecteur harc lement besoin d sesp r de parler etc Cette m thode pr sente un int r t du point de vue de la gestion du service public et de l affectation des moyens humains Elle permet en effet de mesurer la fois la r partition du volume et de la difficult ou valeur des questions ou changes entre les diff rents bureaux d information Les relev s effectu s pourraient tre utilis s pour l laboration d outils de d cision relatifs l organisation du travail soit pour chaque bureau nombre de questions trait es par rapport au nombre total temps consacr aux questions 191 Quel tableau de bord pour la BPI par rapport au temps total part des questions c
332. s de l tat l ments de m thodologie Paris Minist re de la Fonction publique de la R forme de l tat et de 1 Am nagement du territoire 2001 2 MAISONNEUVE Marc Construire un tableau de bord In CARBONE Pierre Dir Op cit p 205 ILLIEN Gildas DCB11 M moire d tude 2003 27 Quel tableau de bord pour la BPI Giappiconi qui vante son ergonomie pr f re pour sa part l image de a navigation maritime ou a rienne Plus pr s de nous peut tre le tableau de bord automobile illustre les principales caract ristiques et qualit s du tableau de bord biblioth conomique Il indique les directions suivies suscite l attention ou la vigilance du d cideur conducteur sur les probl mes auxquels il faut veiller Il le rassure au contraire sur ses bonnes performances et n attire son regard sur une zone du cadran que lorsque cela est n cessaire Chaque l ment n a de sens que dans un contexte donn la vitesse qui s affiche au tableau ne s interpr te qu en fonction de la r glementation en vigueur l endroit o l on se trouve des passagers qui nous accompagnent de l tat de la chauss e de la circulation devant et derri re nous de la quantit d essence dans le r servoir ou d argent dans notre porte monnaie de notre destination ou de la longueur du p riple entrepris Dans un chapitre de l ouvrage dirig par Anne Kupiec Pierre Carbone r sume fort bien l int
333. s et la commande fut donc ex cut e dans le cadre ainsi d fini La taille de l tablissement le volume et la diversit de ses activit s ainsi que l abondance de documents formalisant ses objectifs nous pla aient dans une situation d embarras de choix Compte tenu de la dur e du stage la restriction du champ de l tude un p rim tre soigneusement d limit s av ra rapidement n cessaire Il fut donc d cid de circonscrire l tude un ensemble de services appel s tre regroup s au sein de l un des quatre p les du nouvel organigramme celui des services aux publics Trois raisons furent invoqu es pour justifier ce choix Celui ci s imposait d abord par d faut les services du p le du d veloppement documentaire disposaient d ores et d j d un solide dispositif statistique et dans le domaine de la politique documentaire les outils semblaient connus et ma tris s l inverse l valuation des activit s relatives la communication et l action culturelle posait des probl mes difficilement surmontables si l on souhaitait rester dans le cadre d une tude biblioth conomique Pour des raisons identiques le p le ressources et moyens apparaissait comme une source d informations pr cieuses pour l analyse des co ts mais ne pouvait en soi tre l objet de notre tude Les personnels de la BPI charg s des services aux publics pr sentaient l avantage de disposer de comp tences
334. s fonctionnalit s d dition et de repr sentation graphique sous forme de listes structur es de sch mas et bien s r de tableaux de bord La qualit et l tendue des possibilit s infographiques offertes par l outil informatique pourrait tre un crit re de choix important puisque la vocation premi re de la d marche d valuation de la BPI est l am lioration de la communication interne 160 Quel tableau de bord pour la BPI 1 4 Formation des utilisateurs et mise en uvre du dispositif L installation de la base de donn es n cessiterait naturellement un investissement en formation pour les agents de la cellule valuation ceux ci tant ensuite charg s de former progressivement leurs correspondants dans les services en fonction de leurs besoins respectifs Nous pensons que cette phase d apprentissage et d appropriation de l outil pourrait tre r alis e dans le cadre de ce qu on appelle une formation action Une formation action propose la r alisation collective des outils avec la participation des utilisateurs Elle vise structurer au mieux les besoins de ces derniers afin d aboutir rapidement une maquette op rationnelle sur mesure Le transfert des comp tences se fait donc en m me temps que le param trage des outils Nous avons pris contact avec plusieurs prestataires priv s afin de d terminer les co ts d une telle op ration et d envisager les conditions de son organisation Dan
335. s int ress s par l approche cartographique qu ils ont d ores et d j explor e Le service quipement et maintenance a en effet tabli puis num ris des plans de la biblioth que permettant d identifier tous les postes informatiques install s dans les espaces publics Le service informatique pr voit de son c t l acquisition d un logiciel de gestion d inventaire qui doit tre articul avec ces plans Enfin des cahiers et des fiches permettant de signaler et de localiser syst matiquement les incidents techniques sont d j utilis s dans tous les bureaux d information Ces d marches convergent vers le souci commun d am liorer et de rationaliser le suivi des incidents mat riels li s l usure aux accidents ou aux d gradations Elles doivent permettre de planifier les interventions techniques et de mieux ma triser l espace de la biblioth que Des exploitations comparables sont envisageables pour le suivi de l hygi ne et de la s curit Elles n cessiteraient n anmoins une collaboration renforc e avec les agents de m nage et de s curit Elles impliqueraient galement une mobilisation des chefs de service charg s de r soudre les incidents en service public Une utilisation plus syst matique du cahier des chefs de service permettrait en effet de proc der mensuellement la saisie des informations 204 Quel tableau de bord pour la BPI renseign es partir d une typologie des incid
336. s le cadre de cet exercice l tat ayant finalement diff r l laboration du contrat Son format et sa mise en page sont comparables ceux des fascicules des collections ILLIEN Gildas DCB11 M moire d tude 2003 73 Quel tableau de bord pour la BPI encyclop diques de poche Cette pr sentation le rend particuli rement maniable et accessible tous autorit s encadrement personnels usagers partenaires Il a d ailleurs fait l objet d une large diffusion La structure du document qui refl te la d marche suivie pour sa r alisation t moigne d une compl te assimilation par ses auteurs de la r flexion sur les diff rents niveaux d objectifs de l valuation Les missions de l tablissement sont en effet rappel es dans le pr ambule du document qui cite le d cret du 3 janvier 1994 portant cr ation de la BnF Elles consistent cataloguer conserver et enrichir dans tous les domaines de la connaissance le patrimoine dont elle a la charge et d autre part assurer l acc s du plus grand nombre aux collections La r alisation de ces missions pour une p riode donn e 2001 2003 se d cline ensuite en cinq objectifs g n raux l am lioration du service au lecteur le d veloppement et la protection des collections l engagement d une r novation des sites de Richelieu et de l Arsenal l approfondissement des relations sociales et l optimisation de la gestion de l
337. s le cas de notre base de donn es cette formation pourrait s organiser sur six huit jours pour un co t total de l ordre de 8 000 Elle pourrait tre organis e selon les tapes suivantes formalisation de l analyse des besoins r alisation d un sch ma de cadrage de l activit puis d un sch ma des flux d informations d finition de la structure d information dictionnaire des donn es d finition des interfaces d utilisation fonctionnalit s param trage des fen tres formation l exploitation r alisation des tats et tableaux de bord l issue de cette formation et de l installation de la base de donn es la cellule valuation serait en mesure d entrer en phase d exploitation Une p riode d appropriation et d ajustements serait naturellement pr voir La premi re ann e devrait tre consid r e comme une ann e test au terme de laquelle la s lection des indicateurs et des dispositifs pourraient tre revus Il nous para t difficile d valuer la dur e globale de mise en uvre du projet L objectif r cemment fix par la direction fin 2003 ne semble pouvoir tre atteint que si la cellule valuation est rapidement constitu e que ses membres re oivent mandat de se concentrer sur ce projet et b n ficient enfin du soutien et de l implication de la direction pour la d finition des objectifs et le choix des 161 Quel tableau de bord pour la BPI proc dures de
338. s ne cachent pas leur difficult se situer ou se retrouver individuellement ou collectivement l int rieur d un environnement complexe et extr mement mouvant au sein duquel il est malais d avoir une vue d ensemble Habitu es pendant 20 ans travailler ensemble sur un m me plateau contigu aux espaces publics les quipes aujourd hui dispers es sur deux sites et dans des bureaux cloisonn s ont du mal trouver leurs marques dans la nouvelle topographie Le remplacement de l ancien organigramme au profit d une organisation en p les l introduction d une terminologie propre au nouveau management de la biblioth que rendent peu peu d su te la r f rence aux rep res anciens L utilisation croissante de la documentation immat rielle les projets de biblioth que distance ne font que renforcer la difficult qu prouvent la plupart des agents re trouver leur place dans l univers de la biblioth que 198 Quel tableau de bord pour la BPI Comme les lecteurs ils ont un rapport tr s affectif l espace qui structure leurs repr sentations Les d bats internes portent sur les fronti res du m tier le partage des territoires et des responsabilit s entre les services et les bureaux Ils concernent galement l ins curit des lieux la difficult maintenir niveau des installations expos es aux d gradations volontaires aux pratiques de d tournement et un usage intensif des colle
339. s parut utile d en faire formellement valider le contenu par la direction Notre tude intervenait donc un moment favorable puisque la r flexion sur les indicateurs avait t pr c d e par une tude d organisation qui avait dur plus de six mois et devait tre suivie par l laboration du Projet d tablissement pr vue pour le d but de l ann e 2003 Le directeur de la BPI avait souhait intercaler l tude sur l valuation entre ces deux tapes d cisives Cette situation pr sentait de nombreux avantages la r flexion sur les tableaux de bord allait b n ficier des analyses et de la dynamique de changement d j bien engag es Il n tait pas n cessaire d analyser les processus organisationnels ni 97 Quel tableau de bord pour la BPI de reformuler un diagnostic de la situation de la BPI puisque ce travail venait d tre fait Toutefois il convenait de conserver une certaine distance critique vis vis de l tude d organisation et du Projet d tablissement L observation du terrain pouvait en effet conduire remettre en cause certaines conclusions ou faire appara tre d autres enjeux Notre marge de man uvre demeurait troite l tude se d roulait dans le cadre d un stage Les objectifs formul s par la direction portaient explicitement et exclusivement sur les objectifs qu elle avait valid s Nous n avions aucune l gitimit pour remettre en cause ces orientation
340. s pistes tr s int ressantes pour l valuation aussi SERVICE INFORMATIQUE Descriptif du document Responsable Claire Chaumet R dacteur s signataire s Marie Annick Chapuis pr c dent chef de service Intitul du document Rapport d activit s du service informatique 2001 Taille du document 9 pages 1 tableau en annexe Plan du document l Les points forts de l ann e IlL L activit du service politique suivie principes retenus chiffres op rations comparaison ann e pr c dente IH Moyens financiers et mat riels IV Moyens en personnel mode d organisation V Accueil de stagiaires pr sentation du syst me VI Relations avec l ext rieur VII Difficult s rencontr es VIIL Fiche r capitulative R sultats des statistiques de la semaine de tests R partition des postes dans les espaces public Donn es vocabulaire mots cl s Prise en charge compl te des exploitations et de la maintenance du SI de la BPI Appropriation par l ensemble des personnels des services en r seau Missions gestion et maintenance des applications installation des mat riels et logiciels suivi des appels d offres achats mat riels et logiciels conseil et assistance suivi budgets inventaire correspondants informatiques Formation initiation au r seau Le renouvellement des postes se fait par lots de 60 dans le cadre d appels d offre Soci t ICN maintenance des postes de service public Proc dur
341. satisfaction ooooeeeesessaseenenneeseeseeeeeee 163 2 1 1 Mesurer et agr ger les flux de publics sur place et distance 163 2 1 2 Mesurer la fonction d int gration sociale de la biblioth que 168 2 1 3 Faut il valuer la satisfaction du public 7 170 2 2 Fourniture et consultation de documents 171 2 2 1 Disponibilit des documents ame A es tres 172 2 2 2 Consultation des documents use din ea nee 175 2 2 2 1 Les dispositifs de collecte des donn es sur la consultation 176 2 2 2 2 Interpr tation des donn es et choix des indicateurs 182 2 3 Reproductions impressions t l chargements o on 186 2 4 Valeur ajout e documentaire renseigner signaler former 188 2 4 1 Les services de renseignement valuer les questions 189 2 4 2 L activit de signalement face aux pratiques de recherche 194 2 4 3 Peut on valuer la formation des usagers sssecsssssserrseseessssee 197 3 UNE APPLICATION CARTOGRAPHIQUE POUR LA GESTION DES ESPACES PUBLICS 198 3 1 Int r t d une repr sentation spatiale des donn es 198 3 2 Les SIG principes de fonctionnement et utilisation dans les DIDHOIR QUES Le D RU te IR AR e e o Rs ie 199 3 1 Le syst me de gestion des espaces publics applications et limites 202 ILLIEN Gildas DCB11 M moire d tude 2003 7 CONCLUSION s minsssaananiatasmadhntaediuenadiii 206 LISTE DES SIGLES UTITIS S im anne
342. si aucun public n a t cibl La notion de cible implique une r flexion et des choix relatifs aux caract ristiques g ographiques et sociologiques du public vis Thierry Giappiconi et Pierre Carbone apportent les pr cisions suivantes La d termination d une cible consiste viser un segment de la population desservir pour d terminer en termes op rationnels le champ d application particulier d une ou plusieurs missions g n rales La notion de public cibl n a donc de sens que si les cat gories vis es repr sentent des populations effectivement rep rables quantifiables et pour lesquelles on a d fini des objectifs pr cis Cela implique de combiner les param tres de localisation g ographique des publics avec d autres caract ristiques d ge de sexe etc Pour la BPI il est tabli que ses lecteurs r sident non seulement Paris intra muros mais aussi dans la petite couronne d partements du 93 et du 94 notamment Alors qu un effort de concertation et de collaboration entre les biblioth ques semble l ordre du jour dans le cadre d U3M et de l OPLPP la BPI n a toutefois pas d fini de cible g ographique puisqu elle est cens e servir la nation Contrairement aux autres biblioth ques publiques du territoire elle ne peut jauger son taux de p n tration l aune d une population de r f rence Il semble que la d finition d une cible g ographique semble tout la fois n cessaire
343. sibilit s d utilisation r trospective des donn es la construction d une grille stable et p renne d valuation g n ratrice de s ries comparables est indispensable la mesure des volutions de l activit dans le temps Cette exigence pourra s av rer contradictoire avec la n cessit de modifier les protocoles afin de tenir compte des changements des pratiques du public ou des objectifs de la direction Sur ce point la question se posera en des termes diff rents selon que l institution qui pilote l valuation est un organisme charg de rassembler les informations au niveau d un ensemble ou d un r seau tributaire de son expertise ou un tablissement isol qui n a pas cette vocation Dans ce second cas on pourra consid rer que l valuation est davantage un outil de d cision prospectif qu un protocole d archivage garant de la m moire des activit s l valuation pourra alors tre adapt e plus fr quemment et plus librement aux besoins des d cideurs qui l utilisent Enfin la pr sentation des indicateurs et tableaux de bord est un aspect essentiel de la politique de communication externe et interne Elle implique des d veloppements bureautiques et graphiques cr ation de profils travail sur la mise en page les formats les pictogrammes les couleurs qui ne s improvisent pas Plus fondamentalement la s lection des dispositifs techniques conduit s interroger sur la pertinence des rel
344. squ il contient 350 000 volumes Il est n cessaire de prendre en compte ce 14 dans certains que Bruno B guet appelle les effets de masse critique secteurs la litt rature ou l histoire par exemple on sait qu il est imp ratif de conserver beaucoup plus de titres qu il n en est effectivement consult Il faut en effet prendre en compte un effet de r f rence ou de prestige du fonds les lecteurs attendent de la biblioth que qu elle poss de certains titres m me s ils ne les consultent pas De plus la vari t des usages potentiels implique que l on dispose d une masse importante de documents qui ne sont pas ou tr s rarement utilis s a fortiori dans une biblioth que vocation encyclop dique qui ambitionne de servir tous les publics La qualit du service rendu se mesurera aussi la capacit de la biblioth que de fournir des documents rares de r pondre des demandes pointues Naturellement d un secteur l autre cet effet de masse critique variera Dans le domaine de l informatique par exemple la pertinence de l offre tiendra davantage son actualit qu son volume Dans d autres domaines langues rares par exemple on peut galement se heurter aux limites de l offre ditoriale La prise en compte de ces situations tr s diverses incite la plus grande prudence dans l interpr tation des statistiques l indicateur du taux de consultation n est pertinent que qua
345. ssions de la BPI la fonction d int gration sociale de la BPI est manifeste Nous formulons une proposition qui permettrait la BPI d objectiver les performances qu elle r alise dans ce domaine Cette proposition s appuie implicitement sur une vision segment e des publics et ne s inscrit donc pas dans la vision galitariste et indiff renci e que l on peut en avoir Elle pourrait notamment s inspirer des directives de l IFLA sur les communaut s multiculturelles Nous examinerons deux populations cibles celle des handicap s et celle des trangers Il serait utile de disposer d indicateurs relatifs la fr quentation de la BPI par des personnes handicap es seule cat gorie de public tre consid r e comme un public sp cifique et b n ficiant d un accueil et de services d di s Les loges r serv es aux d ficients visuels constituent le principal service qu offre la biblioth que une population qui concerne principalement les malvoyants bien que plusieurs actions aient t r cemment conduites en faveur des sourds Il est regrettable que la BPI ne soit pas en mesure de rendre compte de son activit dans ce domaine alors m me que les visites de malvoyants donnent syst matiquement lieu des r servations not es dans un cahier qu il serait ais de comptabiliser en distinguant le nombre de visites du nombre d utilisateurs La mission Lecture et Handicap rattach e la BPI participe un
346. ssitent l laboration d outils de pilotage Il faut disposer d indicateurs r cents et pertinents car les r sultats doivent tre mesur s rapidement Apr s l enqu te statistique et les contrats d tablissement le tableau de bord des biblioth ques universitaires devait venir compl ter le dispositif et doter les tablissements d outils de pilotage adapt s D marr en 1984 le projet de tableau de bord des BU a t pr sent aux tablissements en 1986 puis test par huit biblioth ques entre 1987 et 1988 Les principaux indicateurs du tableau de bord concernaient l volution du public les ressources en personnel la mesure des activit s et de la charge de travail l volution des ressources documentaires et du co t des services All g et modifi en 1990 la demande de l Association des directeurs de biblioth ques universitaire ADBU ce nouvel instrument n a pas pour autant fait l unanimit aupr s des directeurs d tablissement prompts d noncer la lourdeur de ses proc dures gourmandes en personnels et difficiles int grer dans la gestion quotidienne La m me ann e une enqu te de l ADBU montrait que sur 57 tablissements interrog s 15 biblioth ques surtout parisiennes avaient mis en place un tableau de bord Consciente que les SCD devraient d sormais int grer la pr sentation de leurs objectifs et r sultats documentaires l int rieur du contrat et du Projet d tabliss
347. stiques Relev des demandes par Janvier 12 Nombre de demandes Donn es Une pr sentation par et graphique d activit 1 mois et par support courriers 7 fax 91 et modes de comparables entre camembert donnerait une meilleure vue courriers communication elles d ensemble des activit s L lectroniques _ Statistiques Totaux annuels par 1101 45 927 Nombre de demandes Donn es lindicateurs significatifs d activit 2 support et modes de comparables entre Moyenne mensuelle par communication elles li serait int ressant de croiser avec les support 8 4 77 cumul es et en ann es pr c dentes pour mesurer les Donn es sur les courriers lectroniques origine Corpus tudi de mai d cembre 2001 France 71 Europe occidentale 46 Pays anglo Origine g ographique des usagers Donn es comparables entre elles comparaisons avec volutions bibliographiques puis identification localisation ou bibliographie th matique Factuel Cnac 25 dont 35 dentif et 65 bib th matique 31 1 ographique LE saxons 18 l ann e ant rieure care sur les R parties en 5 cat gories 7 Nature des questions Typologie tr s int ressante tudier de courriers BPI institution ou fonds charge de travail et de pr s et croiser avec celles qui lectroniques Demandes de fourniture 13 dont 40 recherche induite pourraient tre utilis
348. sultation des personnels n a t pr vue que dans un second temps lors d un colloque interne initialement pr vu en d cembre 2002 finalement report en janvier 2003 Sans pr juger des discussions de ce colloque il faut souligner que ce calendrier a pu tre per u comme une maladresse par les personnels En effet nos changes avec les biblioth caires pendant le stage nous ont conduit observer un certain ressentiment l impression g n rale que les d s avaient d j t jet s que la consultation pr vue demeurerait formelle mais ne permettrait pas de faire merger les id es et les pr occupations des agents Le second point sur lequel nous mettons des r serves concerne peut tre plus fondamentalement les missions de la BPI Les objectifs g n raux du Projet d tablissement devraient logiquement d couler de ces missions Or il semble qu il y ait consensus aupr s de la tutelle de la direction et des personnels autour de missions qui ne suffisent pas selon nous d finir r ellement l impact de la BPI sur la soci t ses citoyens son patrimoine C est pourtant en ces termes que les missions devraient tre exprim es Le d cret fondateur de la BPI d j cit m rite un examen plus approfondi offrir tous et dans la mesure du possible en libre acc s un choix constamment tenu jour de collections fran aises et trang res de documents d information g n rale et d actualit c
349. t forte valeur ajout e qualit mais n est pas mesurable au moyen de crit res chiffr s Il l est d autant moins que l interd pendance limbrication avec d autres services Informatique etc limite la visibilit d actions men es sp cifiquement par ce service En revanche tout ce qui semble mesurable en particulier la consultation des postes et le hit parade des titres les plus consult s l est Le choix retenu pour la pr sentation est assez efficace peu de chiffres et beaucoup d analyses dans le rapport mais une tude et des tableaux chiffr s en annexe qui m riteraient d tre mieux mis en valeur avec des graphiques par exemple SERVICE OBSERVATOIRE MULTIMEDIA SITE WEB BPI Descriptif du document Responsable Philippe Guillerme R dacteur s signataire s ND Intitul du document Observatoire Multim dia Site Internet de la Bpi Rapport d activit Taille du document 6 pages comprend deux tableaux Plan du document Les points forts de l ann e L activit du service politique suivie principales op rations comparaison avec ann es pr c dentes statistiques Moyens fincanciers et mat riels Personnel tat et gestion Formations dispens es Relations avec les autres services OHBUWN gt Donn es chiffr es vocabulaire et mots cl s Le logiciel statistique ne fonctionne plus depuis quelques mois En attente d un nouveau logiciel dans le cadre d u
350. t 1997 proceedings Actes de la conf rence satellite de l IFLA organis e par la section des biblioth ques publiques de l IFLA Berlin Deutsches Bibliotheksinstitut 1998 p 48 72 ILLIEN Gildas DCB11 M moire d tude 2003 53 Quel tableau de bord pour la BPI les professionnels des collectivit s locales et territoriales ceux ci sont en effet le plus souvent conduits valuer les activit s d un r seau d quipements dispers s g ographiquement au sein duquel de nombreux acteurs interviennent Il convient d abord de pr ciser que le recueil des statistiques s est mis en place plus tardivement au minist re de la Culture qu l ducation nationale Alain Caraco a trouv trace de statistiques et de rapports d activit relatifs aux biblioth ques centrales de pr t anc tres des BDP datant des ann es 50 Des statistiques portant sur les fondamentaux habituels collections pr ts places assises personnel semblent avoir t recueillies jusque dans les ann es 80 mais pas syst matiquement Au d but des ann es 80 le minist re de la Culture r alise les premiers questionnaires statistiques adress s aux tablissements mais c est apr s 1986 que cette d marche est v ritablement prise en consid ration Les BDP passent en effet sous l autorit des conseils g n raux et comme on l a observ dans des cas similaires de transferts de comp tences l administration centrale c
351. t galement ceux qui ont publi les manuels de r f rence sur le sujet Cette co ncidence assure une forte coh rence au corpus de la litt rature en langue fran aise sur l valuation des biblioth ques Aussi une d marche pragmatique semble s imposer m me s ils ne sont pas toujours satisfaisants d un point de vue linguistique les termes de l valuation sont d sormais des termes partag s et normalis s Plut t que de chercher les traduire autrement il semble plus judicieux de les accepter tels qu ils sont et de se concentrer sur leur signification et leur utilisation Ce vocabulaire pr sente toutefois des difficult s et n est pas toujours explicite pour le n ophyte qui n a pas le r flexe de jongler entre les termes fran ais et leur traduction anglaise Surtout et nous avons eu l occasion de nous en rendre compte au cours d changes avec les personnels de la BPI l valuation est trop souvent confondue avec l valuation individuelle des agents ou avec une forme de contr le assorti de sanctions alors qu il s agit plus fondamentalement d une d marche d auto connaissance et de rationalisation de la d cision Il a donc sembl utile de d finir pr cis ment ces termes et d introduire cette occasion les principes g n raux de la d marche d valuation en biblioth que On pr sentera pr alablement les sources des d finitions retenues 1 2 Les sources de d finition La source de
352. t report es en marge ou l int rieur d un calendrier qui permet de distinguer les op rations projet es en cours ou r alis es Sur la page de droite sont indiqu s les objectifs op rationnels vis s assortis d un num ro qui renvoie la nomenclature du Projet d tablissement assortis d un descriptif des actions conduites Claire Vayssade pr cise l origine de cet instrument de communication interne et de planification Initialement con u par la Mission centrale de coordination et de planification de l tablissement public de la Biblioth que de France EPBF il s adressait alors en priorit aux ing nieurs et aux techniciens charg s du suivi du chantier de la nouvelle biblioth que Document technique il n tait alors gu re intelligible par des biblioth caires Son utilisation s est toutefois av r e si pratique et si efficace pour la conduite du chantier que l on a continu de communiquer sur les projets au moyen de la revue d avancement laquelle a progressivement int gr des contenus biblioth conomiques pour accueillir finalement la totalit du Projet d tablissement dont les cinq objectifs structurent aujourd hui toute la pr sentation de la revue Celle ci est actualis e et pr sent e officiellement l encadrement trois fois par an Elle s accompagne de la production et de la diffusion d indicateurs d activit correspondant ceux du Projet d tablissement qui font l objet
353. t travailler sur la base de ratios que les administrations des collectivit s ou de l tat sont en mesure de fournir Ce bricolage budg taire reste n anmoins incertain et particuli rement lourd g rer La d marche s av re beaucoup plus facile conduire lorsque les tablissements c est le cas des SCD avec NABUCO disposent d un budget de gestion qui permet d identifier les grandes destinations correspondant aux principales activit s de l tablissement de ses unit s budg taires et de ses centres de responsabilit Lorsque l on travaille exclusivement avec un budget comptable la nomenclature des d penses et des recettes publiques ne permet pas de suivre les co ts correspondant aux diff rents secteurs d activit de la biblioth que on est alors confront l cart qui s pare deux logiques de pr sentation budg taire tr s diff rentes et qui se traduit par des blocages et des cloisonnements au niveau des outils informatiques en effet peu nombreux sont les tablissements qui ont r ussi tablir une passerelle de transfert automatis des donn es entre leur logiciel comptable et leur logiciel biblioth conomique cette fonctionnalit n est g n ralement utilisable que pour le suivi des d penses documentaires La g n ralisation du contr le de gestion dans le secteur public induite notamment par la Loi organique du ler ao t 2001 devrait cependant donner naissance une nouvelle pr sentatio
354. t d tablissement une politique de relance a t engag e Celle ci se heurte n anmoins des r sistances structurelles C est dans ce contexte difficile qui requiert de nouveaux modes de pilotage que la question de l valuation et des tableaux de bord a t abord e Une des difficult s de notre pr sentation tient la nature et au format de nos propositions Le r sultat final de l tude joint en annexe est en effet une maquette de tableau de bord qui tient en quelques pages et ne comporte pratiquement aucune donn e chiffr e ou symbolique correspondant des activit s r elles Ce tableau s appuie sur des simulations son cadre et sa pr sentation importent davantage que le contenu ou la signification des donn es qu il contient C est une bauche une pure enfin un tableau de bord qui par d finition n a pas vocation tre exhaustif Dans la plupart des cas l absence ou la simulation de donn es se justifie par la difficult de g n rer ILLIEN Gildas Rapport de stage Mutations et r organisation de la Biblioth que publique d information Villeurbanne cole nationale sup rieure des sciences de l information et des biblioth ques d cembre 2002 Voir Annexe 3 Diaporamas pr sent s aux chefs de service de la BPI 93 Quel tableau de bord pour la BPI automatiquement ou par le biais d enqu tes et de relev s manuels des indicateurs dans un laps de temps tr s
355. t des r sultats satisfaisants Le travail conduit par le service des RADIS dont il est fait tat dans ses derniers rapports d activit montre qu il est n anmoins possible de proc der une analyse assez fine qui porte aussi bien sur l identit des lecteurs typologie permettant de r partir les demandeurs entre particuliers institutions et entreprises tudiants et scolaires que sur la nature des questions typologie distinguant les demandes sur la BPI ou le Centre Pompidou les demandes de GAUDET Fran oise La file d attente synth se des cahiers des lecteurs Document de travail BPI juin 2002 133 Quel tableau de bord pour la BPI fourniture de documents demandes bibliographiques ou factuelles ou les efforts d ploy s pour y r pondre typologie distinguant les r orientations vers d autres sites les recherches rapides et celles qui requi rent une investigation documentaire plus pouss e Les pourcentages calcul s mensuellement ou annuellement partir des demandes archiv es sous Lotus refl tent l activit de service documentaire rendue par les RADIS Bien qu ils ne soient pas rapport s un nombre suffisant de questions pour tre r v lateurs de tendances significatives chez le public distant ces indicateurs servent la gestion et l organisation de ce service appel conna tre un accroissement de son volume d activit Nous avons par ailleurs d j voqu la perspective de mise en l
356. t pas ailleurs que chez elle L valuation des usages distants ou des activit s des non inscrits qui repr sentent une part croissante de la population des biblioth ques publiques sont deux domaines o la r flexion conduite par la BPI pourrait servir d indicateur la tutelle et d exemple d autres tablissements Le calendrier et le contexte politique internes sont eux aussi favorables la mise en uvre de l valuation la BPI En premier lieu l tude d organisation et l laboration du Projet d tablissement constituent deux moments forts susceptibles d accoucher de propositions pertinentes pour l avenir de l tablissement Malgr leur caract re formel parfois jug artificiel ils sont en effet une opportunit rare dans la vie de l tablissement de r fl chir collectivement aux objectifs qu il cherche atteindre Enthousiastes ou fatalistes les partisans comme les sceptiques que nous avons rencontr s partagent au moins un point de vue la nouvelle direction a autoris et encourag des interrogations de fond portant sur la vocation des services et sur le sens du m tier En leur donnant des noms r organisation changement projet en les inscrivant sur l agenda de l tablissement en cr ant des instances charg es d en d battre en s adjoignant les services d une soci t de conseil elle a dot ces questions d un espace d un temps de moyens La 114 Quel tabl
357. t plus exactement d une invitation 22 ISO 11620 Op cit p 3 23 Thid p 3 j CARBONE Pierre Op cit p 42 ILLIEN Gildas DCB11 M moire d tude 2003 24 Quel tableau de bord pour la BPI l invention pour trouver les outils et la pr sentation qui refl teront le mieux le contexte et les objectifs par rapport auxquels on value l action La norme fait des suggestions offre une d marche et un langage communs pour formuler ces propositions et les organiser entre elles Elle pr cise notamment que les indicateurs doivent tre ad quats fiables valides applicables et comparables Autant de crit res d terminants pour leur s lection et la mise en place d un protocole qui ne doit pas tre surdimensionn Dans la mesure du possible le dispositif valuatif doit en effet correspondre tant par les co ts induits que par les finalit s recherch es aux moyens et aux besoins de la biblioth que toutes les tapes de la d marche il faut s assurer que les techniques de collecte et d interpr tation des donn es que l on met en place ne co tent pas trop cher par rapport l utilisation qu on en fera En d autres termes l valuation doit surtout viter de produire des tableaux que personne ne lira C est pourquoi il n y a pas de recette miracle ni de mod le impos chacun d termine les outils dont il a vraiment besoin et investit en cons quence dans leur production en fonction des d c
358. t utilis s lors de la pr sentation du budget ainsi que pour le rapport d activit de la BPI Il s av re toutefois extr mement difficile de calculer rapidement et r guli rement des indicateurs plus fins qui permettraient de mieux suivre les d penses des services et des projets alors que le besoin d outils de pilotage s exprime surtout ces niveaux l En effet si le rapport d activit 2001 pr sente une ventilation des d penses de l ann e selon huit grandes cat gories celles ci restent trop impr cises pour servir la planification et la r alisation des projets en cours d ann e Elles ne 112 Thierry Giappiconi a consacr un chapitre de son manuel l valuation des comp tences et des co ts en biblioth que qui fournit une vue d ensemble des techniques du contr le de gestion applicables l environnement d une biblioth que Nous ne reviendrons pas ici sur ses propositions notre souci tant d exposer les probl mes techniques et humains auxquels la BPI est confront e aujourd hui Voir GIAPPICONI Thierry 2000 Op cit p 129 154 142 Quel tableau de bord pour la BPI recoupent que partiellement l organisation des p les et des services En r sum le dispositif actuel ne permet pas de r aliser des indicateurs sectoriels de co ts susceptibles d tre facilement et r guli rement crois s avec des indicateurs sectoriels de r sultats Il n est pas ais de calculer le co
359. t utilis s par Bruno B guet pour l analyse de la structure de l offre et des acquisitions et seraient donc pertinents pour celle de la demande exprim e par la consultation auteur titre collection diteur ann e de publication langue de publication ceci afin de r aliser des traitements statistiques et d identifier les documents consult s pour rep rer les titres qui font l objet de consultations multiples fournir des exemples pr cis voire laborer des typologies l int rieur de l ensemble consult D autres crit res propres certains supports devraient galement tre pris en compte ressource gratuite ou payante d termin e partir du titre pour les documents lectroniques par exemple L exploitation des donn es fines de la consultation exige un tr s gros travail de traitement et d interpr tation des informations si l on s attache faire des relev s sur l ensemble des secteurs et non sur des chantillons Il n est donc ni possible ni utile de faire des relev s trop fr quents la fr quence d un relev tous les deux ou trois ans semble raisonnable Les indicateurs issus du croisement de la structure de l offre et de celle de la consultation excluent un certain nombre de variables qu utilise Bertrand Calenge le niveau des collections par exemple La base de donn es constitu e permet n anmoins de recueillir des informations tr s pr cieuses plusieurs degr s de profondeur d
360. te du tableau de bord sera similaire celle du contr le de gestion Marc Maisonneuve fait d autres distinctions qui renvoient des fr quences d actualisation et des modes de lecture diff rents du tableau de bord Ces derniers correspondent la mise en place de dispositifs de relev s statistiques plus ou moins r guliers et plus ou moins rapproch s dans le temps On parlera d analyse diachronique lorsque l accent est mis sur l interpr tation des volutions dans ce cas le tableau de bord sera riche en diagrammes annuels ou mensuels courbes d volution et indicateurs de tendances symbolis s par des fl ches ou des visages la mine r jouie ou d sol e l inverse on parlera d analyse synchronique lorsque l analyse d une situation est privil gi e le tableau de bord joue alors le r le d une photographie de la biblioth que un instant pr cis Ce qui importe n est plus tant l volution que la composition des collections du budget de la population des 33 MAISONNEUVE Marc Op cit p 214 ILLIEN Gildas DCB11 M moire d tude 2003 29 Quel tableau de bord pour la BPI usagers ou des quipes Le tableau synchronique se d clinera plus fr quemment en tableaux aux entr es multiples croisant par exemple les types de documents leurs th mes leur langue ou leur ge en camemberts multicolores en listes de type Hit Parade documents les plus consult s espaces les
361. te g ographique er cartographique Ibid p 26 THERIAULT Marius Les SIG entre le mythe et l utopie Journ es d tudes SIG et Gestion des sols potentialit s et limites d application Lausanne Institut d am nagement des terres et des eaux et Soci t suisse de p dologie 1992 p 209 200 Quel tableau de bord pour la BPI principe du logiciel est de croiser des donn es spatiales points lignes polygones avec des donn es d attributs informations d crivant les l ments localis s qui sont stock es et manipul es en fonction de th mes regroupant des couches de donn es Les combinaisons de superposition de ces couches sont susceptibles de fabriquer un nouveau jeu de donn es et de r pondre ainsi une question ou analyser un probl me Enfin la partie la plus visible de ce dispositif est l interface graphique d utilisation Les biblioth ques utilisant des SIG sont encore peu nombreuses Rares sont celles qui disposent des moyens n cessaires au d veloppement et la maintenance d un logiciel adapt leurs besoins De plus aucun SIGB standard ne propose de module sp cifique permettant l exploitation g ographique des donn es statistiques Pour les biblioth ques publiques organis es en r seau et charg es de desservir une population r partie sur un territoire tendu ce type d outil est pourtant tr s utile Il permet notamment de visualiser la p n tration de la biblioth que l
362. te jouer un r le pilote et coordonateur au plan national dans ce domaine la ma trise d une m thodologie ad hoc permettant d appr hender l valuation des services lectroniques et plus largement de la consultation de la documentation immat rielle pourrait lui tre utile et susciter l int r t de ses partenaires Au del nous pensons que si la BPI devait s engager dans un projet structur d valuation son implication et sa capacit communiquer sur cette d marche pourraient conduire d autres tablissements se tourner vers elle afin de profiter de son exp rience et de son savoir faire en la mati re La BnF a jou un r le pionnier dans le domaine de l valuation mais les tableaux de bord qu elle annexe son rapport d activit ne sont pas toujours tr s parlants pour les responsables des biblioth ques publiques Pour passer du comprendre au faire et encourager la diffusion des pratiques d valuation dans les biblioth ques fran aises les grands tablissements comme la BPI ont sans doute un r le jouer Ils pourraient prendre le relais des administrations centrales et montrer non plus comment faire mais comment ils ont fait 146 r i Cette liste figure en Annexe 2 207 Quel tableau de bord pour la BPI Liste des sigles utilis s ABF ACCORD ACERB ADBGV ADBDP ADBU APUR ARL ASIBU BDP BM BMVR BnF BPI BIU BU CBI CES CNAC GP CSP DBMIST Association d
363. teur donnent une id e g n rale de la ventilation des pr f rences documentaires des lecteurs ils peuvent galement servir g rer l implantation g n rale des collections la maintenance des postes informatiques la r partition et l encadrement des personnels charg s du rangement vacataires mobiles affect s des secteurs ou du renseignement titulaires et vacataires post s aux bureaux d information L indication d une activit soutenue ou en hausse constante dans un secteur donn permettra par exemple d attirer l attention des agents de s curit de la section retraitement ou du service informatique sur cette zone de fr quentation et de consultation Elle pourra galement conduire des red ploiements de personnels Dans cette perspective la r gularit et la fr quence des relev s importent davantage que leur pr cision on mesure des flux d activit et des circulations tant t physiques tant t sur le r seau Les seules informations utiles sont alors la cote CDU du document son support et ventuellement la cat gorie du document encore que celle ci puisse se d duire ais ment partir de la combinaison des deux premi res Ces informations permettront d apparenter chaque document un secteur et de reconstituer par ce biais l activit globale de consultation en fonction de la localisation des collections dans l espace Les indicateurs op rationnels que l on pourra construire partir
364. th ques qui ont conduit choisir certaines solutions plut t que d autres Il est galement important de rappeler que la probl matique organisationnelle de la BPI ne sera voqu e ici que de mani re allusive La r daction d un rapport de stage intitul Mutations et r organisation de la Biblioth que publique d information a en effet pr c d celle de ce m moire qui prolonge la r flexion engag e alors en pr sentant l valuation comme un chantier susceptible d accompagner la r organisation en cours dans l tablissement ainsi que l laboration de son Projet d tablissement Rappelons les traits les plus caract ristiques de la BPI l automne 2002 deux ans apr s sa r novation et sa r ouverture l tablissement continue d accueillir chaque jour environ 7 000 lecteurs dont les files d attente t moignent d un effet de saturation La composition du public a peu chang malgr le renouvellement des g n rations et quelques r quilibrages entre les cat gories socio professionnelles et les sexes pourtant les pratiques voluent L int gration des documents lectroniques aux collections imprim es et analogiques l acc s tr s convoit Internet donnent lieu de nouvelles strat gies d appropriation de contournement voire de d tournement de l offre documentaire Malgr le succ s des crans et l essor des services distance elle demeure le lieu d une occupation per
365. tion _ syst me semaine Maintenance des Nb de postes r 5 Activit de maintenance et Non postes publics 3 installer apr s de r paration retour de chez le constructeur 15 J Mode d organisation Horaires de la En semaine Entre 9h30 et 18h maintenance Le week end Entre 10h et 16h Incidents Consign s dans un Non comptabilis s cahier de bord Certaines r solutions d incidents proc dures ou m thodes sont mis dans des fichiers communs Accueil de stagiaires Pr sentations du syst me Nombre de 2 stagiaires accueillis 3 mois 1 2 au total dans l ann e dur e Pr sentations du List es mais non 8 syst me chiffr es E d information Remarques Document synth tique efficace qui contient un grand nombre d indicateurs classiques Les donn es de la semaine test sont report es en annexe jour par jour int ressant mesurer nombre de probi mes signal s en urgent bip ou en non urgent bo te lettres informatique nombre d incidents de premier ou de second niveau nombre de coupures d lectricit qui alourdissent la maintenance des postes publics le nombre de d gradations par les lecteurs SERVICE EQUIPEMENT ET MAINTENANCE Descriptif du document Responsable par interim aujourd hui chef de service Katherine Sebire R dacteur s signataire s ND Intitul du document Rapport d activit 2001 du Service Equipement et Mai
366. tion historique et th orique Elle explore les principaux concepts de l valuation et vise confronter l appareil m thodologique pr conis la r alit historique qui permet d appr cier les difficult s d application propres au contexte fran ais La seconde partie pr sente le cadre d analyse ainsi que les principales conclusions de l tude de faisabilit r alis e la BPI elle constitue un diagnostic de l valuation dans l tablissement et tablit le lien entre valuation et changement organisationnel Dans la troisi me partie nous avons souhait r unir toutes les pr conisations techniques qui pourraient tre utilis es par les agents de la BPI une s lection d indicateurs y est pr sent e et confront e aux normes en vigueur ou l tude ainsi qu une proposition d exploitation cartographique des tableaux de bord ILLIEN Gildas DCB11 M moire d tude 2003 13 Quel tableau de bord pour la BPI Partie 1 L valuation dans les biblioth ques 1 Les tableaux de bord dans la d marche d valuation mode d emploi Pr alablement toute interrogation sur la probl matique de construction et d utilisation des tableaux de bord il convient de pr senter les difficult s et les sp cificit s de la terminologie qui sera utilis e tout au long de notre tude Bien que des manuels r cents aient d ores et d j balis le champ de cette investigation il semble en effet qu
367. tion qu a connue la SDBD dont les effectifs ont t r duits 25 personnes et qui dans le contexte de la r forme de l tat est entr e dans une logique de projet le mod le lin aire et vertical de remont e des statistiques propre au contr le a posteriori ne pouvait demeurer en l tat Aussi a t on cherch faire voluer l ESGBU afin qu elle soit mieux adapt e la logique de fonctionnement par projet qui rejoint la mise en place des programmes vis s par la Loi organique de 2001 tant pour le minist re de tutelle que pour les tablissements Cette modernisation a d abord t technique les formulaires de l ESGBU peuvent d sormais tre remplis en ligne et le traitement statistique a gagn en rapidit et en efficacit Par ailleurs l alimentation de la base de donn es sur les BU ne se limite plus aux seules statistiques fournies par les tablissements dans le cadre de l enqu te elle s est en effet enrichie de donn es relatives aux projets d tablissement d autres concernant les emplois d autres enfin qui portent sur les constructions Le croisement de ces diff rentes donn es permet d ores et d j de mieux contextualiser l activit et la performance des tablissements Il claire utilement les d cisions et les arbitrages que l administration centrale doit rendre pour ce qui concerne par l exemple l attribution de moyens humains ou les investissements propres au
368. tion sont nombreuses et peuvent faire tre r alis es ponctuellement par la CBI mais les services profitent rarement de cette opportunit Paule Ruiz g re galement les statistiques relatives aux r servations des 50 postes donnant acc s l Internet libre dans les espaces publics mais celles ci ne sont pas tr s pertinentes car les postes sont pris d assaut en permanence et les donn es environ 640 sessions par jour ne concernent que les r servations et non les sites consult s par les usagers Plus int ressantes en revanche les statistiques d impression 1000 pages par jour permettent de mesurer finement l activit d impression dans l ensemble des espaces publics notamment sa r partition par secteur de la biblioth que et par type de poste postes Opac multim dias postes Internet libre postes d di s la base BPI Doc postes des espaces Autoformation et Son Vid o Elles donnent lieu l dition d tats mensuels par poste et par serveur Mises disposition des agents sur l Intranet ces donn es ne sont gu re exploit es sinon par le service Public Info qui g re la base de dossiers de presse num ris s BPI Doc Le service SLL Son Langues et Logiciels exploite directement les donn es de Mmediaview qui concernent les consultations et les r servations de documents et de postes g r es par deux de ses sections la section Autoformation et la section Son Ces informations sont tr s d taill
369. tionale Pierre Carbone r sume fort bien ce que l on pourrait qualifier de paradoxe fran ais Dans le cadre fran ais cela veut dire au niveau local g rer au mieux une situation o les innovations ont t d cr t es un chelon centralis L tat qui a proclam ces vingt derni res ann es sa volont de d centralisation tout en tenant impulser nombre de ses politiques sectorielles L approche fran aise de l valuation est donc comprendre la fois la lumi re d une tradition statistique et de ces mouvements de fond relatifs aux transferts de comp tences entre les diff rents chelons de l administration publique Pour illustrer ce propos et pr senter les traits les plus saillants du contexte institutionnel et politique dans lequel s organise l valuation des biblioth ques fran aises on se propose de pr ciser d abord quelques l ments de contexte qui posent la question de l valuation dans la conduite g n rale des politiques 13 CARBONE Pierre Op cit 46 CARBONE Pierre Dir 2002 Op cit p 5 ILLIEN Gildas DCB11 M moire d tude 2003 39 Quel tableau de bord pour la BPI publiques On distinguera ensuite le cas des biblioth ques universitaires de celui des biblioth ques publiques et territoriales En effet l valuation a emprunt des voies diff rentes pour s introduire dans chacune de ces familles m me si leurs approches tendent aujourd hu
370. tionnel du recueil statistique Aline Girard Billon et Thierry Giappiconi nuancent cependant ces constats en insistant sur la richesse des r ponses glan es dans les questions ouvertes du questionnaire Celles ci laissent appara tre une grande diversit des champs valu s que le projet de norme ISO 11620 ne prenait pas en compte suivi des acquisitions tudes fines de la composition du renouvellement de la mobilit du public suivi des animations des relations avec les secteurs culturel et associatif formation du personnel etc Les auteurs parlent galement d une effervescence pour qualifier les r ponses ces questions ouvertes qui t moignent selon eux d un vrai changement d esprit Par exemple ils observent que les professionnels sont tr s sensibles la n cessit de prendre en compte les besoins de l ensemble de la population qu ils desservent et pas seulement la satisfaction de leurs usagers Un grand nombre insistent aussi sur la relation qui unit valuation et gestion des ressources humaines Ces observations rejoignent le t moignage d Alain Caraco quelques ann es plus t t Les pratiques ne semblent cependant pas suivre ces bonnes intentions alors m me que de nombreux responsables signalent un progr s notable du contr le de leur administration de tutelle En conclusion les auteurs lancent un appel aux tutelles des biblioth ques publiques qui contrairement celles des biblioth
371. tir une stabilit et une coh rence la conduite de leurs actions afin que celles ci gagnent en efficacit et s inscrivent dans le long terme ind pendamment des changements gouvernementaux En r sum leur d marche s appuie sur une meilleure d finition des objectifs sur la prise en compte et le contr le de la qualit des services rendus sur l implication des usagers et des personnels L utilisation d indicateurs et de tableaux de bord appara t indissociable de ce nouveau mod le de gestion publique Ceux ci sont donc des produits de la rencontre entre id ologie lib rale et service public Cette rencontre s est faite de fa on dynamique et parfois dans une certaine urgence compte tenu du contexte conomique britannique En France nous verrons que des m thodes comparables ont t introduites quelques ann es plus tard mais selon une dynamique institutionnelle diff rente Aujourd hui encore OSBORNE David GAEBLER Ted Reinventing Government How the Entrepreneurial Spirit is Transforming the Public Sector from Schoolhouse to Statehouse City Hall to Pentagone Reading MA Addison Wesley 1992 ILLIEN Gildas DCB11 M moire d tude 2003 36 Quel tableau de bord pour la BPI elles constituent cependant une sorte de choc culturel dans la communaut des biblioth caires Ce choc semble plus difficile et plus lent surmonter pour eux que pour leurs coll gues anglo saxons de m me que la terminolo
372. trait de visualiser les d placements dans l espace et l volution dans le temps de la demande documentaire Elle concerne principalement les imprim s mais rien n interdit de croiser ces donn es avec les statistiques d utilisation des postes informatiques dur es des connexions ou nombre de sessions 203 Quel tableau de bord pour la BPI Pour le renseignement et l orientation des lecteurs les donn es g ographiques correspondraient aux num ros des bureaux soit une dizaine de codes et seraient galement tr s simples int grer la base de donn es au moment de la saisie des r sultats des semaines tests La typologie des questions retenue pour le protocole de la semaine test pourrait tre reprise ce niveau afin que l on puisse visualiser pour chaque bureau la part des diff rents types de question Un exemple graphique de cette application est pr sent en Annexe 3 L outil de repr sentation et de simulation pourrait faciliter les n gociations entre personnels et direction concernant l organisation du service public la gestion des plannings des temps de travail et des formations L utilisation du SIG par les services de support logistique et informatique implique un travail plus lourd de relev et de saisie des informations Ce type d instrument de gestion correspond toutefois une tr s forte demande de la part des services quipement et maintenance et informatique Ces deux services sont tr
373. ttp equinox dcu ie reports pilist html consult le 02 12 2002 IFLANET Internet amp Networking Surveys and Statistics www ifla org Il stats html consult le 31 10 2002 MINSTREL Management Information Software Tool Research in Libraries www dmu ac uk camile Minstrel htm consult le 31 10 2002 UNESCO Institute for Statistics Statistical Yearbook http uis UNESCO org consult le 31 10 2002 217 III SUR LA BPI BARBIER BOUVET Jean Fran ois Le lien et le lieu consultation distance et consultation sur place la BPI Enqu te sur les usages et les usagers du Service des r ponses par t l phone Paris BPI 1980 BARBIER BOUVET Jean Fran ois Babel Beaubourg l autodidaxie linguistique la BPI Paris BPI 1982 BARBIER BOUVET Jean Fran ois Portrait de groupe avec minitel petite ethnographie des utilisateurs Bulletin des biblioth ques de France 1984 tome 29 n 3 BARBIER BOUVET Jean Fran ois Le savoir faire et la ruse sociologie du public de la Biblioth que publique d information du Centre Pompidou Th se EHESS 1986 BARBIER BOUVET Jean Fran ois POULAIN Martine Publics l uvre pratiques culturelles la Biblioth que publique d information du Centre Georges Pompidou Paris Centre Pompidou la Documentation fran aise 1986 BAUDE Dominique Formation aux CD ROM la Biblioth que publique d information Bulletin des biblioth ques de France 1995 tom
374. u exerce toute biblioth que les orientations du Projet d tablissement de la BPI font de celui ci une coquille vide ou plut t un cadre l int rieur duquel il reste possible de faire des choix d cisifs ceux ci auront trait aux contenus et aux priorit s d une politique de services de d veloppement documentaire d animation de coop ration ou de gestion Dans ces conditions il nous semble que la direction peut si les personnels se pr tent au jeu profiter du colloque interne et de ses prolongements pour organiser un v ritable change avec les quipes afin qu mergent des projets originaux qui permettraient la BPI de renouer avec sa tradition d innovation Dans le sillage de ce colloque l laboration du Projet d tablissement est une op ration tr s favorable la mise en place d indicateurs et de tableaux de bord Les dissocier serait sans nul doute une erreur On a vu travers l exemple de la BnF combien les deux d marches taient li es les diff rents niveaux d objectifs du Projet d tablissement doivent se retrouver dans les rubriques du tableau de bord L approfondissement du Projet d tablissement peut donc tre l occasion de r soudre ou d att nuer les probl mes m thodologiques et politiques que nous avons identifi s L valuation a la vertu d obliger ses acteurs re d finir leurs buts Plac s en situation de choisir entre plusieurs indicateurs d activit nos
375. uction de tableaux de bord op rationnels pour chaque domaine et chaque niveau de d cision Tous les indicateurs proviendraient d une m me base de donn es brutes ce qui garantirait la coh rence entre les diff rents tableaux de bord organis s entre eux selon une structure gigogne 2 3 Reproductions impressions t l chargements En compl ment de l analyse de la consultation nous pensons que les donn es relatives aux diff rents modes de reproduction ou d extraction documentaire photocopies impressions t l chargements sont des indicateurs tr s pertinents pour mesurer l activit et les pratiques lorsqu il n est pas possible de comptabiliser les pr ts On peut en effet consid rer que la mise disposition de services de reproduction ou d impression constitue un service important dans une biblioth que de consultation elle contribue de fa on d terminante la qualit de la prestation offerte aux usagers Parce que ces services sont le plus souvent externalis s aupr s de soci t s priv es les biblioth caires ont tendance les exclure de leur champ de comp tence et oublier qu au del de la qualit du renseignement donn ou de l environnement de travail propos rapporter chez soi une trace crite de ce que l on a trouv la biblioth que reste une pr occupation majeure pour beaucoup de lecteurs La norme ISO 11620 n a retenu aucun indicateur sur les impressions ou les
376. ue et m thodologique 2 2 2 Les personnels face l valuation un potentiel valoriser Comment l valuation est elle per ue par les personnels que nous avons rencontr s Elle est mal connue dans l tablissement bien qu elle soit pratiqu e beaucoup d agents font de l valuation sans le savoir quoique leurs d marches soient sectorielles isol es et rarement valoris es Le terme est g n ralement assimil trois aspects diff rents l valuation individuelle des agents dans le cadre des entretiens annuels les statistiques pr sent es dans les rapports d activit les enqu tes de public conduites par le service tudes et recherche Ces derni res sont populaires et semblent jouer un r le important fl EVANS Christophe CAMUS Agn s CRETIN Jean Michel Les habitu s Le microcosme d une grande biblioth que Paris BPI Centre Pompidou 2000 119 Quel tableau de bord pour la BPI dans la repr sentation que les personnels se font de la performance de leur travail encore que cette repr sentation se limite le plus souvent un niveau quantitatif les agents sont attentifs la courbe de fr quentation qui indique la fois leur capacit attirer ou fid liser le public et la charge de travail laquelle ils sont confront s Pour beaucoup d entre eux la file d attente et le compteur d entr es tiennent lieu de dispositif d valuation et justifient le statu quo pour
377. ues r former le cadre de la gestion publique pour l orienter vers les r sultats assurer la transparence des informations budg taires et favoriser les choix strat giques en mati re de finances publiques L l ment le plus novateur du texte est l orientation du processus budg taire vers les r sultats attendus La r forme engag e s articule en effet autour de la notion de programme fond e sur un engagement quant aux r sultats et un compte rendu d mocratique qui passe par un renforcement du contr le parlementaire Le programme regroupe des cr dits destin s mettre en uvre une action ou un ensemble coh rent d actions relevant d un m me minist re auxquels sont associ s des objectifs en fonction de finalit s d int r t g n ral ainsi que des r sultats attendus faisant l objet d une valuation L engagement sur les r sultats s exprime travers la notion de projet annuel de performance qui est associ la demande d autorisation budg taire pour les programmes Le projet doit permettre la fois de d crire ce que sont les actions qui constituent le programme d en indiquer les co ts et d en d finir les objectifs et les r sultats attendus Les objectifs h MAYOL Pierre Op cit p 6 Loi organique du 1 ao t 2001 relative aux lois de finances ILLIEN Gildas DCB11 M moire d tude 2003 42 Quel tableau de bord pour la BPI et indicateurs de r sultats doivent permettre de
378. uffre structurellement d une localisation clat e Le SI a t d velopp sp cifiquement pour les besoins de l tablissement mais ne dispose pas de modules statistiques particuli rement performants On attend toujours le puits de donn es du SI Les applications documentaires g n rent des statistiques sur les acquisitions les entr es par D p t l gal ou la communication des documents entre autres D autres applications permettent de mesurer le nombre d entr es ou de r servations de places Les enqu tes de publics s appuient quant elles sur un dispositif et des outils statistiques assez fins Si le module des acquisitions permet de contr ler directement le suivi des d penses dans le logiciel de gestion financi re GRF c est n anmoins la seule application disposant d une passerelle avec une autre Les bases sont h t rog nes et les statistiques qui en sont extraites doivent comme la Ville de Paris tre ressaisies ou r encod es dans des tableurs Excel ou Access sans que les pratiques en la mati re aient fait l objet d une harmonisation les donn es sont calcul es tr s en amont de leur agr gation par la D l gation la strat gie selon des proc dures et des niveaux tr s diff rents Par exemple l unit de fr quence des relev s est tant t la journ e tant t le mois tant t l ann e Lorsque ces donn es doivent tre additionn es cela complique consid rablement tout
379. uis sous pr texte qu ils ne s inscrivent pas dans une vision savante et structur e de l valuation Il s agit au contraire de sensibiliser la direction l existence de ce potentiel humain Au moyen d outils et de formations adapt s ainsi que d un pilotage dynamique nous croyons possible non seulement de constituer une quipe et des relais capables de mettre en uvre le projet mais aussi de valoriser le travail r alis et de permettre aux agents de s panouir davantage si la culture de l tablissement est assez trang re l valuation elle n y est pas fondamentalement hostile Dans le contexte actuel de la r organisation il serait n anmoins dangereux d approfondir le dispositif d valuation jusqu au niveau des fiches de postes pr conis es par Thierry Giappiconi la mise en relation de l valuation des activit s des services et de l valuation individuelle des agents pourrait tre fatale au projet En conclusion sur les moyens humains on peut dire que la situation s av re beaucoup plus favorable qu il n y paraissait de prime abord La perception de l valuation et les comp tences sont tr s in gales d un secteur l autre mais des comp tences existent et ont pu tre localis es 2 3 Une constellation d outils harmoniser et actualiser De quels outils la BPI dispose t elle pour construire ses indicateurs Sont ils ma tris s et utilis s S agissant
380. uler l ge moyen des collections partir des dates de publication et leur renouvellement part des ouvrages acquis dans l ann e Le calcul de tous ces indicateurs pour tous les domaines de la collection est un travail tr s lourd qu il n est envisageable de conduire qu une fois par an Bruno B guet souligne quelques unes des limites de l exercice les donn es relatives au renouvellement des collections sont biais es par le d sherbage le calcul d indicateurs de niveau de difficult des ouvrages n est pas pertinent car ce champ a t renseign de fa on al atoire De plus l interpr tation des donn es s av re difficile en l absence de tout r f rentiel de comparaison m me si des croisements ponctuels avec les statistiques concernant certains secteurs du Haut de jardin de la BnF s av rent pertinents Bien qu il offre quelques fonctionnalit s tr s utiles notamment pour le suivi r gulier des acquisitions le SIGB ne permet pas de r aliser une valuation beaucoup plus fine des collections Les manipulations statistiques requi rent une certaine expertise technique et leur interpr tation reste complexe Leur comparaison avec d autres bases documentaires de la BPI est difficile car chaque outil utilise sa propre nomenclature d indexation ou de classification des th mes et domaines documentaires C est le cas de Mmediaview application r alis e par la soci t EI Audiovisuel pour la gestion des do
381. ulture dl biblio stats index bibliostatsOl htm gt Ce site reprend les statistiques des biblioth ques municipales mais la pr sentation en reste sommaire et ne permet pas aux utilisateurs distants de g n rer des calculs L ADBDP pr sente quant elle des donn es statistiques relatives aux BDP consultables l adresse lt http www adbdp asso fr lesbdp chiffres htm gt La surprise de la rentr e 2002 est n anmoins venue de la nouvelle Association des directeurs des biblioth ques municipales et intercommunales des grandes villes de France ADBGV que pr side d sormais Alain Caraco Dans un message publi le 20 novembre 2002 sur la liste de discussion lt biblio fr gt l ADBGV a en effet annonc la mise en ligne des statistiques des biblioth ques des grandes villes Les donn es sont issues de la base statistique de la DLL enrichies de donn es compl mentaires et pr sent es sous plusieurs formes On peut gr ce cet outil tudier une biblioth que ou comparer deux tablissements visualiser les moyennes et totaux nationaux ou afficher de nombreux classements selon diff rentes cat gories personnel d penses documentaires surface inscrits pr ts efc L ergonomie du site lt http www adbgv asso fr index php page statistiques gt est plut t bien pens e et l ensemble nous a sembl constituer l application la plus aboutie de la d marche d valuation dans le secteur de la lect
382. ument ou le service aux publics plus le tableau se r f rera des actions pr cises et des objectifs op rationnels Le Cet aspect est fr quemment mentionn dans la litt rature trang re Dans ses Recommandations pour la construction d indicateurs de performance dans les biblioth ques universitaires Roswitha Poll crit Staff involvement is also necessary to overcome the fear that is now and then wrongly associated with the performance measurement namely the fear of having one s personal performance scrutinized POLL Roswitha Op cit p 25 ILLIEN Gildas DCB11 M moire d tude 2003 31 Quel tableau de bord pour la BPI degr d implication des agents dans sa r alisation et le degr de ramification ou de pr cision du tableau de bord par rapport l ensemble des t ches r alis es dans la biblioth que seront fonction de la taille de la structure et de la culture de l tablissement Les tableaux de bord sont des instruments de d centralisation et de responsabilisation de l ensemble des personnels de la biblioth que r sume Thierry Giappiconi 2 L valuation dans les biblioth ques tat de l art Les concepts et les outils pr sent s posent naturellement des difficult s d application dont certaines ont d j t voqu es Dans une optique de mise en uvre pratique on reviendra sur ces probl mes de fond ou de forme de fa on plus approfondie lors de l examen de
383. un pour le suivi des projets en coh rence avec les programmes et sous programmes con us au niveau minist riel Cette volution s accompagne d une seconde demande forte du Gouvernement Les quatre priorit s indiqu es par le ministre de la Culture lorsqu il a r cemment r uni les responsables des tablissements publics nationaux culturels sont les suivantes tre au service de toute la nation assurer un r le de rayonnement international poursuivre l largissement des publics favoriser la cr ation et la recherche Le premier de ces objectifs appara t comme prioritaire dans la perspective de la nouvelle d centralisation Le cabinet du ministre s est montr particuli rement int ress par les projets de coop ration nationale que la BPIse propose de conduire au moyen de ses services distance en particulier L tablissement y voit une opportunit de renforcer ses moyens et de justifier son statut d tablissement national Elle est en effet isol e par rapport la BnF qui remplit des missions nationales reconnues de D p t l gal de conservation de catalogage et de bibliographie et qui a initi la coop ration avec les p les associ s Cette nouvelle orientation conduit la direction de la BPI penser sa politique au service d autres biblioth ques publiques et en concertation avec elles Elle l oblige galement d fendre des projets nationaux pour lesquels elle a besoin de comparer son activit c
384. ur le terrain Bien qu imparfait il t moigne avant tout d une volont de sensibilisation et de p dagogie qui se traduira en 1991 par la publication d un manuel d valuation par l ADBDP puis plus tard par la r alisation d un logiciel d valuation du nom d Evalbib Selon Alain Caraco le d but des ann es 90 fut un v ritable tournant dans la mesure o au del de la r alisation du Guide les assembl es g n rales et les journ es d tude organis es par l ADBDP cette poque marqu rent selon ses propres termes le d but d une culture professionnelle de l valuation Le sujet tait enfin per u par tous comme important certains cherchaient valider leurs premiers outils les autres attendaient prudemment les r sultats des premiers Thid p 116 Un extrait du Guide des BDP est ins r dans la contribution d Alain Caraco l ouvrage d Anne Kupiec Op cit p 122 123 l Biblioth ques centrales de pr t l valuation du service rendu ADBCP 1991 72 2 Ibid p 121 ILLIEN Gildas DCB11 M moire d tude 2003 55 Quel tableau de bord pour la BPI La lecture du compte rendu de l enqu te r alis e six ans plus tard par Aline Girard Billon et Thierry Giappiconi temp re n anmoins cet enthousiasme Con u partir du projet de norme ISO 11620 le questionnaire adress 495 biblioth ques les 96 BDP et 399 BM a effectivement t renvoy par 128
385. ur qui conduit additionner les visites virtuelles et les entr es physiques la biblioth que indicateur B 1 3 6 pourcentage de visites virtuelles par rapport au total des entr es La m thode pr conis e consiste compter le nombre de visites sur le site web de la biblioth que sans tenir compte de la r p tition des adresses IP 1a BARBIER BOUVET Jean Fran ois Le lien et le lieu consultation distance et consultation sur place la BPI Enqu te sur les usages et les usagers du Service des r ponses par t l phone Paris BPI 1980 165 Quel tableau de bord pour la BPI individuelles ou du nombre de pages et d l ments visionn s Cela revient accorder le m me statut un usager qui se contente de cliquer quelques secondes sur la page d accueil du site web de la biblioth que et un usager qui s est d plac jusqu la biblioth que a fait la queue pendant une heure avant d y acc der et y a travaill pendant 3 heures L investissement personnel dans ces deux situations est notre sens sans comparaison et l amalgame de ces deux mesures nous para t intellectuellement intenable C est pourquoi nous pr conisons le d compte statistique des requ tes et des visites du site web de la BPI dont l volution pourra tre compar e celle de la fr quentation physique de toute fa on assez stable du fait de la saturation des espaces mais pas leur addition Des mesu
386. ure publique bien que toutes les fonctionnalit s interactives calculs automatis s de ratios ou bureautiques dition de graphiques ne soient pas disponibles La cr ation de cet outil constitue en tout tat de cause une tape importante dans la perspective d une appropriation par les tablissements des donn es et des d marches d valuation et de benchmarking Dix ans apr s le Guide des BDP il appara t donc que c est de nouveau une association qui joue un r le moteur de promotion de l valuation dans la communaut professionnelle l histoire se r p te mais la d marche s est approfondie et les outils se sont perfectionn s 81 consult le 06 12 2002 consult le 06 12 2002 consult le 06 12 2002 ILLIEN Gildas DCB11 M moire d tude 2003 63 Quel tableau de bord pour la BPI 2 3 Analyse externe deux exemples proches de la BPI Ce tour d horizon des biblioth ques publiques et universitaires a permis de mieux comprendre les enjeux la fois historiques politiques et culturels qui expliquent la singularit du contexte fran ais Les relations entre tutelles associations professionnelles et tablissements apparaissent d terminantes pour le d veloppement ou le blocage des pratiques et des outils de l valuation Parce qu elle constitue un chantier de la biblioth conomie vers lequel convergent la conduite des politiques publiques l attribution des moyens et plus g n raleme
387. usagers est affect e par plusieurs facteurs leur exp rience ant rieure de la biblioth que ou d autres biblioth ques leur relation l enqu teur Loyalty influences the answers le fait qu ils puissent tre in satisfaits pour des raisons qui ne sont pas li es au degr de performance de la biblioth que ou du service utilis De plus la mesure de la satisfaction ne semble int ressante que lorsque l on peut l appr cier chez des cat gories sp cifiques d usagers par exemple les tudiants 170 Quel tableau de bord pour la BPI de premier cycle ou les enseignants chercheurs dans une biblioth que universitaire En ce cas l approche segment e des publics permet d avoir un retour pertinent sur la qualit de services identifi s tels que le service de pr t entre biblioth ques le service de renseignement et de r f rence les services de formation aux usagers la BPI l absence d un public captif identifi ou cibl ne permet pas de proc der des valuations fines et sectorielles de ce type Compte tenu du volume de fr quentation la constitution d un chantillon repr sentatif de la population ou d un de ses segments s av re extr mement lourde et complexe L expression de la satisfaction ou de l insatisfaction se manifestera davantage dans l observation des pratiques de consultation dans les remarques consign es dans les cahiers des lecteurs ou dans les comportements Le crit
388. ussi un taux de frustration il permet en quelque sorte de mesurer la demande non satisfaite Le nombre d entr es peut enfin servir une valuation conomique de masse Le co t par entr e indicateur B 2 1 4 co t par entr e la biblioth que est en effet le seul indicateur de public qui soit la fois pr conis par la norme ISO 11620 et pertinent la BPI On calculera alors le montant total des d penses ordinaires de la biblioth que au cours d une ann e budg taire que l on divisera par le nombre d entr es Les estimations r alis es la BPI indiquent un co t d environ 10 euros par entr e ce qui en soi ne veut absolument rien dire 6 i 7 RTE A Ce une personne morale ou physique qui s est rendue la biblioth que ou qui a utilis les services de la biblioth que par d autres voies au cours de l ann e coul e indicateur B 2 1 1 pourcentage de fr quentation de la population cible 164 Quel tableau de bord pour la BPI moins de comparer ce chiffre celui de l ann e pr c dente ou celui d une autre grande biblioth que publique Qu en est il de la fr quentation distance Peut on parler comme c est d sormais l usage de visites virtuelles Il s agit l d une question la fois strat gique pour l avenir de la BPI et profond ment ambigu En effet la notion de fr quentation distance recoupe celle de consultation
389. ux RADIS se fait de fa on continue on peut imaginer d utiliser diff rents ratios le nombre des questions trait es par jour ou par an permettrait de faire des croisements int ressants entre le nombre de visites du site web nombre de questions par visite En revanche il nous semble peu pertinent d additionner le nombre de r ponses distance avec le nombre de r ponses sur place et de les rapporter au total de la fr quentation dans la mesure o cela impliquerait logiquement d additionner le total des entr es au total des visites virtuelles Il semble beaucoup plus int ressant d utiliser l indicateur de demandes d informations lectroniques qui est propos dans le projet de rapport technique sur les services lectroniques des biblioth ques indicateur B 1 4 1 pourcentage des demandes informations transmises sous forme lectronique La construction de cet indicateur implique de noter toutes les demandes d information re ues par l ensemble du personnel de la biblioth que sur une p riode repr sentative semaines tests par exemple en indiquant le mode de transmission Parmi les questions il faut ensuite d nombrer celles qui ont t transmises lectroniquement adress es par m l aux services de la biblioth que ou des biblioth caires ou par des formulaires sur le web Cet indicateur donne une indication de l volution des pratiques des usagers de la biblioth que bien que son r sultat puisse
390. vec un nombre croissant de partenaires et de tutelles d marches pour lesquelles elles ont besoin d outils de comparaison de communication et de n gociation Dominique Arot rapportait r cemment ces propos de Maurice Basl pr sident de la Soci t fran aise d valuation dans La Gazette des communes Aujourd hui les collectivit s locales sont sorties des simples pratiques de contr le financier et comptable Elles se sont lanc es dans l valuation de l efficacit de leurs politiques de la qualit des services publics locaux Si l valuation conna t un certain retard dans les biblioth ques publiques fran aises il appara t donc qu elle est plus que jamais d actualit Par rapport aux biblioth ques universitaires les biblioth ques publiques pr sentent trois caract ristiques qui compliquent consid rablement la mise en uvre de proc dures d valuation leur nombre on recensait en 1999 environ 2975 biblioth ques municipales et 96 biblioth ques d partementales de pr t leur diversit de taille de moyens de statuts de missions et la moindre implication de leur minist re de tutelle qui s explique par l histoire et la configuration e BERTRAND Anne Marie Biblioth que municipale la carte et le territoire In Kupiec Anne Dir Biblioth ques et valuation Paris Electre ditions du cercle de la librairie 1994 Biblioth ques p 43 Voir Maurice Basl cit par Dominique
391. velle BPI premiers r sultats de l enqu te 2000 2001 Document de travail tudes et recherche Paris BPI 2001 dact EVANS Christophe Les publics de la nouvelle BPI Synth se 2000 20001 Document de travail tudes et recherche Paris BPI avril 2002 dact GAUDET Fran oise La file d attente synth se des cahiers des lecteurs de l Accueil Document de travail BPI juin 2002 dact RUIZ Paule valuation statistique des applications mises la disposition du public la BPI par l outil de f d ration Mmediaview Document de travail BPI 08 10 2002 dact RUIZ Paule Catalogue de la biblioth que tests en vue de l exploitation de statistiques de consultation Document de travail BPI 15 10 2002 dact 210 Quel tableau de bord pour la BPI II ENTRETIENS AVEC DES PROFESSIONNELS DE LA BPI AVRAIN Madeleine Adjointe au chef du Service de la formation 05 09 02 ANTONUTTI Isabelle Charg e de la Mission coop ration 09 02 02 B GUET Bruno Adjoint au chef du service des imprim s 16 10 02 BERGEAL Colette Chef du service des documents lectroniques 02 10 02 CHAUMET Claire Chef du service informatique 04 10 02 DARTOIS Claire Conservateur au service des documents lectroniques 04 10 02 DELMAS TUFFET Fran oise Chef du service des r ponses distance 01 10 02 DUSSERT CARBONE Isabelle Adjointe au directeur 05 09 02 GAUDET Fran oise Chef du service tudes et recherc
392. vement au contenu et au volume de l offre Dans le second cas les indicateurs doivent clairer l organisation et la pr sentation g n rale de l offre ainsi que l ensemble des flux et des mouvements que sa consultation suscite dans les espaces ou sur les r seaux Nous suivrons la distinction entre documents imprim s et ressources lectroniques en d crivant d abord des solutions relatives la collecte des statistiques de consultation puis d autres qui concernent leur exploitation et leur mise en coh rence afin d obtenir des indicateurs hybrides portant sur l ensemble des supports 2 2 2 1 Les dispositifs de collecte des donn es sur la consultation Avant d examiner les dispositifs techniques de collecte il convient d apporter quelques pr cisions d ordre m thodologique S agissant des imprim s les indicateurs propos s par la norme ISO 11620 et son amendement N 1 semblent peu adapt s la BPI Qu il s agisse du taux d utilisation des documents indicateur B 2 2 6 taux d utilisation des documents ou du pourcentage du fonds non utilis indicateur B 2 2 7 pourcentage du fonds non utilis les dispositifs propos s ne paraissent applicables que lorsque la biblioth que s appuie sur un syst me automatis de gestion des pr ts ou des communications de documents conserv s en magasin Pour l valuation de la consultation sur place les m thodes pr conis es ne sont pas pertinentes dans un
393. x projets de construction dans le cadre du plan U3M La structure et l exploitation du questionnaire ont galement volu afin de permettre de comparer les tablissements effectivement comparables ceux ci sont d sormais class s par groupes qui pr sentent des caract ristiques communes de taille de ILLIEN Gildas DCB11 M moire d tude 2003 48 Quel tableau de bord pour la BPI statut d implantation g ographique de moyens ou de champs disciplinaires Par exemple l Annuaire distingue d sormais des autres biblioth ques les BU et BIU parisiennes les services documentaires des IUFM ainsi que les biblioth ques des grands tablissements L o la distinction s av re pertinente sa nomenclature permet galement de comparer entres elles les grandes pluridisciplinaires desservant une population de plus de 13 000 tudiants les petites et moyennes pluridisciplinaires ou encore les biblioth ques ayant une dominante en Sciences Technique M decine Lettres Sciences humaines ou Droit Sciences conomiques Cette pr sentation permet d chapper en partie la dictature de la moyenne nationale et d affiner l interpr tation des donn es dont le commentaire adopte d lib r ment une approche transversale Les donn es fournies par l Annuaire sont en effet compl t es d analyses qui portent sur les grandes tendances Ces textes permettent de sortir d une logique
394. xions en cours afin de mieux cerner le probl me de l analyse des effets la BPI Ce d tour nous permettra en effet d tendre l examen des difficult s techniques auxquelles l tablissement est confront une r flexion plus long terme int grant l analyse des effets celle de la performance Lors de nos entretiens avec le directeur de la BPI celui ci a insist plusieurs reprises sur la notion de retour sur investissement la BPI manque d outils pour convaincre sa tutelle qu elle ne co te pas tr s cher compte tenu des services qu elle rend la collectivit et par rapport d autres biblioth ques C est pourquoi nous abordons la question des effets en privil giant l approche de Roswitha Poll qui traite sp cifiquement de cette utilisation des indicateurs Nous nous appuyons sur l expos d j cit qu elle a fait lors du dernier congr s de l IFLA Dans le cadre d une m thode qui vise plus largement mesurer les r sultats et les effets et qu elle a baptis e MIAOU Measuring Impact And Outcome on Users la directrice de la Biblioth que universitaire de M nster a envisag plusieurs techniques pour calculer la valeur financi re des services rendus par la biblioth que Dans cette m thode la notion de retour sur investissement est plac e au centre du dispositif d valuation Pour Roswitha Poll l analyse des effets implique que la biblioth que ait pr alablement d fini ses miss
395. xiste entre les services m me si l information circule ais ment entre les personnes Les comp tences n cessaires l exploitation et l analyse des statistiques sont indispensables connaissance des m thodes d analyse statistique ma trise des logiciels utilis s analyse approfondie de leurs possibilit s et de leurs limites connaissance d autres logiciels ventuellement plus performants Ces comp tences ne peuvent s exercer sans formation pr alable Mais elles doivent tre aussi partag es ce qui n est pas toujours possible pour des personnes exer ant des fonctions pourtant identiques dans des services diff rents 2 3 2 Les outils manuels Ce que nous qualifions d outils manuels d signe des dispositifs qui peuvent faire l objet d une exploitation automatis e au moyen de tableurs de calcul ou de bases de donn es par exemple mais pour lesquels il est pr alablement n cessaire de collecter les donn es par le biais d une intervention humaine Cette collecte mobilise des moyens humains autour de t ches qui sont le plus souvent r p titives moins qu ils ne soient int gr s la routine des activit s il n est pas envisageable de proc der des relev s continus on parlera alors plus volontiers d enqu tes ou de sondages qui porteront sur des p riodes courtes et des chantillons Ces dispositifs peuvent tre ponctuels et correspondre la r alisation d un projet d termin ap
396. yse compar e des profils et des pratiques des usagers de la Biblioth que publique d information du Centre Georges Pompidou Paris Centre Georges Pompidou BPI 1998 130 Quel tableau de bord pour la BPI Ce travail de fond mesure toutefois des volutions structurelles et n est pas n cessairement le plus appropri pour prendre des d cisions lorsque l on compare la p riodicit des enqu tes la dur e du mandat d un directeur quatre cinq ans Surtout il s inscrit dans un cadre m thodologique qui est clairement celui de la sociologie et non celui du management D s lors les questionnaires adress s au public explorent finement ses origines ses motivations et ses trajectoires mais n abordent qu indirectement des pr occupations qui rel vent de la gestion technique des collections ou des services Ils s int ressent par exemple l attente la dur e des visites aux mouvements et aux profils des lecteurs par sexe CSP niveau d tude nationalit ge et r sidence Quelques questions s av rent tr s clairantes pour la gestion des services notamment celles qui interrogent les lecteurs sur les documents consult s et les espaces utilis s Il est utile de savoir que 10 ont utilis l Autoformation et qu ils sont aussi nombreux avoir consult Internet Autres exemples de r sultats tir s de l enqu te de 2000 13 des lecteurs les touche rien d clarent n avoir rien consult

Download Pdf Manuals

Related Search

Related Contents

Conecte el proyector  IS1050 取扱説明書 【正誤一覧表】  manual do proprietário  IMC Toys 180345 toy  

Copyright © All rights reserved. Failed to retrieve file