Home

Techniques, méthodes et démarches d`évaluation

1. tat est de mettre en vidence les tats quivoques les incompatibilit s les boucles les chemins qui ne m nent rien dans le but de pallier les insuffisances de l interaction figure 3 1 Ce diagramme sert d finir la dynamique du dialogue op rateur logiciel Il d crit les r gles de passage d un tat un autre et d finit le nombre d tats et de sous tats possibles selon la complexit de la t che ou les types d utilisateurs novices exp riment s Chaque tat initie des sous tats qui autorisent des actions L ensemble des actions possibles d finit d une part les tats autoris s ou interdit l utilisateur et d autre part les actions auxquelles elles m nent et les actions irr alisables En r sum le diagramme transition d tat d finit la cin matique des interactions A titre d exemple cette figure correspond un diagramme transition d tat d un dialogue d impression d un fichier 3 3 1 1 2 Graphe des commandes Ce graphe vise d finir l arborescence la hi rarchisation des commandes et la compatibilit de cette hi rarchisation avec la r alisation des t ches r elles Il constitue un moyen de mettre en vidence la disponibilit des commandes les unes par rapport aux autres Une commande est d clar e disponible si compte tenu de l tat o se trouve l op rateur il peut l utiliser Le graphe des commandes indique galement les enchev trements l
2. Recueil des donn es Evaluation des aides techniques 87 M thodes Brainstorming Analyse de la demande Description des sc nario Utilisabilit Evaluation par experts Evaluation par utilisateurs Traitement des donn es Analyses statistiques Analyses de contenus Cahier des charges ergonomique Analyse du travail T che activit information Traitement des donn es Ensemble des sp cifications techniques Figure 3 7 Processus it ratif centr utilisateur d utilisabilit d un produit ou d un service d apr s Crerar et Benyon 1998 3 4 1 Vers une d marche int gr e d valuation des aides techniques Par comparaison avec les situations classiques d analyse du travail l valuation de nouveaux produits et services destin es un public non professionnel requiert une m thodologie particuli re Dans la mesure ou l AT est en cours de conception 88 Assistance technique au handicap l activit des personnes handicap es ne peut tre observ e en situation r elle Il convient donc d instaurer une d marche reposant sur deux principes initier une d marche it rative figure 3 7 d crire l activit future probable A ce titre un projet de conception d une AT devra mettre l utilisateur futur au c ur de la d marche de conception Par comparaison avec les situations plus classiques en mati re de d veloppement de nouvelles technologies dites cen
3. satisfaire les besoins de ses utilisateurs crit re de satisfaction mesurer sa compatibilit avec l activit r elle de la personne et leurs cognitions crit re d apprenabilit et de tol rance aux erreurs en d autres termes garantir un bon niveau de performance humaine et technique crit re d efficacit L valuation sert galement avec faire voluer l AT en mettant en vidence ses points faibles et en justifiant les am liorations n cessaires Mais cette situation d valuation n est jamais neutre elle d pend de plusieurs facteurs parmi lesquelles on trouve la subjectivit de l valuateur les influences que peuvent exercer les valu s ou encore les d marches d valuation utilis es Par cons quent l valuation des formes de coop ration entre les personnes et les syst mes techniques devient un enjeu consid rable pour non seulement satisfaire l utilisateur ou le client mais aussi pour garantir la r ussite conomique des aides techniques Dans cette perspective nous pr senterons un cadre de compr hension des divers aspects de l valuation ergonomique des AT en soulignant que les d marches utilis es ont un effet direct sur les r sultats de l valuation r alis e Nous chercherons ainsi mettre en vidence les relations qui existent entre les m thodes d valuation le contexte de l valuation et les r sultats produits Dans une premi re partie nous pr senterons l
4. erreurs de d finir les comportements du logiciel lorsque l op rateur l engage dans les actions inattendues et donc bien souvent non pr vues lors de la conception Objectifs de l op rateur Se connecter sur son logiciel Action attendue Action inattendue de l op rateur de l op rateur Saisie du Saisie d un code bon code d acc s d acc s erron Etat attendu Etat inattendu Etat attendu Etat inattendu du logiciel du logiciel du logiciel du logiciel connexion connexion non message d erreur connexion ouverte ouverte ouverte de saisie pas de r ponse message de message signifiant nouvelle pr sentation de l ordinateur bienvenue un probl me de du module de saisie pr voir message de connexion r seau du code d acc s pr sentation modem ordinateur d incident central Figure 3 3 Diagramme de fiabilit d une t che de connexion d un terminal sur un site central Cette m thode a le gros avantage de faire merger les comportements inattendus de l op rateur et les r ponses inattendues du syst me Par contre les r ponses inattendues du syst me sont souvent bien pauvres en contenu tant il est difficile de pr voir la non fiabilit technique De fait celle ci se r sume la plupart du temps des faits possibles du type serveur ne r pond pas communication r seau interrompue et s adresse en cons quence plus la maintenance du syst me qu
5. imposent Christie et al CHR 95 pr conisent quant eux de valuer les buts des buts pr cis doivent tre assign s chaque phase de l valuation par exemple niveau d implication des concepteurs et des managers s lectionner les outils et m thodes employer suivant plusieurs crit res validit de la m thode ressources disponibles financi res mat rielles temps disponible consid rations logistiques et thiques d finir les membres de l quipe d valuation en essayant de rapprocher concepteurs valuateurs et utilisateurs communiquer les r sultats Cette phase s inscrivant en r ponse aux questions o quand et qui Bien que ces d marches aient le m rite de planifier de mani re assez pr cise des axes de r flexion avant d utiliser une m thode d valuation on peut regretter leurs niveaux d abstraction et le manque de donn es quant leurs implications concr tes C est dans le souci de rem dier ces difficult s que Denley et Long DEN 97 ont con u une d marche d aide la planification de l valuation des logiciels Cette m thodologie a une port e suffisamment g n rale pour qu elle puisse tre nous semble t il appliqu e l valuation des syst mes techniques et plus sp cifiquement des AT Elle est destin e en premi re instance des valuateurs inexp riment s Elle a t d velopp e avec l appui de techniq
6. l utilisateur de s exprimer de donner son avis sur la qualit ergonomique de l AT et de son interface et plus particuli rement sur l ad quation du dispositif ses caract ristiques intrins ques linguistiques perceptives op ratoires et cognitives et aux sp cificit s de son activit Les techniques subjectives recouvrent les questionnaires les entretiens et les chelles 3 2 1 1 Les questionnaires Les questionnaires ont pour objectif de recueillir des donn es subjectives concernant un grand nombre d utilisateurs sur la base de questions ouvertes et ferm es Ces derni res peuvent porter sur la modification d attitude suite l utilisation de l interface sur la mesure de la satisfaction sur les besoins et les attentes des utilisateurs Ces questionnaires permettent galement de contr ler la qualit de l interface correspondance entre attentes des utilisateurs et possibilit s offertes par le logiciel et de valider les r sultats de l exp rimentation GRO 90 OPP 97 SEN 93 G n ralement les questionnaires portent sur diff rents th mes de l valuation valuation subjective du niveau de charge mentale g n r e par un dispositif informatique dans le cadre d une activit professionnelle Lasfargue 1999 valuation subjective de la qualit ergonomique des interfaces par une grille sp cifique KIR 98 Nielson 19952 1 http www ergostressie com 2 http www usei
7. Situation hors travail et travail Evaluation du produit final Confronter et croiser les valuations de plusieurs experts Ergonome Evaluation des aides techniques 85 Possibilit d utiliser toutes les techniques subjectives et objectives de recueil de donn es Avantages Inconv nients identifient de nombreux probl mes identifient des probl mes s rieux co t faible pr disent plus que les besoins de l valuation tol rance des bugs effets sur la conception bon march requiert une certaine expertise et plusieurs valuateurs subjectivit d pend de la qualit et de l exp rience de l expert sc narios limit s sous estimation des blocages des utilisateurs finaux DEMARCHES ANALYTIQUES EVALUATION PAR DES CHECK LISTS DE CRITERES ERGONOMIQUES Quand O Comment Par qui Evaluation du Situation hors travail Validation d une liste Ergonome produit final de crit res concepteur ergonomiques Grille de crit res ergonomiques Avantages Inconv nients t t dans le processus identifient des probl mes g n raux peuvent tre utilis s par des non sp cialistes applicables tous les niveaux du design valuation rapide bon support de formation omettent certains probl mes graves peuvent tre mal
8. ler les performances avant l exploitation ou la commercialisation cas des tests d usage valide les corrections r alis es partir de la maquette et compl te les informations saisie contr le des rubriques et messages co ts lev s des corrections complexit technique et fonctionnelle pour r aliser les modifications mise en place assez lourde mobilise les acteurs et une partie de leur activit DEMARCHES EMPIRIQUES TESTS D USAGE Quand O Comment Par qui Tests sur un produit Situation de travail Ratification de Ergonome fini une volution situation hors travail interface utilisateur ventuellement de version ou en laboratoire par de petits assist du maintenance protocoles concepteur exp rimentaux Possibilit d utiliser les diff rentes techniques subjectives et objectives de recueil de donn es Evaluation des aides techniques 81 Avantages Inconv nients Idem diagnostic d usage Idem diagnostic d usage DEMARCHES EMPIRIQUES LABORATOIRE D UTILISABILITE Quand O Comment Par qui Tests sur le produit Situation hors travail Situation Ergonomes et toutes fini un prototype ou laboratoire et lieu d interaction les personnes une volution de de travail avec un op rateur instrument impliqu es dans la version syst me film s int gralement et conception du projet d
9. matiques abord s peuvent couvrir plusieurs domaines l avis de l utilisateur sur le contenu la forme l utilit et l utilisabilit de l interface ce qu ils aiment ou non dans le dispositif ce qu ils ont appr ci ou d test ce qui les ont amus ou irrit s Evaluation des aides techniques 55 leurs besoins en termes de donn es de fonctions d assistance ou d information particuliers sur des points bien pr cis de l interface le compte rendu en temps r el de probl mes d utilisation ou de compr hension de l interface li s par exemple un manque d information ou des erreurs de conception et requ rant des corrections ou des am nagements Le principal atout de l entretien par rapport au questionnaire est que l utilisateur a la possibilit de d velopper ses r ponses en les illustrant si besoin est par des exemples pratiques Cela dit d autres techniques de recueil de donn es permettent de s rier plus objectivement la complexit de la situation d interaction dans des conditions d utilisation du logiciel sp cifiques C est en particulier le cas de l observation et des techniques de verbalisation qui appartiennent au registre des techniques objectives et que nous pr senteront plus loin 3 2 1 3 Les chelles subjectives Des chelles subjectives ont t introduites dans le cadre de l valuation de la charge de travail mental Elles reposent sur l
10. pilotage d avions et contr le de la navigation a rienne Enfin il convient de noter que l chelle TLX value la charge de travail globale comprenant la charge de travail physique et la charge de travail mental 3 2 2 Les techniques objectives Elles regroupent toutes les techniques d observation dont le but est de recueillir des faits des conduites et des verbalisations individuels ou collectifs pouvant tre qualifi s d crits et quantifi s C est partir de ces donn es qu il est possible de mesurer et d analyser le niveau de compatibilit des dispositifs techniques avec les sp cificit s de l utilisateur et les caract ristiques de son activit Parmi les diff rentes d marches on distinguera les techniques d observation directes des indirectes Les premi res permettent de suivre in situ le d roulement de l observation sur une unique p riode Les techniques indirectes donnent la possibilit d enregistrer des microconduites de l interaction ou d valuer des tats de l op rateur au moyen de crit res physiologiques 3 2 2 1 Les techniques d observation directes Ces techniques n cessitent que l utilisateur r alise un travail r el Elles se focalisent sur la fr quence et la nature des incidents rencontr s erreurs probl mes h sitations sur la strat gie des utilisateurs comparaison et justification de l cart entre le prescrit et le r el sur le temps d apprentissage la rapi
11. Advances in human interaction volume 4 p 1 30 Ablex Publishing Corp Norwood 1993 WIL 95 WILSON J R RAJAN J A Human machine interfaces for systems control dans Evaluation of Human Work p 357 406 Taylor and Francis Londres 1995 WIL 96 WILLIGES R C Usability Methods Research Laboratory U M R L World Wide Web http www hci ise vt edu hfec hci html 1996 WIT 91 WITHEFIELD A WISON F DEWELL J A framework for human factors evaluation Behaviour and information technology 10 p 65 79 1991
12. alisation de tests dans une situation r elle de travail avant la diffusion du produit BAR 95 VAL 93 La d marche d valuation it rative pr sente un atout majeur la sp cification d un ensemble de composants un niveau donn peut entra ner la remise en cause de certains choix faits au niveau pr c dent Cette propri t r pond deux exigences d une part r duire les d lais de production du logiciel Hoyos Gstalter Strube amp Zang 1987 et d autre part repenser le cycle de vie d un projet en int grant dans les diff rentes phases de conception et de fabrication du logiciel le point de vue de Vutilisateur final Harker 1987 L valuation et la conception it rative garantit une meilleure concordance entre les sp cifications du logiciel et les besoins r els des utilisateurs Cet effort de conception permet ensuite de diminuer les co ts de maintenance BAR 95 p 84 Les nouveaux outils graphiques de conception g n rateurs d interfaces contribuent d ailleurs largement ce mode d valuation Ils permettent d effectuer les simulations des solutions retenues en r alisant des maquettes et de les tester aupr s des utilisateurs Chao 1987 Pourtant malgr le nombre important de contr les effectu s diff rents moments du cycle de d veloppement l valuation reste encore insuffisante parce que les mesures et les indicateurs obtenus fr quence d erreurs commises nombre de fonctio
13. am lioration de l interface Qui plus est les modifications apport es certains probl mes pr dits engendrent de nouvelles difficult s que les m thodes n avaient bien s r par pr vues on ne peut pas vraiment tablir de diff rences significatives entre les r sultats obtenus les m thodes ont donc toutes sensiblement la m me valeur pr dictive 3 Il ne s agit pas seulement de trouver les probl mes de compatibilit mais aussi de voir dans quelle mesure la communication des r sultats des investigations incite les concepteurs effectuer des changements dans le design 66 Assistance technique au handicap ce qui implique que la simple lecture des sp cifications de l interface aboutit au m me r sultat que l utilisation de m thodes plus labor es et surtout plus co teuses 3 3 2 Les m thodes analytiques Ces m thodes se centrent sur l analyse de dimensions particuli res des interactions et de l ad quation de ses dimensions avec l utilisateur et ses besoins 3 3 2 1 L valuation it rative La conception d une aide technique ne correspond pas une proc dure fig e mais un processus dynamique qui volue au fur et mesure de l avanc e du projet L valuation it rative figure 3 4 se propose d valuer le produit tout au long de sa conception le produit est corrig si n cessaire apr s chaque valuation jusqu ce qu il donne enti re satisfaction MON 91 Mic
14. avantage d tre peu co teux riche en informations informel non protocolaire Il pose n anmoins le probl me de la g n ralisation des r sultats obtenus Il appara t comme un moyen d envisager les am nagements ergonomiques pouvant am liorer la compatibilit entre le mod le d interaction et le mod le de l utilisateur Il permet encore de pr voir la maintenance du dispositif technique et repr sente ce titre un moyen de recueillir des informations sur les nouveaux besoins des utilisateurs 3 3 3 2 3 Test d anticipation Dans ce test il s agit de comprendre si les caract ristiques de l interface permettent aux utilisateurs d anticiper le d roulement de l organigramme des fonctionnalit s Ce test repose sur l id e qu un mod le facilement utilisable pourrait tre celui o l utilisateur peut anticiper les proc dures les actions les buts futurs offerts par le logiciel quelle que soit sa position au niveau d un n ud de l organigramme Au cours d interactions l exp rimentateur cherche donc comparer les anticipations de l utilisateur avec sa d marche effective sur l interface Ce test permet de corriger l interface en l ajustant la planification effectu e par l op rateur Le but recherch est donc une augmentation de la compatibilit la structuration de l interface avec les caract ristiques mentales de l op rateur et de sa t che 3 3 3 2 4 Test de la formation Ce te
15. cam ras enregistrant le comportement du sujet lors de l interaction avec l interface d autres saisissant la dynamique des changes entre les observateurs enfin une derni re cam ra joue le r le de convertisseur pour pr senter le contenu et les manipulations de l utilisateur sur l cran informatique La figure 3 6 donne une illustration du plan d organisation du laboratoire d utilisabilit Pergolab de l universit de Metz Fen tres d accueil Zone d observation 3e tage b timent C Figure 3 6 Architecture spatiale du Pergolab plan vue de dessus 78 Assistance technique au handicap La structuration assez particuli re de ce laboratoire r pond a une triple pr occupation primo valuer grace a des scenarii et des m thodes d observations fiables enregistrements vid os l utilisatibilit et l utilit des dispositifs Par exemple l Usability Methods Research Laboratory du Centre d ing nierie des facteurs humains the Human Factors Engineering Center de la Virginia Tech permet d valuer les dialogues l aide en ligne les messages d erreurs les dispositifs d entr e et de sortie et la pr sentation WILL 96 Cela dit ce laboratoire s attache aussi r v ler la contrepartie verbale et non verbale des impressions de l utilisateur et de mani re plus g n rale la perception effective du sujet lors de l exp rimentation de l application et de son int gration dans
16. des utilisateurs Ce protocole de test n cessite de disposer d un nombre d utilisateurs relativement important environ une vingtaine Les r sultats obtenus sont g n ralement limit s mais ont l avantage d tre fiables Ce genre de test n cessite du temps et des dispositifs on reux d enregistrement des comportements des utilisateurs cam ra vid o et magn toscope ce que peu d entreprises sont pr tes accorder 3 3 3 2 2 Test d utilisation Ici le probl me n est plus d obtenir des r sultats quantitatifs mais des donn es qualitatives sur l interaction op rateur instrument Au moyen d observations et d entretiens men s partir de plusieurs sc narii d utilisation l exp rimentateur s attache comprendre l activit de l utilisateur c est dire la mani re dont il s y prend pour atteindre son objectif Les observations doivent mettre en vidence le langage du corps de l utilisateur Ses soupirs froncements de sourcils hochements de la t te sont les signes d un obstacle qu il rencontre Parfois l utilisateur aura tendance occulter ses difficult s en pensant qu elles sont dues un manque d intelligence de sa part Or il n en est rien Les difficult s de l utilisateur sont avant tout li es un manque de compatibilit op rateur instrument Les entretiens individuels ou collectifs peuvent compl ter les observations En outre le test d utilisation pr sente l
17. la pr vention des erreurs de l utilisateur 64 Assistance technique au handicap En d finitive bien que ces trois graphes aient t con ues l origine comme des m thodes de sp cification du dialogue op rateur machine ils peuvent aussi diagnostiquer et surtout pr voir les difficult s futures de l interaction personne AT De fait ces m thodes visent en quelque sorte anticiper l erreur d utilisation pour la pr venir dans le processus de conception 3 3 1 2 Les mod les pr dictifs des performances de l utilisateur Ces mod les ont pour vocation de mod liser de fa on g n rale la connaissance de la conception INN 91 VAN 91 et de pr dire les performances d utilisation dur es d ex cution occurrence des erreurs sans avoir de d tails pr cis sur l utilisation Ils se d coupent en trois mod les compl mentaires mod le d analyse des t ches mod le linguistique mod le de complexit cognitive de l interaction 3 3 1 2 1 Les mod les d analyse des t ches Les mod les d analyse des t ches ont t d velopp s sur la base d analyse de t ches interactives l mentaires concernant des diteurs de texte Il s agit d abord de segmenter des t ches complexes en t ches l mentaires Puis de les valuer quantitativement selon plusieurs crit res nombre et vitesse de frappe pour effectuer une t che temps de r ponse du dispositif et de pr paration mentale pour agir pour obtenir
18. maquette ne permet pas de tester les modes de saisies les contr les de rubriques les messages les types de repr sentation difficult de diff rencier les probl mes d apprentissage et ceux d utilisation car les utilisateurs ne sont pas encore exp riment s difficult ou impossibilit d int grer les variables de la situation r elle de travail variables ext rieures pas de possibilit de r utiliser la maquette dans le d veloppement du produit r el Evaluation des aides techniques dialogue l ad quation du vocabulaire les pr sentation des informations l encha nement des fonctionnalit s r duit les co ts il est plus conomique et facile de r aliser des corrections sur une maquette ou un prototype que sur le produit fini permet d introduire progressivement dans la conception des l ments d interface valid permet de contr ler les performances avant l exploitation ou la commercialisation augmenter la qualit du produit favorise l adh sion au projet par l implication des utilisateurs dans la proc dure d valuation r utilisation possible pour concevoir le dispositif valide les corrections r alis es partir de la maquette et compl te les informations saisie contr le des rubriques et messages distinction entre les probl mes d apprentissage et ceux d utilisation dans le cas du prototy
19. nombre de probl mes d utilisabilit r solus Face la n cessit d valuer pr cis ment cet impact sur le produit final Sawyer ef al SAW 96 ont cr une mesure nomm e ratio de l impact Ratio de l impact Nombre de probl mes effectivement r solus Total des probl mes identifi s 100 Cette mesure permet de comparer diff rentes m thodes et diff rents contextes d valuation Sawyer et al SAW 96 ont d ailleurs d termin divers facteurs susceptibles d influencer l impact d une action ergonomique l utilisation d un rapport crit peut avoir un effet positif s il est communiqu tous mais les recommandations ne sont pas forc ment suivies des valuations multiples des m thodes telles que l valuation heuristique combin es des tests utilisateurs peuvent am liorer l impact une r ponse crite du client permet d identifier ceux qui sont susceptibles d implanter les am liorations la facilitation du processus de r ponse par le biais de l organisation de r unions la formulation des recommandations doit tre pr cise 1 ou 2 par probl mes r soudre la cotation des probl mes d utilisabilit en terme de faible moyen ou important permet d augmenter la cr dibilit du rapport car celui ci se rapproche des techniques employ es par les ing nieurs implication le plus t t possible dans le projet favori
20. sont d abord des produits sp cifiques voire con us sur mesure et rarement promis une diffusion massive Dans un monde qui malheureusement fait encore trop souvent dominer la technologie sur l homme et l conomie sur le handicap ceci tiendra lieu de remarque finale 3 5 Bibliographie AND 97 ANDRIESSEN J H E ARNOLD B Evaluation Methodology for Telematic Application Systems Quality for Users and Context CHI 97 Electronic Publications Organizational Overviews http www acm org sigchi chi97 proceedings tutorial gp htm 1997 APE 85 APERLEY M D FIELD G E A comparative evaluation of menu based interactive human computer interaction dialogue technique dans B Schackel dir Proceedings of human Computer Interaction Interact 84 Elsevier Science Publishers North Holland p 296 300 1985 ASS 97 Association nationale pour l am lioration des conditions de travail ANACT Les incontournables en ergonomie http www anact fr publications index html 1997 BAR 95 BARTHE M Ergonomie des logiciels une nouvelle approche des m thodologies d informatisation Masson Paris 1995 BAS 93 BASTIEN J M SCAPIN D L Ergonomic Criteria for the Evaluation of human Computer Interfaces Rapport technique n 156 INRIA Rocquencourt1 1993 BAS 94 BASTIEN J M SCAPIN D L Evaluating a user interface with ergonomic criteria Rapport de recherche n 2326 INRIA 1994 BAS 98 BA
21. technologie site web ergonomique clavier ergonomique logiciel ergonomique pallier les lacunes des techniques de conception informatique de type quick and dirty qui reposent sur un maquettage rapide de l application via des g n rateurs d interfaces et d applications mais sans implication r elle de l utilisateur assurer l volutivit et la p rennit des logiciels et des IHM Bobillier Chaumon 1998 Evaluation des aides techniques 51 enfin pour r pondre aux besoins d utilisateurs tr s particuliers comme les personnes handicap es pour lesquels les syst mes techniques con us prennent souvent la forme de produits sur mesure requ rant une valuation et une adaptation sp cifiques Dans ce dernier registre le domaine des aides techniques AT pour personnes handicap es repr sente par n cessit le meilleur des paradigmes Par d finition la notion de handicap signifie qu une ou plusieurs fonctions tant d faillantes les capacit s d adaptation de la personne son environnement est r duite si ce n est impossible L environnement social et physique de la personne doit donc lui tre adapt de tel sorte que la fonction d faillante puisse tre restaur e A cet gard AT est un instrument ayant comme fonction de servir d interface entre la personne handicap e et son environnement Cet AT peut tre un instrument d velopp et couramment utilis par des personnes valides mai
22. utilisateurs et le contexte Les heuristiques d valuations check lists guides principes ont t tudi es par Nielsen NIE 94 Cet auteur a notamment r alis une analyse factorielle de 249 probl mes d utilisabilit et a ainsi d gag 10 heuristiques pour l valuation dialogue simple et naturel utiliser le langage de l utilisateur minimiser la charge mn sique de l utilisateur coh rence feed back sorties marqu es clairement raccourcis clavier bons messages d erreur pr venir les erreurs aide et documentation En g n ral l valuation par expert se fonde sur les connaissances et l exp rience personnelles de celui ci Les appr ciations varient donc d un expert un autre selon la formation qu il a re ue et les cas qu il a eu analyser C est pourquoi il est conseill afin d assurer une valuation exhaustive de recourir une expertise crois e PER 98 SCA 93 D ailleurs Nielsen NIE 94 estime que le nombre optimal d valuateurs doit tre compris entre 3 et 5 Au del de ce nombre le rapport co t b n fice augmente souvent de fa on injustifi e Sur 6 projets la proportion des probl mes d utilisabilit trouv e par chacun des valuateurs n est que de 35 Cependant les valuateurs ayant tendance d tecter des probl mes diff rents il est alors possible d agr ger les probl mes d tect s par eux Pour d terminer plus pr cis ment le nombre d valuateur
23. Chapitre 3 Techniques m thodes et d marches d valuation des aides techniques Professionals in ergonomics are experts at designing technologies to best correspond with human anatomy and physiology The usability of technologies without fatigue or pain the selection of the best components and materials have greatly contributed to overall consumer satisfaction with today s technical products Now ergonomics professionals must also become skilled in assessing user preferences and predispositions to the use of particular technologies SCH 97 3 1 Introduction Un des changements majeurs intervenu au cours de ces derni res d cennies porte sur la place que l on accorde aux utilisateurs dans la conception des syst mes techniques Pendant longtemps la technicit des instruments a domin sur l activit des op rateurs et sur les pr occupations qui pouvaient d pendre de l organisation de leur activit qu elle soit professionnelle ou domestique L utilisateur a priori dot de capacit s d adaptation tait alors consid r comme une variable permettant l ajustement de l instrument la fonction vis e par celui ci L utilisateur s ajustait aux r gles de fonctionnement de l instrument mais aussi l environnement social et conomique dans lequel tait ins r le syst me technologique Tout reposait sur les facult s d apprentissage des op rateurs sur la formation et l acquisition de savoirs e
24. Henry S L Usability Services at Compuware Madison Bringing Usability to Data Proceeding dans CHI 97 Electronic Publications Organizational Overviews World Wide Web http www acm org sigchi chi97 proceedings tutorial gp htm 1997 OPP 97 OPPERMAN R REITERER H Software evaluation using the 9241 evaluater Behaviour and information technology 16 p 232 245 1997 PER 96 PERLMAN G Curricula for Human Computer Interaction World Wide Web http www acm org sigchi cdg 1996 Evaluation des aides techniques 101 PER 97 PERLMAN G Practical Usability Evaluation dans CHI 97 Electronic Publications Organizational Overviews World Wide Web http www acm org sigchi chi97 proceedings tutorial gp htm 1997 PER 98 PERLMAN G Practical Usability Evaluation dans Professional Development Workshop World Wide Web http www acm org chapters buckchi workshop html 1998 RAB 95 RABARDEL P Les hommes et les technologies approche cognitive des instruments contemporains Armand Colin Paris 1995 RAU 92 RAUTERBERG M A method of a quantitative measurement of cognitive complexity dans G Van der Veer et al dir Human Computer interaction tasks and organisation p 295 307 CUD Publ Rome 1992 RAU 94 RAUTERBERG M Usability Engineering Now Computer information 7 8 p 57 61 1994 RAU 97 RAUTERBERG M About a method to mesure ergonomic quality of user int
25. IMENSIONS DE eae Observations Entretiens Verbalisations L EVALUATION oo valuation Evaluation Importante Moyenne Moyen bas Moyen bas Ressource en personnel onnaissance du domaie Importante Moyenne Moyen bas Moyen bas Syst me Oui V V y existant Non Utilisateurs Oui N N pr sents Non 4 Tableau 3 4 Choix d une m thode artisanale Si en revanche l valuateur doit s lectionner une technique dans la classe des sciences appliqu es avec pour contraintes ou dimension d valuation des ressources en expertise moyennes un syst me d j existant et des utilisateurs disponibles alors le choix se portera sur l exp rimentation tableau 3 5 SCIENCES APPLIQUEES DIMENSIONS DE Walkthrough Exp rimentation Observations Questionnaires Mol de guides m ta l utilisateur L EVALUATION 7 3 valuation Evaluation Importante Moyenne Moyen lev Moyen lev Importante Ressource en expertise Connaissance Importante Moyenne Moyen lev Moyen lev Importante du domaine Syst me Oui y V existant Non Utilisateurs Oui v V pr sents Non Tableau 3 5 Choix d une m thode issue des sciences appliqu es Cette proc dure de s lection pr sente l avantage d tre tay e par une approche rationnelle Elle permet d viter les biais inh rents aux habitudes de travail ou la formation suivie par les valuat
26. M 99 JAMBON F BOISDRON Y Vers une validation du dialogue homme machine pour le application graphiques interactives de conception technique Actes du Colloque IHM 99 Montpellier tome I p 1 4 1999 JOH 97 JOHN B E MARKS S J Tracking the effectiveness of usability evaluation methods Behaviour and information technology 16 p 188 202 1997 KAL 99 KALAWSKY R BEE S NEE S Human factors evaluation techniques to aid understanding of virtual interfaces BT Technology Journal 17 1 p 128 141 1999 KAR 88 KARAT J Software evaluation methodologies dans M Helander dir Handbook of human computer interaction Elsevier Science Publishers Amsterdam p 891 903 1988 KAR 92 KARAT C CAMPBELL R FIEGEL T Comparison of empirical testing and walkthrough methods in user interface evaluation Paper presented at CHI 92 Human Factors in Computing Systems A C M New York p 397 404 1992 KAR 95 KARAT J DAYTON T Practical Education for Impoving Software Usability dans I R Katz R Mack L Marks dir Human Factors in Computing Systems CHI95 Conference Proceedings A C M New York p 162 169 1995 KIE 85 KIERAS D E POLSON P G An approach to the formal analysis of the user compexity Int J Man Machine Studies 22 p 365 394 1985 KIR 98 KIRAKOWSKI J CIERLIK B Mesasuring the usability of web sites Preprint of paper for Human Factors and Ergonomi
27. STIEN J M C LEULIEUR C SCAPIN D L L ergonomie des sites web dans J C Le Moal B Hidoine dir Cr er et maintenir un service Web Cours INRIA Pau p 111 173 1998 BAU 96 BAUDEL T Limites de l valuation ergonomique pour la conception de nouveaux paradigmes d interaction Actes du Colloque des huiti mes journ es sur l interaction Homme Machine 1HM 96 Grenoble 1996 BEN 95 BENDER J DE HAAN J BENNETT D The symbiosis of work and technology Taylor amp Francis Londres 1995 98 Assistance technique au handicap BRA 00 BRANGIER E Psychologie ergonomique de l assistance l op rateur Approche symbiotique de la relation homme technologie organisation Habilitation Diriger des Recherches Universit Paris 5 2000 BRA 02 BRANGIER E VALLERY G Aspects psychologiques et organisationnels du d veloppement des nouvelles technologies de la communication et de l information dans E Brangier C Louche A Lancry dir Psychologie du travail et des organisations PUN Nancy 2002 BRA 90 BRANGIER E Ergonomie des logiciels approche psycho ergonomique de l interaction homme ordinateur Cahiers de notes documentaires INRS 139 2 p 391 404 1990 BRA 91 BRANGIER E Comment les recherches concernant les dialogues homme machine abordent elles le probl me de l interaction Connexion n 57 vol 1 149 161 1991 CAE 96 CAELEN J D finit
28. V 00 DUVALLET C BOUKACHOUR H Mod lisation par agents d une interface intelligente Actes du colloque RJC IHM Ile de Berder p 91 94 2000 ELL 99 ELLA A N KOLSKI C JACQUES C YIM P Vers un syst me d aide la d cision pour l valuation des syst mes interactifs Actes du Colloque IHM 99 Montpellier tome I p 126 131 1999 Evaluation des aides techniques 99 GOO 97 Goop M SPINE T M WHITESIDE J GEORGE P User derived impact analysis as a tool for usability engineering dans M Mantei P Orbeton dir Human Factors in Computing Systems IIT A C M Amsterdam p 241 246 1986 GRO 90 GROSJEAN V JAVAUX D L valuation ergonomique des logiciels une approche d compositionnelle Technologie de informatique et Soci t 3 p 125 145 1990 HIL 91 Hitt B DENLEY I LONG J B Towards an evaluation planning aid classifying and selecting evaluation methods dans E J Lovesey dir Contemporary Ergonomics 1991 Taylor and Francis Londres p 355 362 1991 INN 91 INNOCENT P R Usability Testing A Practical Use for Mental Model Construction dans M J Tauber D Ackermann dir Mental Models and Human Computer Interaction 2 North Holland Pays Bas p 271 288 1991 ISO 97 ISO International Standards Organisation DIS 9241 11 Ergonomic requirements for office work with visual display terminals VDTs Part 11 Guidance on usability 1997 JA
29. act ristiques de l environnement doivent tre prises en compte pour garantir le succ s de l valuation En fonction de chacun de ces param tres Denley et Long proposent une s rie de r gles de production provenant de leur recueil d expertise A titre d exemples R1 si des ressources financi res sont disponibles alors proposer le recrutement d un deuxi me valuateur car cela vitera les biais dus au style d un seul valuateur R2 si un sujet ne se sent pas capable de verbaliser alors l observer pendant qu il parle avec un coll gue car la collaboration permet de r duire inhibition En appliquant l ensemble de ces r gles on peut r ussir laborer une proc dure ad quate au contexte 3 4 2 4 Phase 4 valuation La m thode tant choisie et configur e il ne reste plus alors qu pratiquer l valuation proprement dite Nous ne nous attarderons pas sur ce point qui a d j t suffisamment d velopp dans la partie consacr e la description des m thodes En Evaluation des aides techniques 95 revanche une fois l valuation r alis e l valuateur doit a posteriori appr hender l impact que les recommandations ont effectivement eu sur l utilisateur et son activit C est dans cette perspective que Sawyer ef al SAW 96 ont labor une m thode d valuation de l impact L impact d une action ergonomique peut succinctement se d finir par le
30. appliqu s difficiles suivre parfois trop g n raux interpr tations contradictoires pas de prise en compte de la t che r elle du contexte ne touche que les aspects de surface ne s int resse pas aux principes de fonctionnement ni la logique de l interface recommandations tr s superficielles DEMARCHES PREDICTIVES MODELES DE DEFINITION DES INTERACTIONS OPERATEUR INSTRUMENT Quand O Comment Par qui Evaluation d un Situation hors travail produit en phase de conception d un Mod lisation de l interaction op rateur instrument Ergonome concepteur 86 Assistance technique au handicap maquette d un prototype future probable par le biais de diagrammes de conception Avantages Inconv nients permet de sp cifier d s la conception du logiciel le dialogue op rateur instrument d termine la logique et la cin matique de la future interface permet d anticiper les difficult s d interaction possibles non prise en compte de l utilisateur final et des caract ristiques de son activit mod le assez rigide DEMARCHES PREDICTIVES MODELES PREDICTIFS DES PERFORMANCES DE L UTILISATEUR Quand O Comment Par qui Evaluation d un Situation de travail Mod liser la Ergonome produit fini connaissance de conception et pr dire les perfor
31. ation des difficult s d interaction d finition de crit res et de normes de performance certains auteurs contestent leur utilit En particulier John et Marks 1997 qui affirment que la valeur pr dictive de ces m thodes a t tr s largement surestim e Pour le montrer ils ont mis au point une exp rience qui permettant d valuer la valeur pr dictive de diff rentes techniques analyse des besoins des utilisateurs cheminement cognitif cognitive walkthrough sur lequel on reviendra ult rieurement GOMS valuation heuristique notation des actions de l utilisateur et enfin simple lecture des sp cifications de l interface La m thodologie employ e a consist demander 6 sujets novices dans le domaine de l valuation des interfaces op rateurs machine d utiliser une des ces m thodes pour rechercher des probl mes d utilisabilit Les probl mes ainsi identifi s ont t transmis au concepteur qui d cidait ou non d apporter une modification l interface Les r sultats obtenus ont ensuite t compar s avec ceux obtenus gr ce des tests d utilisation Bien qu il faille nuancer les conclusions qui ne s appliquent qu un chantillon limit de sujets inexp riment s il ressort trois points significatifs les m thodes d valuation s av rent tre moins efficaces qu on ne le pense habituellement En effet seul un nombre de probl mes assez restreint aboutit une r elle
32. avec un contacteur en tout ou rien peuvent acc der une grande quantit d informations dans ces cas on privil gie l acc s aux donn es plut t que l organisation des donn es Pour r duire ces risques Senach SEN 93 propose de donner des exemples d application concrets pour chaque crit re Dans cet ordre d id es OPP 97 d veloppent un test comprenant 300 items qui consiste mettre en relation les crit res ergonomiques avec le dispositif technique AT Son principal atout r side dans la prise en compte du contexte d utilisation et des t ches L application de ces crit res ergonomiques pose un autre probl me que sont les caract ristiques de l valuateur En effet ces crit res peuvent tre interpr t s et appliqu s de diff rente mani re selon le niveau d expertise du novice inexp riment au professionnel chevronn tous n ont pas la m me perception ni la m me utilisation de ces crit res le domaine d activit et l int r t personnel motivation implication plus ou moins forte dans le projet de l valuateur En d autres termes on se saurait garantir la qualit ergonomique d un logiciel par l application de ces seuls crit res tant les facteurs personnels peuvent affecter les conditions de contr le 72 Assistance technique au handicap Pollier 1991 a valu la performance d valuation d une interface application de gestion de communications multim dias par diff
33. ce utilisateur pour une informatique plus conviviale Dunod Paris 1991 MON 87 Monk A F Dix A Refining early design decisions with a black box model dans D Diaper R Winder dir People and Computer III p 147 158 Cambridge University Press Grande Bretagne 1987 MON 91 MONTERO S Prototypage m thodes et outils d aide a la conception et la r alisation des syst mes d information Th se de doctorat INSA Lyon 1991 MOR 81 Moran T P The Command Language Grammar A representation of the user interface of interactive computer systems Int J Man Machines Studies 15 3 50 1981 NAE 96 NA L M L valuation des nouvelles interfaces homme machine interactives dans Observatoire Fran ais des Techniques Avanc es Nouvelles Interfaces homme machine ARAGO 18 p 323 340 Paris OFTA 1996 NIE 92 NIELSEN J Evaluating the thinking aloud technique for use by computer scientists dans H Hartson D Hix dir Advances in human computer interaction volume 3 p 69 82 Ablex Publishing Corp Norwood 1992 NIE 94 NIELSEN J Heuristic evaluation dans J Nielsen et R Mack dir Usability inspection methods p 25 62 John Wiley and Sons New York 1994 NOR 86 NORMAN D A Cognitive Engineering dans D A Norman S W Draper dir User Centered system design p 31 61 Lawrence Erlbaum associates Hillsdale New Jersey 1986 NOW 97 Nowicki J
34. ces notions La performance d un syst me permet d en estimer son efficacit Elle est d termin e d une part par les caract ristiques techniques de l AT par les capacit s physiques sensorielles et cognitives de la personne et par la qualit de l interface entre ces deux composantes du syst me personne AT 52 Assistance technique au handicap L efficience correspond aux co ts g n r s par l utilisation de AT Ceux ci sont d ordre financier nerg tique et pour notre propos physiologiques et psychologiques en termes de charge de travail d apprentissage de stress La satisfaction mesure l ad quation entre les objectifs fonctionnels de l AT et les besoins de la personne L apprenabilit d termine la facult d apprentissage naturelle et intuitive d un produit La tol rance aux erreurs indique que le syst me accepte l erreur qu il l anticipe m me et qu il donne les moyens l utilisateur de la comprendre et de la corriger Ces notions s inscrivent donc dans une volution de l ergonomie et de son objet d tude le passage d une ergonomie de correction puis de conception visant l am lioration des conditions de travail son extension aux conditions de vie et d utilisation des produits et des services D un point de vue g n ral l valuation d une AT consiste porter un jugement sur la valeur de son interface c est dire prouver sa capacit
35. cs Society Annual Conference Chicago 1998 LAM 90 LAMBERT J COLIN B JEFFROY F HARADJDJI Y Articulation entre diff rentes m thodes d analyse en ergonomie du logiciel Actes du 26 Congr s de la SELF Montr al 1990 LEU 99 LEULIEU C BASTIEN C SCAPIN D L L valuation des sites Web apports respectifs des questionnaires de satisfaction et l inspection ergonomique Actes du Colloque IHM 99 Montpellier tome II p 49 53 1999 100 Assistance technique au handicap LIN 97 Lin H Y CHOONG Y Y SALVENDY G A proposed Index of usability a method for comparing the relative usability of different software systems Behaviour and information technology 16 p 267 278 1997 LON 89 LonG J B DOWELL J Conceptions of the discipline of H C I Craft Applied Science and Engineering Proceedings of the fifth conference of the BCS HCI SIG p 9 32 Cambridge University Press Cambridge 1989 MAC 94 MACK R NIELSEN J Executive summary dans J Nielsen et R Mack dir Usability inspection methods p 1 24 John Wiley and Sons New York 1994 MAC 95 MAC CLELLAND Product assessement and user trials Evaluation of Human Work p 249 285 Taylor and Francis Londres 1995 MAC 97 Mac LEop M BOWDEN R BEVAN N CURSON I The MUSIC performance mesurement method Behaviour and information technology 16 p 279 293 1997 MEI 91 MEINADIER J P L interfa
36. dans la technologie une partie de son travail mais aussi de ses souhaits et sources de satisfaction Bien videmment une telle approche souligne que les instruments doivent tre adapt s aux capacit s et aux besoins des personnes Un tel adage prend enti rement son sens dans le monde du handicap o se d veloppe des technologies d assistance qui ne font pas que de faciliter la vie des personnes mais qui rendent possible certaines choses qui ne l taient plus ou qui ne l ont jamais t Du coup si la facilit d utilisation devient bel et bien une des conditions de l usage tout comme l est galement la satisfaction des personnes ou la qualit de vie que leur apporte ou pas la technologie sens e les aider Par voie de cons quence il devient imp ratif d valuer les aides techniques et ainsi de mesurer leur capacit satisfaire les attentes des personnes handicap es Ce n est d ailleurs pas seulement dans le monde de l assistance aux handicaps que la n cessit d valuer les dispositifs techniques s est faite ressentir En effet elle conna t un essor important en particulier pour satisfaire des utilisateurs toujours plus nombreux et vari s optimiser les fonctionnalit s des interactions homme machine IHM et simplifier les usages de technologies toujours plus riches et complexes attirer les consommateurs car l argument ergonomique est devenu un atout commercial dans la vente d une
37. de l interface d velopp e par les concepteurs Les r sultats du questionnaire guident d une part les corrections apporter sur l interface et d autre part le type de formation particuli re d livrer sur les points que les utilisateurs ont identifi s comme d licats 3 3 3 2 6 Vers des tests automatis s De r cents travaux ont permis de d velopper des syst mes techniques capables de g n rer automatiquement des interfaces respectant les crit res ergonomiques mais aussi de proc der l valuation automatique de l interaction op rateur instrument ELL 99 JAM 99 Gr ce aux technologies agents des interfaces ont la capacit de s adapter dynamiquement au contexte de travail et a l utilisateur DUV 00 Mais pour ce qui est du test automatique des interfaces Ella Kolski Jacques et Yim ELL 99 ont d velopp un outil d valuation qui int gre non seulement les crit res d utilit et d utilisabilit traditionnelles mais qui sera aussi capable d appr cier des crit res d acceptabilit socioculturelle dimension sociale thique et culturelle sur la couleur la langue le sens et la s miologie de certains termes En d finitive s il est tabli que les tests permettent de t moigner de l ad quation des syst mes techniques aux besoins des utilisateurs c est dire ce qui marche ces tests doivent aussi et tr s paradoxalement s attacher d montrer le contraire c est
38. dire que ces syst mes ne marchent pas Mais ces tests d valuation pr sentent galement un tout autre int r t Ils sont le lieu o l utilisateur final a la possibilit de s exprimer dans le processus de conception il peut demander voire exiger des 6 Agent Petit programme qui fournit un service particulier l utilisateur comme identifier ses principales erreurs ou pr f rences afin de configurer une interface adapt e Evaluation des aides techniques 77 modifications significatives sur sa future interface Le test devient d s lors l occasion de formuler de nouveaux besoins Pour cette raison c est aussi un moment privil gi de dialogue et donc de collaboration entre les concepteurs et les utilisateurs 3 3 3 3 Le laboratoire d utilisabilit Pergolab Psycho ergonomie laboratoire ou User Lab Physiquement le laboratoire d utilisabilit correspond un lieu regroupant quatre salles s par es par des miroirs sans tain qui isolent le s sujets utilisateurs des observateurs concepteurs chef de projets informaticiens responsable utilisateur ergonome en fait toutes personnes impliqu es dans la conception du dispositif Les premiers sont dans une salle recr ant leur environnement de travail les seconds sont regroup s autour d une table face la glace dans tain et des moniteurs Par un circuit ferm d enregistrement vid o plusieurs observations vont tre men es simultan ment des
39. dit de performance une t che et le facteur de r tention dans le temps SEN 93 VAL 93 VAN 94 Parmi ces techniques on retiendra l observation directe un expert observe une situation r elle et collecte toutes les informations relatives l activit r elle de l utilisateur et son usage de l interface difficult s rencontr es informations recherch es utilis es ou ignor es nature et d roulement des s quences op ratoires nature et fr quence des interactions homme machine et homme homme outils et documents utilis s types d erreurs commises et les raisons etc Les aspects retenus sont ceux qui apparaissent sinon comme des facteurs explicatifs du moins comme permettant de donner un sens aux conduites d interaction de l utilisateur Le but est d arriver une d finition et une compr hension au plus juste de l activit r elle de l op rateur avec le dispositif technique Mazoyer amp Salembier 1987 les verbalisations simultan es l utilisation de l interface elles sont des indicateurs de l activit mentale en temps r el De mani re pratique il s agit pour l utilisateur de penser haute voix durant son interaction avec le dispositif La verbalisation est en effet une situation o le contenu de la m moire de travail de 58 Assistance technique au handicap l utilisateur s exprime assez clairement Et c est partir de ces l ments que des inf r
40. e hypoth tique et devrait en toute rigueur faire l objet d tudes comparatives de leurs r sultats avec d autres m thodes d valuation de la charge de travail mental L chelle de Cooper Harper 1969 fait r f rence la man uvrabilit des avions Elle est estim e par le pilote au moyen de descripteurs correspondant un arbre de d cision comportant trois niveaux man uvre impossible difficile et facile Chaque niveau de l arbre se subdivise en trois autres niveaux Chacun de ces niveaux 56 Assistance technique au handicap repr sente un descripteur r pondant a des crit res de difficult s rencontr es par le pilote de l effort mental et du nombre d erreurs commises Le niveau 1 repr sente une t che ayant t r alis e tr s facilement le niveau 10 une t che impossible r aliser Cette chelle a t adapt e avec succ s d autres contextes Wierville amp Casali 1983 L chelle SWAT Subjective Workload Assessment Technic repose sur une technique de construction psychom trique Les auteurs de cette chelle Reid amp Nygren 1988 postulent que la charge de travail mental comporte trois facteurs temporel effort mental et astreinte psychologique stress L chelle postule un mod le additif entre ces trois facteurs Chacun de ces facteurs comporte trois niveaux faible moyen fort La charge de travail mental est ainsi repr sent e par un espace de dimension 3 les 3 facteurs av
41. e postulat selon lequel les experts d un domaine ont une connaissance suffisamment pr cise et stable de la difficult inh rente l ex cution de chacune des t ches du domaine Il est donc th oriquement possible de leur demander d valuer cette difficult sur une chelle de type chelle de Lickert dont chacun des chelons aura t pr c demment d fini La graduation sur une chelle permettra de proc der des comparaisons entre des situations diff rentes Modifications mat rielles proc durales environnementales Chaque personne construisant priori sa propre chelle subjective les comparaisons ne devraient donc pas porter entre des personnes diff rentes Il ne s agit donc pas en principe d chelles dites intervalles En cons quence pour rendre compte des comparaisons on cartera les traitements statistiques param triques comparant des distributions entre elles avec moyennes et carts types On aura recours aux techniques d analyse non param triques Il existe cependant une chelle chelle SWAT dont les promoteurs s appuyant sur des techniques utilis es pour la construction de tests psychom triques assurent que les intervalles sont en principe gaux Les trois principales chelles utilis es sont issues de l a ronautique Elles ont t construites pour r pondre aux besoins d valuation de la charge mentale des pilotes ou des astronautes Leur utilisation dans d autres domaines rest
42. e qui correspond une utilisation optimale du logiciel Cette situation de r f rence est tablie par la sp cification de performances d usage On labore des techniques d analyse de l impact afin de classer des solutions permettant de corriger le dispositif SEN 93 Concr tement cela d marre par la d finition des caract ristiques d sir es de l interface fonctionnalit s et impl mentation correspondant aux exigences ergonomiques puis par le recensement des solutions possibles et enfin par la s lection des meilleures solutions par des valuations avec les utilisateurs Ce type d valuation a par la suite t am lior par Good et al 1986 Leur m thode d analyse d impact a t employ e afin d optimiser l organisation des fen tres d un cran d ordinateur Leur approche se basait sur l observation du comportement des utilisateurs face l utilisation d un prototype en suivant le protocole suivant mesure du niveau effectif d utilisabilit recherche des sources de difficult s pr diction des possibilit s d am lioration classement des difficult s par rang selon l effet sur la vitesse de travail par exemple Une fois l analyse termin e les principaux r sultats furent soumis aux ing nieurs qui devaient estimer les avantages et les inconv nients de chaque solution propos e Les crit res de s lection retenus taient le co t et l impact des co
43. ec chacun 3 niveaux soit 27 cellules La proc dure d application de l chelle consiste dans un premier temps demander chaque op rateur d ordonner les 27 cellules en r f rence des situations pr existantes au domaine et parfaitement connues de lui Une fois ce travail pr alable termin on consid re que l op rateur a construit son chelle de charge de travail mental Les carts entre chacun des intervalles de l chelle sont consid r s comme gaux Ult rieurement l op rateur utilisera cette chelle pour estimer la charge de travail mental g n r e par une t che ou une nouvelle situation Cette technique a t valid par ses promoteurs sur des t ches repr sentatives de grandes fonctions cognitives et motrices m moire de travail perception visuelle traitement de l information symbolique arithm tique habilet manuelle ainsi que lors de simulations de t ches de pilotage d avions Les r sultats obtenus avec l chelle SWAT sont corr l s avec des indicateurs physiologiques de charge de travail des mesures de charge obtenus par des techniques de concurrence cognitive et a d montr une bonne validit pr dictive dans le domaine du pilotage Cette chelle a t valid e en France toujours dans le domaine de l a ronautique par Amalberti et al 1986 qui estiment ses r sultats pertinents et significatifs L chelle TLX Task Load Index est repr sentative des techniques mettant en u
44. eloppent une proc dure de s lection en s appuyant sur les travaux de Hill et al HILL 91 Pour ces derniers la t che d valuation comporte cinq dimensions essentielles 1 but les d veloppeurs peuvent assigner deux buts une valuation soit proposer des changements dans le design soit diagnostiquer les difficult s de l utilisateur En cons quence les m thodes correspondantes sont soit prescriptives soit descriptives 2 sortie les donn es constituant la sortie de l valuation sont soit quantitatives soit qualitatives 3 entr e cet aspect se rapporte aux moyens dont dispose l valuateur En l occurrence on prend en compte les ressources en personnel le fait que le syst me soit utilisable ou non et la pr sence ventuelle d utilisateurs 4 rapport entr e sortie ce rapport concerne la mani re dont sont analys es les donn es Celles ci peuvent tre trait es subjectivement ou objectivement 5 proc dure pour configurer les m thodes 8 Si cette classification n tait pas apparue pertinente dans le cadre de la pr sentation des m thodes d valuation de la partie pr c dente elle s av re n anmoins indispensable dans le processus de s lection labor par Denley amp Long 92 Assistance technique au handicap Par ailleurs le cycle de vie du logiciel doit galement tre pris consid ration pour choisir la m thode appropri e Ce processus de s lection des m thod
45. ences peuvent tre faites sur les repr sentations mentales et les proc dures mobilis es par l usager durant sa collaboration avec le dispositif Caverni amp Bastien 1988 Concernant ces techniques de verbalisation de nombreuses critiques ont t mises sur l utilisation de la verbalisation comme moyen d identifier les processus cognitifs en uvre durant l interaction homme machine La verbalisation suppose d abord un minimum de capacit d abstraction et de formalisation des exp riences des sensations prouv es et suppose surtout la possibilit de mettre mots c est a dire d avoir a sa disposition les mots pour le dire Teiger 1993 Ce qui veut dire que des d ficiences verbales ou cognitives rendent impossible l explicitation des conduites mentales et de ce fait ces derni res seraient inaccessibles soi comme aux autres car non verbalis es Enfin d un point de vue m thodologique on critique le fait de demander l individu de se concentrer sur une t che de verbalisation alors que dans le m me temps toute son attention est retenue dans l ex cution d une autre activit On cr e ainsi les conditions d une surcharge de travail par ajout d une t che suppl mentaire l activit principale Cette surimpression de t ches fait qu on ne disposerait que d une couche tr s superficielle des processus mis en uvre En d pit de toutes ces critiques ces techniques restent l
46. erfaces in a task independant way dans Workshop on emerging technologies in human engineering testing and evaluation Nato Research Study Group 24 Bruxelles 1997 REI 81 REISNER P Formal grammar and human factors design of an intercative graphics System JEEE Transactions on Software Engineering SE 7 2 1981 SAW 96 SAWYER P FLANDERS A WIXON D Making a difference the impact of inspections dans Proceedings of the 1996 ACM conference on human factors in computing systems ACM Press Vancouver 1996 SCA 93 Scar D L Situation et perspectives en ergonomie du logiciel dans J C Sperandio dir L ergonomie dans la conception des projets informatiques p 7 68 Octar s Toulouse 1993 SCH 97 SCHERER M J GALVIN J C Assistive technology dans Shrawan Kumar dir Perspectives in Rehabilitation ergonomics Taylor and Francis 1997 SEN 93 SENACH B Evaluation ergonomique des interfaces hommes machines une revue de la litt rature dans J C Sperandio dir L ergonomie dans la conception des projets informatiques p 69 123 Octar s Toulouse 1993 SPE 93 SPERANDIO J C Introduction dans J C Sperandio dir L ergonomie dans la conception des projets informatiques p 1 6 Octar s Toulouse 1993 TIM 90 Timmer P The elicitation representation and structuring of generic and specific control knowledge for configuration of evaluation methods University Co
47. es ambigu t s ou les it rations de commandes qui risquent de ne pas satisfaire les utilisateurs dans la r alisation de leur t che De plus il montre avec force que l ex cution d une commande implique une modification de la signification de la dite commande De fait ce graphe met en vidence les diff rences de statut entre les tats initiaux et les tats finaux associ s aux interactions figure 3 2 Redimensionner fen tre Masquer graphe gt Afficher graphe Agrandir graphe quer grap grap succession possible des commandes R duire graphe Figure 3 2 Graphe des commandes de visualisation d un graphique dans un logiciel de contr le d un processus informatique une commande n est disponible qu la condition ou l utilisateur se trouve dans l tat pr c dent la commande Bien videmment les graphes de commandes peuvent tre compl t s par l adjonction des tats de l interface associ s aux commandes pour former ainsi des graphes tats commandes Evaluation des aides techniques 63 3 3 1 1 3 Le Diagramme de fiabilit Il correspond une repr sentation des tats du logiciel le concepteur est alors charg de sp cifier les proc dures attendues et inattendues de la part de l op rateur tout comme les actions attendues et inattendues du logiciel figure 3 3 Son but est la fois de diminuer voire de rendre impossible les cheminements non d sir s de concevoir et valider les messages d
48. es d valuation s op re en deux temps i l valuateur doit tout d abord d finir les dimensions pertinentes l valuation puis ii choisir la cat gorie de m thodes qui correspond le mieux ces dimensions Pour l aider dans ses choix l valuateur dispose d une s rie de tableaux synth tisant des analyses effectu es aupr s d valuateurs confirm s tableau 3 3 CLASSES DE METHODES Science PER DIMENSIONS DE L EVALUATION Artisanales un Ing nierie appliqu e Prescriptif y V V But Descriptif y V V k Subjectif y apport entr e sortie P Objectif V Quantitative V V Sortie Qualitative V Analyse V Sp cification y Phase du cycle de vie Impl mentation y V Test y y Tableau 3 3 S lection de la classe de m thodes d apr s Denley et Long DEN 97 Apr s avoir s lectionn la classe de m thodes l valuateur choisira une technique d valuation sp cifique Pour ce faire il a la possibilit de s inspirer de toute une s rie de tableaux 3 4 et 3 5 qui pr cisent les crit res et les exigences de mise en uvre de chaque d marche pour une classe d termin e Par exemple si les ressources en personnel sont moyennes que le syst me existe et que des utilisateurs sont disponibles alors on pourra choisir l observation tableau 3 4 Evaluation des aides techniques 93 METHODES ARTISANALES D
49. es diff rentes techniques de recueil de donn es utilisables lors d valuation d AT pour souligner leurs int r ts et leurs limites La deuxi me partie sera consacr e aux m thodes d valuation tandis que la troisi me partie abordera les d marches plus int gr es d valuation Il s agira de montrer que l efficacit et l ad quation d une m thode d valuation d pendent de l objectif qui lui est assign et de son contexte de mise en uvre pour proposer finalement une Evaluation des aides techniques 53 grille permettant de s lectionner les m thodes d valuation les plus appropri es selon les crit res de l intervention et les finalit s de l valuation 3 2 Les techniques de recueil de donn es pour l valuation Les techniques de recueil de donn es visent collecter des informations sur AT utilis e ou utilisable dans un contexte particulier Il s agit principalement d une prise d informations sur le contenu de son interface mais aussi sur les caract ristiques de l utilisateur de sa t che et du contexte organisationnelle qui composent la situation de travail Ces techniques peuvent se classer en deux grandes cat gories les techniques d enqu te subjectives et les techniques d enqu te objectives Bainbridge 1990 BAR 95 GRO 90 OPP 97 PER 96 PER 97 PER 98 SCA 93 SEN 93 VAL 93 3 2 1 Les techniques subjectives Elles concernent toutes les techniques o l on demande
50. es meilleures pour rendre compte ou tout au moins pour s approcher des m canismes cognitifs d ploy s durant l interaction En cela nous rejoignons le point de vue th orique sur le cours d action formul par Pinsky vu comme l activit d un acteur d termin engag activement dans un environnement physique et social d termin et appartenant une culture d termin e activit qui est significative pour ce dernier c est dire montrable racontable et commentable par lui tout instant de son d roulement un observateur interlocuteur Cit par Theureau amp Jeffroy 1994 p 19 l valuation coop rative crois e les utilisateurs effectuent des valuations concomitantes sur l interface durant ou apr s son utilisation Cette confrontation de point de vue cr e une sorte d mulation critique b n fique au diagnostic DUM 93 Toutefois un biais peut se r v ler lorsque la personnalit de certains valuateurs de l chantillon inhibe les r actions des autres voire qu oriente les th mes du discours techniques des incidents critiques partir d entretiens et d observations en situation de travail cette technique cherche identifier la nature et l origine des probl mes et des difficult s que rencontrent l utilisateur au cours son interaction avec le dispositif On obtient ainsi une vue g n rale des dysfonctionnements et des anomalies du dispositif imputable soit au
51. eurs En effet certains valuateurs peuvent avoir 94 Assistance technique au handicap tendance a privil gier un certain type de m thode sans tenir compte du contexte Apr s cette phase de s lection de la m thode il reste encore la configurer 3 4 2 3 Phase 3 configuration des m thodes Configurer la m thode signifie qu il faut la faire correspondre aux crit res de performance qui ont t tablis auparavant Concr tement l valuateur se doit de construire une proc dure qui soit adapt e l outil Selon Timmer TIM 90 huit param tres interviennent dans la configuration de la m thode 1 le temps on doit prendre en compte le temps disponible 2 le contexte on doit prendre en consid ration les caract ristiques du contexte permettant d am liorer les r sultats de l valuation 3 les caract ristiques du client le profil du financeur doit tre d fini afin de permettre d optimiser les r sultats par exemple quels sont ses a priori vis vis de l ergonomie 4 l accessibilit quelles sont les possibilit s d acc s aux utilisateurs S les ressources par exemple le mat riel disponible pour les enregistrements vid o ou audio 6 le recueil des donn es quelle m trique va t on choisir 7 l analyse des donn es quels sont les moyens disposition pour analyser les donn es par exemple logiciel de traitement statistique 8 L environnement physique les car
52. finalement par agr gation de ces r sultats une pr diction de la performance de l utilisateur COU 90 SEN 93 Deux mod les sont repr sentatifs de ce courant m thodologique il s agit de KLM Keystroke Level Model et GOMS Goals Operator Methods Selection rules le KLM permet de pr dire le temps de r alisation d une t che habituelle d un op rateur exp riment qui ne fait pas d erreur et dont la pr paration de l action est constante M me si les pr dictions obtenues sont assez pr cises un probl me se pose En effet rares sont les utilisateurs qui en situation r elle ne commettent aucune erreur et qui pr parent leurs actions sur une dur e fixe le mod le GOMS consiste formaliser les strat gies d action des utilisateurs pour la r alisation de leurs t ches Celles ci sont repr sent es sous la forme d un arbre hi rarchique descendant compos de buts et de sous buts Plusieurs critiques posent cependant le probl me de son efficacit d abord elles visent son aspect extr mement r ducteur en particulier en ce qui concerne la prise en compte des erreurs COU 90 BRA 91 SCA 93 SEN 93 Elles touchent aussi la valeur des pr dictions qui ne sont pr cises que pour des t ches macroscopiques Enfin apr s plusieurs ann es d existence il semble que son usage du fait de son co t se cantonne aux seules universit s Na l 96 3 3 1 2 2 Les mod les linguistiques Dans les m
53. forme d une liste d objectifs prioritaires atteindre L identification des facteurs Evaluation des aides techniques 91 organisationnels se rapporte l analyse de la demande du client Celle des facteurs de performance au niveau de performance demand e A chaque tape correspond un certain nombre de sous objectifs Ceux ci se subdivisent eux m mes en taches pr cises effectuer par exemple identifier l environnement d utilisation en techniques employer par exemple entretiens questionnaires en entr es par exemple documentation en sorties les r sultats du sous objectif et en conseils par exemple v rifier la coh rence du syst me de la t che et du groupe d utilisateurs Une fois le document r dig il va se r v ler utile aux deux parties en pr sence l valuateur peut garder une trace de ce qui a t convenu au d part le client ne peut donc pas changer les objectifs en cours d valuation le client peut v rifier tout moment que l valuateur r pond sa demande Cette phase achev e il est alors possible de choisir le type de m thode convenant l valuation 3 4 2 2 Phase 2 s lection des m thodes d valuation Long et Dowell DOW 89 classent les m thodes d valuation des logiciels selon trois cat gories 1 une discipline artisanale tay e par des connaissances implicites 2 une science appliqu e 3 une discipline d ing nieries Puis ils d v
54. hard 1993 Bobillier Chaumon 1999 Figure 3 4 L valuation it rative Concr tement ces valuations it ratives cherchent faire merger les dysfonctionnements par des mises en situation d utilisation Les simulations peuvent tre r alis es sur maquette prototype et recette correspond au produit fini ou site pilote Les apports chacune des deux boucles it ratives de l valuation sont diff rents une maquette renseigne sur les modes de dialogue l ad quation du 4 Une maquette correspond un encha nement d crans avec des donn es truqu es Elle comporte un minimum de codes assez pour d clencher les v nements et une pr sentation graphique relativement compl te de l interface 5 Un prototype est une version du logiciel r alisant l ensemble des fonctionnalit s de la version d finitive mais r alis en utilisant des outils langages de programmation en particulier permettant une programmation rapide quitte sacrifier quelques unes des caract ristiques exig es du produit op rationnel portabilit robustesse voire rapidit Evaluation des aides techniques 67 vocabulaire l absence d information et la pr sence d informations superflues Un prototype permet en plus de la maquette de faire des op rations de saisies mais pas sur la globalit du logiciel de contr ler les rubriques et les messages Le produit fini une recette ou un site pilote permettent la r
55. hine serait mieux d fini par les caract ristiques technologiques elles m mes que par des crit res ergonomiques pour deux raisons premi re raison Evaluer pour qui par rapport quoi Comment et par rapport quel cadre de r f rence l ergonome peut il valuer une nouvelle interface alors que les apprentissages et les modes d interaction que l individu d ploient dans cette situation originale sont totalement in dits et non pas d quivalent jusqu ici A cette premi re remarque on peut objecter que l individu essaie d obtenir le maximum d effet pour le minimum d effort principe d conomie cognitive Il sera ainsi tenter de minimiser l apprentissage de la nouveaut en optimisant les transferts de comp tences issues de situations ant rieures jug es quivalentes L individu ne cr donc rien ex nihilo mais remanie et enrichit ses acquis ant rieurs et plus pr cis ment ses mod les d interaction d velopp s pour d autres dispositifs Dans ces conditions la plus value de l valuation ergonomique est alors d viter des ruptures d apprentissage entre deux syst mes de travail et de concevoir des interfaces favorisant les transferts de connaissances entre ces diff rents univers seconde critique Limites de l utilisabilit des nouveaux outils Et quand bien m me ces outils ne portent pas de label ergonomique l aspect high tech suffit s duire les utilisateurs le
56. inition des interactions op rateur machine Parmi l arsenal m thodologique disponible pour valuer l articulation du dialogue op rateur machine certaines d marches permettent de pr dire le niveau d ad quation entre la logique d action de l utilisateur et la logique de fonctionnement de l AT lorsque ce dernier comporte un logiciel de commande et de contr le 3 3 1 1 1 Diagramme transition d tats Un tat est une partie du programme informatique et du travail de l utilisateur qui requiert une saisie une d signation ou une s lection de la part de l op rateur Ces tats sont reli s entre eux par les actions de l op rateur Liste des fichiers imprimer S lection des fichiers imprimer Noircissement des fichiers imprimer Y S lection de la commande d impression Noircissement de la commande d impression Message de confirmation de l impression Message d annulation de l impression S lection commande de confirmation S lection commande d annulation 2 3 Impression des fichiers sur l imprimante Message d erreur d impression m S lection reprise de l impression S lection commande d annulation Impression des fichiers sur l imprimante Roman transitions Italique tats Figure 3 1 Diagramme transition d tat l exemple d un dialogue d impression de fichiers 62 Assistance technique au handicap L objectif d un diagramme transition d
57. ion et caract ristiques des interfaces homme machine dans Observatoire Fran ais des Techniques Avanc es Nouvelles Interfaces homme machine ARAGO 18 p 31 44 OFTA Paris 1996 CAR 83 CARD S K MORAN T P NEWELL A The psychology of human computer interaction LEA Hillsdale New Jersey 1983 CHR 95 CHRISTIE B SCANE R COLLYER J Evaluation of human computer interaction at the user interface to advanced I T systems dans J R Wilson E N Corlett dir Evaluation of human work Taylor and Francis Londres p 310 356 1995 COU 90 COUTAZ J Interfaces homme ordinateur Dunod Paris 1990 COU 96 COUTAZ J Ing nierie de l interaction homme machine dans Observatoire Fran ais des Techniques Avanc es Nouvelles Interfaces homme machine ARAGO 18 OFTA Paris p 163 174 1996 DEN 97 DENLEY I LONG J A planning aid for human factors evaluation practice Behaviour and information technology 16 p 203 219 1997 DOW 89 DowELL J LONG J B Towards a conception for an engineering discipline of human factors Ergonomics 32 p 1513 1535 1989 DUB 00 DuBois J M DAo Duy J M ELDIKA S L analyse des traces informatiques des usages un outil pour valider la conception d un site web Actes du colloque RJC IHM Ile de Berder p 85 89 2000 DUB 93 Dumas J S REDISCH J C A practical Guide to usability testing Albex Publishing Norwood New jersey 1993 DU
58. lle se d roule en situation r elle de travail ou en situation hors travail laboratoire par exemple O la m thode et les techniques de recueil de donn es employ es comment les personnes susceptibles d employer cette d marche ergonome et ou concepteur Par qui et enfin les avantages inconv nients de chacune d entre elles DEMARCHES EMPIRIQUES DIAGNOSTIC D USAGE Quand O Comment Par qui Tests sur le produit Lieu de travail Possibilit d utiliser Ergonome fini ou site pilote les diff rentes techniques subjectives et objectives de recueil de donn es 80 Assistance technique au handicap Avantages Inconv nients r f rence primordiale identification des probl mes s rieux et r currents valuation des impacts effectifs de la situation de travail sur l interaction op rateur instrument prise en compte de la diversit des acteurs et de la pluralit des situations de coop ration op rateur instrument observation des usages r els d tourn s ou inadapt s de l interface sc narii comprenant des t ches r elles propositions de recommandations tr s compl tes prise en compte de tous les aspects du dispositif technique possibilit d ajuster la formation et la documentation implication r elle des utilisateurs dans l valuation et adh sion au projet permet de contr
59. llege Londres 1990 VAL 93 VALENTIN A VALLERY G LUCONGSANG R L valuation ergonomique des logiciels Une d marche it rative de conception ANACT Montrouge 1993 VAN 91 VAN DER VELDEN J M ARNOLD A Mental Models and the Evaluation of User Interfaces A Case Study of a Library System dans M J Tauber D Ackermann dir Mental Models and Human Computer Interaction 2 p 179 189 North Holland Pays Bas 1991 102 Assistance technique au handicap VAN 94 VANDERDONCKT J Guide ergonomique des interfaces homme machine Presses Universitaires de Namur Namur 1994 VIR 92 VRZI R Refining the test phase of usability evaluation how many subjects is enough Human Factors 34 4 p 457 468 1992 VIR 96 ViRzI R A SOKOLOV J L KARIS D Usability problem identification using both low and high fidelity prototypes dans Proceedings of the 1996 A C M conference on human factors in computing systems A C M Press Vancouver 1996 WIL 87 WILLIGES R C WILLIGES B H ELKERTON J Software interface design dans Evaluation of Human Work Taylor and Francis Londres 1987 WIL 92 WILLIGES R C WILLIGES B H HAN S H Developing quantitaive guidelines integrated data from sequential experiments Human Factors 34 p 399 408 1992 WIL 93 WILLIGES R C WILLIGES B H HAN S H Sequential experimentation in human computer interface design dans H R Hartson D Hix dir
60. mances d utilisation Avantages Inconv nients t t dans le processus analyse quantitative donnent des renseignements inattendus Objectivit un bon mod le de pr diction de la performance extr me complexit tendent se focaliser sur une seule dimension lourds mettre en uvre et requiert une certaine expertise peu utilis s sur le terrain assez complexe utiliser Tableau 3 1 R sum s synth tiques des diff rentes d marches d valuation 3 4 Perspectives pour l organisation de l valuation ergonomique Dans le paragraphe pr c dent par souci de clart nous avons pris le parti de distinguer volontairement les d marches d valuation dans trois grandes classes Il est toutefois n cessaire de pr ciser que ces m thodes ne s opposent pas bien au contraire elles se compl tent et peuvent m me tre int gr es dans une seule et unique d marche d valuation des syst mes techniques Une autre approche consiste s lectionner la m thode qui correspond le mieux aux objectifs et au contexte de l valuation ergonomique CHR 95 DOW 89 Dowell 1997 SAW 96 SEN 93 Etude Etude de de faisabilit Equipe projet Demande des utilisateurs Tests utilisateurs Recueil des donn es utilisateurs Prototype 1 Prototype 2 Tests utilisateurs Fin du d veloppement
61. ment cette question en utilisant les m mes arguments financiers Depuis le d but des ann es 1990 sont apparues plusieurs estimations des co ts fond es sur l observation d valuations r alis es dans le domaine industriel et portant sur des produits informatiques usage domestique Bias amp Mayhew 1993 NIE 94 Sur la base des valeurs publi es partir de plusieurs projets Nielsen NIE 94 fait tat d un co t fixe pour une valuation estim e entre 3 700 et 4 800 dollars et entre 410 et 900 dollars en co t variable pour chaque valuateur Ces Evaluation des aides techniques 97 valeurs d pendent bien videmment de la complexit du produit et de la structure de cout de l entreprise Le b n fice quant a lui est estim par l accroissement de la productivit de l utilisateur et par une satisfaction accrue du client r duction du temps d apprentissage convivialit facilit d utilisation g n rant un accroissement du volume de vente du produit Sur ces exemples de projets le b n fice a t estim 15 000 dollars pour chaque probl me d utilisabilit d tect En faisant le produit du nombre de probl mes d tect s en fonction du nombre d valuateurs par le b n fice estim g n r par chaque probl me d tect il est possible d en calculer le fructueux b n fice total Mais dans cette logique conomique quelle place pour l valuation des aides techniques pour handicap s qui
62. mpirique demeure l une des meilleures m thodes lorsque l on se trouve confront de nouvelles probl matiques Les m thodes analytiques pr sentent quant elles l avantage d avoir lieu pendant les diff rents moments du processus de conception et donc de r ajuster en permanence le dialogue op rateur instrument Elles donnent galement la possibilit d avoir des points de vue microscopiques ou du moins sp cifiques sur l interaction op rateur instrument sur les aspects syntaxiques ou graphiques de l interface par exemple Le principal d faut de cette m thode r side toutefois dans l absence d implication de l utilisateur dans certaines tapes du processus d valuation Enfin les mod les pr dictifs permettent la fois de d finir et de pr dire les conduites d interaction futures probables des usagers dans le dispositif final Elles fournissent ainsi des indicateurs assez pr cis pour construire le dialogue op rateur instrument Mais ici c est la situation d interaction r elle qui n est pas prise en compte mais seulement simul e avec des sc narii de travail Le tableau 3 1 pr sente une synth se critique de ces diff rentes m thodes La grille de lecture est la suivante pour chaque d marche d valuation expos e Quoi on d finit le moment de sa mise en uvre durant le maquettage le prototypage sur le produit fini ou tout au long du processus de conception Quand le lieu o e
63. nces d actions il est par exemple possible d valuer l volution de l apprentissage des op rateurs Brangier amp Pino 2000 Mais ces mouchards ou traceurs sont de plus en plus utilis s pour d terminer le taux d audience des sites interfaces Internet DUB 00 Dans ces cas des chiffres de consultations m diocres sont souvent interpr t s comme symptomatiques d une mauvaise ergonomie de l interface ou d une incapacit de l application satisfaire les besoins de l utilisateur Les indicateurs physiologiques peuvent galement tre utilis s Pour valuer la charge de travail physique l enregistrement du rythme cardiaque reste l indicateur le plus accessible Consommation d oxyg ne et pression art rielle lui sont corr l es L arythmie sinusale variation de l intervalle entre chaque pulsation cardiaque est tr s difficilement interpr table Elle semble plut t concern e la tension motionnelle Les mesures de d bit sanguin c r bral les crit res endocriniens tels que les mesures de taux de st ro des et de cat cholamines adr naline et noradr nalines sont r serv s aux tudes physiologiques du rythme circadien et de l astreinte physique impos e par l activit de travail Ces taux varient aussi en fonction de la tension motionnelle et non en fonction de la charge de travail mental Enfin les crit res neurophysiologiques lectroenc phalogrammes potentiels voqu s sont surtout de b
64. ns inadapt es ne sont pas tr s trait s de mani re coh rente ni comparer d autres r sultats de diagnostic logiciel C est pour palier en partie ce type de d faut que se d veloppe des m thodes comparatives 3 3 2 2 L valuation comparative Ce type d valuation a pour but de faire merger les qualit s et d fauts d une AT par deux modes de comparaisons le premier consiste comparer le syst me d autres dispositifs qui proposent le m me type de service les crit res retenus peuvent tre l utilisabilit et la performance technique Rauterberg 1996 a par exemple tent de mesurer les qualit s ergonomiques de diff rentes interfaces de conception dot es respectivement d un dispositif de commandes 1 par menu 2 par ic nes et manipulation directe interface graphique 3 par codification caract ristiques d une interface textuelle 4 par touches fonctions et raccourcis clavier proche d une interface textuelle Il montr que l interface graphique manipulation directe s av re la plus ergonomique en offrant une meilleure visibilit et accessibilit et la mieux employ e par les utilisateurs novices A l inverse les interfaces codification et commande se r v lent nettement moins conviviales pour les d butants 68 Assistance technique au handicap le second mode d valuation compare l usage normal du logiciel une situation de r f renc
65. observation m ticuleusement et chef de projets embarqu observ e par les concepteurs principaux acteurs du responsable projet derri re une utilisateur glace sans tain Possibilit d utiliser les diff rentes techniques subjectives et objectives du recueil de donn es Avantages Inconv nients le laboratoire est une sorte de loupe grossissante identification des probl mes microscopiques valuation des impacts effectifs de la situation de travail sur l interaction op rateur instrument prise en compte de la diversit des acteurs et de la pluralit des situations de coop ration op rateur instrument notamment par les jeux de triangulation rendues possibles par les miroirs sans tain mise en relation des concepteurs derri re le miroir et des utilisateurs en zone d observation possibilit de comprendre les aspects psychosociaux li s l usage de l aide technique sc narii comprenant des t ches r elles propositions de recommandations tr s compl tes restitution du test par montage de s quences vid os n cessite de bien s rier les variables tudi es importance de l animateur psychologue ergonome pour mettre en uvre les exp riences 82 Assistance technique au handicap prise en compte de tous les aspects du dispositif technique possibilit d valuer galement la formation et la documenta
66. od les linguistiques l accent est mis sur une structure linguistique impliqu e dans l interaction et repr sent e sous la forme d une grammaire Il existe Evaluation des aides techniques 65 deux mod les principaux l ALG Action Language Grammar de Reisner REI 81 et le CLG Command Language Grammar de Moran MOR 81 l ALG consiste d composer les buts de l utilisateur mis en parall le avec les actions mener selon les r gles d une grammaire d interaction le CLG sert d composer un dispositif technique en plusieurs niveaux d abstraction qui sont leur tour d compos s A partir d une description des t ches on obtient une description s mantique puis une description syntaxique pour aboutir finalement une description de l interaction Cette d marche s quentielle et assez complexe en fait un outil davantage destin aux informaticiens qu aux ergonomes SEN 93 3 3 1 2 3 Mod le de la complexit cognitive de l interaction Un dernier type de mod le pr dictif est celui de la complexit cognitive de l interaction de Kieras et Polson 1985 Ce mod le repose sur le postulat selon lequel la complexit cognitive d un dispositif est troitement li e aux connaissances dont l utilisateur dispose pour manipuler ce m me dispositif repr sentation de la t che r aliser et du dispositif Malgr des apports ind niables pr diction des risques cach s d utilisation anticip
67. onduit faire une certaine veille technologique instaure un dialogue entre concepteur et ergonome pour valuer la pertinence des corrections apporter absence de l utilisateur et non prise en compte du contexte de travail dans le cas de l valuation comparative des logiciels de m me ne prend pas en compte les conditions de d veloppement des syst mes toujours dans l tude comparative des logiciels C est le concepteur et non l utilisateur qui d termine le classement des modifications apporter sur des crit res davantage techniques et fonctionnels qu ergonomiques DEMARCHES ANALYTIQUES EVALUATION PAR LE CONTROLE DE QUALITE Quand O Comment Par qui Evaluation du Situation hors travail produit final Bancs d essai sur les aspects formels et logique de l interface Ergonome Possibilit d utiliser toutes les techniques subjectives et objectives de recueil de donn es Avantages Inconv nients permet de cerner et de classer le profil des utilisateurs permet d obtenir des opinions g n rales sur la qualit de l interface permet de tester rapidement l acceptabilit d un nouveau dispositif Ne donne pas de pr conisations d am lioration sp cifiques juste une impression de satisfaction g n rale DEMARCHES ANALYTIQUES EVALUATION PAR EXPERTS Quand O Comment Par qui
68. ons indicateurs du niveau de vigilance et de ses variations au cours de longues p riodes de travail En revanche l valuation de la charge de travail mental para t peu accessible ce type d indicateurs La double t che est essentiellement utilis e pour estimer la charge de travail mental des op rateurs en pla ant l utilisateur en situation de concurrence cognitive Celui ci re oit pour consigne de r aliser deux t ches en m me temps La premi re dont on cherche estimer la valeur de la charge de travail mental qu elle induit est explicitement consid r e comme tant la t che principale La seconde a pour fonction de saturer les capacit s cognitives de l op rateur Partant des performances mesur es la t che secondaire on en inf re la charge de travail mental requise pour ex cuter la t che principale Si la t che principale mobilise peu de ressources cognitives la performance la t che secondaire sera lev e En cas contraire la 60 Assistance technique au handicap performance a la tache secondaire sera faible Cette technique permet en th orie de comparer entre elles diff rentes taches et diff rentes aides techniques pour les ex cuter De nombreuses critiques ont t mises son encontre Rien n assure que l op rateur n ex cute prioritairement la t che principale Dans les situations de concurrence cognitives l op rateur peut tre amen d velopper de nouvelles strat gies d e
69. pe simulation plus proche de la r alit que la maquette cas du prototype projection plus facile pour les utilisateurs dans leur futur t che plus d l ments pour pr parer la formation concevoir des aides en lignes et ajuster l organisation du travail ne prend en compte que des donn es brutes limit es aux indicateurs comportementaux sp cifi s intervient parfois trop tard dans le processus contr les et messages ne sont pas complets car l acc s la base de donn es et les temps de r ponse ne peuvent tre valu s DEMARCHES ANALYTIQUES EVALUATION COMPARATIVE Quand O Comment Par qui Evaluation du Situation de travail produit final Situation Hors travail laboratoire Comparaison du syst me technique avec d autres syst mes pr sentant les m mes services Ergonome assist des concepteurs Comparaison de la situation d interaction avec une situation d interaction 84 Assistance technique au handicap optimale de r f rence Possibilit d utiliser toutes les techniques subjectives et objectives de recueil de donn es Avantages Inconv nients value la qualit les d fauts et la performance de l interface par rapport d autres instruments permet de classer et de cat goriser les corrections apporter par ordre de priorit de co ts ou de performance c
70. r des dimensions plus sp cifiques de l interface alors que les derni res cherchent formaliser et pr dire la qualit de l interaction homme machine Les m thodes empiriques sont indispensables et en particulier dans le monde des aides techniques pour handicap s puisque l implication des utilisateurs dans le processus d valuation est une des conditions n cessaires mais non suffisante pour garantir l ad quation de l interface leurs besoins moteurs sensoriels cognitifs et affectifs Ce chapitre a galement pr sent une m thodologie qui fourni une aide pr cieuse aux valuateurs inexp riment s afin de choisir le mode d valuation le plus appropri selon la situation DEN 97 Il est ainsi possible partir de guides de recueils de donn es et de tableaux synth tiques de d terminer relativement facilement pour chaque phase de la conception l outil qui convient le mieux Enfin nous souhaitons insister sur un dernier point trop rarement abord dans l valuation Il s agit de l aspect financier qui sont souvent oppos s aux recherches men es sur les aides techniques pour handicap s le co t des recherches s av re lev et le nombre d utilisateur tr s faible A cet argument nous pourrions bien videmment soulign que la vie humaine n a pas de prix et que les AT ne font pas que simplifier la vie des personnes handicap es mais elles les rendent possibles Mais r pondons simple
71. raction op rateur machine comme un processus continu de cycle d interaction avec l environnement L action d une personne change l tat du monde Il faut alors mener l valuation en 74 Assistance technique au handicap respectant et en s inspirant des objectifs courants des utilisateurs Cette valuation conduit la reformulation de but et d action venir l ensemble d bouchant sur un nouvel tat de l environnement 3 3 3 2 Les tests d usages Dans le cycle de vie d un dispositif technique on trouve deux tapes ou celui ci doit tre imp rativement test aupres des utilisateurs Le premier test doit tre effectu lorsque l interface utilisateur a t impl ment e Le second appara t uniquement si le dispositif est modifi Dans ce dernier cas les modifications doivent tre test es afin de s assurer si les performances sont correctes et si les nouvelles fonctionnalit s correspondent bien aux attentes des op rateurs Ces tests sont galement n cessaires pour d tecter les ventuels effets secondaires des modifications sur quelques aspects du dialogue Le principe de ces tests repose sur la ratification de l interface utilisateur par de petits protocoles exp rimentaux destin s mesurer quantitativement et ou qualitativement la compatibilit op rateur instrument Diff rents types de tests performance utilisation anticipation formation valuation mesurent ainsi l ad quation d
72. rents ergonomes selon deux niveaux les diagnostics effectu s et les strat gies mises en ceuvre pour organiser l examen de l interface Pour ce dernier aspect les r sultats indiquent que le processus d valuation est tr s complexe et cinq strat gies d valuation sont tr s imbriqu es strat gies selon les objectifs d valuation la structure de l interface les niveaux d abstraction les objets de l interface et les crit res ergonomiques Selon ces strat gies les d marches des ergonomes varient Un autre probleme rencontr est le manque de connaissances des valuateurs pour expliquer l origine des probl mes ergonomiques identifi s grace aux crit res il ne sert rien en effet de proposer des recommandations si par ailleurs les motifs des maladresses ergonomiques persistent Les m mes causes produisant les m mes effets la prochaine version du logiciel reproduira sans nulle doute les m mes erreurs Enfin d aucuns critiquent le manque d ad quation des recommandations ergonomiques avec l avanc e des technologies de l information et de la communication Baudel BAU 96 soutient en effet que les crit res ergonomiques qui sont habituellement utilis es pour concevoir et valuer les interfaces op rateur machine sont inadapt es pour de nouvelles technologies interface r alit augment e interface de navigation par liens hypertextes par commande vocale Pour lui le dialogue op rateur mac
73. res pour d terminer le caract re appropri ou non de l interface du point de vue ergonomique SCA 93 p 19 Les m thodes pr dictives et analytiques sont constructives on cherche valuer les difficult s rencontr es par l utilisateur dans le but d y rem dier Ce type d valuation s inscrit dans un cycle constat des difficult s impossibilit s chec dans l ex cution d une t che rem diation La production d erreurs et l chec sont r habilit s comme sources d informations utiles pour d velopper la comp tence d un syst me technique Les m thodes empiriques il s agit d valuations contextualis es c est dire effectu es en situation r elle de coop ration P AT Elles ont pour objectif de d finir selon diverses dimensions comportementales la qualit ergonomique d une interface telle qu elle peut tre tablie partir de son utilisation SCA 93 p 18 Elles correspondent un dernier type d valuation de type pronostique en rapport avec la seconde boucle it rative voqu e pr c demment Elles sont donc mises en uvre lors du cycle de la validation du prototype Evaluation des aides techniques 61 3 3 1 Les m thodes pr dictives Nous distinguerons les m thodes qui s emploient sp cifier et valuer la structuration du dialogue personne AT et celles qui s int ressent aux performances attendues de l utilisateur final 3 3 1 1 Les mod les de d f
74. ression g n rale l gard du logiciel que sur les items du questionnaire Enfin plus largement le questionnaire s il illustre quelques difficult s renseigne en fait tr s peu sur ce qu il faut faire pour am liorer un logiciel en ne sachant que ce qui ne va pas En bref le questionnaire souligne les points faibles ou forts d une IHM sans pour autant indiquer les am liorations possibles 3 2 1 2 Les entretiens Les entretiens sont tr s utiles pour l exploration plus cibl e de certains aspects ou de certaines dimensions de l interaction A contrario ils n cessitent plus de temps que le questionnaire OPP 97 Les entretiens sont g n ralement men s de mani re semi directive et ont pour but d obtenir des informations g n rales ou cibl es sur la nature le niveau et la qualit de l interaction homme machine Ils peuvent tre r alis s en dehors du cadre de l interaction C est alors une situation de recueil o les utilisateurs fournissent une certaine repr sentation de la coop ration qu ils pensent ou projettent d effectuer avec le dispositif Les valuations sont alors d livr es en dehors de toute situation d interaction effective avec l interface Ils permettent pourtant d appr cier rapidement le niveau de satisfaction et d acceptation g n ral du dispositif Ils fournissent enfin des pistes d investigation explorer dans l entretien en situation d interaction Pour ces derniers les th
75. rrections apporter sur l interface et la facilit d impl mentation de ces modifications 3 3 2 3 L valuation par le contr le qualit Le contr le qualit est une m thode d valuation qui porte principalement sur le produit fini et dont les crit res d appr ciation sont fournies par un banc d essai final On t che d isoler les variables en rapport avec l utilisabilit et d laborer tout un ensemble de sc narii compos s des t ches qui serviront l valuation finale Il existe deux m thodes possibles la m thodologie universelle de contr le qualit au cours de laquelle on tablit le profil des utilisateurs pour les entra ner les tester et les classer On recueille aussi leurs opinions vis vis du dispositif par exemple ce qu ils aiment ce qu ils n appr cient pas ce qu ils souhaiteraient trouver ce qu ils n ont pas trouv la m thodologie utilisant des stations d valuation dans lesquelles on dispose d un dispositif technique labor vid o glace sans tain microphone Pergolab voir plus avant permettant le recueil des donn es Evaluation des aides techniques 69 Le contr le qualit peut galement valuer les aspects cognitifs des interfaces L objectif est alors de rendre compatible le fonctionnement de l interface avec les repr sentations mentales des utilisateurs par la d termination des mod les mentaux employ s par les utilisateu
76. rs et des conditions de leur apprentissage On pense ainsi faciliter la recherche et l exploitation de l information dans un monde virtuel qui se rapproche le plus possible des repr sentations conceptuelles et fonctionnelle de l utilisateur Schnaider et Hufschmidt 1991 ont par exemple montr qu une interface graphique la diff rence d une interface textuelle r duisait consid rablement la charge mentale d un utilisateur en minimisant le recours la m morisation des commandes et des s quences d action Les utilisateurs sont plus enclins manifester des comportements spontan s d utilisation appel s directness avec ce type interface car ils op rent dans ce qui leur semble tre leur propre monde Nanard 1991 Burnett Baker Bohus Carlson Yang amp Zee 1995 3 3 2 4 L valuation par experts Les valuations par expert se d composent en trois cat gories OPP 97 le rapport de sp cialistes ou expert walkthrough le cognitive walkthrough et enfin les heuristiques d valuation L expert walkthrough traduit le fait que l expert parcourt un certain nombre de t ches repr sentatives Le cognitive walkthrough plus rigoureux que la pr c dente consiste valuer une interface par rapport une ou plusieurs t ches Cette deuxi me cat gorie d valuation experte n cessite donc une description de l interface maquette papier prototype un sc nario et des hypoth ses sur les
77. s dans ce cas elle appara t souvent comme un l ment non adapt de l environnement physique de la personne handicap e Elle peut aussi tre sp cifiquement d velopp e pour r pondre au besoins de la personne handicap e dans ce cas la sp cificit de chaque type de handicap la sp cificit du handicap en degr et nature de chaque personne impose naturellement une r flexion sur l adaptation de l AT la personne Le d veloppement des AT s inscrit donc tout naturellement dans ce type de conception centr e sur la personne En somme les AT sont une cat gorie d instruments susceptibles de suppl er une fonction naturelle et destin e r habiliter la personne Dans ce chapitre nous pr senterons la m thodologie et les diff rentes techniques permettant d valuer leur degr d adaptation aux capacit s des personnes Cette m thodologie vise plusieurs objectifs d valuation des capacit s de la personne en situation d utilisation d une AT de l efficacit d une AT de l efficience d une AT de la satisfaction de la personne lors de l utilisation d une AT de l apprenabilit d une AT de la tol rance aux erreurs d utilisation Efficacit efficience satisfaction apprenabibilit et tol rance aux erreurs sont cinq crit res d finissant l utilisabilit d un instrument d un syst me technique organisationnel social ou conomique D finissons
78. s plus r ticents et masquer l absence de convivialit des outils malgr des temps de r ponse m diocres par exemple Certes on ne peut nier l effet de s duction que produit certaines innovations technologiques sur les individus m me en d pit de leur pi tre qualit et performance Mais cet Evaluation des aides techniques 73 enchantement technologique ne saurait perdurer Il existe en effet un seuil de tol rance que l individu ne peut d passer sans risquer d augmenter sa propre charge mentale Autrement dit plus les ressources de l individu seront sollicit es pour comprendre utiliser et m moriser le fonctionnement de ce dispositif plus la coop ration op rateur machine s en trouvera contrari e avec des risques de sous utilisation et m me de rejet de l application La contribution de l ergonomie est donc de r fl chir d s la conception la meilleure interface possible afin de rendre accessible ces technologies au plus grand nombre y compris aux personnes g es et celles qui souffrent d handicaps En d finitive si les crit res ergonomiques contribuent activement et efficacement la conception des dispositifs il n en demeure pas moins qu ils doivent voluer pour s ajuster au contexte d utilisation particulier des syst mes en effet une l interface destin e une t che de supervision d un r acteur nucl aire n est pas la m me que celle con ue pour couter sa mes
79. s souhaitables Nielsen et Landauer 1993 proposent un mod le fond sur la formule suivante 70 Assistance technique au handicap Nombre de probl mes trouv I N 1 1 1 1 est une estimation du nombre de probl mes d utilisabilit trouv en agr geant les diff rents probl mes trouv s par les valuateurs i exposant est le nombre d valuateurs ind pendants N indique le nombre total de probl mes d utilisabilit et 1 est la proportion de probl mes trouv s par un seul valuateur Sur six tudes d utilisabilit la valeur moyenne de est de 34 et celle de N de 33 En prenant ces valeurs moyennes on obtient la courbe suivante figure 3 5 354 emes N Ww n f 1 e probl N 0 E T T T T 1 2 3 4 5 6 7 Nombre d valuateurs Figure 3 5 Nombre de probl mes d utilisabilit trouv en fonction du nombre d valuateurs d apr s Nielsen et Landauer 1993 Avec trois valuateurs la proportion de probl mes d tect s s l ve en moyenne 71 Cette fonction permet aussi de d terminer le rapport financier co t b n fice optimal voqu plus loin dans la troisi me partie de ce chapitre et concernant l impact de l valuation Une tude de Na l NAE 96 confirme par ailleurs que pour obtenir une validit de 80 des probl mes d tect s il faut au moins trois experts 3 3 2 5 L valuation par des check lists de crit res ergonomiques Les r sulta
80. sa logique et dans sa vision de la t che Reconnu 1996 secundo il s agit aussi de faire prendre conscience aux observateurs responsables du projet ou de l organisation que les conduites d interaction attendues chez l individu ou les usages pr vus du logiciel ne correspondent pas ceux qui sont r ellement mis en uvre par le sujet Tous les acteurs du projets observent le d roulement du test et assume le v cu de l utilisateur sans pouvoir intervenir par des questions commentaires attitudes et comportements C est sur la base de ces observations qu ils vont changer et discuter pour comprendre l origine de ces dysfonctionnements et prendre des d cisions afin de corriger et d am liorer le dispositif tertio gr ce un jeu de cam ras tourn s vers cette salle d observateurs l int r t du laboratoire ne r side plus seulement dans l analyse microscopique des comportements de l utilisateur Pergolab permet d appr hender les t ches de test et d observation comme un syst me dynamique organis autour d un jeu de relations de n gociations de compromis dans le processus de conception Notons aussi que des variantes portables existent ce type de laboratoire Rowley 1994 d crit comment on peut amener le laboratoire chez l utilisateur en installant une cam ra vid o chez celui ci ce qui n est pas sans poser d autres probl mes scientifiques et d ontologiques 3 3 4 Syn
81. sagerie lorsque l on est d ficient visuel aussi les crit res retenues pour d valuation ne seront pas les m mes et pour int grer pleinement les contraintes et les opportunit s d usage li s aux volutions technologiques de ces dispositifs A titre d exemples on peut citer l adaptation des crit res ergonomiques de Bastien et Scapin aux nouvelles interfaces Web BAS 98 ou encore la formulation de crit res et de m thode d valuation sp cifique pour les interfaces virtuelles KAL 99 3 3 3 Les m thodes empiriques Ces m thodes se centrent sur l valuation des conduites en situations r elles d interactions 3 3 3 1 Le diagnostic d usage Cette m thode d valuation concerne les dispositifs d j int gr s un contexte de travail et se focalise sur l exp rience acquise des op rateurs On cherche d terminer la fa on dont l instrument est utilis en situation r elle de travail par exemple l usage d tourn e de certaines fonctions des outils catachr se RAB 95 la sous utilisation ou non utilisation d autres fonctions ainsi que le niveau de ma trise par l utilisateur novice expert interm diaire Ces mesures se r alisent par le biais de diff rentes techniques dont le choix d pendra de la situation analys e SEN 93 m thode des incidents critiques questionnaires mouchards lectroniques entretiens Des m thodes proposent par exemple d appr hender l inte
82. sance du logiciel d finition de la population et des sc narios recueil des donn es analyse des donn es recueillies synth se et analyse des r sultats 3 4 2 Vers une s lection justifi e des techniques d valuation D autres auteurs ont propos des m thodologies ayant pour objectif de s lectionner la m thode d valuation idoine Parmi celles ci on pourra citer l approche de Senach SAN 93 qui propose de 7 Pour une description plus d taill e de cette d marche on pourra se r f rer l ouvrage de Valentin VAL 93 Evaluation des aides techniques 89 d finir les objectifs de l valuation qui s expriment en r ponse une question par exemple est ce qu un dispositif est utilis ou non identifier les dimensions d analyses pertinentes s agit il de mesurer l utilit c est dire d terminer si le produit satisfait des contraintes fonctionnelles et op rationnelles ou l utilisabilit la qualit des interactions op rateur machine identifier les variables cibles suivant le contexte doit on plut t se centrer sur des mesures de performance ou s int resser aux opinions et attitudes des utilisateurs choisir les techniques de recueil des donn es et d finir les modalit s et la m thode d valuation en fonction du contexte et enfin de recueillir les donn es et les analyser pour en tirer les conclusions qui s
83. se l augmentation de l impact hormis ces facteurs certaines variables demeurent incontr lables Par exemple le temps disponible pour implanter les changements ou une annulation pure et simple du projet Pour terminer ces auteurs proposent d autres recommandations pour am liorer l impact mieux conna tre le produit par exemple en lisant les modes d emploi prendre en compte le fait que le produit valu fait partie ou non d une gamme utiliser des tests d utilisabilit afin de faire prendre conscience des probl mes aux concepteurs avoir dans l quipe un informaticien pour viter que la r solution des probl mes soit d cr t e impossible impl menter 96 Assistance technique au handicap C est en respectant ces quelques principes qu on peut r ussir 4 augmenter la port e des interventions ergonomiques 3 4 Conclusion Ce chapitre a cherch r pertorier de la fa on la plus exhaustive possible les diff rentes m thodes d valuation des interfaces m thodes devenues essentielles pour garantir la qualit ergonomique d une interface Nous nous sommes inspir s de la classification de Senach SEN 93 pour d velopper une taxonomie qui distingue les m thodes empiriques des m thodes analytiques et pr dictives Respectivement les premieres impliquent la pr sence d utilisateurs pour proc der a une tude de l utilisabilit les deuxi mes permettent d analyse
84. st a pour objectif de mesurer l ad quation des dispositifs d aide syst me d aide en ligne manuel d utilisation formation aux besoins des utilisateurs Des 76 Assistance technique au handicap entretiens men s aupr s des utilisateurs doivent permettre de d finir les situations de travail conduisant des erreurs d utilisation Une fois ces situations cat goris es il est imp ratif pour l ergonome de mesurer la capacit des dispositifs d aide parfaire la formation de l utilisateur Il doit alors faire une analyse ergonomique des dispositifs d assistance et chercher d finir le contenu et la dur e de la formation pour qu un groupe d utilisateurs donn atteigne un niveau de performance optimal Ce test de la formation a un double int r t En premier lieu il met en vidence des d fauts ergonomiques des dispositifs d assistance et donc permet de les am liorer En second lieu il indique les erreurs de conception du dispositif technique et dans ce cas il peut conduire les concepteurs r viser une partie de l interface 3 3 3 2 5 Test instrument d une grille d valuation Ce test se pr sente sous la forme d un questionnaire d valuation des caract ristiques de l interface comme par exemple Shneiderman 1987 Dans ce cas l op rateur est pri de r pondre aux questions d indiquer les difficult s qu il a rencontr es avec l interface Indirectement il value la qualit
85. syst me soit l utilisateur ou au deux Aussi pour plus de rigueur dans le diagnostic on pr conise de recourir des questionnaires ou des mouchards lectroniques 3 2 2 2 Les techniques d observation indirectes L objectif de ces techniques est de recueillir parfois linsu de l utilisateur des donn es sur l utilisation du dispositif Toutefois par d ontologie les utilisateurs sont bien videmment inform s que leurs interactions pourront tre enregistr es Evaluation des aides techniques 59 Les enregistrements vid os permettent de revenir sur certains points pr cis qui sont impossibles a relever lors d une observation directe Ils peuvent aussi servir de support p dagogique pour la communication avec les concepteurs afin d illustrer par exemple les implications regrettables de certains choix de d veloppement Ces enregistrements sont aussi employ s comme support d expression puisqu on demande aux utilisateurs film s de r agir et commenter ce qu ils font l cran pourquoi ont ils choisi telles fonctions pourquoi ces soupirs ou cet tonnement Ces verbalisations cons cutives peuvent compl ter les verbalisations simultan es Le contr le de l interaction par des mouchards lectroniques Log File consiste enregistrer les interactions l cran et au clavier pour r aliser ensuite des analyses statistiques APE 85 En obtenant les fr quences et l ordre des diff rentes s que
86. t de comp tences pour se servir et servir les instruments Op rateurs adaptez vous tait alors le mot d ordre g n ral Chapitre r dig par E BRANGIER M E BOBILLIER CHAUMON J P GAILLARD 50 Assistance technique au handicap Mais cette conception a tr s vite trouv ses limites D abord parce que la complexit croissante des dispositifs technologiques n cessite a la fois de nouveaux modes de collaboration entre les hommes les machines les modes d organisation et les cultures ce qui tait adapt ou ajustable par un individu dans un contexte donn ne l tait pas forc ment pour le m me individu dans un autre contexte et a fortiori pour d autres individus dans d autres contextes Ensuite parce que ces technologies trouvent des applications et des usages dans des domaines toujours plus nombreux de la sph re personnelle et professionnelle Les utilisateurs se diversifient par leur profil leurs comp tences leurs attentes et les usages se multiplient domotique syst me automobile embarqu t l medecine t l travail assistant personnel collecticiel Aussi Aujourd hui l ing nierie de conception se trouve dans l obligation de prendre en compte cet utilisateur selon une approche symbiotique BRA 00 BRA 02 BEN 95 qui consid re que l homme vit avec les technologies qui l entourent et qu il profite ainsi du travail constructif d autrui Avec la technologie l homme d place
87. t com papers heuristic learning_inspection html 54 Assistance technique au handicap identification des attentes des besoins et des pr f rences des utilisateurs sur telle ou telle fonction information ou structuration de l interface d un logiciel ou d un site internet BAS 93 LEU 99 d finition des conduites d interaction et les habitudes de consultation des utilisateurs fr quence dur e cible selon leur profil ge formation caract ristiques biographiques loisirs Toutefois le questionnaire peut poser quelques probl mes relatifs son talonnage sur la population cible surtout lorsqu il s agit d handicaps d une tr s grande variabilit En effet la validit d un questionnaire est g n ralement restreinte la situation pour laquelle ils ont t mis au point Du coup leur transf rabilit dans une situation nouvelle peut tre tr s faible et occult e par exemple une partie des probl mes rencontr s par l utilisateur Qui plus est les questionnaires reposent sur une dissociation de la situation d usage de la situation d valuation Ce clivage entre le temps des r ponses et le temps de l interaction avec la machine engendre souvent une alt ration des r ponses difficult s de rem moration oubli occultation lacune de la part de l utilisateur SEN 93 Un risque d effet de halo existe galement GRO 90 l utilisateur a tendance plus s appuyer sur son imp
88. th se validit et pertinence des m thodes d valuation des interactions op rateur instrument Dans cette partie nous avons pr sent diverses m thodes d valuation des interfaces Celles ci nombreuses ont t class es d apr s leur objet d tude valuation des interactions en situation de travail d marche empirique valuation de diff rentes dimensions de l interaction par la validation de crit res d marche analytique valuation des interactions et des performances attendues dans le futur dispositif d marches pr dictives Elles n ont pas les m me fonctions ni les m mes atouts Evaluation des aides techniques 79 Si les m thodes empiriques peuvent se pr valoir d tre la r f rence incontournable pour valuer les qualit s ergonomiques d une interface cela s explique par le fait qu elles seules permettent de prendre v ritablement en consid ration les utilisateurs dans leur contexte de travail et d interaction r el Mais des critiques persistent n anmoins en particulier les question de co t et de mise en uvre En effet ces techniques sont souvent on reuses et difficiles utiliser on paralyse une partie du temps de travail De m me l acc s aux utilisateurs n est pas toujours ais et les biais dans l observation et l exp rimentation relativisent souvent la g n ralisation des r sultats chantillon non significatif BAR 95 SCA 93 Cependant l approche e
89. tion permet de contr ler les performances avant l exploitation ou la commercialisation permet de pr voir des moyens pour accompagner la mise en place de l aide technique soutien formation r sistance au changements valide les corrections r alis es partir de la maquette et compl te les informations saisie contr le des rubriques et messages DEMARCHES ANALYTIQUES EVALUATION ITERATIVE Quand O Comment Par qui Evaluation tout au Situation hors travail long du cycle de conception du syst me technique Evaluation sur la Ergonome maquette le prototype ou le produit fini par des ventuellement assist s des concepteurs mises en situation utilisation simul s Possibilit d utiliser toutes les techniques subjectives et objectives de recueil de donn es Avantages Inconv nients identification des probl mes s rieux et r currents objectivit effet sur la conception gr ce sa force d monstrative permet aux utilisateurs de se projeter plus facilement dans la future situation de travail value l interface de fa on plus riche que sur papier permet des remarques sur l insertion du logiciel par rapport la situation actuelle de travail valuation renseigne sur les modes de co t lev pour obtenir des maquettes fiables et r alistes dans le cas de tests sur la
90. tr es technologies l volution actuelle vise piloter des projets centr s utilisateur L utilisateur y est observ a priori et non a posteriori La premi re boucle correspondant aux maquettes successives doit tre courte Le cycle valuation recommandations modifications de la maquette doit mettre en uvre des techniques et une m thode d valuation simples et rapides La seconde boucle du processus correspondant la validation du prototype justifie un cycle plus long Il s agit ce stade non plus d valuer certains facteurs de l utilisabilit de PAT mais plut t de satisfaire en situation simul e puis r elle l ensemble des crit res d utilisabilit A cet gard et pour r pondre aux exigences particuli res de ce processus it ratif double boucle nous avons pr c demment d crit les diff rentes m thodes d valuation et les techniques utilisables A titre d exemple on peut citer les travaux de Valentin ef al VAL 93 dans le domaine du secteur tertiaire La d marche d valuation it rative a t mise en uvre partir d une douzaine d valuations sur le terrain Elle s appuie sur des entretiens avec les concepteurs des valuations d expert et des check lists et des tests sur les maquette prototypes ou logiciels r alis s avec les utilisateurs comprenant des observations et questionnaires Cette d marche se d roule en cing tapes prise de connais
91. ts des exp riences d valuation d interfaces men es en laboratoire et sur le terrain ont contribu la confection de guides pour la conception des syst mes recommandations ergonomiques check lists ou guidelines Ces crit res accompagnent et assistent les concepteurs dans l laboration d un logiciel SCA 93 Ils fournissent ainsi des rep res aux concepteurs et aux ergonomes pour valuer et am liorer la qualit ergonomique des dispositifs A titre d exemple Bastien et al BAS93 proposent huit cat gories de recommandations le guidage la charge de travail le contr le explicite Padaptabilit la gestion des erreurs l homog n it coh rence la signifiance des codes et d nominations et la compatibilit Chacun de ces crit res se d composent en un ensemble de sous crit res et ainsi de suite Nous ne Evaluation des aides techniques 71 d velopperons ici que la premi re cat gorie pour illustrer notre propos Le Guidage concerne l ensemble des moyens mis en uvre pour conseiller orienter informer et conduire l utilisateur lors de ses interactions avec l ordinateur messages alarmes labels etc y compris dans ses aspects lexicaux Quatre sous crit res participent au Guidage Il s agit de l incitation du groupement distinction entre items du feedback imm diat et de la lisibilit BAS 93 p 45 L incitation consiste permettre aux
92. u dispositif con u avec les caract ristiques de la t che et le fonctionnement mental de l utilisateur Ici l objet de l valuation est plut t une maquette qui va subir quelques modifications Cela dit une interface finale d j impl ment e peut tout fait tre soumise ces tests en particulier lorsqu il s agit d estimer son efficacit dans un nouveau contexte d activit Id alement ces tests doivent d boucher sur une validation de l interface Mais g n ralement ils sp cifient plut t les volutions de l interface utilisateur que devront prendre en compte les concepteurs pour am liorer la compatibilit op rateur instrument Sans vouloir tre exhaustif il convient tout de m me de pr ciser quelques points communs tous les tests L ing nieur voulant tester la qualit d une interface doit constituer un chantillon repr sentatif des utilisateurs enregistrer les interactions puis les analyser cat goriser les checs d utilisation et les interpr ter Nous allons pr senter rapidement plusieurs m thodes de test permettant de v rifier l adaptation d une interface aux besoins des utilisateurs 3 3 3 2 1 Test de performance Il s agit d effectuer des mesures quantitatives des temps d utilisation pour parvenir l objectif d clar du nombre de touches utilis es du nombre d erreurs Evaluation des aides techniques 75 effectu es des temps de r ponse
93. ues de recueil d expertise Ces auteurs ont interview des sp cialistes du domaine afin de d gager les r gles respecter dans le d veloppement d un plan d valuation Cette approche accorde une grande importance la notion de performance DOW 89 c est dire au rapport entre la qualit de l valuation informations quantitatives ou qualitatives types de donn es recueillies et son co t temps nombre d utilisateurs concern s Elle comporte 4 phases distinctes auxquelles seront associ es une m thode destin e d terminer l impact effectif de l valuation exemple du tableau 3 2 90 Assistance technique au handicap Etape Sous objectifs 1 Formuler le probl me concernant I I H M et son utilisation 2 Identifier les objectifs de d veloppement du client 3 Identifier la phase du cycle de vie de 1 I H M 1 Identifier les facteurs de 4 Identifier la performance d sir e de l I H M performance 5 Identifier les buts que le client assigne a l valuation 6 Identifier les sources d informations relatives a la performance 7 Cr er une liste de facteurs de performance 8 Valider la liste 1 Identifier le statut du projet et son historique 2 Identifier l opinion du client sur l ergonomie 3 Identifier les comp tences du client 4 Identifier les implications de 1 valuation au niveau du 2 Identifier les facteurs management organisationnels 5 Identifier le ni
94. utilisateurs de r aliser des actions sp cifiques de faire conna tre les possibilit s d action et de savoir o ils se positionnent dans l interface Un exemple de recommandation concernant l incitation est de donner des indices sur la longueur autoris e des entr es dans un champ De telles recommandations suffisamment d taill es se r v lent par ailleurs tre d excellents supports de formation l ergonomie des logiciels pour des sp cialistes et pour des non sp cialistes de IHM SCA 93 Une tude dirig e par Bastien et al BAS 94 a d ailleurs indiqu qu elles permettaient d am liorer les performances d valuation des experts N anmoins certains points sont sujets controverse En effet les recommandations sont g n rales et ne tiennent compte ni du contexte d utilisation ni de la situation d interaction Ce qui peut d s lors conduire quelques contradictions dans l valuation du logiciel KAR 95 SCA 93 SEN 93 Par exemple selon ces recommandations le nombre d informations affich simultan ment sur un m me cran devrait tre limit 7 2 items pour favoriser la perception et le traitement cognitif Ce qui se comprend pour l activit de superviseurs de processus dangereux central nucl aire aiguilleur du ciel Toutefois certaines op rateurs exigent au contraire un affichage maximum de donn es sur un minimum d cran cas fr quent de malades t trapl giques qui
95. veau d exigence requis pour le syst me 6 Identifier les sources d informations relatives l organisation 7 Cr er une liste des facteurs organisationnels 8 Valider la liste 3 Sp cifier le niveau de 1 R diger un document sp cifiant le niveau de performance performance d sir e 2 Valider le document aupr s du client Tableau 3 2 Les diff rentes tapes de la d finition du niveau de performance d apr s Denley et Long DEN 97 3 4 2 1 Phase 1 d finition du niveau de performance La premi re tape relative la d finition de niveau de performance int gre l tape d analyse de la demande formul e par le client Cette phase rev t une importance particuli re car c est partir de cette d finition qu il sera possible de choisir une m thode appropri e En l occurrence il s agit d effectuer le rapport entre la qualit de l valuation et son co t En d autres termes il faut trouver un compromis acceptable entre ce qu il faudrait valuer et ce qu on peut effectivement valuer compte tenu des contraintes mat rielles Il est donc n cessaire de prendre en compte les pressions des r alit s qu elles soient financi res temporelles ou humaines NAE 96 Tr s concr tement la t che de l valuateur consiste recueillir des informations se rapportant aux facteurs de performance et aux facteurs organisationnels Le niveau de performance attendu se mat rialise sous la
96. vre des chelles bipolaires pond r s Il s agit de demander l op rateur d valuer subjectivement l importance d un facteur de charge de travail en lui donnant une note comprise entre deux extr mes La note obtenue est ensuite pond r e en fonction de son importance relative par rapport aux autres facteurs concourant la charge de travail TLX comprend six descripteurs consid r es comme des facteurs de charge de travail la pression temporelle l activit mentale l activit physique la performance la fatigue le stress Chaque descripteur est pr cis ment d fini de sorte que l op rateur puisse en valuer l importance dans la t che A l issue de celle ci on lui demande de cocher sur une feuille de papier des segments de droite repr sentant chacun un des six descripteurs Par exemple le segment pression temporelle avec l origine du segment signifiant aucune pression temporelle une extr mit et signifiant extr mement lev e son autre extr mit Dans un second temps le Evaluation des aides techniques 57 psychologue pr sente a l op rateur les descripteurs deux par deux et lui demande de choisir pour chacun des couples le descripteur le plus important Les valeurs estim es sur les descripteurs sont ensuite mesur es et pond r es par le nombre de fois ou l op rateur aura retenu le facteur comme plus important dans les couples TLX a t valid en France dans le domaine de l a ronautique
97. x cution de la t che principale cognitivement plus conomiques L introduction d une t che secondaire en modifiant les conditions d ex cution de la t che principale modifierait la strat gie d ex cution de la t che principale 3 3 Les m thodes d valuation des aides techniques La taxonomie choisie pour classer ces m thodes reprend et d veloppe celle employ e par Scapin SCA 93 et Senach SEN 93 dans le domaine de l valuation des logiciels Elle r pond des crit res d exhaustivit toutes les m thodes d valuation peuvent y tre class es et de discr tion une m thode ne peut faire partie que d une cat gorie la fois On distinguera ainsi Les m thodes pr dictives il s agit de concevoir la relation entre la personne et PAT comme une coop ration entre elle et un syst me technique Cette coop ration n cessite un dialogue entre la personne handicap e et l AT future probable qui est encore au stade du d veloppement et de pr voir sa compatibilit avec les futurs usagers et leur activit Les m thodes analytiques il s agit d inspecter un aspect graphique s mantique structurel ou une dimension perceptive linguistique logique de l interface et de l interaction entre la personne et IAT P AT dans des conditions d utilisation particuli res qui peuvent tre artificielles Elles peuvent aussi s appuyer sur diff rents guides mod les recommandations crit

Techniques, méthodes et démarches d`évaluation

Contents

Download Pdf Manuals

Related Search

Related Contents

Techniques, m&eacute;thodes et d&eacute;marches d`&eacute;valuation

Contents

Download Pdf Manuals

Related Search

Related Contents

Techniques, méthodes et démarches d`évaluation