Les examens QCM. Comment lire et interpréter les rapports d
Contents
1. reformuler un nouveau distracteur supprimer le distracteur attirant voire abandonner la question en tant que telle o d ventuellement l abandonner dans la pr sente preuve modification de l encodage dans Contest Une derni re donn e de l Item analysis report est toutefois prendre en compte en lien avec la difficult des questions P les non r ponses colonne Open sachant qu il peut s agir e d une d claration d ignorance ou de non prise de risque par l tudiant en cas de p nalisation pour un choix d une mauvaise r ponse e d une omission par manque de temps 13 Pour vos prochains QCM Une fa on d am liorer vos prochains examens consisterait analyser de plus pr s les questions qui discriminent bien et qui ont un niveau de difficult ad quat Ces questions sont pr cieuses car elles devraient vous inspirer lors de la r daction de nouvelles questions Pour r sumer Valider un examen revient Analyser les r sultats de chaque question Indice de facilit P Indice de discrimination Rir R partition des choix de r ponses f et z Analyser les r sultats de l ensemble du test Indice de discrimination global de l examen Rir Indice de coh rence interne alpha de Cronbach La caract ristique de la distribution des scores dans le Score Frequency Report Ce qui vous permet de Tirer un maximum de profit des r sultats d un examen Faire face2. tre revues voire supprim es ou e vous inciter revoir la mani re dont les scores sont transform s en grade 2 4 Utilisation de l Item analysis report Apr s avoir rep r les questions probl matiques dans l Item advice report nous vous conseillons de vous tourner vers l Item analysis report Lorsque des questions discriminent peu ou discriminent n gativement Rir lt 0 10 il est n cessaire de regarder ces questions de plus pr s afin de mieux comprendre ce qui a pu se passer Dans le cas de QCM o une seule r ponse par question est attendue il est possible d identifier quel pourcentage d tudiants forts ou faibles a opt pour chacune des options de r ponse 11 A partir de ces r sultats Contest calcule un indice de discrimination non seulement pour la bonne r ponse cf ci dessus mais aussi pour les distracteurs les r ponses incorrectes 1 OO O1 BR QOQON h ab ab ab a a 1 OO O1 BR OO ND O 20 Ces coefficients de discrimination pour les distracteurs devraient tous tre n gatifs car ils sont cens s tre choisis par une tr s faible proportion d tudiants ayant eu un bon r sultat aux autres questions dits comp tence l inverse le coefficient de discrimination de la bonne r ponse devrait tre positif p 0 93 0 46 0 95 0 52 0 93 0 89 0 82 0 91 0 90 0 54 0 90 0 63 0 87 0 75 0 88 0 50 0 92 0 53 0 62 0 33 p 0 91 0 29 0
3. 40 items Cronbach s Alpha norm 0 10 0 20 0 30 0 40 0 50 0 60 0 70 0 80 0 90 0 99 Required replications K 0 13 0 30 0 52 0 80 1 21 1 81 2 81 4 82 10 85 119 32 e L item rest correlation indice de discrimination global du QCM voir aussi section suivante devrait atteindre une valeur gale ou sup rieure 0 20 e _L alpha de Cronbach indice de coh rence interne encore appel d homog n it interne ne devrait pas tre inf rieur 0 70 De pr f rence il doit tre gal ou sup rieur 0 80 2 Analyse des items de votre examen LES INDICATIONS REPRISES DANS CETTE SECTION NE SONT VALABLES QUE POUR UN QCM POUR LESQUELS UNE SEULE REPONSE CORRECTE EST ATTENDUE PAR QUESTION Ceci se fait au moyen de deux rapports l Item analysis report et l Item advice report e _L Item analysis report pr sente les indicateurs statistiques qui permettent d valuer la qualit de chacune des questions items qui composent votre examen e _L Item advice report en propose un r sum graphique pour une lecture rapide Ces deux rapports se basent sur deux types d indicateurs importants e Les indices de facilit P P e Les coefficients de discrimination Rir Rit 2 1 Les indices de facilit des items P et P La question trait e ici est celle de la proportion d tudiants qui ont r pondu correctement cette question L indice de difficult P d une question donne le pourcentage de r ussite la questio
4. aux ventuels recours Obtenir des indications sur la pr cision des r sultats Retirer le cas ch ant les questions probl matiques Ajuster le calcul de la note finale grade Am liorer la formulation des questions pour une session ult rieure Calibrer de futurs examens Cr er une banque d items 14 Bibliographie Beech J R Harding L amp coll 1994 Tests mode d emploi guide de psychom trie trad de J Luc Mogenet Paris ECPA les Ed du Centre de psychologie appliqu e Bernier J J amp Pirtulewicz B 1997 La psychom trie Trait de mesure appliqu e Montr al Paris Casablanca Ga tan Morin Editeur Consilium Benelux 2011 ConTest Statistics Version 0 19 Mars 2012 EBEL R L 1965 Measuring Educational Achievement Upper Saddle River New Jersey USA Prentice Hall education series Laveault D amp Gr goire J 1997 Introduction aux th ories des tests en sciences humaines Paris Bruxelles De Boeck Universit amp Larcier s a Morissette D 1997 Guide pratique de l valuation sommative gestion des preuves et des examens Paris Bruxelles De Boeck amp Larcier Morissette D 2005 Les examens de rendement scolaire Sainte Foy Les Presses de l Universit Laval NORMAND S 2004 Guide de lecture d un rapport d analyse d items Universit de Montr al Facult de M decine Bureau d valuation Montr al http medecine ulb ac be tools docimo Gu
5. 94 0 36 0 90 0 86 0 76 0 89 0 87 0 38 0 87 0 50 0 83 0 66 0 84 0 33 0 89 0 37 0 49 0 11 Rir 0 27 0 34 0 64 0 18 0 47 0 55 0 49 0 55 0 68 0 10 0 46 0 36 0 58 0 14 0 59 0 26 0 64 0 26 0 13 0 17 Rit 0 32 0 44 0 67 0 07 0 52 0 60 0 56 0 59 0 71 0 21 0 51 0 46 0 63 0 24 0 64 0 37 0 68 0 37 0 24 0 27 Open f 51150 83 0 41154 112 0 3 1 10 4 12 5 e 3 8 6 103 3 9 2 55 84 14 137 45 4 o 6 102 6 51148 90 56 80 2 91 28 A Zot 0 03 4 48 010 3 47 315 6 255 5 1 11 12 1 47 4 265 5 0 69 2 1 65 144 0 24 14 ou 6 1 921107 1 30 3 0 60 6 o16 2 0 22 10 1 57 74 0 00 24 B c A f Z 0 73 o 0 42 30 0 61 3 64 1 2 63 0 10 1 0 40 1 45 150 0 09 0 86 2 2 65 1 19 130 0 21 2 75 3 1 39 221 O0 1 41 53 0 08 o11 5 2 33 0 48 2 1 68 1 42 3 3 87 0 11 1 0 59 2 52 140 0 19 0 84 2 2 32 1 89 4 2 66 0 74 7 0 68 0 12 1 0 58 0 37 17 0 38 _ NS ofa nR nd lad SE en CE CES oie Aa 3 D t4 0 57 0 94 2 63 1 49 0 75 0 14 1 90 0 13 0 19 0 23 0 08 1 23 1 95 0 55 2 33 0 28 SeT 0 91 0 82 12 A retenir L Item analysis report quelles exploitations en tirer Dans le tableau ci dessus e Les propositions de r ponse sont d sign es par les lettres A B C D E e La bonne r ponse appara t en gras soulign e e Pour chacu
6. UCL Universit catholique de Louvain Administration de l enseignement et de la formation ADEF Service d valuation en appui la qualit EVA Les examens QCM Comment lire et interpr ter les rapports d analyse d items Contest en vue d am liorer la qualit de vos examens R sum De nombreux enseignants optent pour un examen par questionnaire choix multiples QCM Si ce type d examen peut sembler facile r aliser et permettre des conomies en temps de correction il suscite galement nombre de questions dont e Mon QCM est il bien con u e Dois je augmenter le nombre d items Puis je me permettre de le r duire e L examen est il trop simple ou trop difficile e Les scores des tudiants sont ils fiables e Les leurres sont ils efficaces e Quels items pourrais je conserver pour un autre examen e Quels sont les items liminer R pondre ces questions n est pas si compliqu lorsque l on utilise correctement les outils disposition des enseignants ayant recours au syst me Contest via le service EVA et que l on exploite les r gles de base de composition d un bon QCM Cette note vous explique comment utiliser ces outils Introduction L analyse d items reprend l ensemble des proc d s statistiques dont le but est d valuer la qualit d un examen et des items c est dire les questions qui le composent Ce type d analyse pr sente plusieurs avantages e Obte
7. d examiner l tem advice report pour commencer l analyse de la qualit des questions qui le composent L Item advice report permet de visualiser la place qu occupe chaque question de votre examen en fonction des deux indicateurs d crits ci dessus e Le coefficient de discrimination Rir sur l axe horizontal e L indice P sur l axe vertical Chacun des chiffres figurant dans ce graphe correspond au num ro de la question de votre examen 0 8 0 6 0 5 0 1 0 2 0 2 0 0 2 0 4 0 6 0 8 Rir 10 A retenir L Item advice report quelles exploitations en faire e Avoir une repr sentation visuelle du niveau de difficult des questions de l examen o sila majorit de vos questions sont situ es dans la partie sup rieure du graphe cela signifie que votre examen est facile o inverse votre examen est difficile si la majorit de vos questions se concentrent au bas de la figure e Rep rer les questions qui ne jouent pas en harmonie avec les autres o ce sont en quelque sorte des lectrons libres on les rep re car ces questions se situent en orbite de la majorit des autres questions qui devraient normalement former une constellation assez serr e indicateur de l homog n it de l examen e Identifier les questions qui discriminent peu Rir lt 0 10 ou encore n gativement Rir lt 0 00 Ces questions sont sans doute probl matiques et e devraient
8. et on choisira donc majoritairement des questions avec un indice de facilit lev p 0 80 ou 0 90 2 2 Les coefficients de discrimination des items Rir et Rit La question trait e ici est double e est ce que les tudiants qui r ussissent cette question ont galement un score lev pour l ensemble des autres questions e est ce que les tudiants qui chouent cette question ont aussi un score plus faible l ensemble des autres questions Consid rons 2 publics e d une part les tudiants ayant obtenu un score lev sur l ensemble de l examen dits tudiants comp tents ou forts e _et d autre part les tudiants ayant obtenu un score faible sur l ensemble de l examen dits tudiants faibles on s attend naturellement ce que chaque question soit r ussie par une proportion plus importante des tudiants de cette premi re cat gorie comparativement la proposition d tudiants de la seconde cat gorie Cette capacit trier les deux cat gories d tudiants ce qu on appelle le pouvoir discriminant d une valuation II se mesure au moyen des indices de corr lation ou indice de discrimination suivant e Rir Item Rest correlation disponible pour l ensemble du test cf section 1 et pour chaque question e Rit Item Test correlation disponible pour chaque question 2 2 1 Le Rir d un item Cet indice permet de v rifier si la question rempli bien sa fonction savoi
9. eux cas de figures peuvent se pr senter e I est possible qu il y ait eu une erreur dans votre d claration La bonne r ponse attendue n a pas t encod e comme telle dans Contest e Si la r ponse correcte a bien t encod e dans Contest c est probablement que la question comporte une absurdit une incoh rence ou qu elle repose sur un nonc incomplet La question devrait dans ce cas tre retir e de l examen Par ailleurs la discrimination est tr s fortement influenc e par la facilit ou la difficult d un item En r gle g n rale des items tr s faciles ou tr s difficiles discriminent habituellement peu Si tous les tudiants la limite r ussissent ou ratent l item la discrimination devient nulle car il n y a plus aucune diff rence entre les tudiants du groupe sup rieur et ceux du groupe inf rieur Morissette 2005 p 313 Pour en savoir plus Valeurs rep res pour interpr ter les coefficients de discrimination e 0 40 et plus Question qui discrimine tr s bien e 0 30 0 39 Question qui discrimine bien e 0 20 0 29 Question qui discrimine peu e 0 10 0 19 Question limite am liorer e Moins de 0 10 Question sans int r t r el pour une valuation certificative Ebel 1965 2 3 Utilisation de l Item advice report Apr s consultation du Test analysis report qui vous donne une id e g n rale de la qualit de votre examen nous vous conseillons
10. ide 20de 20lecture 20Anltem pdf NORMAND S 2001 L analyse d items une technique docimologique pour valider des questions d examen Diaporama du mode d emploi du logiciel Anltem Bureau d valuation Facult de m decine Universit de Montr al www medbev umontreal ca docimo DocSource Docimologie Anltem pp 15
11. iminer deux tudiants moyens puisque les deux r ussiront toutes les questions faciles et choueront toutes les questions tr s difficiles ils auront donc tous les deux la m me cote A l inverse si l examen ne comporte que des questions de difficult moyenne p 0 50 il permettra de discriminer correctement les sujets moyens mais ne permettra pas de discriminer les sujets faibles entre eux car ils choueront toutes les questions ni les sujets forts entre eux car ils r ussiront toutes les questions Habituellement dans un examen certificatif on cherche identifier les diff rences individuelles Dans cette situation classique un examen bien quilibr est donc un examen qui comporte une majorit de questions de facilit moyenne p 0 50 quelques questions faciles p 0 90 et quelques questions difficiles p 0 10 Ainsi les tudiants moyens qui sont les plus nombreux seront bien discrimin s et les tudiants faibles ou forts trouveront galement de quoi s exprimer Tout d pend en fait de l objectif de votre examen Dans le cas d un examen qui s apparente un concours ou un test de s lection on voudra s lectionner les tudiants les plus forts On privil giera donc les questions difficiles p 0 10 Dans le cas o l examen a pour but de v rifier que la majorit des tudiants ont bien atteint les objectifs minimaux ou essentiels d un cours il est normal que l examen soit plus facile
12. n Par exemple si pour une question l indice p 0 70 cela signifie que 70 des tudiants ont donn la bonne r ponse cette question e Plus ce pourcentage est lev plus la question est facile e Plus ce pourcentage est faible plus la question est difficile Exemples de questions se poser Serge Normand Universit de Montr al 2001 e P est inf rieur 0 50 pourquoi la moiti des tudiants chouent ils cette question e P est inf rieur 0 30 est ce normal qu autant d tudiants n atteignent pas l objectif vis par la question Combien d autres questions y a t il avec des indices aussi faible dans le test e P est sup rieur 0 90 est ce que cette question correspond un objectif important Faut il conserver pour une session suivante les questions r ussies par la quasi totalit des tudiants e P est gal 1 00 tout le monde r ussit faut il conserver cette question A retenir P et P quelles le ons en tirer Le principal objectif du calcul des indices de facilit est d identifier les questions dont le niveau de difficult est appropri l objectif de l valuation Les questions o tous les tudiants r ussissent p 1 00 ou chouent p 0 00 ne sont pas suffisamment informatives car elles ne permettent pas de discriminer les tudiants Si l examen ne comprend que des questions tr s faciles ou tr s difficiles il ne permet pas de discr
13. ne des propositions de r ponse y compris la bonne r ponse Contest r alise deux calculs o f nombre d tudiants ayant choisi la proposition de r ponse en question o z coefficient de discrimination pour chacune des propositions Une valeur z associ la bonne r ponse en gras soulign proche de z ro ou n gative d note un probl me Une valeur z prenant une valeur positive pour un ou pour plusieurs leurres r v le ce que l on appelle des distracteurs attirants car ils sont choisis majoritairement par des tudiants comp tents sur l ensemble de l examen et trop peu par les tudiants faibles Une telle situation n est videmment pas normale et sugg re une analyse plus pouss e des questions probl matiques Deux cas de figure peuvent se pr senter e Il est possible qu il y ait eu une erreur dans votre d claration Un distracteur attirant est en fait la bonne r ponse mais n a pas t encod e comme telle dans Contest L encodage doit tre adapt dans Contest e La question est mal con ue et il convient de consid rer un ou plusieurs distracteurs attirants comme r ponses accept es L encodage doit tre tendu dans Contest Dans les autres cas il est n cessaire d analyser la question pour essayer de comprendre ce qui a pu pousser les tudiants comp tents choisir cette mauvaise r ponse avec pour r sultat o de la r viser en vue d un prochain examen am liorer la question en entier
14. nir des indications sur la pr cision et la fiabilit des r sultats observ s e _ Valider un examen en retirant au besoin les questions qui pr sentent des lacunes e Calibrer les examens futurs e Cr er une banque d items e Am liorer la formulation des questions Nous vous proposons 3 rapports d analyse d items gr ce l outil Contest Consilium 2011 e Letest analysis report ce rapport pr sente en une page les indices statistiques qui permettent d valuer les r sultats de l examen pris globalement e _L item analysis report pr sente les indicateurs statistiques qui permettent d valuer les r sultats de chacune des questions items qui composent votre examen ainsi que la r partition des choix de r ponses coch es par les tudiants e l item advice report permet de visualiser la place qu occupe chaque question de votre examen en fonction de leur niveau de difficult relative et de leur capacit bien diff rencier les tudiants entre eux indice de discrimination Ces deux derniers rapports vous aident rep rer les questions qui posent probl me celles qu ils m riteraient d tre r vis es ou remplac es en vue d une prochaine session d examen Ils permettent aussi d identifier les meilleures questions celles qui devraient vous inspirer lors de la r daction de nouvelles questions Nous vous proposons une d marche d analyse progressive pour vous aider lire et interpr
15. r diff rencier les tudiants en fonction de leur niveau de connaissance ou de comp tence Le Rir d un item permet de r pondre aux questions qui introduisent cette section e un indice positif indique que les meilleurs tudiants r ussissent la question et que les plus faibles chouent la question e un indice n gatif signale une incoh rence les meilleurs tudiants chouent la question les plus faibles la r ussissent e un indice proche de z ro indique qu il n y a aucune relation entre le score cette question et le total des autres questions e de mani re g n rale la valeur 0 20 est prise comme balise pour indiquer un d but de discrimination 2 2 2 Le Rit d un item L item test correlation Rit fonctionne sur le m me principe la nuance pr s qu il calcule pour chaque question la corr lation entre le score obtenu cette question et le score total obtenu pour l ensemble de l examen la question analys e y compris Il s interpr te de la m me mani re que le Rir Le Rir est souvent pr f r au Rit car sa valeur n est pas influenc e par le r sultat obtenu la question analys e Le nombre de questions et le nombre d tudiants influencent le calcul des indices de corr lation qui sont d s lors tributaires de la composition de l examen et de son contexte de passation A retenir Les questions ayant un Rir valeur n gative doivent absolument tre analys es D
16. ter les r sultats de ces rapports 1 Analyse globale de l examen Test analysis report Ce 1er rapport examiner comporte deux volets Des informations g n rales General details e e nombre de questions e e nombre d tudiants ayant particip votre examen e les pourcentages de r ussite et d chec votre examen e e score le plus bas que peut obtenir un tudiant e e score probable d un tudiant r pondant totalement au hasard chance score e le score le plus haut que peut obtenir un tudiant e etc Entire Test General details Questions 20 Excluded questions 0 Participants 212 Participants passed 76 35 85 Participants failed 136 64 15 Minimum score 7 50 Chance score 313 Maximum score 20 00 Minimum grade 0 00 Maximum grade 20 00 Pass grade 10 00 Des donn es statistiques Statistical details Sans entrer dans les d tails ce stade ci nous vous conseillons de regarder en priorit les valeurs de deux indices importants l Item rest correlation et l Alpha de Cronbach et de v rifier s ils atteignent les normes de r f rence que l on trouve dans la litt rature Statistical details Average Stdev Lowest Highest Score 8 58 3 33 0 00 16 00 P 0 57 0 18 0 24 0 88 Corrected p 0 33 0 21 0 02 0 75 Item rest correlation ue 0 14 0 15 0 34 Grade 8 3 33 0 00 16 25 Cronbach s Alpha 645 Standard error of measurement 1 09 Estimated Alpha for similar test with 0 62 norm length
Download Pdf Manuals
Related Search