2010, odyssée des modèles de classification diagnostique (MCD)
Contents
1. Deterministic inputs noisy or gate X X X Templin amp Henson 2006 DINO Noisy inputs deterministic and gate X X X Junker amp Sijtsma 2001 NIDA Noisy inputs deterministic or gate X X X Templin amp Henson 2006 NIDO Non compensatory Reparametrized X X X X X DiBello Stout amp Roussos unified model Fusion model 1995 Hartz 2002 NC RUM Compensatory Reparametrized X X X X X Templin amp Henson 2006 unified model Fusion model C RUM Reduced Reparametrized unified model X X X Templin amp Henson 2005 RE RUM General diagnostic model GDM X X X X X von Davier 2005 Loglinear cognitive diagnosis model X X X X X Henson Templin amp Willse 2009 LCDM Multiple classification latent class model X X X X X X Mari 1999 MCLCM Note Adapt de Rupp A amp Templin J 2008 Unique characteristics of diagnostic classification models A comprehensive review of the current state of the art Measurement Interdisciplinary Research amp Perspective 6 4 p 239 Mod les de classification diagnostique 83 Disponibilit des logiciels Le tableau 3 pr sente les logiciels actuellement disponibles pour appliquer les MCD des donn es Tableau 3 Logiciels Rupp amp Templin 2008 Logiciel MCD Type de logiciel et r f rences BUGLIB RSM Licence de recherche tatsuoka prodigy net AHM AHM Licence de recherche mark gierl ualberta edu DCM DINA NIDA Freeware a utiliser2. Seul Arpeggio et les mod les RUM fournissent des renseignements permettant de juger la convergence des estimations Roussos et al 2007 La nature des habilet s sur lesquelles faire porter le diagnostic est galement source de nombreuses discussions dans la documentation Un grand manque d tudes empiriques est d abord noter Bolt 2007 Sinharay amp Haberman 2009 ainsi que le fait que les tudes empiriques existantes consistent appliquer un MCD des donn es non initialement pr vues pour cet usage l heure actuelle le d veloppement de tests est bas sur des mod les de la TRI et l objectif est le plus souvent de mesurer un seul construit la fois Demander des experts d identifier des habilet s sous jacentes ce construit et tenter de r aliser un diagnostic de ces habilet s est appel retrofitting et cette approche est largement remise en question D abord le fait de se baser sur le jugement d experts pour formaliser la Matrice Q ajoute la complexit car il faut d finir quels aspects sont sous la responsabilit des experts et lesquels proviennent directement des donn es En outre le d veloppement de tests est bas sur un paradigme diff rent de celui sur lequel reposent les MCD Haberman amp von Davier 2007 Dans un cas l hypoth se est l existence d un ou ventuellement de plusieurs trait latent continu et dans l autre celle de l existence d un ensemble de variables la
3. Cet aspect passe peut tre par le d veloppement de nouvelles mani res de cr er des items de les combiner et d attribuer des scores Conclusion Le pr sent article prend sa source dans le texte publi par Rupp et Templin en 2008 Il vise mettre en vidence ce qui caract rise les MCD et fournit de nombreuses r f rences r centes Les MCD y sont expos s de mani re g n rale et trois mod les pour lesquels des applications logicielles sont disponibles sont plus particuli rement pr sent s Le texte inclut une analyse critique des MCD qui d bouche sur plusieurs pistes de recherche Le titre de cet article parle d odyss e d finie comme un voyage riche en p rip ties Dans le cas des MCD nous sommes au d but du voyage mais le nombre et la richesse des tudes actuelles laissent pr sager que les MCD vont continuer se d velopper dans les ann es venir Ces mod les offrent donc de belles perspectives de recherche autant th oriques qu appliqu es 94 NATHALIE LOYE NOTE 1 Selon les notations du tableau 1 REFERENCES Almond R 2007 Modeling diagnostic assessments with Bayesian networks Journal of Educational Measurement 44 4 341 359 Birenbaum M Kelly A E amp Tatsuoka K K 1993 Diagnosing knowledge states in algebra using the rule space model Journal for Research in Mathematics Education 24 5 442 459 Bock R D amp Aitkin M 1981 Marginal maximum likelihood estimation
4. J 2010 Diagnostic measurement Theory methods and applications New York The Guilford Press Sinharay S amp Haberman S J 2009 How much can we reliably know about what exam inees know Measurement Interdisciplinary Research amp Perspective 7 1 46 49 Stout W 2007 Skills diagnosis using IRT based continuous latent trait models Journal of Educational Measurement 44 4 313 324 Tatsuoka C 2009 Diagnostic models as partially ordered sets Measurement Interdis ciplinary Research amp Perspective 7 1 49 53 Tatsuoka K K 1983 Rule space an approach for dealing with misconceptions based on item response theory Journal of Educational Measurement 20 345 354 Tatsuoka K K 1984 Caution indices based on item response thery Psychometrika 49 1 95 110 Tatsuoka K K 1995 Architecture of knowledge structures and cognitive diagnosis A statistical pattern recognition and classification approach In P D Nichols S F Chipman amp R L Brennan dir Cognitively diagnostic assessment pp 327 360 Hillsdale NJ Erlbaum Tatsuoka K K 2009 Cognitive assessment An introduction to the rule space method New York Routledge Taylor amp Francis Group Tatsuoka K K Corter J E amp Tatsuoka C 2004 Patterns of diagnosed mathematical content and process skills in TIMSS R across a sample of 20 countries American Educational Research Journal 41 4 901 926 Templin J
5. amp Henson R A 2005 The random effects reparametrized unified model A model for joint estimation of discrete skills and continuous ability Princeton NJ Educational testing service external research group technical report Templin J amp Henson R A 2006 Measurement of psychological disorders using cognitive diagnosis models Psychological Methods 11 287 305 von Davier M 2005 A general diagnostic model applied to language testing data Research Report No RR 05 16 Princeton NJ Educational Testing Service von Davier M 2009 Some notes on the reinvention of latent structure models as diagnostic classification models Measurement Interdisciplinary Research amp Pers pective 7 1 67 74 Whitely S E 1980 Multicomponent latent trait models for ability tests Psychometrika 45 479 494 Wilhelm O amp Robitzsch A 2009 Have cognitive diagnostic models delivered their goods Some substantial and methodological concerns Measurement Interdisciplinary Research amp Perspective 7 1 53 57 Yan D Almond R amp Mislevy R 2003 Empirical comparisons of cognitive diagnostic models Princeton NJ Educational Testing Service Yan D Mislevy R J amp Almond R G 2003 Design and analysis in a cognitive assessment Research Report No RR 03 32 Princeton NJ Educational Testing Service 98 NATHALIE LOYE Yepes Baraya M 1998 Application of the rule space methodology to the
6. dir Handbook of Statistics vol 26 pp 979 1030 Amsterdam Elsevier DiBello L V amp Stout W 2007 Guest editors introduction and overview IRT based cognitive diagnostic models and related methods Journal of Educational Measurement 44 4 285 291 DiBello L V Stout W F amp Roussos L A 1995 Unified cognitive psychometric diagnostic assessment likeklihood based classification techniques In P D Nichols S F Chipman amp R L Brennan dir Cognitively diagnostic assessment pp 361 389 Hillsdale NJ Erlbaum Mod les de classification diagnostique 95 Dogan E amp Tatsuoka K 2008 An international comparison using a diagnostic testing model Turkish students profile of mathematical skills on TIMSS R Educational Studies in Mathematics 68 3 263 272 Doornik J A 2002 Object oriented matrix programming using Ox version 3 1 Logiciel London Timberlake Consultats Press Embretson S E amp Reise S P 2000 Item response theory for psychologists Mahwah N J Lawrence Erlbaum Associates Frey A amp Carstensen C H 2009 Diagnostic classification models and multidimen sional adaptive testing A commentary on Rupp and Templin Measurement Inter disciplinary Research amp Perspective 7 1 58 61 Gierl M 2007 Making diagnostic inferences about cognitive attributes using the Rule Space Model and Attribute Hierarchy Method Journal of Educational Measu
7. 1996 NAEP science assessment grade 4 preliminary results Washington DC Office of Educational Research and Improvement ED Date de r ception 13 avril 2010 Date de r ception de la version finale 28 janvier 2011 Date d acceptation 4 f vrier 2011
8. avec M Plus jtemplin uga edu DINO NIDO NC RUM r duit C RUM DCM dans R DINA DINO Freeware utiliser avec R gratuit alexander robitzsch g iqb hu berlin de DINA dans Ox DINA HO DINA Freeware utiliser avec Ox gratuit MS DINA G DINA fj delatorre rutgers edu Arpeggio NC RUM Commercial www assess com complet et r duit LCDM LCDM Freeware utiliser avec M Plus jtemplin uga edu MDLTM MDLTM Licence de recherche mvondavier ets org Note Adapt de Rupp A amp Templin J 2008 Unique characteristics of diagnostic classification models A comprehensive review of the current state of the art Measurement Interdisciplinary Research amp Perspective 6 4 p 250 Trois mod les en particulier Nous nous attardons sur trois mod les dans les paragraphes qui suivent Pour chacun d eux sont pr sent es quelques consid rations th oriques accompagn es d une fiche technique Pour les deux derniers mod les des consid rations pratiques issues de notre exp rience li e leur application des donn es sont ajout es Le premier mod le est le Rule space RSM Nous l avons retenu pour deux raisons La premi re est son caractere intuitif qui le diff rencie des autres mod les l exception du mod le AHM qui en est issu Le fait que le RSM est l un des mod les les plus anciens et qu il a t appliqu des donn es empiriques avec succ s plusieurs reprises constitue la deuxi me raison Par
9. cart sien La structure du test sous forme d une Matrice Q est attribuable Tatsuoka 1983 Une matrice contenant K habilet s peut ensuite th oriquement aboutir 2K combinaisons possibles Toutefois la r alit est plus parcimonieuse pour Tatsuoka qui a exploit les propri t s de l alg bre de Boole pour identifier des tats de connaissances plausibles en se basant sur le fait que certaines habilet s sont pr alables d autres par exemple un l ve ne peut maitriser la multiplication que s il sait faire une addition Les combinaisons plausibles d habilet s qui sont identifi es permettent de g n rer les patrons de r ponses id aux correspondants en se basant sur la Matrice Q Il est alors possible d estimer les param tres 0 et G de ces patrons id aux puis de placer les points correspondants dans le plan cart sien Chaque sujet et chaque tat id al correspondent donc un point dans le plan cart sien La premi re tape pour r aliser le diagnostic d un sujet consiste calculer et ordonner les distances entre le point de ce sujet et les points repr sentant les diff rents tats id aux Par la suite les L distances plus petites qu un seuil pr d termin sont retenues Dans un troisi me temps le calcul des probabilit s post rieures correspondant chacun des L tats id aux retenus permet de pond rer chaque tat id al pour calculer la probabilit de maitrise Mod les de classification diagnostiq
10. cessaires pour produire une bonne r ponse L exemple de plusieurs strat gies diff rentes aboutissant une bonne r ponse l item permet d illustrer ce ph nom ne Les classes latentes sous jacentes aux diff rents MCD int grent l une ou l autre des deux approches et pourraient m me combiner les deux Que l on consid re une approche compensatoire ou non compensatoire l application d un MCD avec une Matrice Q obtenue a posteriori aboutit la plupart du temps des probl mes de convergence dans les estimations et d ajustement des donn es voir par exemple Haberman amp von Davier 2007 Loye 2008 Loye et al sous presse Il est donc souvent plus appropri dans le cas de structures simples de mod liser les donn es avec des analyses factorielles ou encore d appliquer des mod les multidimensionnels de la th orie de r ponses aux items TRI Dans ce cas l utilisation de la TRI aboutit des traits latents distribu s sur un continuum avec une pr cision statistique plus grande que les classifications obtenues avec les MCD C est vraiment lorsque la structure est complexe c est dire quand les traits latents se combinent de multiples mani res pour permettre de r pondre correctement aux items que les MCD prennent tout leur sens Notion de r gles de condensation condensation rules Les r gles de condensation sont les formules de base qui permettent de combiner les traits latents de mani re compensatoire ou non comp
11. cognitive psychology Some DCM are further able to handle complex sampling designs for items and respondents as well as heterogeneity due to strategy use p 226 Les MCD se caract risent donc par une approche probabiliste impliquant des variables ind pendantes sous forme de classes latentes cat gories qui permettent de pr voir des variables observ es dichotomiques r ponse correcte ou incorrecte aux items du test ou polychotomiques par exemple un cr dit partiel attribu aux r ponses aux items tous les points pour une bonne r ponse une partie des points pour une r ponse en partie juste pas de points pour une r ponse fausse Tel que pr cis par Rupp et Templin 2008 cette d finition met volontairement l cart les mod les pour lesquels les traits latents se distribuent sur une chelle de mesure continue et les MCD aboutissent une classification dans deux ou plusieurs cat gories d o l utilisation du terme classe latente plut t que variable latente La volont d tablir un diagnostic des sujets selon plusieurs classes latentes implique une approche multidimensionnelle C est bien s r la force de l approche mais c est aussi la source des difficult s produire des donn es empiriques qui aboutissent la classification souhait e La force vient du potentiel d une information sur la ma trise ou non ma trise de plusieurs habilet s sous jacentes un m me test La difficult vient du fai
12. dans laquelle la difficult des items et l habilet des candidats sont plac es sur une m me chelle de mesure D autre part plusieurs de ces mod les restent th oriques car leurs param tres ne sont pas identifiables Maris amp Bechger 2009 ou du moins un doute persiste quant la possibilit d estimer les param tres en pratique Cela signifie que l usage de ces mod les pour des besoins pratiques li s la salle de classe n est pas pour demain d autant que la complexit va actuellement avec des bases de donn es de tr s grande taille L un des aspects les plus probl matiques vient du manque d tudes de validit pour ces mod les La validit externe des classifications diagnostiques obtenues doit tre tudi e en comparant les r sultats d autres sources d information Bolt 2007 Haberman amp von Davier 2007 L quivalence des diagnostics issus des m mes donn es mais de mod les diff rents ou de donn es provenant de diff rents tests doit galement tre tudi e Maris amp Bechger 2009 Roussos et al 2007 Sinharay amp Haberman 2009 Enfin la Mod les de classification diagnostique 91 validit interne des mod les doit faire l objet d tudes approfondies afin de s assurer de la qualit des classifications Roussos et al 2007 Sinharay amp Haberman 2009 En outre les proc dures pour v rifier l ajustement des donn es aux mod les sont quasi absentes Levy 2009
13. of item parameters an application of the EM algorithm Psychometrika 46 443 449 Bolt D 2007 The present and the future of IRT based cognitive models ICDMs and related methods Journal of Educational Measurement 44 4 377 383 Buck G amp Tatsuoka K K 1998 Application of the rule space procedure to language testing examining attributes of a free response listening test Language Testing 15 2 119 157 Buck G Tatsuoka K K amp Kostin I 1997 The subskills of reading Rule space analysis of a multiple choice test of second language reading comprehension Language Testing 47 3 423 466 de la Torre J 2008 An empirically based method of Q matrix validation for the DINA model Development and applications Journal of Educational Measurement 45 4 343 362 de la Torre J 2009 DINA model and parameter estimation A didactic Journal of Educational and Behavioral Statistics 34 1 115 130 de la Torre J amp Douglas J A 2004 Higher order latent trait models for cognitive diagnosis Psychometrika 69 3 333 353 de la Torre J amp Douglas J A 2005 april Modeling multiple strategies in cognitive diagnosis Article pr sent au congr s annuel du National Council on Measurement in Education NCME Montr al QC DiBello L V Roussos L amp Stout W 2007 Review of cognitively diagnostic assess ment and a summary of psychometric models In C R Rao amp S Sinharay
14. peuvent th oriquement tre reli s tout aspect qui permet d expliquer la performance des l ves et dont le diagnostic pr sente un int r t En l absence de th orie cognitive sur laquelle se baser les mod les de classification diagnostique peuvent reposer sur l observation ou l exp rimentation pour identifier les attributs diagnostiquer M me si les attributs taient souvent identifi s de mani re empirique par le pass voir par exemple Loye 2008 l appellation MDC cr ait souvent une certaine tension 78 NATHALIE LOYE Nous retiendrons dans la suite de ce texte la formulation mod les de classification diagnostique et l acronyme MCD en fran ais DCM en anglais La d finition des MCD propos e par Rupp et Templin 2008 est la suivante Diagnostic classification models DCM are probabilistic confirmatory multi dimensional latent variable models with a simple or complex loading structure They are suitable for modelling observable categorical response variables and contain unobservable 1 e latent categorical predictor variables The predictor variables are combined in compensatory and noncompensatory ways to generate latent classes DCM enable multiple criterion referenced interpretations and associated feedback for diagnostic purposes which is typically provided at a relatively fine grain size This feedback can be but does not have to be based on a theory of response processing grounded in applied
15. qui ne sont pas ma tris es pour calculer la probabilit d une bonne r ponse 88 NATHALIE LOYE De plus les habilet s sont caract ris es par leur difficult not e p qui correspond la probabilit de ma triser l habilet k Cette probabilit est estim e pour chaque sujet ainsi que globalement Notons que plusieurs applications des donn es sont galement disponibles dans la documentation par exemple en math matique Loye 2008 2009 Yan Almond amp Mislevy 2003 et en lecture en anglais langue seconde Jang 2005 Le tableau 6 pr sente la fiche technique du mod le NC RUM Les m thodes d estimation des param tres y sont mentionn es ainsi que des r f rences pertinentes Le logiciel Arpeggio est vendu sous la forme d un disque compact dans lequel est inclus le manuel d utilisation contenant une liste d exercices Tout comme dans le cas de Ox pour DINA il convient de cr er un dossier pour chaque analyse Ce dossier doit contenir les quatre fichiers d Arpeggio fichiers exe le fichier texte contenant l algorithme arpeggio in ainsi que les deux fichiers textes contenant les donn es et la Matrice Q tous les fichiers doivent avoir une extension in et non pas txt Tableau 6 Fiche technique du NC RUM Fiche technique R f rences DiBello et al 1995 Hartz 2002 Roussos et al 2007 Type Non compensatoire existe en version compensatoire Scores Dichotomiques ou polychotomiques Classes latentes D
16. Article 2010 odyss e des mod les de classification diagnostique MCD Nathalie Loye Mesure et valuation en ducation vol 33 n 3 2010 p 75 98 Pour citer cet article utiliser l information suivante URI http id erudit org iderudit 1024892ar DOI 10 7202 1024892ar Note les r gles d criture des r f rences bibliographiques peuvent varier selon les diff rents domaines du savoir Ce document est prot g par la loi sur le droit d auteur L utilisation des services d rudit y compris la reproduction est assujettie sa politique d utilisation que vous pouvez consulter l URI https apropos erudit org fr usagers politique dutilisation rudit est un consortium interuniversitaire sans but lucratif compos de l Universit de Montr al l Universit Laval et l Universit du Qu bec Montr al Il a pour mission la promotion et la valorisation de la recherche rudit offre des services d dition num rique de documents scientifiques depuis 1998 Pour communiquer avec les responsables d rudit info erudit org Document t l charg le 16 novembre 2015 09 41 MESURE ET EVALUATION EN EDUCATION 2010 VOL 33 No 3 75 98 75 2010 odyss e des mod les de classification diagnostique MCD Nathalie Loye Universit de Montr al Mors CL S Mod les de classification diagnostique diagnostic mod les classes latentes Cet article vise d finir les mod les de classification diagnos
17. adresse suivante nathalie loye umontreal ca 76 NATHALIE LOYE Introduction Les mod les de diagnostic cognitif sont des mod les de mesure des habilet s sous jacentes au processus de r ponse aux items d un test Loye 2005 Ils s appuient sur deux postulats la probabilit de r pondre correctement un item augmente avec la ma trise des attributs ou habilet s qui lui sont reli s et e il est possible de dresser une liste d attributs ou d habilet s en lien avec le test La place accord e ces mod les de diagnostic cognitif peut notamment se mesurer par le nombre de num ros de revues qui leur ont t consacr s en tout ou en partie durant les trois derni res ann es En effet ce sujet a fait l objet du num ro sp cial l hiver 2007 du Journal of Educational Measu rement Almond 2007 Bolt 2007 DiBello amp Stout 2007 Gierl 2007 Henson Templin amp Douglas 2007 Roussos Templin amp Henson 2007 Stout 2007 Peu de temps apr s un article synth se de Rupp et Templin 2008 est publi dans le dernier num ro de l ann e 2008 de la revue Measurement Interdisciplinary Research amp Perspective le reste de ce num ro tant constitu par trois articles commentaires qui lui sont reli s Gierl 2008 Karelitz 2008 Leighton 2008 Les analyses et commentaires sur le texte de Rupp et Templin ont ensuite majoritairement rempli le num ro suivant car ils constituent 11 des 16 texte
18. e J 5ko Dossier de fichiers Date de modification 8 avril 2010 amp j ns ij arpreport csv ES etm c Remparms csy 16 09 NE Fichier CSV Microsoft Office E Ta Fichier CSV Microsoft Office E ME Fic V Microsoft Office E a VV Microsoft Office E 11 Ko l 15 ko oin Figure 2 Le contenu du dossier RUM apr s estimation Fichiers produits t Office E Les fichiers predata in log in et Qmatrix csv sont des r capitulatifs des analyses et des donn es Les fichiers pktime csv itemtime csv fournissent les estimations des param tres p et d items au fil des chaines de Markov Il est ensuite possible de v rifier si les chaines convergent vers une valeur avant de chercher interpr ter les param tres obtenus Une m thode consiste repr senter graphiquement les valeurs au fil des chaines avec le logiciel R http www r project org en utilisant un code disponible l adresse http cran r project org web packages coda index html Un exemple de graphique ainsi obtenu fait l objet de la figure 3 Trace of pi 9 1 Density of pi 9 1 pi 9 1 TT k iu 0 1000 2000 3000 4000 5000 0 50 100 200 Autocorrelation 0 0 1 0 Iterations N 5000 Bandwidth 0 002592 Lag Progression au long de la chaine Densit Autocorr lation Figure 3 Exemple de graphiques montrant la convergence d un param tre T 90 NATHALIE LOYE Le fichier ExamReport csv contient les probabilit s de ma trise de chaq
19. ence pertinente pour chacun d eux Notons que la diff rence qui existe entre la liste des mod les r pertori s par Rupp et Templin 2008 et ceux r pertori s par DiBello et ses collaborateurs 2007 tient la nature discr te des variables latentes impos e par la d finition des MCD Par exemple Embretson propose deux mod les multidimensionnels de la TRI bas s sur une Matrice Q et non compensatoires Embretson amp Reise 2000 Whitely 1980 Ces mod les sont le multi component latent trait model MLTM et le general component latent trait model GLTM Ils ne sont pas r pertori s ici car les param tres repr sentant les habilet s sont continus dans ces deux mod les 82 NATHALIE LOYE Tableau 2 Taxonomie Rupp amp Templin 2008 Variables Variables observ es latentes d pendantes ind pendantes 2 SUE B Oe S amp E s BE SS B8 2 Bg 2 8 S 8 8 8 68 Se BI Noms des mod les 8 2 8 amp S S R f rences Rule space method RSM X X X X Tatsuoka 1983 2009 Skill hierarchy method AHM X X X X Leighton Gierl amp Hunka 2004 Bayesian inference network BIN X X X X X X Yan Mislevy amp Almond 2003 Deterministic inputs X X X Junker amp Sijtsma 2001 noisy and gate DINA Higherorder DINA HO DINA X X X dela Torre amp Douglas 2004 Multi strategy DINA MS DINA X X X dela Torre amp Douglas 2005 Loglinear Cognitive Diagnosis Model X X X X X Henson Templin amp Willse 2009 LCDM
20. ensatoire pour pr dire les variables observ es Ensuite partir de ces formules g n rales les param tres sp cifiques chaque mod le sont inclus dans ses quations Certains mod les int grent par exemple des param tres d items 80 NATHALIE LOYE pour tenir compte des carts qui peuvent exister entre la structure th orique des items dans la Matrice Q et la r alit du processus de r ponse des sujets aux items du test par exemple un param tre de pseudo chance Nous adopterons dans la suite de ce texte les notations propos es par Rupp et Templin 2008 et qui sont regroup es dans le tableau 1 Tableau 1 Notations Identifications Notations Sujets Nombre total est Index s par i 1 7 Sujets non diff renciables Nombre total est C Index s par c 1 C dans chaque classe latente Items Nombre total est J Index s par j 1 J Habilet s attributs processus Nombre total est K Index s par k 1 K R ponses variable observ e X y est la r ponse du sujet i l item j Habilet s variables latentes est le niveau de ma trise du sujet i de l habilet k Matrice Q qj vaut 1 lorsque l attribut k est requis par l item j 0 sinon Ma trise par le sujet i des habilet s requises par l item j variable latente amp xi Ma trise par le sujet i de l habilet k requise par l item j variable latente Ci dz ta Nous pr sentons ici les deux r gles de condensation les plus courantes L quati
21. exemple Tatsuoka a utilis son mod le avec les donn es du Scholastic aptitude 84 NATHALIE LOYE test SAT math matique en 1993 Birenbaum Kelly amp Tatsuoka 1993 et avec les donn es de l tude sur les Tendances de l enqu te internationale sur les math matique et les sciences TEIMS Dogan amp Tatsuoka 2008 Tatsuoka Corter amp Tatsuoka 2004 Buck et ses collaborateurs ont utilis des donn es en lecture et en compr hension de texte en 1997 et 1998 Buck Tatsuoka amp Kostin 1997 Buck amp Tatsuoka 1998 Yepes Baraya 1998 a utilis les donn es en sciences du National Assessment of Educational Progress NAEP Le RSM se caract rise par l utilisation du mod le logistique deux param tres 2PL de la TRI pour cr er un plan de classification cart sien dans lequel l axe des abscisses repr sente la valeur estim e de l habilet des sujets not e 0 et l axe des ordonn es correspond une mesure caution indice not e G et issue de la TRI Tatsuoka 1984 de l ad quation entre les r ponses de chaque sujet et ce qui est attendu atypicality ou person fit L indice G est calcul globalement pour l ensemble des items du test toutefois il est galement possible de calculer 6 62 3 relativement des sous ensembles d items reli s des contenus diff rents par exemple alg bre g om trie etc Les coordonn es 0 g n r es pour chaque sujet correspondent un point dans le plan
22. ichotomiques ou polychotomiques Param tres sp cifiques vj difficult de litem j relativement aux habilet s reli es r p nalit due au fait de ne pas ma triser l attribut k Cj exhaustivit de la liste d attributs i K Equation P X 1 nor EI e version NC RUM r duit J P jk J kel d Estimation MCMC Hartz 2002 EM Gitomer amp Rock 1993 Haertel 1984 1990 Logiciel Arpeggio http www assess com xcart product php productid 437 amp cat 1 amp page 1 Mod les de classification diagnostique 89 Apr s avoir sp cifi convenablement les noms de fichiers dans l algorithme arpeggio in fait divers choix relatifs aux estimations voir le manuel d Arpeggio pour plus de d tails le processus d estimation peut commencer C est le fichier arpeggio3_1 exe qui permet de mettre en route l analyse celle ci commence une fois que le nom du fichier contenant l algorithme est entr dans la fen tre La figure 2 pr sente un exemple de dossier obtenu apr s estimation celui ci contient sept fichiers initiaux et les dix fichiers produits contenant notamment les param tres estim s Gestion des fichiers Arpeggio3_1 exe fastclass3_1b exe simarpeggulator3_1b exe tabulator3_ib exe Application Application Application Application Fichiers a Cr er un nouveau dossier focal Publier ce dossier sur le Web arpeggio in scoren QAL n initiaux EQ riria due BB oem Y Pener In Copie de RUM A1 uU lobt Document text
23. imal pour le diagnostic Karelitz 2008 Finalement c est aussi la valeur ajout e de ce diagnostic qui est remise en question Les enseignants voient ils un int r t obtenir un rapport en fonction des habilet s de leurs l ves Haberman amp von Davier 2007 Probablement que oui tant donn la place que l valuation formative a prise dans les curricula Toutefois ce rapport diagnostique ne peut tre utile que s il est simple lire et comprendre et s il est accompagn de pistes de rem diation en lien avec les difficult s cibl es Malgr les critiques les MCD prennent de plus en plus de place dans la documentation et de nombreux chercheurs travaillent d velopper ces mod les les rendre plus faciles utiliser limiter la taille des bases de donn es n cessaires ou encore revoir le format des rapports diagnostiques M me si la majorit des articles concernant les MCD sont ax s sur les aspects th oriques et statistiques et utilisent des donn es simul es plusieurs applications empiriques avec des donn es r elles les compl tent Pistes multiples de recherche partir des critiques et des points sensibles li s aux MCD les pistes de recherche peuvent tre class es en deux cat gories Tout d abord des tudes th oriques sont n cessaires notamment pour fournir des mod les plus flexibles et donc mieux adapt s la r alit Deux objectifs peuvent tre mentionn s cet effet com
24. me minimiser la taille des bases de donn es n cessaires ou encore combiner les approches compensatoires et non compensatoires Plusieurs des mod les existants restent th oriques et ne sont pas faciles utiliser par la communaut des chercheurs Dans certains cas ces mod les ne sont pas identifiables dans d autres aucun algorithme n est disponible pour les appliquer des donn es Peu de balises existent dans la documentation quant aux nombres d items d habilet s ou de sujets qui doivent tre consid r s pour une application pratique et valide de ces mod les Des tudes doivent donc tre men es pour fournir de telles balises Mod les de classification diagnostique 93 La validit des mod les doit tre tudi e avec attention car c est l une des critiques majeures de ces mod les l heure actuelle Dans ce sens des recherches doivent porter sur l quivalence des mod les et des diagnostics issus des mod lisations Enfin il convient aussi de doter les diff rents mod les de mesures pratiques permettant de s assurer de la convergence des algorithmes de l ajustement des donn es aux mod les ou du d pistage des sujets ayant des sch mas de r ponses anormaux Enfin les recherches empiriques doivent se multiplier Pour ce faire un aspect pr alable important consiste d velopper des tests permettant de g n rer des donn es ayant un pouvoir diagnostique en accord avec les postulats de ces mod les
25. on combine les classes latentes de mani re non compensatoire dans une r gle conjonctive Il suffit alors qu une seule des valeurs P 6 1 soit gale z ro pour que la probabilit que le sujet i fournisse une bonne r ponse l item j soit nulle Ainsi le sujet i doit ma triser l ensemble des habilet s reli es l item j pour esp rer r pondre correctement cet item L quation 2 combine les traits latents de mani re compensatoire dans une r gle disjonctive Dans ce cas il suffit que l une des valeurs P Li 1 soit gale 1 pour que la probabilit que le sujet i donne une bonne r ponse l item j soit gale 1 Ainsi le sujet n a besoin que de ma triser l une des habilet s reli es l item j pour esp rer r pondre correctement cet item Une seule habilet peut donc compenser les autres Mod les de classification diagnostique 81 PK PC n 1 P X 1 0 PGi D Q Taxonomie des mod les de classification diagnostique MCD Rupp et Templin 2008 ont fait l exercice de classer les mod les existants selon le type de variables observ es le type de variables latentes et selon le mode de combinaison des variables latentes pour pr dire les variables observ es compensatoire ou non compensatoire Le r sultat de leur classification est l objet du tableau 2 qui met en vidence la grande vari t des mod les existants propose une vision d ensemble et fournit une r f r
26. r sity of Illinois at Urbana Champaign Urbana Champaign IL Henson R 2009 Diagnostic classification models throughts future directions Measurement Interdisciplinary Research amp Perspective 7 1 34 36 Henson R Templin J amp Douglas J 2007 Using efficient model based sum scores for conducting skills diagnoses Journal of Educational Measurement 44 4 361 376 Henson R Templin J amp Willse J 2009 Defining a family of cognitive diagnosis models using log linear models with latent variables Psychometrika 74 2 191 210 Jang E E 2005 A validity narrative Effects of reading skills diagnosis on teaching and learning in the context of NG TOEFL Unpublished doctoral dissertation University of Illinois at Urbana Champaign Urbana Champaign IL Jiao H 2009 Diagnostic classification models Which one should I use Measurement Interdisciplinary Research amp Perspective 7 1 65 67 96 NATHALIE LOYE Junker B W amp Sijtsma K 2001 Cognitive assessment models with few assumptions and connections with nonparametric item response theory Applied Psychological Measurement 25 258 272 Karelitz T 2008 How binary skills obscure the transition from non mastery to mastery Measurement Interdisciplinary Research amp Perspective 6 4 268 272 Leighton J 2008 Where s the psychology A commentary on unique characteristics of diagnostic classification models A comprehen
27. ratiques qui souhaiterait les utiliser Des r f rences pertinentes pour chacun des mod les cit s sont fournies ainsi qu une liste des applications logicielles actuellement disponibles pour les appliquer des donn es Pour terminer notre propre analyse critique de ces mod les prend appui sur notre exp rience dans l utilisation de ces mod les ainsi que sur les commentaires retrouv s dans les diff rentes r actions au texte de Rupp et Templin 2008 et dans le chapitre critique de Haberman et von Davier 2007 D finition des mod les de classification diagnostique MCD En 2008 Rupp et Templin ont publi un texte cl D abord leur article est l aboutissement de plusieurs tentatives de classifications de ces mod les de mesure Ensuite ces auteurs proposent une nouvelle appellation qui selon nous trouve mieux sa place en ducation En effet en transformant mod les de diagnostic cognitif MDC cognitive diagnostic models CDM en mod les de classification diagnostique MCD diagnostic classification model DCM ils r glent un probl me souvent soulev ces derni res ann es relativement au manque de th orie cognitive sous jacente au processus de r ponse aux items d un test en ducation En effet cette nouvelle appellation ne sous entend pas l existence d une th orie cognitive justifiant l existence des traits latents habilet s attributs servant tablir le diagnostic Ainsi ces traits latents
28. rement 44 4 325 340 Gierl M 2008 Defining characteristics of diagnostic classification models and the problem of retrofitting in cognitive diagnostic assessment Measurement Interdisci plinary Research amp Perspective 6 4 263 268 Gitomer D H amp Rock D 1993 Adressing process variables in test analysis In N Fredericksen R J Mislevy amp I I Bejar dir Test theory for a new generation of tests pp 125 150 Hillsdale NJ Erlbaum Gorin J S 2009 Diagnostic classification models Are they necessary Commentary on Rupp and Templin 2008 Measurement Interdisciplinary Research amp Perspective 7 1 30 33 Haberman S J amp von Davier M 2007 Some notes on models for cognitively based skills diagnosis In C R Rao amp S Sinharay dir Handbook of Statistics vol 26 pp 1031 1039 Amsterdam Elsevier Haertel E H 1984 An application of latent class models to assessment data A pplied Psychological Measurement 8 333 346 Haertel E H 1990 Continuous and discrete latent class structure models of item response data Psychometrika 55 477 494 Hancock G R 2009 Diagnostic classification modeling opportunity for identity Measurement Interdisciplinary Research amp Perspective 7 1 62 64 Hartz S M 2002 A Bayesian framework for the unified model for assessing cognitive abilities Blending theory with practicality Dissertation doctorale non publi Unive
29. s pr sent s dans le premier num ro de l ann e 2009 Frey amp Carstensen 2009 Gorin 2009 Hancock 2009 Henson 2009 Jiao 2009 Levy 2009 Maris amp Bechger 2009 Sinharay amp Haberman 2009 C Tatsuoka 2009 von Davier 2009 Wilhelm amp Robitzsch 2009 Cet ensemble de r actions montre lui seul l int r t que suscitent ces mod les et offre une Occasion int ressante d en r aliser une synth se Nichols et ses collaborateurs avaient donn le coup d envoi en 1995 Nichols Chipman amp Brennan 1995 Dans les trois derni res ann es trois nouveaux ouvrages consacr s aux mod les de diagnostic cognitif ont vu le jour Leighton amp Gierl 2007 Rupp Templin amp Henson 2010 K Tatsuoka 2009 Enfin le manuel de statistiques de Rao et Sinharay 2007 contient un double chapitre consacr au diagnostic cognitif le premier DiBello Roussos amp Stout 2007 propose une revue des diff rents mod les existants alors que le second Haberman amp von Davier 2007 est une r flexion critique Mod les de classification diagnostique 77 Bas sur cette abondante documentation le pr sent article cherche mettre en vidence ce qui caract rise ces mod les et en quoi ils s apparentent d autres mod lisations existantes ou s en loignent Trois mod les expos s avec un peu plus de d tails permettent de fournir des illustrations Le texte vise galement procurer quelques renseignements p
30. sive review of the current state of the art Measurement Interdisciplinary Research amp Perspective 6 4 272 275 Leighton J P amp Gierl M J 2007 Cognitive diagnostic assessment for education Theory and applications Cambridge Cambridge University Press Leighton J P Gierl M J amp Hunka S M 2004 The attribute hierarchy method for cognitive assessment A variation on Tatsuoka s rule space approach Journal of Educational Measurement 41 205 237 Levy R 2009 Evidentiary reasonning in diagnostic classification models Measurement Interdisciplinary Research amp Perspective 7 1 36 41 Loye N 2005 Quelques mod les de mesure Mesure et valuation en ducation 28 3 51 68 Loye N 2008 Conditions d laboration de la Matrice Q des mod les cognitifs et impact sur sa validit et sa fid lit Th se de doctorat non publi e Universit d Ottawa Ottawa Loye N 2009 Les mod les cognitifs In J G Blais dir Evaluation des apprentissages et technologies de l information et de la communication Enjeux applications et mod les de mesure Qu bec PUL Loye N Caron F Pineault J Tessier Baillargeon M Burney Vincent C amp Gagnon M sous presse La validit du diagnostic issu d un mariage entre didactique et mesure sur un test existant In G Raiche K Paquette C t amp D Magis dir Des m canismes pour assurer la validit de l interpr
31. t que les habilet s sont souvent fortement corr l es les unes aux autres et donc difficilement dissociables les unes des autres en pratique Rupp et Templin 2008 voient dans les MCD une approche essen tiellement confirmatoire de par la structure impos e des liens entre les items et les habilet s Une matrice appel e Q Tatsuoka 1983 fournit la structure qui relie les habilet s diagnostiquer et les items structure qui peut tre plus ou moins complexe Une structure simple pourrait tre observ e lorsqu un Mod les de classification diagnostique 79 item ne vise qu une seule habilet dans un tel cas les MCD sont peu utiles La complexit vient avec la possibilit de combiner les habilet s de multiples mani res Dans la Matrice Q dont les lignes repr sentent les items et les colonnes repr sentent les habilet s les valeurs 0 indiquent qu une habilet n est pas n cessaire pour l item et une valeur indique qu elle l est Certains mod les dits non compensatoires supposent que l ensemble des habilet s indiqu es dans la Matrice Q sont requises pour produire une r ponse correcte un item une force sur l une d elles ne peut alors pas compenser une faiblesse sur une autre C est le cas lorsque par exemple les habilet s d crivent la d marche compl te n cessaire pour produire la bonne r ponse D autres MCD sont compensatoires les habilet s reli es l item dans la Matrice Q ne sont alors pas toutes n
32. tation de la mesure en ducation vol 1 Sainte Foy Qu bec Presses de l Universit du Qu bec Macready G B amp Dayton C M 1977 The use of probabilistic models in the assessment of mastery Journal of Educational Statistics 2 99 120 Maris E 1999 Estimating multiple classification latent class models Psychometrika 64 187 212 Maris G amp Bechger T 2009 Equivalent diagnostic classification models Measurement Interdisciplinary Research amp Perspective 7 1 41 46 Nichols P D Chipman S F amp Brennan R L 1995 Cognitively diagnostic assessment Hillsdale NJ Erlbaum Rao C R amp Sinharay S dir 2007 Handbook of statistics vol 26 Amsterdam Elsevier Roussos L Templin J amp Henson R 2007 Skills diagnosis using IRT based latent class models Journal of Educational Measurement 44 4 293 311 Rupp A A 2009 avril Software for calibrating Diagnostic Classification Models Symposium conduit lors de l American Educational Research Association de San Diego CA Documentation disponible http www education umd edu EDMS fac Rupp Mod les de classification diagnostique 97 Rupp A A amp Templin J 2008 Unique characteristics of diagnostic classification models A comprehensive review of the current state of the art Measurement Interdisciplinary Research amp Perspective 6 4 219 262 Rupp A A Templin J amp Henson R
33. tentes discr tes Ainsi dans un cas les diff rentes dimensions sont suppos es tre hautement corr l es pour ne faire qu une et tre interchangeables alors que dans l autre les habilet s peuvent se combiner diff remment d un sujet un autre Analyser les habilet s peut donc tre vu comme une mani re d tudier l interaction entre le sujet et l item Ainsi les habilet s sont l origine du choix du mod le selon qu elles sont vues comme compensatoires ou non et le test devrait tre d velopp sur la base de ces habilet s Il faut donc d finir de nouvelles m thodes pour d velopper des tests et v rifier la fiabilit des donn es obtenues avant de pouvoir esp rer mener des tudes empiriques valides Gorin 2009 Henson 2009 Loye et al sous presse Roussos et al 2007 Sinharay amp Haberman 2009 Toutefois la question de savoir s il est vraiment possible de d m ler des habilet s sp cifiques qui sont fortement corr l es entre elles ainsi qu une habilet g n rale reste ouverte La nature discr te des habilet s est aussi questionnable Henson 2009 Levy 2009 92 NATHALIE LOYE Pour terminer le format dans lequel le diagnostic devrait tre propos aux enseignants pour qu ils en tirent profit est galement source de discussions et divers exemples sont disponibles DiBello et al 2007 ce propos le format dichotomique propos par de nombreux mod les peut sembler n tre pas opt
34. tique MCD et d terminer leur place relativement d autres mod lisations existantes comme la TRI Les mod les RSM DINA et NC RUM sont expos s plus en d tail Pour terminer une analyse critique d bouche sur des pistes de recherches th oriques et empiriques KEY WORDS Diagnostic classification models diagnostic latent class models This paper gives a definition of diagnostic classification models DCM and purport to compare these models to models that may be more familiar like IRT The RSM DINA and NC RUM models are examined in more depth This paper is including a critical analysis and many theoretical and empirical research avenues PALAVRAS CHAVE Modelos de classifica o diagn stica disgn stico modelo de classes latentes Este artigo pretende definir os modelos de classifica o diagn stica MCD e determinar o seu lugar relativamente a outras modeliza es existentes como o caso da TRI Os modelos RSM DINA e NC RUM s o apresentados mais em detalhe O artigo termina com uma an lise cr tica que aponta pistas para investiga es te ricas e emp ricas Note de l auteure Toute correspondance peut tre adress e comme suit Nathalie Loye Universit de Montr al Facult des sciences de l ducation D partement d administration et fondements de l ducation C P 6128 Succursale Centre Ville Montr al QC H3C 3J7 Canada t l phone 514 343 2129 t l copieur 514 343 2497 ou par courriel l
35. tre dichotomiques Il se caract rise par deux param tres d item Le param tre de pseudo chance g permet de prendre en consid ration le fait qu un individu devine la r ponse l item j au lieu de la trouver gr ce aux habilet s identifi es dans la Matrice Q Le param tre d tourderie s correspond au cas o un individu ma trisant toutes les habilet s requises fournit une mauvaise r ponse un item Ainsi la probabilit de donner une bonne r ponse un item peut tre 1 s ou g selon que les habilet s sont ou non maitris es L objectif est de maximiser la diff rence entre la probabilit de 86 NATHALIE LOYE bien r pondre l item selon que l on poss de 1 s ou pas g les habilet s sp cifi es La principale limite de ce mod le tient au fait que la probabilit de bonne r ponse ne tient pas compte du nombre ou du type d habilet s qui ne sont pas ma tris es Roussos et al 2007 Notons que quelques applications empiriques ont t tent es avec un succ s parfois mitig de la Torre 2008 de la Torre amp Douglas 2004 Loye et al sous presse probablement partiellement cause de cette limite Le tableau 5 pr sente la fiche technique du mod le DINA Les m thodes d estimation des param tres y sont mentionn es ainsi que des r f rences pertinentes Le logiciel Ox peut tre t l charg gratuitement pour tout usage reli la recherche L algorithme peut tre obtenu gratuitement s
36. u pour les K habilet s incluses dans la Matrice Q Le fichier beta out contient les param tres g et s pour chaque item et leurs carts types alpha out Fichier OUT 6 Ko beta out Fichier OUT 2Ko Gestion des fichiers Cr er un nouveau dossier a Publier ce dossier sur le Web f dina em beta ox QA1s txt G Part dossi OxMetrics Ox File Document texte artager ce dossier 4Ko 1 Ko respA txt 1 Autres emplacements Document texte 18 Ko D tails DINA A1 Dossier de fichiers Date de modification 11 f vrier 2010 20 19 Figure 1 Le contenu du dossier DINA apr s estimation Enfin nous avons retenu le troisi me mod le parce qu il est l un des plus complexe et qu il est applicable des donn es Le mod le NC RUM Hartz 2002 est un mod le non compensatoire pour lequel les donn es peuvent tre de type dichotomiques ou polychotomiques Il se caract rise par trois param tres d item Le param tre m repr sente la probabilit qu un sujet qui ma trise les habilet s requises par un item les utilise convenablement pour r pondre la question Le param tre r repr sente la p nalit due au fait de ne pas ma triser une habilet Enfin le troisi me param tre c permet de juger si la Matrice Q contient toutes les habilet s importantes ce dernier param tre est fix dans la version r duite du mod le Ce mod le tient donc compte du nombre ou du type d habilet s
37. ue habilet par chaque sujet alors que le fichier itemparms csv contient les param tres d items estim s Les deux derniers fichiers renferment de nom breux renseignements permettant de v rifier l ajustement des donn es Le manuel d Arpeggio fournit les explications n cessaires la compr hension du contenu de chaque fichier ainsi que des exemples comment s Regard critique et points sensibles Le fait que ces mod les soient la fois complexes et r cents est l origine de multiples regards critiques qui font l objet des paragraphes qui suivent Seront abord s la complexit des mod les les probl mes li s leur validit la nature des habilet s le format du diagnostic et le manque d tudes empiriques Plusieurs auteurs questionnent la n cessit d utiliser des mod les aussi complexes Leurs arguments sont d une part que la preuve n a pas t faite que ces mod les apportent des donn es plus pertinentes que d autres mod les plus simples mieux connus et plus adapt s aux donn es disponibles en ducation qui sont souvent unidimensionnelles Par exemple Gorin 2009 remet en question une pr misse voulant que la multidimensionnalit soit n cessaire pour permettre un diagnostic en rappelant l utilisation des cartes de Wright pour relier les r ponses aux items d un test unidimensionnel des processus cognitifs sous jacents Rappelons qu une carte de Wright est une repr sentation graphique
38. ue 85 de chacune des habilet s En pratique certaines consid rations peuvent tre utilis es pour ajuster les tats id aux finalement inclus dans le calcul des probabilit s Pour plus d information ce sujet voir le chapitre 7 dans K Tatsuoka 2009 Le tableau 4 pr sente la fiche technique du mod le Rule space RSM de Tatsuoka Tableau 4 Fiche technique du RSM Fiche technique R f rences Tatsuoka 1983 1995 2009 Type Non compensatoire Scores Dichotomiques Classes latentes Dichotomiques ou polychotomiques Param tres sp cifiques M thode analytique et non statistique quation Le RSM n est pas un mod le statistique donc il n y a pas d quation repr sentant le mod le Le RSM transforme les donn es en probabilit s de ma trise des habilet s Il n cessite une matrice Q et des tats de connaissance plau sibles qui permettent de faire le lien entre observable et latent Logiciel BUGLIB Note Adapt de Rupp A A 2009 avril Software for calibrating Diagnostic Classification Models Symposium conduit lors de l American Educational Research Association de San Diego CA Documentation disponible http www education umd edu EDMS fac Rupp Le deuxi me mod le a t choisi en raison de sa simplicit Le mod le DINA deterministic inputs noisy and gate model de la Torre amp Douglas 2004 Junker amp Sijtsma 2001 est un mod le non compensatoire pour lequel les donn es doivent
39. ur demande aupr s de Jimmy de la Torre j delatorre rutgers edu De plus de la Torre propose une pr sentation didactique du mod le DINA et de l estimation de ses param tres de la Torre 2009 Tableau 5 Fiche technique du DINA Fiche technique R f rences Macready amp Dayton 1977 Junker amp Sitjma 2001 de la Torre amp Douglas 2004 Type Non compensatoire Scores Dichotomiques Classes latentes Dichotomiques Param tres sp cifiques Pseudo chance g tourderie sj quation P X 1 5 5 2 7 07s g J Estimation MMLE Bock amp Aitkin 1981 MCMC de la Torre amp Douglas 2004 EM Gitomer amp Rock 1993 Haertel 1984 1990 Logiciel Algorithme dans Ox Doornik 2002 http www oxmetrics net Mod les de classification diagnostique 87 Une fois le logiciel Ox install sur un ordinateur il suffit de placer dans un m me dossier le fichier contenant l algorithme DINA et les deux fichiers textes contenant les donn es d une part et la Matrice Q d autre part Apr s avoir sp cifi convenablement les noms de fichiers et les nombres de sujets D d items J et d habilet s K dans l algorithme et lanc l estimation deux nouveaux fichiers sont produits alpha out et beta out Les deux fichiers obtenus peuvent tre visualis s avec Ox La figure 1 donne un exemple du dossier obtenu Le fichier alpha out fournit le vecteur diagnostique de chaque sujet sous forme d une suite de valeurs 0 o
Download Pdf Manuals
Related Search