Manuel d`utilisateur de Densidées
Contents
1. Densid es est crit en Python version 2 6 il faut donc commencer par t l charger Python sur http www python org download releases 2 6 et l installer par exemple sous Windows dans C Python26 Sous Windows Vista pour r ussir l installation il ne faut pas laisser la case coch e par d faut Install for all users mais choisir d installer seulement pour son compte d utilisateur Ensuite t l chargez Densid es sous forme d un fichier zip l adresse http code google com p densidees D compressez le par exemple dans le dossier C Densidees Ce dossier contiendra alors en particulier Densidees exe une interface graphique pour Windows qui permet de lancer le programme sur le texte voulu et de cliquer pour obtenir le r sultat Densidees py le code source du programme en Python que vous pouvez lancer directement depuis la ligne de commande et appeler automatiquement dans des scripts pour calculer la densit des id es d un ensemble de plusieurs fichiers Depuis sa version 1 3 Densid es permet de charger directement un texte et d effectuer son tique tage grammatical en faisant appel TreeTagger par un clic sur le bouton Taguer ceci n cessite l installation de TreeTagger t l charger le programme sur ftp ftp ims uni stuttgart de pub corpora tree tagger windows 3 2 zip et le d compresser sur le disque dur par exemple dans C TreeTagger T l charger le fichier de param tres fra2. gt pas mot pas proposition 002 Ponctuation et symboles Signe de ponctuation symbole gt pas mot 020 R p tition ou correction d un mot mode oral A ou pr fixe de A A gt premier pas mot pas proposition 023 R p tition ou correction de 2 mots mode oral A B A B ou pr fixe de A pr fixe de B A B gt premier A et premier B pas mot pas proposition 024 R p tition ou correction de 3 mots mode oral A BC A BC ou pr fixe de A pr fixe de B pr fixe de C A B C gt premier premier B et premier C pas mot pas proposition 101 Est ce que mode oral Rien n est compt comme proposition 102 Clivages cest au plus 5 mots que ou qui tre non compt comme proposition 200 Etiquetage basique des propositions Les tags correspondant des propositions sont marqu s comme propositions KON NUM DET PRP ADJ PRO POS PRO IND ADV VER PRO REL 054 D terminants d monstratifs tiquet s pronoms d monstratifs compt s comme proposition cet cette ces gt compt s comme proposition a pas compt comme proposition 201 D terminants non propositions lemme un ou le ou du gt pas proposition Attention du de le voir r gle 202 202 Compl ment du nom introduit par du NOM du NOM gt du est une proposition 203 Soit soit soit 1 3 mots soit seul le premier soit est compr comme proposition 204 Conjonctions ou ou e
3. Densid es calcul automatique de la densit des id es dans un corpus oral Actes de la douzi me Rencontre des tudiants Chercheurs en Informatique pour le Traitement Automatique des Langues RECITAL 2010 http halshs archives ouvertes fr halshs 00495768 fr 2010 4 Le poster suivant montre le lien entre la densit des id es calcul e par Densid es et la maladie d Alzheimer Hyeran Lee Philippe Gambette amp Melissa Barkat Defradas Utilisation de l analyse textuelle auto matique dans la recherche sur la maladie d Alzheimer Poster au Colloque international des jeunes chercheurs en Didactique des Langues et en Linguistique CEDIL 2010 http www lirmm fr gambette 2010LeeGambetteBarkatPoster pdf 2010 3 4 2 Licence Densid es v 1 3 30 06 2010 http code google com p densidees Copyright 2009 2010 Philippe Gambette Hyeran Lee Densid es is free software you can redistribute it and or modify it under the terms of the GNU General Public License as published by the Free Software Foundation either version 3 of the License or at your option any later version Densid es is distributed in the hope that it will be useful but WITHOUT ANY WARRANTY without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE See the GNU General Public License for more details You should have received a copy of the GNU General Public License along with Densid es If not see http www gnu org
4. de la douzi me Rencontre des tudiants Chercheurs en Informatique pour le Traitement Automatique des Langues RECITAL 2010 2010 http halshs archives ouvertes fr halshs 00495768 fr Althea Turner and Edith Greene The construction and use of a propositional text base 1977 Tech Report 63 Boulder University of Colorado Institute for the Study of Intellectual Behavior http ics colorado edu techpubs pdf 77 63 paf 5 re 11
5. 1 202 202 D sactiv e dans CPIDR 203 203 204 204 206 207 210 211 212 211 212 213 213 214 214 225 230 301 301 302 302 310 311 401 402 402 405 405 510 509 510 511 512 512 D sactiv e dans CPIDR 610 632 634 600 601 602 701 702 703 3 7 Modification du code source Vous pouvez modifier le code du programme Python pour supprimer des r gles en ajouter ou en modifier Le principe est d ouvrir le fichier Densidees py dans un diteur de texte adapt par exemple Notepad2 Les r gles apparaissent alors au milieu du fichier text i concerne le i i me l ment du texte et contient plusieurs informations text i word la forme graphique de cet l ment dans le texte text i tag l tiquette donn e par Tree Tagger l l ment text i lemma le lemme de l l ment d apr s la lemmatisation de Tree Tagger text i rule contient le num ro de la derni re r gle appliqu e pour d terminer si le mot est une proposition text i isProp contient P si l l ment est une proposition text i isWord contient W si l l ment est un mot sinon M1 sinon 4 Licence 4 1 Citation Bien que Densid es soit un logiciel libre sous licence GPL nous aimerions que vous fassiez r f rence l article suivant si vous l utilisez dans une publication Hyeran Lee Philippe Gambette Constance Thuillier amp Elsa Maill
6. C Python26 python exe C Densidees Densidees py visible 0 C Densidees Texte2 txt gt gt C Densidees resultats csv C Python26 python exe C Densidees Densidees py visible 0 C Densidees Texte3 txt gt gt C Densidees resultats csv et on l enregistre avec l extension bat par exemple dans C Densidees script bat En double cliquant dessus les trois commandes sont ex cut es La premi re cr e un fichier resultats csv ouvrable dans Excel o elle indique son r sultat sur la premi re ligne les deux suivantes ajoutent leur r sultat sur les lignes suivantes Une formule Excel permettra de calculer la densit des id es partir des valeurs de la deuxi me et troisi me colonne nombre de mots et nombre de propositions 1 C Windows system32 cmd exe Microsoft Windows version 6 0 60001 Copyright lt c 2866 Microsoft Corporation Tous droits r serv s G UsersNPhilippe gt G Python26 python exe C These 2689Dens idees dens idees den sidees py visible BG C These 2889Dens idees densidees Test txt AN TEA PE ET ESS Fi CERN CT LES Ni CT CE EE D 4 D EE C WsersNPhilippe gt FIGURE 3 Utilisation du mode invisible de Densid es en ligne de commande sous Windows 3 5 R gles appliqu es Les r gles suivantes sont appliqu es pour tiqueter les l ments du texte tiquet par TreeTagger en mots et propositions 001 Interjections Interjections non reconnues par TreeTagger
7. Manuel d utilisateur de Densid es NE i p l version 1 3 30 06 2010 Philippe Gambette Hyeran Lee 30 juin 2010 Table des mati res Table des mati res 1 Introduction 2 Installation du programme 3 Utilisation du programme 4 Licence 5 Historique des versions 6 Remerciements R f rences 10 10 11 1 Introduction Densid es calcule la densit des id es d un texte au sens de 2 et 5 c est dire le nombre moyen d id es exprim es en 10 mots utile en particulier pour l analyse des discours de patients atteint de la maladie d Alzheimer Il adapte la langue fran aise le calcul impl ment pour la langue anglaise dans le logiciel CPIDR 1 Densid es est un logiciel libre sous licence GPL Toutefois si vous l utilisez nous vous invitons citer l article qui lui est consacr 4 Cet article contient en particulier une valuation de l tiquetage des pr dicats r alis automatiquement par Densid es sur un corpus oral retranscrit de 13939 mots dont 5747 propositions Les r sultats de la version 1 2 sont 2 7 de faux n gatifs et 3 1 de faux positifs soit un taux d erreur de 0 5 sur le nombre de pr dicats En cas de probl me d utilisation de Densid es vous pouvez envoyer votre question gambette lirmm fr accompagn e si possible d une capture d cran du r sultat de la ligne de com mande son utilisation est d taill e en section 3 3 2 Installation du programme
8. ec l interface graphique sous Windows Pour lancer Densid es sous Windows il faut double cliquer sur le programme Densidees exe la fen tre montr e en figure 1 appara t alors La premi re tape est d tiqueter le texte avec TreeTagger Une premi re possibilit si vous avez install le logiciel sur votre machine comme expliqu en section 2 est de coller ou ouvrir le texte que vous voulez tiqueter dans le cadre de gauche de Densid es puis de cliquer sur le bouton Taguer apr s avoir pris soin de renseigner correctement l adresse du dossier contenant Tree Tagger Si vous n avez pas install Tree Tagger vous pouvez utiliser l interface web disponible l adresse http cental fltr ucl ac be treetagger Attention Avec cette interface utilisez bien un clic droit sur le lien vers le r sultat pour enregistrer le fichier sur votre machine Si au contraire vous cliquez sur le lien pour afficher directement dans votre navigateur le texte tiquet il est possible que les accents n apparaissent pas correctement ce qui causera des erreurs de Densid es Apr s avoir coll le texte tiquet par TreeTagger dans le cadre de gauche ou bien ouvert un fichier TXT contenant un texte tiquet par TreeTagger l aide du bouton Ouvrir le texte il suffit de cliquer sur le bouton Calculer pour voir appara tre le r sultat dans le cadre de droite De plus le r sultat s enregistre dans un fichier portant le m me nom
9. f infinitif gt non proposition item 510 G rondif en participe pr sent gt en non proposition 512 Verbes suivis d une pr position naturelle non prop si pr c d de aller voyager de non prop si pr c d de venir 600 Marqueurs discursifs mode oral expressions qui ne sont pas proposition 601 Marqueur discursif avec bien mode oral bien n est alors pas proposition 602 Marqueur discursif avec donc mode oral donc 701 Mots compos s donc n est alors pas proposition n est alors pas proposition 702 Mots compos s avec par expressions qui ne correspondent qu une seule proposition 703 Mots compos s avec avoir expressions qui ne correspondent qu une seule proposition En mode oral tout ce qui se trouve entre parenth ses n est pas compt comme proposition Le comptage des mots est en revanche effectu galement l int rieur des parenth ses Les parenth ses serviront donc entourer des phrases incompl tes qui ne correspondent aucune id e 3 6 Correspondances entre r gles CPIDR et r gles Densid es CPIDR Densid es Commentaire 000 001 002 002 003 Succession de deux entiers regroup s en 1 g r e par TreeTagger et Cordial 004 Fractions pourcentages g r s par TreeTagger et Cordial 020 020 021 022 023 023 050 054 054 101 101 Interrogation est ce que 200 200 201 20
10. licenses 5 Historique des versions 2010 06 30 1 3 appel automatique de Tree Tagger depuis Densid es mode invisible permettant de n afficher que le r sultat en ligne de commande calcul de la densit des id es comme ratio pour 10 mots selon la formule traditionnelle am lioration des r gles 208 301 et 701 2010 03 07 1 2 pr traitement des auxiliaires si pas fait par Tree Tagger 35 r gles 001 002 020 023 024 101 102 200 054 201 202 203 204 206 207 208 210 211 212 213 214 301 302 402 405 500 509 510 512 600 601 602 701 702 703 2009 12 12 1 1 interface graphique mode oral 27 r gles 002 020 023 024 200 054 201 202 203 204 206 207 210 211 212 213 214 301 302 402 405 500 512 600 601 602 701 affichage final du nombre de chacune des r gles utilis es 2009 11 21 1 0 7 r gles 002 003 200 201 301 302 402 texte tiquet par TreeTagger en entr e du programme 6 Remerciements Nous remercions le LIRMM et l association Contact partenaires de la journ e Osidmesh l origine de la collaboration qui a d bouch sur la conception de ce logiciel Elsa Maill et Constance Thuillier ont galement contribu l ajout de r gles dans ce logiciel ainsi qu son valuation par l tiquetage manuel de corpus de test L cole doctorale I2S PATALA l cole doctorale 58 et le laboratoire Pra
11. n ais ftp ftp ims uni stuttgart de pub corpora french par linux 8 2 bin gz et d compresser le fichier french par linux 3 2 bin qu il contient dans le dossier lib de TreeTagger par exemple C TreeTagger lib Renommer ce fichier en french par Il faudra alors indiquer l adresse C TreeTagger dans Densid es Perl pour Windows t l charger et installer Strawberry Perl http strawberryperl com par exemple 3 Utilisation du programme 3 1 Sur un corpus oral Un mode oral d crit ci dessous est fourni dans Densid es Toutefois il est galement n cessaire pour l utilisation de ce mode de pr traiter les corpus avec un parenth sage qui conduira aux r sultats suivants tous les mots entre crochets ne sont compt s ni comme mots ni Comme propositions tous les mots entre parenth ses sont compt s comme mots mais pas comme propositions Il faut donc utiliser les parenth ses et crochets pour les cas suivants crochets mots fragment s r p titions exactes pauses remplies non lexicales p bah hein etc passages inaudibles parenth ses id es r p t es phrases inachev es marqueurs discursifs qui sont des mots en fran ais bon bien etc noms propres personnes villes Si la transcription est r alis e exclusivement pour un calcul de la densit des id es avec Densid es on pourra omettre de transcrire les parties entre crochets pour gagner du temps 3 2 Av
12. que le fichier ouvert dans Densid es suivi de l extension di txt Si rien ne s affiche dans le cadre de droite au bout de 10 secondes vous pouvez faire s afficher les ventuels messages d erreur en utilisant la ligne de commande comme indiqu ci dessous La commande utiliser est en fait donn e par l interface graphique de Densid es au bas de la fen tre et vous pouvez la s lectionner la copier puis la coller dans la ligne de commande Par exemple dans la figure 1 il s agit de C Python26 Python exe C These densidees Densidees Densidees py C These densidees Densidees Test txt Fi Densid es EF PPF i r A propos 4 cr et Version 1 2 20 08 2010 FE Logiciel inspir de CASPR CPIDR MN mode oral EE Ouvrir le texte Calculer c PRO DEM ce 002 PRO PER Wo il est VER pres tre 002 PRO PER W y Hy Hi ad AE 002 NOM W ans mon DET POS mon fas An WP ri i NOM mariage Pioi 200 ADV W donc L PUN Z 600 ADV W voil voil ADV voil 000 PUN PUN 200 ADV W P bien il PRO PER il 701 KON W que y PRO PER y 002 PRO DEM W a a VER pres avoir 402 VER aux W a 52 NUM card 200 VER pper W P t ans NOM an 201 DET ART W un bient t ADV bient t 002 NOM W mariage t PUN 200 ADV W P tout donc ADV donc 701 PRP W P voil ADV voil 002 NOM W fait 200 ADJ M P simple PUN bien ADV bien 27 mots que KON que 10 propositions a PRO DEM cela Densi
13. s Philippe gt C Puthon26 python exe C XThese 2889Dens idees dens idees den sidees py C These 2889Dens idees densidees Test txt Chargement du fichier texte 261 DET ART M Les 62 NOM auteurs 200 PRP P de g 662 NOM Densid es PRO PER vous DO ES NES remercient PRP pour DET POS votre NOM soutien SENT mots 4 propositions Densite des idees 0 4444 i regle 666 regle regle regle C Users Phili FIGURE 2 Utilisation de Densid es en ligne de commande sous Windows 3 4 Sur plusieurs fichiers le mode invisible Si vous voulez calculer la densit des id es de plusieurs fichiers Densid es vous permet en ligne de commande de n afficher que les donn es suivantes s par es par des point virgules nom de fichier nombre de mots nombre de propositions Il faut pour cela utiliser l option visible 0 comme montr en figure 3 Cela vous permettra de construire tr s facilement un tableau de r sultats en enregistrant la sortie des fichiers dans un document au format CSV que vous pourrez ensuite ouvrir dans le logiciel Excel Pour cela sous Windows imaginons que nous voulons avoir dans un tableau Excel la densit des id es de trois textes Textel txt Texte2 txt et Texte3 txt On cr e un fichier texte contenant les 3 commandes suivantes C Python26 python exe C Densidees Densidees py visible 0 C Densidees Texte1 txt gt C Densidees resultats csv
14. t des id es 3 704 a VER pres avoir x 4 fois la r gle 000 s 9 fois la r gle 002 Adresse de TreeT agger 11 fois la r gle 200 C Program Files TreeT agger Ke Taguer i tola a e i0 k 2 fois la r gle 600 Adresse de Python 2 fois la r gle 701 C Python25 python exe C Python26 python exe C These 2008Densidess densidees idensidess py C Temp Dtext tt tt bd oral 1 tag treetagger FIGURE 1 Interface graphique de Densid es sous Windows 3 3 Directement depuis la ligne de commande Windows Commencez par ouvrir une fen tre de ligne de commande en allant dans le menu D marrer Ex cuter en tapant alors cmd puis en appuyant sur Entr e Il faut alors taper une ligne de commande de ce type C Python26 Python exe C Densidees Densidees py C Densidees Textei txt Cette commande signifie qu on va appeler le logiciel Python exe pour lui demander de lancer le programme Densidees py sur le fichier texte Texte1 txt qui contient le r sultat de l tiquetage TreeTagger d un texte en fran ais Vous pouvez utiliser l option oral 1 pour utiliser le calcul de densit des id es en mode oral trai tement des r p titions Par exemple la figure 2 montre le r sultat de l utilisation du programme en ligne de commande avec activation du mode oral C Windows system32 cmd exe Microsoft Windows version 6 0 6000 Copyright lt c gt 2686 Microsoft Corporation Tous droits r serv s C User
15. t superflues avant adverbe adverbes apr s et puis alors donc ensuite finalement gt et pas proposition adverbes apr s ou alors bien gt ou pas proposition 206 de non proposition de n est pas proposition apr s falloir agir arriver para tre 207 que non proposition que n est pas proposition apr s falloir sembler arriver para tre 208 Comparatifs autant ou moins ou plus lt 3 mots que que non proposition 210 Oui et non mode oral oui et non pas proposition 211 N gation aucun gu re LE mou jamais nul pas plus point que rien pr c d distance 1 2 ou 3 par ne seul ne proposition 212 N gation suivie de de de n est pas une proposition si pr c d e par n gation 213 Futur proche lemme aller infinitif futur proche aller n est pas une proposition 214 Si alors si 1 9 mots alors ne pas compter alors comme proposition seulement si 301 Verbes de liaison Verbe de liaison pas proposition si suivi d un adjectif ou d un adverbe 302 Verbe tre suivi d une pr position l tre non proposition si suivi d une pr position 402 Auxiliaire AUX VERBE gt une seule proposition 405 Auxiliaire avec mot interpos AUX mot VERBE gt une seule proposition 500 Passif participe pass par gt par non proposition item 509 infiniti
16. xiling ont particip au financement de la participation d Hyeran Lee au colloque RECITAL 2010 pour pr senter le logiciel la communaut francophone de traitement automatique du langage Si vous vous demandez d o provient l ic ne de Densid es allez voir sur cette page http 1 http www lirmm fr semindoc Osidmesh html 10 philippe gambette free fr Photos 200907_Liban htm ou pensez lever les yeux le jour o vous visiterez Beyrouth R f rences 1 Cati Brown Tony Snodgrass Susan J Kemper Ruth Herman and Michael A Co vington Automatic measurement of propositional idea density from part of speech tag ging Behavior Research Methods 40 2 540 545 2008 http www ai uga edu caspr BrownSnodgrassKemperHermanCovington2008 pdf free software CPIDR available from http www ai uga edu caspr 2 3 ini Walter Kintsch The representation of meaning in memory John Wiley amp Sons 1974 Saat Hyeran Lee Philippe Gambette and Melissa Barkat Defradas Utilisation de l analyse textuelle automatique dans la recherche sur la maladie d alzheimer 2010 Poster au Deuxi me Colloque international des jeunes chercheurs en Didactique des Langues et en Linguistique CEDIL2010 http www lirmm fr gambette 2010LeeGambetteBarkatPoster pdf 4 Hyeran Lee Philippe Gambette Elsa Maill and Constance Thuillier Densid es calcul au tomatique de la densit des id es dans un corpus oral In Actes
Download Pdf Manuals
Related Search