Home

maîtrise - PublicationsList.org

1. L utilisateur actionne le bouton Visualiser Le bouton Visualiser va consid rer les valeurs choisies pour les deux listes comme param tres pour b tir ses requ tes vers la BD Les images d pos es dans la BD seront rep ch es et affich es dans deux zones tablies sur l interface graphique On affiche galement un bouton nomm a MPEG 7 qui permet d acc der au fichier MPEG 7 Affichage des images choisies _L usager sort compl tement du programme Aucune Aucune Aucun Affichage fichier MPEG 7 Description sommaire Acteurs primaires Acteurs secondaires R gles d initiation Description du processus L utilisateur actionne le bouton MPEG 7 On affiche dans une zone pr vue le contenu du fichier XML re u comme r ponse la suite de la requ te vers la BD L utilisateur aucun L utilisateur actionne le bouton MPEG 7 En cliquant le bouton MPEG 7 on lance une requ te param tr e avec la valeur courante de la liste de droite vers la BD Le r sultat retourn prend la forme d un fichier XML affich dans une zone sp cialement pr vue sur l interface graphique R gles de Affichage du fichier XML terminaison L usager sort compl tement du programme Exception Aucune Extension Aucune Compl mentaires Aucun J ai consid r plusieurs aspects pour choisir la m thodologie de d veloppement J ai cherch d utiliser une m thodologie pouvant me r pondre
2. la BD Description sommaire Acteurs primaires Acteurs secondaires R gles d initiation Description du processus R gles de terminaison En actionnant lancement de la proc dure de connexion sur la BD Oracle Si la connexion est r ussie on passe la cr ation de deux listes l une qui contienne toutes les images de la BD l autre sp cifiant les images identifi es comme d but de sc ne L utilisateur introduit ses cordonn es nom usager et mot de passe et actionne le bouton Connexion Une r ussite de connexion la BD _d clanche la proc dure de cr ation listes des images disponibles L utilisateur aucun L utilisateur actionne le bouton Connexion le bouton Connexion l usager d clanche le Connexion non r ussie sur la BD message d erreur affich Connexion r ussie message de confirmation affich Exception Extension Compl mentaires _Lusager sort compl tement du programme La BD n existe pas sur la machine distante Aucune AUCUN Affichage images Description sommaire Acteurs primaires Acteurs secondaires R gles d initiation Description du processus R gles de terminaison Exception Extension Compl mentaires L utilisateur fait son choix quant aux images visualiser et actionne le bouton Visualiser On cherche les images choisies dans la BD et on les affiche l cran L utilisateur aucun
3. le Q Q Als Es EA Es _ HE REENEN EE PEN EE A utomatic texture features Eigen image Dominant colors Region histogram Fixed subimage histogram Farthest neighbor histogram EES EES ES aplacian Figure 19 Exemples des attributs utilis s pour la recherche des images Source image M L Kherfi et al Image Retrieval from the World Wide Web Issues Techniques and Systems 8 Chaque fois l usager envoie sa requ te le syst me cherche dans la base de donn es multim dia les informations ayant des caract ristiques comparables celles sp cifi s Souvent l utilisation d un index s impose pour r duire le temps de la recherche La r ponse prend la forme d une liste des l ments semblables qui s impose tre tri selon la similarit avec la cible la requ te Si dans le cas des TBIR l usager introduit des mots cl s pour la recherche CBIR les choses se compliquent car C est difficile d introduire directement la couleur la texture la forme plusieurs usagers ne sont pas familiaris s avec ces notions m me pour les sp cialistes c est difficile d estimer avec exactitude les poids des attributs identifiant la cible Une technique plus conviviale est d utiliser une image comme mod le comme matrice pour la recherche L utilisation de cette interface QBE query by exemple apporte cependant des inconv nients car tout d pend de l image choisie pour le d marrage
4. BorderPanel ANNEXE 2 Module MEI diagrammes UML Diagrammes UML diagrammes des cas d utilisation sc narios diagramme des classes diagramme de s quences Diagramme des cas d utilisation Pour le module d extraction image on a identifi acteur l utilisateur cas d utilisation extraction images partir d une fichier vid o Extraction images Utilisateur b s lt jnclyde gt lt lt inoludez gt D 4 Gestion menu choix Gestion param tres Figure repr sentation use case MEI niveau mod le Le cas d utilisation Extraction images est activ par l acteur Utilisateur Plusieurs sc narios peuvent le composer Sc nario 1 Choix param tres o L utilisateur fait son choix quant aux param tres utilis s par l algorithme de traitement durant le processus d extraction images o L utilisateur tente de faire son choix quant le fichier a charger o Le syst me v rifie si les valeurs des param tres conviennent type valeur o Le syst me autorise la poursuite du processus Utilisateur Modification param tres roulage Demande choix fichier Verification Autorisation Figure repr sentation sc nario1 use case MEI niveau instances Sc nario 2 Extraction images L utilisateur fait son choix quant au fichier a charger Le syst me tente de d marrer le lecteur JMF Le syst me affiche le lancement du lecteur Le syst me effectue le traitemen
5. Hits Z MP7 MDC Query Processing MP7 Video Server Data Model Indexing Optimizer Figure 7 Int gration contextuelle de MDC multimedia data cartridge Source image M Doller H Kosch B Dorflinger et al Demonstration of an MPEG 7 multimedia data cartridge 3 On y trouve 3 interfaces a la premi re interface fournit les connexions pour les diff rents outils v hiculant ou produisant des donn es MPEG 7 Les documents MPEG 7 a inclure dans la BD sont analys s et transform s en objets et table sp cifiques MDC b La deuxi me interface permettra l interrogation et la pr sentation du contenu de la BDMM C est une interface construite de fa on dynamique dans un serveur Web bas sur des descripteurs de l environnement utilis Cette interface en anglais Adaptative Query and Presentation interface consid re les exigences directement li es aux capacit s hardware et software du terminal utilis et aux pr f rences de l usager c La troisi me interface offre la connexion vers le serveur vid o Elle est responsable d assurer la synchronisation entre les informations MPEG 7 les donn es contenus dans les requ tes et le flux de donn es pour assurer un transfert optimum Sch matiquement le processus d adaptation offert par MDC est le suivant a L usager s identifie et donne quelques l ments pour personnaliser sa d marche performances du terminal exigences ou pr f rences concernant
6. Insertion des images Cr ation des fichiers MPEG 7 Insertion des fichiers dans la BD D tection sc nes Gestion erreurs Affichage d roulement Visualisation Connexion la BD Choix images visualiser Affichage images Affichage fichiers MPEG 7 Gestion erreurs Tableau4 exigences projet Quant aux sc narios d utilisation j en ai identifi 3 principaux Sc nario 1 Obtention des images partir d un flux vid o Les op rations possibles sont choisir les param tres de roulage dur e du morceau vid o analys e et cadence d chantillonnage chargement de la vid o Choisir les param tres de roulage Description L utilisateur utilise l interface graphique pour saisir les valeurs d sir es sommaire quant aux param tres d application extraction images Cette tape pourra manqu e si l usager utilise les valeurs par d faut Acteurs primaires L utilisateur Acteurs aucun secondaires R gles d initiation L utilisateur utilise les zones pr vues pour la saisie des param tres Description du Apr s le lancement de l application usager doit choisir la dur de la processus vid o qu il veut utilis pour extraire les images secondes et la fr quence des extraction images seconde Il peut accepter les valeurs par d faut offertes par l application ou peut les chang s en respectant les indications affich s sur l cran R gles de L usager fait son ch
7. La pertinence des r sultats obtenus la suite d une requ te est essentielle La pr cision et le rappel sont ils directement influenc s par le nombre des descripteurs utilis s C est la question qui se pose 14 Le syst me propos par 14 se charge de localiser des vid os et des images en se basant sur des descripteurs visuels du standard MPEG 7 L article pr sente galement les r sultats des exp rimentes faites en consid rant deux approches celle qui utilise simultan ment plusieurs descripteurs et une deuxi me consid rant seulement un seul descripteur Le standard MPEG 7 consid r v ritable interface pour la description du contenu multim dia tente d offrir l l ment cl dans la recherche efficiente de l information Mais son contenu est volumineux assez compliqu et pas facile d aborder pour les applications pratiques Des efforts sont faites partout dans le monde pour d velopper des syst mes capables d utiliser de fa on pratique efficiente les sp cifications th oriques du standard On peut consid rer que l organisation du MPEG 7 couvre 7 grandes zones principales selon l image suivante Specifies the tools that are needed to prepare MPEG 7 descriptions for efficient transport and storage to aliow synchronization between content and descriptions and the tools related to managing and protecting intellectual propert Part 1 System ee Specifies the language for
8. Le r sultat constitue param tre pour la classe JAXBparser java qui re oit un fichier XML et r alise l op ration unmarshalling ayant comme sortie un document MPEG7 Les possibles erreurs sont capt es et affich es l cran e statusPanel java tiquette significative d faut OK e TimelinePanel java construction d rouleur fichier o Sous r pertoire JMF ClockObserver java constructeur qui re oit un Player et un entier combien observateurs pour le player MediaClocklabel java Je constructeur de la classe re oit un player p et lance une m thode qui affiche le temps en format mmiss partir de MediaTime divis par 1000000 MoviePlayer java le constructeur re oit un panel de format MainPanel java et initialise un player Il le positionne sur la panel en lui associant un MediaClockLabel format mm ss et des boutons de play stop pause aussi le traitement des v nements o Sous r pertoire PLUGIN MultiPluginPlugin java utilise un constructeur qui appelle la superclasse Plugin trouv e dans le r pertoire becl plugin comme plugin java e R pertoire BECL o Sous r pertoire Clock class clock qui utilise la classe MainPanel et autres m thodes pour administrer le temps coul gettime obtention du temps reset mise a z ro inc incr menter avec une valeur pass e comme param tre dec d cr menter avec une valeur setTime fix une valeur de d but
9. Multimedia data cartridge Multimedia data model Multmedia description schemes Multimedia indexing framework Multimedia database system Multimedia distributed systems Moving Pictures Experts Group Format standard de compression audio et vid o Syst me de gestion de base de donn es qui utilise SQL open source Object Oriented Platform for Internet Content Selection Sp cification de W3C pour l ajout des m tadonn es Procedural Language Structured Query Language langage de requ tes Oracle Query by draw Querry by exemple Query network Resource Description Framework perspectives pour le WEB s mantique Matrice Red green Blue Remote Method Invocation RMI technologie permettant aux applications Java de communiquer sur un r seau Simple API for XML API propos e par le groupe XML org et bas e sur un mod le de traitement s quentielle du fichier XML Sch mas de description multim dia Syst me de Gestion de Bases de Donn es Acronyme pour Syst me de gestion de bases de donn es relationnelles Syst mes multim dia distribu s Society of Motion Picture and Television Engineers organisation qui a tabli le standard pour la vid o dans un format de type hh mm ss ff heures minutes SQL SQL MM SVG TBIR UML URI URL URN VIRS W3C WEB XM XML XML XSL XSU secondes frames Structured Query Language langage standardis pour l interrogation et la mise a jour des bases de don
10. Media banana Figure 5 Exemple utilisation r seau inf rence Source image A Graves M Lamas Video retrieval using an MPEG 7 based inference network 9 2 2 3 MPEG 7 C est 3 qui nous propose un mod le RO relationnel objet enti rement bas sur la norme MPEG 7 Plus pr cis ment il s agit de MDC multim dia data cartridge utilisant un processus de requ tes et des m thodes d optimisation pour l acc s et le rep rage des op rateurs Il r alise une cadre de travail multim dia index nomm MIF multimedia indexing framework C est une interface li e la technologie GiST qui son tour est une extension de l index native d Oracle Un sch ma de la description est la suivante Mutinedis Data Model Oracle Address Space Extemal Address Space Listener PUSOL r SOL ke at l Ke AN Mult mect a H Dats _ ___ Java E Cartnage AT interlanguage Method Server Commun cator OM intetace Mubmedia index npe GET Framewor eel GIST Framework Generalized Search Tree Frameveork Figure 6 Architecture de MDC multimedia data cartridge Source image M Doller H Kosch B Dorflinger et al Demonstration of an MPEG 7 multimedia data cartridge 3 On peut consid rer que le MDC est d finit par 2 grandes parties o Le MDM Le mod le de donn es multim dia multimedia data model qui contient des m tadonn es reli es
11. les classes Java correspondantes forment le paquetage a org xml sax o DOM ou Document Object Model c est une technique qui d crit le document XML comme une structure arborescente ayant chaque l ment XML comme un node Cette fois le document est lu enti rement et on forme en m moire l arbre correspondant Pour Java les classes correspondantes forment le paquetage org w3c dom impl mentation de l interface org w3c dom Node qui permet des fonctions n cessaires pour explorer ou modifier la structure arborescente getChildNodes appendChild removeChild et des m thodes pour interroger chaque node afin d obtenir ses attributs Oracle Intermedia L extension Intermedia d Oracle 10g 18 permet de manipuler des documents audio visuels Le paquetage ORDSYS Oracle fourni des classes relationnel objet pour stocker les documents multim dia A titre d exemple La classe ORDimage Supporte le stockage la gestion et la manipulation des donn es image La classe ORDVideo Le type ORDVideo supporte le stockage et la gestion de fichiers vid o La classe ORDAudio Le type ORDAudio supporte le stockage et la gestion de fichiers audio La classe OrdimageSignature c est une classe utilis e pour repr senter une instance d un champ Oracle de type ORDSYS ORDIimageSignature dans une application Java Cette classe inclut une m thode permettant de g n rer la signature d une image donn e et de
12. m canisme pour combiner et mettre en vidence les relations temporelles entre les repr sentations vid o o Mod le logique hypervid eo LHVDM logical hypervideo data model permet de faire des abstractions multicouches pour les objets choisis et de sp cifier aussi les relations avec autres objets Le mod le supporte des associations s mantiques vid o hyperlinks O Mod le DISMA sp cifique pour images et applications spatiales Permet de changer la s mantique d un objet partie composante d une image sans produire des effets dans l application le contenant C est un mod le bas sur un langage querry m MOQL qui enrichi OQL Mod le VIDEX bas sur la coexistence des classes s mantiques et relations s mantiques Le noyau de ce mod le d clare les classes de base et les classes des applications sp cifiques sont d clar es comme sous classes des classes de base classes de contenu Pour assurer une grande portabilit pour un syst me supportant des donn es multim dia c est le standard SQL MM qui a t d velopp Il n existe pas actuellement un standard pour les requ tes sur les donn es vid o malgr le fait que certaines propri t s de SQL MM sp cifiques pour les images sont applicables pour la vid o la suite d une analyse comparative des MPEG 7 SBDMM syst mes de base de donn es multim dia on peut identifier plusieurs diff rences 2 O Complexit
13. pendante de la plateforme d installation type de machine Il suffit de disposer d un environnement d ex cution Java pour l ex cuter ll existe des environnements de d veloppement Java gratuits Langage robuste et s curitaire plusieurs niveaux de s curit Langage fortement typ beaucoup d erreurs d tect es automatiquement Langage orient objet programmation de haut niveau orient objet exceptions polymorphisme gestion de la m moire etc Acc s aux BD gestionnaire JDBC interne permet d acc der aux donn es depuis Java Pr servation de SQL transparence quant l utilisation des instructions SQL et d autres aspects des bases de donn es relationnelles Sun a mis au point une interface API application program interface pour analyser les documents XML le standard adopt par MPEG 7 Un document XML le m talangage permettant de repr senter les donn es peut tre interpr ter principalement en utilisant deux types de parseurs analyseurs SAX Simple API for XML et DOM Document Object Model 17 18 o SAX ou Simple API for XML c est la fa on traditionnelle d analyse XML bas e sur l interpr tation des v nements rencontr s pendant la lecture s quentielle du fichier Des fonctions de rappel callback fonctions sont g n r es au d but et a la fin des v nements rencontr s C est la responsabilit du programmeur d crire ces callback fonctions Pour Java
14. ph00046 ph00053 ph00057 ph00059 ph00060 ph00062 ph00066 ph00069 ph00071 ph00077 ph00078 ph00082 25 rows selected Cas 15 0 7 0 0 0 0 0 3 20 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00009 ph00010 ph00013 ph00017 ph00019 ph00033 ph00036 ph00037 ph00042 ph00046 ph00057 ph00059 ph00060 ph00062 ph00069 ph00071 ph00077 ph00082 18 rows selected Cas 16 0 7 0 3 0 0 0 0 15 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00009 ph00010 ph00013 ph00017 ph00019 ph00033 ph00034 ph00036 ph00037 ph00042 ph00043 ph00046 ph00057 ph00059 ph00060 ph00062 ph00069 ph00071 ph00077 ph00078 ph00082 21 rows selected Cas 17 0 7 0 3 0 0 0 0 20 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom IMNOM ph00013 ph00042 ph00046 ph00057 ph00059 ph00060 ph00069 ph00082 8 rows selected Cas 18 0 7 03 0 0 0 19 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00013 ph00033 ph00034 ph00036 ph00037 ph00042 ph00046 ph00057 ph00059 ph00060 ph00062 ph00069 ph00082 13 rows selected Cas 19 0 5 0 5 0 0 0 0 15 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00013 ph00042 ph00046 ph0
15. sur la couleur Cette approche est utilis e aussi par 4 Cette fois ci l utilisation de la dominance d une couleur dans une image le nombre de pixels d une certaine couleur divis par le nombre de pixels total de l image permet de d tecter les changements des plans car souvent un changement de plan signifie une variation brusque en ce qui concerne la couleur dominante Le m me principe est appliqu en 25 o pour la segmentation en plans de la vid o approche descendante on utilise l information globale sur les images bas e sur la couleur et la texture 4 4 Limites identifi s am liorations possibles Les exp rimentes effectu es ont permis d identifier plusieurs limites du syst me d velopp Sans avoir la pr tention d tre exhaustive la liste qui suit fait une num ration des plus importantes traitement globale une analyse bas sur la couleur donne des r sultats satisfaisantes mais un telle approche pose des probl mes d j connues 25 Une des plus fr quentes est li l incapacit de traiter de fa on pertinente les changements tr s localis s de courte dur e ou celles de longue dur e graduelles apportant des changements progressives C est comme souligne En effet dans notre cas on observe les deux ph nom nes incapacit de d tecter des changements graduels par exemple la diff rence entre l image 00026 jpg et 00041 jpg est significative mais ind tectable pa
16. texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00009 ph00010 ph00011 ph00013 ph00017 ph00019 ph00023 ph00024 ph00026 ph00031 ph00032 ph00033 ph00034 ph00036 ph00037 ph00042 ph00043 ph00044 ph00045 ph00046 ph00049 ph00050 ph00052 ph00053 ph00054 ph00057 ph00059 ph00060 ph00062 ph00066 ph00069 ph00070 ph00071 ph00076 ph00077 ph00078 ph00079 ph00082 38 rows selected Cas 12 0 7 0 0 0 3 0 0 15 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00009 ph00010 ph00013 ph00017 ph00019 ph00033 ph00034 ph00036 ph00037 ph00042 ph00043 ph00044 ph00045 ph00046 ph00049 ph00053 ph00057 ph00059 ph00060 ph00062 ph00066 ph00069 ph00070 ph00071 ph00076 ph00077 ph00078 ph00082 28 rows selected Cas 13 0 7 0 0 0 3 0 0 20 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00009 ph00010 ph00013 ph00033 ph00034 ph00037 ph00042 ph00043 ph00044 ph00045 ph00046 ph00053 ph00057 ph00059 ph00060 ph00062 ph00069 ph00070 ph00071 ph00077 ph00078 ph00082 22 rows selected Cas 14 0 7 0 0 0 0 0 3 15 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00009 ph00010 ph00013 ph00017 ph00019 ph00031 ph00032 ph00033 ph00034 ph00036 ph00037 ph00042 ph00043
17. Ant Apache Regexp 1 2 ois BC4J EJB Client BC43 EJB Runtime GC Generic Domains GC HTML 1BC4 OracleSi45 Client Bcs Oracle Domains jBC43 Runtime 1BC4I Security BC4J Struts Runtime BC4J Tester BC4J YB Client BC4J YB Runtime BIBEANS Runtime LA x Define E Selected Libraries Developer Runtime Connection Manager Oracle Intermedia Oracle JDBC SOL 71 Runtime Classpath C ioracletidevijdevilibiides rt jar JDeveloper Runtime Oracle JDBC Edit l aide de JDEV d Oracle exige l acc s aux Project Settings C oracle jdev jdevimywork Works pace 3 Project1 Wroject1 jpr B Common Input Paths Ant Dependencies J2EE Modelers B Configurations Development Paths CodeCoach Compiler Debugger Javadoc Profiler Runner J2S5E version 1 4 2_03 Available Libraries Apache Ant Apache Regexp 1 2 AQIMS BC4J EJB Client BC4 EJB Runtime BC4 Generic Domains BC4 HTML BC4J OracleSiAS Client BC4J Oracle Domains BC4 Runtime BC4I Security BC4 Struts Runtime BC4J Tester BC4 YB Client BC4J VB Runtime BIBEANS Runtime vv Classpath C oracle jdev jdevib idev rt jar Oracle JDBC ANNEXE 6 Diagrammes s quences de travail programmation R alisation module extraction images MEI D but r alisation MEI Modifcations ajouts Modifcations ajouts Choix param trs Interface
18. Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numero MEI principales interfaces classes et m thodes utilis es FrameGrabbingControl interface permettant d obtenir grab un cadre still video frame partir d un flux vid o Le contr le peut tre export vers un lecteur en utilisant la m thode getControl de la classe Player class BufferTolmage est une classe utilitaire permettant la conversion d un objet buffer vid o dans un objet Image AWT Celui ci peut tre utiliser a travers les m thodes disponibles dans la classe AWT dans notre cas il s agit de la m thode createlmage BufferedImage c est une sous classe de la classe Image d crivant un objet Image par un buffer de donn es sp cifiques Un Bufferedimage est compos d un ColorModel et un Raster des donn es sp cifiant une image donn e L avantage de Buferedimage consiste dans la cr ation d une copie de l image en m moire d o on peut l utiliser plusieurs fois Type_INT_BRG C est une repr sentation d une image selon le mod le de couleurs RGB chaque pixel est sp cifi par un nombre entier qui est la codification sur 8 bits des trois couleurs de base r red g green b blue drawlmage image AffineTransform xform ImageObserver obs permet de dessiner une Image cr e par BufferTolmage Permet aussi d applique
19. MPEG 7 essaye de minimiser lhi rarchie li e a la description du contenu Au contraire les mod les comme VIDEX sont tr s complexes Modalit de d finition des sch mas de descripteurs MPEG 7 segment DS permettant des liaisons pour navigation rapide dans l arbre hi rarchique utile pendant l change informationnel MMDBS plusieurs niveaux d abstractions niveau soft cadres successives temps et espace pour les actions et niveau sc ne plusieurs cadres li es de fa on s mantique Sch ma de codage pour les documents MPEG 7 bas sur XML MPEG 7 vient avec BIM Binary Format qui permet d effacer ou modifier les unit s d acc s des documents Traitement des l ments descriptifs MPEG 7 beaucoup d outils sp cialis s comme e SemanticDS description des entit s s mantiques et leurs relations d pendance arborescente objets v nements espace et temps e ContolledTermType control d un champ de type texte en utilisant un SC sch ma de classification MMDBS plus simple par exemple une simple r f rence comme BFILE d Oracle Consid rant tous ces aspects 2 consid re comme parfaitement possible m me d sirable une association des MMDBS et MPEG 7 La conclusion et que MPEG 7 et MMDBS peuvent se compl ter r ciproquement pour r aliser des syst mes multim dia distribu s SMMD anglais MMDS Pour assurer effectivement la participation de MPEG 7 en SMD il faut
20. Planification du projet On commence par faire un tat de l art sur le rep rage de l information multim dia Ensuite un prototype r alis en Autriche fera l objet d une analyse approfondie On se propose d ajouter des nouvelles fonctionnalit s pour celui ci Il s agit d un module traitant des images repr sentatives pour la vid o changements de sc nes z Etape 3 Ex cution du projet On commence par analyser et grouper les informations selon leur utilit pour la pr sente recherche annotation automatique ou manuelle ontologie m tadonn es mod les de donn es xml vid o image texte etc Les tapes suivantes seront de d veloppement logiciel proprement dit cr ation des modules traitant le stockage des images en Oracle et l analyse de la similarit d veloppement de module d extraction des images partir du flux vid o et identification des s quences Cr ation des documents XML conformes aux sp cifications MPEG 7 pour les images tape 4 Interpr tation des r sultats On analyse les r sultats obtenus et on les compare aux attentes On analyse aussi le comportement dynamique de l application impact des changements des intrants sur les extrants On va modifier les valeurs associ es aux attributs de bas niveaux couleur texture forme et le seuil de similarit et on va interpr ter les r sultats obtenus Les conclusions tir es permettront d identifier les limites existantes et les am lior
21. alable Si on a un d passement on consid re qu une mouvement a t effectu sinon on initialise z ro tous les param tres calcul s on conclut qu on n a pas eu un mouvement L extraction de la trajectoire o D tection des gouttes unit s de mouvement analyse existence mouvement construction des images binaires entre les cadres suivantes et modifications des images binaires fusion ou effacement selon le seuil fix o L volution des trajectoires addition successive des gouttes de mouvement en calculant la distance entre le centre de l unit de mouvement et le sommet de la chaine d ja construit on consid re la matrice RGB et si c est le cas on cr d autres trajectoires o L am lioration des trajectoires liminer les fausses trajectoires filtrage cantre le bruit correction allure du mouvement o Format de sortie pour les trajectoires l information de la trajectoire du mouvement la liste des points est stock en format XML car c est un format accessible simple interchangeable m me MPEG 7 a choisi XML pour son DDL pour la description du contenu MM Une d s forces du standard MPEG 7 est qu il fait le pas vers la s mantique du contenu MPEG 7 v ritable interface de description pour le contenu MM lui attache des m tadonn es et sp cifie plusieurs outils capables de faire le d crire Le syst me pr sent en 9 apporte en premier plan l importance des deux notions
22. arbre DOM est form de classes qui doivent impl menter toutes l interface org w3c dom Node qui permet des fonctions n cessaires pour explorer ou modifier la structure arborescente getChildNodes appendChild removeChild et des m thodes pour interroger chaque node afin d obtenir ses attributs S http www onjava com pub a onjava 2002 06 26 xml html page 3 O Sous r pertoire PLUGIN Class plugin java le constructeur cr e le plugin style import pour Background foreground texte Des m thodes pr vues pour ajouter le mapper et des champs pour un plugin d j cr Class DefaultPlugin java ayant comme superclasse plugin java cette classe a le constructeur qui re oit le nom de plugin et ajout ses composants appel une m thode de chargement bas e sur lidentification de la source nom et localisation physique Class pluginField java cette classe a trois constructeurs param tr s pour mettre en action les diff rents plugins appel simple appel avec link sans param tre texte appel avec link avec param tre texte Class pluginManager java Le constructeur da la classe utilise une Hashtable lt String String gt pour d poser les plugins Ceux derniers sont charg s ayant comme source le r pertoire hers plugins Les possibles erreurs de chargement sont sauv s et affich es a l cran m thode getPlugin param tr e e R pertoire COMMON R pertoir
23. aux sp cifications MPEG 7 descripteurs Le sch ma MPEG 7 est mapp e l aide d Oracle un sch ma BD objets et tables Le principe de cette relation est de mettre en valeur la diff rence entre les types MPEG 7 importants utilis s comme ancres pour les descripteurs et appel es souvent dans les requ tes et les autres constituant des l ments optionnels dans les requ tes o Le MIF le cadre d indexation multim dia C est un environnement extensible pour le rep rage multim dia Il est construit par 3 modules GistService r alis dans l espace d adresses externes et actionnant comme un processus ind pendant dans le SE syst me d exploitation son tour il a deux composants e GistCommunicator r alise la communication entre la BD et les m thodes d acc s e GistHolder s occupe de l administration des arbres d indexation et de l acc s ces arbres GistWrapper biblioth que partag e utilis e pour que la BD se connecte GistService Multimedia Index Type extension du m canisme d index d Oracle Consiste en quelques types d index repr sentant des m thodes d acc s et les op rateurs associ s Chacun index de ce type est associ a un objet La figure suivante montre la modalit dont le MDC est incorpor dans le contexte du syst me distribu I http www itec uni klu ac at harald codac schema pdf Adaptive Query Presentation Interface SE SQL E sep Query
24. bruit et silence Qualitative inspection et validation visuelle des r sultats Bas sur les d finitions donn es en 26 et 27 les formulas appliqu s ont t Pr cision nombre des r ponses pertinentes ramen es divis par le nombre total des r ponses P RP R Rappel nombre des r ponses pertinentes ramen es divis par le nombre des donn es pertinentes R RP DP Bruit information non pertinente ramen e Bz R RP R Silence information pertinente non ramen e DP RP DP O RP nombre r ponses pertinentes R nombre total r ponses DP nombre donn es consid r es comme pertinentes Une image suggestive pour l interpr tation des r sultats est la suivante Figure 41 Bruit et silence Source image http www webmaster hub com publication IMG gif bruit silence gif La boucle de r action assur e par l observateur humain intervenant sur les entr es du processus modifications poids et seuil similarit a permis d am liorer progressivement la pertinence des r sultats obtenus On pr sente quelques exemples des modifications faites sur la cha ne de caract re utilis e comme param tre pour la fonction isSimilar CoN DOO A WB N gt N gt O 13 14 15 16 17 18 19 20 img_sig1 img_sig2 color 0 3 texture 0 7 shape 0 0 location 0 0 10 img_sig1 img_sig2 color 0 1 texture 0 9 shape 0 0 location 0 0 10
25. d crit deux approches populaires pour interroger les bases de donn es multim dia La premi re est li e au quoi et la deuxi me traite le comment En effet Dunckley propose pour le quoi trois niveaux de complexit 1 rep rage des attributs de base couleur forme texture localisation spatiale mouvement 2 Rep rage des attributs logiques directement li s l identit d objet dans le m dia 3 Rep rage des attributs abstraits associ s la nature ou destination de l objet Les deux derniers niveaux de complexit s sont consid r s comme le noyau du rep rage s mantique du m dia pr sentement en tat embryonnaire Quant au comment l auteur pr sente une classification selon les m thodes d indexation et de recherche de information syst mes bas s sur les attributs attribute based systems utilisent des attributs structur s dans la fa on des SGBD traditionnelles mais on travail avec des donn es ayant dimensions consid rables Mb et Gb C est une m thode donnant des bons r sultats avec des donn es textuelles Syst mes bas sur le texte fext based systems permet une annotation textuelle de l information souvent m lange de descriptions succinctes et donn es structur es Le principal inconv nient est qu une telle m thode est difficile de mettre en place pour des grosses bases de donn es multim dia ou pour certains domaines d activit est qu elle
26. d My Network Places 00046 jpg 00057 jpg 00060 jpg 00069 jpg Details 00071 jpg 00076 jpg 00079 jpg 00082 jpg Figure 42 Les images d but des sc nes Ces 12 images forment l ensemble des donn es pertinents pour les exp rimentes et la valeur 12 remplacera la variable DP dans les formules de calcul rappel pr cision bruit et silence Les r sultats exp rimentaux et les valeurs calcul es sont centralis s dans le tableau ci dessous r sultats Cas couleur texture forme localisation seuil r sultats pertinents pr cision rappel bruit silence JO O1 P Go A 0 3 0 7 0 o 10 7 6 0 8571 0 5 0 143 0 1 0 9 0 o 10 3 3 1 0 25 0 0 1 0 0 9 0 10 32 8 0 25 0 6667 0 75 0 1 0 0 0 9 10 63 11 0 1746 0 9167 0 825 0 5 0 5 0 o 10 21 9 0 4286 0 75 0 571 0 7 0 3 0 o 10 26 9 0 3462 0 75 0 654 0 4 0 6 0 o 10 18 9 0 5 0 75 0 5 0 35 0 65 0 0 10 10 7 0 7 0 5833 0 3 0 35 0 25 0 4 o 10 32 10 0 3125 0 8333 0 688 0 7 0 0 0 3 10 43 12 0 2791 1 0 721 0 7 0 0 3 o 10 38 12 0 3158 1 0 684 0 7 0 0 3 0 15 28 10 0 3571 0 8333 0 643 0 7 0 0 3 0 20 22 8 0 3636 0 6667 0 636 0 7 0 0 0 3 15 25 9 0 36 0 75 0 64 0 7 0 0 0 3 20 18 9 0 5 0 75 0 5 0 7 0 3 0 0 15 21 9 0 4286 0 75 0 571 0 7 0 3 0 0 20 8 7 0 875 0 5833 0 125 0 7 0 3 0 0 19 13 7 0 5385 0 5833 0 462 0 5 0 5 0 0 15 8 7 0 875 0 5833 0 125 0 5 0 4 0 1 0 15 13 8 0 6154 0 6667 0 385 Tableau 6 r sultats exp rimentaux Le graphique ci dessous associ aux valeurs du tableau 6 donne l aper
27. de la recherche page zero problem C est vident donc qu une standardisation s impose C est un besoin vital de pouvoir uniformiser la description des images et de standardiser les descripteurs utilis s pour personnaliser nos recherches C est le point de d part pour donn es aux moteurs de recherche des jalons relevants permettant une localisation pr cise objective et rapide Plusieurs standards pour la d finition du multim dia ont t adopt s les derni res ann es RDF ressource description framework propos e par World Wide Web Consortium W3C les sch mas RDF utilisent comme langage XML Le set de m tadonn es Dublin Core m tadonn es auteur titre mots cl s sur le sujet le type du document le format du document MPEG 7 standardisation du contenu de l information MM Le cas de rep rage de l information MM d crit en 11 fait une comparaison int ressante entre deux syst mes de recherche l un muni par des outils de recherche bas sur le contenu Les deux syst mes sont bas s sur le m me principe les diff rents existant seulement au niveau des outils fournit au usager Il agit plut t des deux variantes du m me syst me Tune qui incorpore des attributs de bas niveau et le syst me de reconnaissance automatique de la parole ASR automatic speech recognition et l autre b n ficiant seulement d ASR L architecture du syst me bas sur XML et le standard MPEG 7 est
28. defining new Definition Lan description schemes Specifies the descriptors and description schemes dealing exclusively with visual information Pare Audio Specifies the descriptors and Part 4 Audio description schemes dealing exclusively with audio information Part S MDS Specifies the descriptors and Generic Entities and description schemes dealing Multimedia exclusively with generic and tion Schemes multimedia features Part 6 Reference Includes software corresponding to the Software tools included im the standard Part 7 Conformance Testing Define guidelines and procedures for Figure 9 Organisation MPEG 7 testing conformance of MPEG 7 Source Jae Ho Lee et al Video image retrieval system based on MPEG 7 VIRS 14 descriptions and terminals Le syst me VIRS video image retrieval system 14 est bas sur l utilisation des descripteurs sp cifiques la troisi me partie celle qui traite l information visuelle du multim dia et vise r aliser le rep rage automatique sans aucune intervention ou annotation de l usager Plusieurs descripteurs couvrant la couleur la texture et la forme ont t consid r s tant donn la complexit des exp rimentes et la difficult li au travail avec trop de variables l analyse des descripteurs de la couleur a t identifi potentiellement ayant le meilleur poids pour le but vis La base de donn s CCD Common Color D
29. dimensions techniques et s mantiques car en modifiant des valeurs num riques valeurs pour des poids des attributs on tire des conclusions sur l influence des uns ou des autres des attributs couleur texture motion forme sur l efficience de la recherche 4 3 R sultats obtenus Le processus d obtention des images identifiant des d buts des sc nes s est d roul de fa on it rative tout en respectant les tapes suivantes analyse de la vid o par l observateur humain comprendre la s mantique de la vid o analyse des images obtenues la suite de la coupure de la vid o analyse pertinence images retenues identification manuelle des changements de sc ne donc subjective mais d crivant la solution attendue analyse r sultats obtenus par l identification automatique r ponse application tape couvrant deux aspects aspect quantitative calcul pr cision et rappel aspect qualitative observation directe analyse s mantique des r ponses modification des poids associ s aux descripteurs de bas niveaux et du seuil de similarit It rations lancement application gt analyse r sultats gt modifications param tres afin de rep cher les meilleurs r sultats possibles La d marche utilis e pour arriver aux r sultats est bas e sur celle pr sent s en 26 et respecte ces grandes id es Oncompare les images en comparant leurs tiquettes associ es en pr alable d
30. est associ au lancement d une requ te param tr e avec la valeur courante de la liste de droite vers la base de donn es A la suite de cette requ te le fichier MPEG 7 d pos dans la BD est t l charg et affich dans une zone de visualisation de l interface graphique L image suivante exemplifie le cas de l image ph00034 IMAGE2 images disponibles Usager sys as sysdba Mot de passe Connexion r alis e mm ph00034 Visualiser MPEG 7 lt xml version 1 0 encoding iso 8859 1 gt lt Mpeg xmins urn mpeg mpeg schema 2001 amp lt l Voici la base multimedia lt Description xsi type ContentEntityType gt lt MultmediaContent xsi type ImageType lt image name ph00034 jpg gt lt MediaLocator lt MediaURifichier cvitestimagiph00034 jpgsiMe lt VisualDescriptor xsi type DominantColorType Coherency gt 31 lt SpatialCaherency gt Zone affichage fichier MPEG 7 lt Percentage gt 31 lt Percentage gt lt Index gt 24 20 16 lt Index lt ColorVariance 0 D O lt ColorVariance gt lt MValue MisualDescriptor gt escription image Figure 40 Interface graphique MV visualisation fichier MPEG 7 3 6 Sommaire Dans ce chapitre j ai pr sent les activit s reli es la conception et la r alisation des modules logiciels de l application On a pr sent au d but la pr paration n cessaire pour bien encadrer le pr
31. et normalise en utilisant une chelle de 0 1 la distance entre l image de la requ te et celle en cours d tre analys e e La partie utilisateur une interface graphique HTML GUI permettant le codage la recherche et la visualisation L usager a deux possibilit s recherche bas e sur l exemple QBE ou de bas niveau d taille avanc clustering mode De plus l utilisateur a acc s directement la structure XML tant muni d un outil capable de g n rer des diagrammes UML Plusieurs possibilit s sont offertes aux usager possibilit s qu on peut grouper en deux grandes cat gories des requ tes bas es sur la techniques QBE query by exemple et la recherche bas e sur des attributs clustering database Une interface conviviale permet la navigation pour choisir les attributs et param trer la recherche Les r sultats obtenus peuvent tre affich s selon leur pertinence et le logiciel leur associe en fichier XML et une structure UML correspondantes Une application complexe est en d ploiement et elle est fortement bas e sur l utilisation de ERIC7 Il s agit de MADIS plus exactement MPEG 7 Audio visual Documentation Indexing System Bas enti rement sur la d composition des s quences vid o et l extraction des attributs vid o et audio constituant la base des futures recherches bas es sur le contenu MADIS vise d atteindre en quelques ann es un niveau de compatibilit totale avec le standard MPEG 7 5
32. exemplifie le cas du fichier associ a image ph00000 jpg 28 C Mestimag 00000 xml Microsoft Internet Explorer File Edit View Favorites Tools Help Dons O EN Paw dereen O8 w L wh Address T C testimag 00000 xml i Go Google sl BSearchwWeb go Eb ui blocked fea Options 4 Y7 go search web 2 P EE attempting to retrieve buttons from Yahoo E To help protect your security Internet Explorer has restricted this file From showing active content that could access your computer Click here For options lt xml version 1 0 encoding iso 8859 1 gt lt Mpeg7 xmins urn mpeg mpeg schema 2001 xmins xsi http www w3 org 2001 XMLSchema instance xmins mpeg7 urn mpeg mpeg7 schema 2001 xsi schemaLocation urn mpeg mpeg schema 2001 Mpeg 2001 xsd gt lt Voici la base multimedia gt lt Description xsi type ContentEntityType gt lt MultmediaContent xsi type ImageType gt lt image name ph00000 jpg gt lt MediaLocator gt lt MediaURi gt fichier c testimag ph00000 jpg lt MediaURi gt lt MediaLocator gt lt VisualDescriptor xsi type DominantColorType gt lt SpatialCoherency gt 31 lt SpatialCoherency gt lt Value gt lt Percentage gt 31 lt Percentage gt lt Index gt 2 7 25 22 lt Index gt lt ColorYariance gt 0 0 O lt ColorVariance gt lt Value gt lt VisualDescriptor gt lt fin description image gt Informations lt image
33. fichier voulu On confirme le chargement bouton Ouvrir ou on annule bouton annuler Si le bouton ouvrir a t actionn l application tente de charger le fichier et de d marrer le lecteur multim dia Si le format de fichier choisi n est pas accept un message d erreur avertisse du probl me rencontr Erreur Impossible pour fle fC createhdmm java Figure 31 erreur d marrage lecteur vid o Si il s agit d un fichier vid o le lecteur d marre et l usager a la possibilit de voir simultan ment le d roulement de la vid o et l avancement d extraction images dans une zone d affichage d roulante La composante vid o du fichier charg est d marr e dans le lecteur JMF utilisation de la class Manager pour r aliser un Player On analyse les v nements associ s pour le contr leur et si l tat du player le permet Prefetch r alis on proc de d marrer le lecteur capture param tr e des images du flux vid o chaque image portera un texte indiquant la date de la cr ation affichage d roulement extraction images sauvegarde des images dans un r pertoire c testimag cr ant rieurement sur le disque dur Lecteur Media Fichier Dur e secondes 0 Frames seconde min 1 max 10 Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numero Creation
34. graphique cr ation images Tests unitaires Tests unitaires Rectification mise jour Int gration composantes et sous composantes Tests de composante R alisation module traitement images MTI D but r alisation MTI Modifcations ajouts Q gt Modifcations ajouts Chargement fichiers Connexion la BD Cr ation table Tests unitaires D tection sc nes Modifcationsia Q Int gration composantes et sous composantes Tests de composante Rectification mise jour ge R alisation module visualisation MV D but r alisation MY Modifcations ajouts Modifcations ajouts Connexion la BD R perage de l information Visualisation mages et fichier XML Tests unitaires Tests unitaires Rectificationfmise jour ANNEXE 7 Vues des sc narios et d tailles code Java MEI sc nario 1 Lecteur Media Fichier Dur e secondes bo Frames seconde min 1 max 10 ho Sc nario 2 Lecteur Media Fichier Dur e secondes Frames seconde min 1 max 10 Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numera Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numero
35. img_sig2 OrdimageSignatured lt lt Detection scenes gt lt lt Mise jour BD gt gt L lt afichage d roulement analyse similarite gt 15 A opstmt SetString 1 e 15 B jtaxml append String lt lt Message fin traitement 16 jtaxml append String endloop lt lt destroy gt gt 17 windowClosing WVindowEvent e ANNEXE 4 Module MV diagrammes UML Diagrammes UML diagrammes des cas d utilisation sc narios diagramme des classes diagramme de s quences Diagramme des cas d utilisation Pour le module de traitement images on a identifi acteur l utilisateur cas d utilisation Visualiser donn es BDMM Visualiser donn es BDMM Utilisateur s lt include gt i s BE 7 d 2 lt include gt gt A gw SACH lt lt include gt 2 l Identification usager connexion BD Visualiser fichiers MPEG 7 Visualiser images Figure repr sentation use case MV niveau mod le Le cas d utilisation Visualiser donn es BDMM est activ par l acteur Utilisateur Plusieurs sc narios peuvent le composer Sc nario 1 Identification utilisateur o L utilisateur introduit les donn es exig es pour se connecter la base de donn es nom usager et mot de passe et actionne le bouton de connexion o Le syst me v rifie les donn es n cessaires pour la connexion la BD o L usager re oit un
36. la surface o Bas e sur la forme allongement circularit contour etc o Bas e sur la position indexation spatial o Bas e sur la transformation de l image transformations complexes de l intensit des pixels composant l image o Bas e sur l apparence combinaison de couleur texture intensit etc Rep rage des vid os ou s quences vid o o bas e sur analyse des images o Bas e sur l analyse des mouvements o Bas e sur la d tection des objets et des trajectoires o Bas e sur la reconnaissance de la parole o Bas e sur l identification d orateur visage et parole Ce qui est essentiel souligne Kosch 15 cest l utilisation d une approche ou m thode permettant de quantifier la similarit entre deux objets multim dia C est la distance entre la requ te de l utilisateur et l objet situ dans la BDMM En ce qui concerne l outil id al pour arriver au but d sir serait un langage de requ tes multim dia qui aurait l habilit de travailler avec des donn es interreli es de fa on spatiale et temporelle Il serait capable d utiliser la fois des mots cl des index de mots cl s du contenu s mantique et des objets multim dia pour effectuer sa requ te 1 3 M thodologie de recherche La d marche du projet est d crite en utilisant le cadre exp rimental propos par Basili et al 1986 et modifi par A Abran et P Bourque 1997 afin de l adapter pour le travail de recherche explorato
37. laisse beaucoup de place la subjectivit humaine une m me image est d crit autrement par des observateurs diff rents Pour ce type de recherche la chance joue en r le importante car impossible de savoir les termes utilis s pour l annotation Syst mes bas s sur le contenu content based systems vise contrecarrer ces faiblesses tant bas s sur extraction automatique des d tails attributs identifiant l information d sir e C est la m thode permettant une importante augmentation quant l efficacit du processus de rep rage En renfor ant ces id es Kosch 15 souligne l importance de l analyse de contenu des m tadonn es associ es au contenu et des mod les utilis s pour repr senter les donn es multim dia La synth se fournie par Kosch concernant la mod lisation est repr sentative des pr occupations futures en ce qui concerne le rep rage de l information multim dia la BD multim dia BDMM doit permettre de stocker la mod lisation des donn es Le m canisme de stockage joue un r le important quant la performance du syst me multim dia L existence d une repr sentation de la structure logique est essentielle requ tes et repr sentation Le niveau s mantique doit tre model et li directement aux caract ristiques de bas niveau Les m tadonn es n cessaires doivent tre stock es dans la BDMM ll est n cessaire d assurer l interop rabilit de partag
38. les r sultats b Toutes ces donn es sont interpr t es l aide de CC PP Composite Capabilities Preferences Profile qui est un cadre standardis bas sur le format RDF d velopp par W3C Ces descriptions sont envoy s vers un serveur de traitement requ tes qui apr s les analysent retourne la classe dont l usager appartiendra pendant toute la session L appartenance l une ou d autre classe va personnaliser la d marche de l usager c L affichage et utilisation des l ments caract ristiques pour chaque usager sont sp cifi s l aide d un langage bas sur un moteur adaptatif capable de travailler avec des donn es multim dia d L usager sp cifie les crit res de et envoie la requ te au serveur Web adaptatif qui le pr sente son tour au serveur de la BD Les r sultats obtenus font le chemin inverse tant retourn s et pr sent s l usager en utilisant le chemin adaptatif Un autre exemple de la collaboration fructueuse de MPEG 7 et des SGBDMM est illustr par le syst me d velopp en 5 Le syst me dont le nom est ERIC7 d velopp par CRIM Computer Research Institute of Montreal utilise XM eXperimentation model comme environnement de travail ERIC7 c est la base un logiciel qui impl mente CBIR content based image retrieval compatible avec le standard MPEG 7 Il permet le codage MPEG 7 XML jusqu 15 descripteurs couleur texture et forme utilisant 2 fa ons d inter
39. lt lt requ te gt gt 4 don cond 2 doConnectf 3 con DriverManager getConnection SURL sUserlD sPasswordi K ra PS if con null on envoie message errreur gt gt 5 A String jta settext erreur lt sif conte on commence le traitement gt 5 B cyeation lt lt Cr ation liste gt gt 6 A List lire_fichiersO vE lt lt Lecture repertoire gt gt 6 B File String lt lt Message cr ation liste gt gt lt lt Cr ationlde la table gt 8 stmtexecuteQuervyi create table imaqge 2 etc lt lt message creation table gt 9 String jtaxml append String lt lt Insertion images dans la BD gt gt While x loop 10 A opstmtexecuted F7 String jta append String lt lt Insertidn dans la BD gt 10 B Integer opstmtketCustomDatumit imgObj lt lt creation fichiers MPEG 7 gt gt 11 A creation MLinomfichier Couleur LE OutputStreamivriterwritetemlStgnd lt Insertion fichiers MPEG 7 dans la BD gt 12 A insererXMLinomFichier con Kai lt lt Insertipn dans la BD gt gt 12 B Leet S 1 stringR H h EE 2 B Integer statement setCharpcterStream 1 stringReadertextelengthd 13 jtaxml appendiString i endloop While x loop 14 A Integer ORDImageSignature IsSiinilantimgs sig1 img_sig2 String lt lt Signatures des ithages succesives gt 14 B img_sig1
40. message d erreur connexion chou e Utilisateur Saisie donn es identification Demande login user password V rification Message erreur Figure repr sentation sc nario1 use case MV niveau instances Sc nario 2 Visualisation images O L utilisateur introduit les donn es exig es pour se connecter la base de donn es nom usager et mot de passe et actionne le bouton de connexion Le syst me v rifie les donn es n cessaires pour la connexion la BD Le syst me donne l autorisation de connexion sur la BD un message de r ussite est affich dans une zone pr vue sur l interface graphique Le syst me cr e deux listes une contenant toutes les images disponibles dans la BDMM l autre sp cifiant les images identifi es comme d but des sc nes Le syst me envoie l utilisateur les deux listes activation des deux listes de choix sur l interface graphique L utilisateur actionne le bouton Visualiser Le syst me analyse la demande interpr tation des requ tes param tr es selon les valeurs courantes des deux listes Le syst me affiche les images retrouv es dans la BD deux zones d affichage pr vues sur l interface graphique celle de droite tant pour les sc nes Utilisateur Saisie donn es identification Demande login user password V rification Autorisation Lecture BD Liste images compl te Liste sc nes Visualiser images
41. sente la structure correspondante la description MPEG 7 C est une structure provenant de l extraction des composants structurels MPEG 7 De plus on ajoute des probabilit s donnant la puissance de la liaison entre les n uds et les concepts associ es Couche 2 Contextual layer C est une couche qui exploite pleinement la richesse des informations offerte par le MPEG 7 et la location des concepts dans la hi rarchie DS descripteur sch me du standard Cette information structurelle est utilis e pour estimer plus pr cis ment combien a p se a un concept pour le contenu identifier exactement les concepts qui interviennent dans un contexte donn Couche 3 contient les concepts identifi s pendant l analyse de la requ te Analyse de document identification des concepts identification des inter liaisons et de leur force Le QN contient des n uds de requ te et des op rateurs de liaison comme dans la figure suivante Figure 4 Structure du sous r seau QN query network Source image A Graves M Lamas Video retrieval using an MPEG 7 based inference network 9 L attachement entre le SDN et QN est fait la suite d un calcul rigoureux des distances entre les noyaux du DN et du QN Le candidat ayant de meilleur score est retenu Une fois l attachement r alis on proc de l valuation des r sultats bas e sur une estimation de la probabilit conditionnelle entre les n uds et les concept
42. trage externe exernal binding customization Dans notre cas il s agit de la deuxi me situation avec fichier externe de param trage qui sp cifie le sch ma distant definition2 xsd le package utilis com mpeg7 player becl parser structure et le suffixe utilis MyTyp lt jxb bindings version 1 0 xmins jxb http java sun com xml ns jaxb xmins xs http www w3 org 2001 XML Schema xmins xjc http java sun com xml ns jaxb xjc jxb extensionBindingPrefixes xjc gt lt jxb bindings schemaLocation definitions2 xsd node xs schema gt lt jxb globalBindings gt lt xjc typeSubstitution type complex gt lt jxb globalBindings gt lt jxb schemaBindings gt lt jxb package name com mpeg player becl parser structure gt lt jxb nameXmITransform gt lt jxb typeName suffix MyTyp gt lt ixb nameXml Transform gt lt jxb schemaBindings gt IT http java sun com webservices docs 1 5 tutorial doc JAXBUsing4 html lt jxb bindings gt lt jxb bindings gt e R pertoire ACCL o Sous r pertoire GUI Un r pertoire avec des images nomm GUI IMAGES pour le dessin de GUI le chargement est fait avec pictload java existante en common tools Des classes java pour la construction de l interface ControlPanel java utilisation d un certain style d finit et import ici de common styleSheet java chargeur des images common tools pictLoad java dessinat
43. velopp permettant de d couvrir le plus t t les probl mes et de les r soudre rapidement Les tests unitaires faites on eu comme principal objectif de v rifier individuellement que chaque unit fonctionne correctement qu elle r pond de fa on quantitative et qualitative aux attentes J ai appliqu la technique de testes manuelles effectu l aide des donn es pr tablies L approche modulaire cr ation ind pendante des modules fonctionnels MEI MTI MV adopt e a t structur e en plusieurs phases dont les plus importantes sont r alisation des sous modules permettant de communiquer avec l ext rieur du syst me r pertoires des fichiers base de donn es e r alisation des sous modules assurant les fonctionnalit s requises r alisation de l interface graphique o menus navigation choix etc o zones de saisie donn es o boutons des actions o boite de dialogue o zone affichage erreurs o zone affichage graphique essayer de garder une concordance entre les sc narios identifi et les vues graphiques d assurer la convivialit de l interface Ajout au fur et a mesure des fonctionnalit s nouvelles it rations cr ation tests Gestion dynamique de l cran zones actives inactives boutons visibles invisibles v nements d clanch s automatiquement etc Pr voir les interfaces de liaison avec les autres modules et sous modules de l application envisager le comportement de l ense
44. 0057 ph00059 ph00060 ph00069 ph00082 8 rows selected Cas 20 0 5 0 4 0 1 0 0 15 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00009 ph00010 ph00013 ph00042 ph00046 ph00053 ph00057 ph00059 ph00060 ph00062 ph00069 ph00071 ph00082 13 rows selected BIBLIOGRAPHIE 1 2 3 4 5 6 7 8 Utz Westermann Wolfgang Klaus An analysis of XML database solutions for the management of MPEG 7 media descriptions ACM Computing Surveys Volume 35 Pages 331 373 2003 ISSN 0360 0300 http doi acm org 10 1145 954339 954340 Harald Kosch MPEG 7 and multimedia database systems ACM SIGMOD Record Volume 31 Issue2 June 2002 pages 34 39 2002 ISSN 0163 5808 http doi acm org 10 1145 565117 565123 Mario Doller H Kosch B Dorflinger A Bachlechner G Blaschke Demonstration of an MPEG 7 multimedia data cartridge International Multimedia Conference Proceedings of the tenth ACM international conference on Multimedia Pages 85 86 2002 ISBN 1 58113 620 X http doi acm org 10 1145 641007 641024 A Mostefaoi F Pr teux V Lecuire J M Moureaux Sirsale un syst me d indexation et de recherche de s quences audiovisuelles a large chelle Gestion des donn es multim dias pages 283 306 Hermes Paris 2004 ISBN 2 7462 0824 5 L Gagnon S Foucher V Couaillier ERIC7 an experimental tool fo
45. 061 jpg 00062 jpg 00063 jpg 00064 jpg 00065 jpg 00066 jpg 00067 jpg 00068 jpg 00069 jpg 00070 jpg 00071 jpg SS Copy of testimag File Edit View Favorites Tools Help Sp 00060 jpg 00061 jpg 00062 jpg 00063 jpg 00064 jpg 00065 jpg 00066 jpg 00067 jpg 00068 jpg 00069 jpg 00070 jpg 00071 jpg 00072 jpg 00073 jpg 00074 jpg 00075 jpg 00076 jpg 00077 jpg 00078 jpg 00079 jpg 00080 jpg 00081 jpg 00082 jpg Thumbs db lt ANNEXE 9 R sultats interrogations BD Oracle SQL Plus Cas 1 0 3 0 7 0 0 0 0 10 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00013 ph00042 ph00046 ph00059 ph00060 ph00069 ph00082 7 rows selected Cas 2 0 1 0 9 0 0 0 0 10 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00042 ph00059 ph00060 3 rows selected Cas 3 0 1 0 0 0 9 0 0 10 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00001 ph00007 ph00009 ph00010 ph00011 ph00023 ph00024 ph00026 ph00042 ph00043 ph00044 ph00045 ph00046 ph00049 ph00050 ph00052 ph00053 ph00054 ph00056 ph00057 ph00058 ph00059 ph00060 ph00062 ph00066 ph00069 ph00070 ph00071 ph00076 ph00078 ph00080 ph00082 32 rows selected Cas 4 0 1 0 0 0 0 0 9 10 pour couleur texture forme localisation SQL gt select imnom from ima
46. API qui fournit des sp cifications pour d finir une interface d acc s interfagant avec le module ViaVoiceTM d IBM moteur de reconnaissance et synth se vocale Les annotations permettent galement d enrichir le contenu multim dia Les objets m dia captur s peuvent tre li s utilisant une instanciation d un l ment de connexion XLinkObject d finit l int rieur de chaque objet de type MediaObjet Par exemple une annotation faite avec d encre lectronique et le texte associ s appartenant au document document vm peuvent tre reli s comme objets multim dia de fa on suivante en utilisant les pointeurs XPE1 XPE2 les l ments de localisation Locator et la relation Means WOE wa ZE d ett the Ee rggdrer Add Ol Passant fle correct symbdifor thie moiak Remove Fangartante Se S Handwritten Note anota ao Klique no bot o ink para configurar e diga yeconhecedor de estrita lt MediaObject gt lt XLinkObject xmins xlink http www w3 org 2000 1 0Adlink ns xlink type extended xlink title Objects rels gt lt Locator xlink type locator xlink href file path document xml XPE xlink role file path object xlink label ID004 gt lt Stroke gt lt Locator gt Locator xlink type locator xlink href file path document xml XPE2 xlink role file path object xlink label TDOO5 gt lt Text gt lt Locator gt Are
47. ECOLE DE TECHNOLOGIE SUPERIEURE UNIVERSITE DU QUEBEC PROJET DE 15 CREDITS PRESENTE A L ECOLE DE TECHNOLOGIE SUPERIEURE COMME EXIGENCE PARTIELLE g A L OBTENTION DE LA MAITRISE EN TECHNOLOGIE DE L INFORMATION M Sc PAR HORIA ILIE Identification et annotation des images repr sentatives des s quences d une vid o MONTREAL 2005 CE PROJET A ETE EVALUE PAR UN JURY COMPOSE DE 1 M Alain April Professeur en G nie Logiciel directeur de projet D partement de g nie logiciel et des TI Ecole de technologie sup rieure IL A FAIT L OBJET D UNE PRESENTATION DEVANT JURY ET PUBLIC EN 2005 L COLE DE TECHNOLOGIE SUP RIEURE SOMMAIRE Le projet vise a r aliser une application permettant le rep rage bas sur contenu pour des images tir es d un flux vid o afin de d tecter les changements de sc nes On utilise la technologie Intermedia d Oracle qui permet l extraction et l utilisation des descripteurs de bas niveau pour des objets multim dia Les descriptions des images identifiant un changement de sc ne seront sauvegard es en format XML compatible au standard MPEG 7 pour les images Les modules d velopp s seront int gr s dans l application d j d velopp par l quipe du professeur Harald Kosch universit Klagenfurt Autriche en ajoutant des nouvelles fonctionnalit s au prototype existant Les grandes tapes seront a chargement de la vid o dans la BDMM l extraction des images partir de la
48. EG 7 based inference network Annual ACM Conference on Research and Development in Information Retrieval Proceedings of the 25th annual international ACM SIGIR conference on Research and development in information retrieval Tampere Finland i Pages 339 346 2002 ISBN 1 58113 561 0 http doi acm org 10 1145 564376 564436 Wen Wen Hsieh Arbee L P Chen Constructing a bowling information system with video content analysis ACM International Workshop On Multimedia Databases Proceedings of the 1st ACM international workshop on Multimedia databases New Orleans LA USA Pages 18 24 2003 ISBN 1 58113 726 5 http doi acm org 10 1145 951676 951681 G Gaughan A F Smeaton C Gurrin H Lee K McDonald Design implementation and testing of an interactive video retrieval system International Multimedia Conference Proceedings of the 5th ACM SIGMM international workshop on Multimedia information retrieval Berkeley California Pages 23 30 2003 ISBN 1 58113 778 8 http doi acm org 10 1145 973264 973269 R Goularte R G Cattelan J A Camacho Guerrero V R Inacio Jr M de Graca C Pimentel Interactive multimedia annotations enriching and extending content Document Engineering Proceedings of the 2004 ACM symposium on Document engineering Milwaukee Wisconsin USA Pages 84 86 2004 ISBN 1 58113 938 1 http doi acm org 10 1145 1030397 1030414 Kuo P J Aoki T Yasuda H Yasuda Aoki Lab To
49. Java Architecture for XML Binding On y trouve des fichiers concernant la source analys e le fichier nightwish xml et des sch mas associ s audio_2001 xsd definitions2 xsd visual_2001 xsd mds_2001 xsd xml_1998 xsd mpeg7_2001 xsd ddl_2001 xsd JAXB est une technologie permettant de g n rer automatiquement des classes et sous clases Java partir de ou correspondant l ments d un fichier XML En grandes lignes les principales caract ristiques du JAXB sont a S occupe de fa on transparente pour l usager de l op ration de conversion et migration b C est une modalit OO de travail avec XML c Les classes sont g n r es en respectant les r gles de validation utilisation d un compilateur d 2 op rations principales unmarshalling et marshalling La ligne de commande est xjc b binding xjb extension definitions2 xsd selon le mod le g n rale xjc options lt schema gt b lt fichier gt sp cifie un ou plusieurs fichiers binding On peut avoir un seul fichier avec les particularit s des plusieurs sch mas notre cas le fichier binding xjb ou plusieurs fichiers pour chaque sch ma extension option qui permet flexibilit quant l utilisation des extensions non compatibles avec JAXB v1 0 En ce qui concerne l utilisation de JAXB on a deux possibilit s de faire cette adaptation des fichiers adaptation en ligne inline customization utilisation de fichier param
50. Name xmiiang en gt A book lt Name gt lt WhatObject gt lt WhatObject gt Name xmtiang en gt VIAO Computer lt Name xmtiang en gt Peggy Kuo is Reading a Book in Front of her VIAO Computer at Marc s Cafe in Kichijoji lt Name gt lt VWhatAction gt lt StructuredAnnotation gt lt TextAnnotation Figure 15 Exemple utilisation TextAnnotation MPEG 7 Source image Kuo P J et al Tokyo Univ Japan MPEG 7 based dozen dimensional digital content architecture for semantic image retrieval services 13 La g n ration semi automatique des m tadonn es DDDC Dozen Dimensional Digital Content a comme entr es plusieurs sources la technologie GPS une BD de localisation g ographique des logiciels sp cialis s et des instruments d enregistrement digital Ainsi le GPS la direction la distance le temps et l auteur peuvent tre associ s avec le fichier digital l extension Exif Exchangeable Image File Format Les informations spatiales et temporelles tiquettes associ es aux v nements peuvent servir comme donn es d entr e pour des requ tes vers la BD Ayant ces informations la BD associe l image les autres tiquettes s mantiques GPS Latitude Reference GPS Latitude 35 42 0201 GPS Longitude 139 34 5566 Camera Date Time 2003 03530 Figure 16 Exemple utilisation m tadonn es interrogations sur la BDMM Source image Kuo P J et al Tokyo Univ Japan MPEG 7 b
51. Oracle exige l acc s a deux biblioth ques externes celle de la variante 1 5 de Java src zip de JDK1 5 0 01 celle de JMF 2 1 1 jmf jar de JMF 2 1 1e gt Project Settings C oracle jdev jdev mywork Workspace1 coupevideo coupevideo jpr B Common Input Paths Ant 1 4 2_03 sl Define UU Edit Dependencies J2EE Available Libraries Selected Libraries Modelers Apache Ant Untitled a Configurations Apache Regexp 1 2 B Development AQJMS Paths BC4J EJB Client CodeCoach BC4 EJB Runtime Compiler BC4 Generic Domains Debugger BC4J HTML Javadoc BC4J Oracle9iAs Client F BC4J Oracle Domains H Profiler BC4 Runtime Runner BC4I Security BC4 Struts Runtime BC4 Tester BC4J VB Client BC4 YB Runtime BIBEANS Runtime J25E Version Classpath C Program Files Java jdk1 5 0_01 src zip New Edit Le module MTI d velopp a l aide de JDEV d Oracle exige l acc s aux biblioth ques suivantes JDeveloper Runtime Connection Manager Oracle Intermedia Oracle JDBC SQLJ Runtime Le module MV d velopp Common H Input Paths Ant Dependencies J2EE Modelers B Configurations Development Paths CodeCoach Compiler Debugger Javadoc Profiler Runner amp Project Settings C oracle jdevi jdevimywork Workspace2 Wroject1 createbdmm jpr bibliotheques suivantes J2SE Version 1 4 2_03 Available Libraries lapache
52. PEG 7 est depuis quelque temps la r f rence quant a l analyse et la l utilisation des donn es multim dia Il assure l interop rabilit des donn es en se basant sur des descripteurs associ s au contenu de l information audio visuelle Le standard MPEG 7 ISO IEC standard international 15938 a t d velopp par MPEG Moving Picture Experts Group et d finit une normalisation du contenu multim dia a plusieurs couches de bas niveau jusqu la description s mantique Il permet d enregistrer de l information au niveau administration du contenu navigation acc s interaction et contenu proprement dit structure et s mantique Il permet d aborder plusieurs formats multim dia supportant CBR et assure l interop rabilit entre les syst mes v hiculant du contenu MM Un grand avantage est la compatibilit de MPEG 7 avec d autres standards comme W3C XML XMLSchema IETF URI URN URL Dublin Core SMPTE Metadata Dictionnary etc En ce qui concerne la pr sente recherche l analyse de la vid o l identification des cadres repr sentatives et l annotation des images n cessitent la coexistence et l interaction de plusieurs domaines outils et techniques BDMM Vid o MPEG 7 m tadonn es et annotation CBIR rep rage de information bas sur le contenu A cette lumi re le tableau suivant synth tise le groupement des ressources documentaires que j ai identifi selon ces cat gories Cat gorie R f ren
53. SR BD BDMM BDMM BIM C CBIR CBR CC PP CCD CLD CORBA CRIM CSD dbXML DCD DDDC DDL DN DOM Eclipse EXIF FSA GPS GUI IDL IEEE IETF INSPEC Association for Computer Machinery group de recherche dans le domaine de l informatique et la construction des ordinateurs Application Programming Interface Automatic speech recognition Base de donn es Base de donn es multim dia Base de donn es multim dia Binary Format for MPEG 7 Langage de programmation orient objet extension du langage C Content based image retrieval Content based retrieval Composite Capabilities Preferences profile Common Color Dataset Color layout Descriptor Common Object Request Broker Architecture architecture et sp cifications pour la cr ation la distribution et l administration des applications dans un r seau informatique Computer Research Institute of Montreal Color Structure Descriptor XML database Dominant Color Descriptor Dozen Dimensional Digital Content Description Definition language Document network Document Object Model API propos e par W3C World WideWeb Consortium et bas e sur un mod le objets structure arborescente Plateforme logiciel pour la cr ation des applications Java Exchangeable Image File Format Finite State automata Global Positioning System technologie permettant de calculer la position sur la terre en utilisant les satellites de communication Graphic user interfac
54. Traitement requ tes param tr es Affichage images Figure repr sentation sc nario2 use case MV niveau instances Sc nario 3 Changement choix et visualisation fichier MPEG 7 o L utilisateur fait son choix quant l image et ou la sc ne d sir es en utilisant les listes d roulantes o l utilisateur actionne le bouton visualiser o Le syst me analyse la demande interpr tation des requ tes param tr es selon les valeurs courantes des deux listes o Le syst me affiche les images retrouv es dans la BD deux zones d affichage pr vues sur l interface graphique celle de droite tant pour les sc nes o L utilisateur actionne le bouton MPEG 7 o Le syst me analyse la demande interpr tation de la requ te param tr e selon la valeur courante de la liste des sc nes o Le syst me affiche le contenu du fichier MPEG 7 associ a l image choisie Utilisateur Choix image visualiser Choix sc ne visualiser Visualiser images Traitement requ tes pararm tr es Afficher images Visualiser fichier MPEG 7 Afficher fichier MPEG 7 Traitement requ te param tr e Figure repr sentation sc nario3 use case MV niveau instances Diagramme de classes UML classes attributs m thodes MV module visualisation readbdmm2 Blob blob Connection con null int iLength Imagelcon ii JPanel jpCenter new JPanelO JPanel jpNorth new JPanel JPanel j
55. a table Oracle selon les sp cifications de la requ te L usager est inform de la cr ation de la table Le syst me d marre les op rations de traitement images lecture analyse cr ation fichiers MPEG 7 insertion des donn es dans la BD et de sauvegarde informations obtenues L utilisateur re oit des messages sur le d roulement des op rations zone d affichage d roulante sur l interface graphique o Le syst me d marre l analyse de la similarit images d pos es dans la BD selon les sp cifications du code o L utilisateur est inform travers une zone d affichage du d roulement du processus et de la fin des op rations Utilisateur Saisie donn es identification Demande login user passwordi Verification Autorisation Cr ation table one a confirmation cr ation table Affichage d roulement op rations Ps Affichage r sultats Traitement et sauvegarde Analyse similarit Message fin op ration Figure repr sentation sc nario2 use case MTI niveau instances Diagramme de classes classes attributs m thodes MTI module traitement images Blob blob Connection con null int iLength Imagelcon ii JPanel jpCenter new JPanel JPanel jpNorth new JPanelQ JPanel jpSouth new JPanel new BorderLayout JButton jbConnect new JButton Connexion JLabel jlUser new JLabel Usager JLabel UPasauord new JLabel Mot de pa
56. acteur l utilisateur cas d utilisation traitement images d pos es dans un r pertoire donn e Traitement images Utilisateur e x lt ipcludez lt lt includes SE pr d Si D tection changements de sc nes Identification usager connexion BD Cr ation table et insertion donn es Figure repr sentation use case MTI niveau mod le Le cas d utilisation Traitement images est activ par l acteur Utilisateur Plusieurs sc narios peuvent le composer Sc nario 1 Identification utilisateur o L utilisateur introduit les donn es exig es pour se connecter la base de donn es nom usager et mot de passe et actionne le bouton de connexion o Le syst me v rifie les donn es n cessaires pour la connexion la BD O Utilisateur Saisie donn es identification Demande login usertpassword Le syst me renvoie l utilisateur un message d erreur V rification Figure repr sentation sc nario1 use case MTI niveau instances Sc nario 2 Traitement images O L utilisateur introduit les donn es exig es pour se connecter la base de donn es nom usager et mot de passe et actionne le bouton de connexion Le syst me v rifie les donn es n cessaires pour la connexion la BD Le syst me donne l autorisation de connexion sur la BD un message de r ussite est affich dans une zone pr vue sur l interface graphique Le syst me cr e l
57. aen Bask Bement Sdema Bmx Laks amp Mo ia Took Datatypes Lex its Figure 14 Sch ma de description multim dia de MPEG 7 Source image Kuo P J et al Tokyo Univ Japan MPEG 7 based dozen dimensional digital content architecture for semantic image retrieval services 13 La nouvelle s mantique propos e par le syst me est bas e sur l utilisation d outil TextAnnotation type de donn e de base de MDS de MPEG 7 Une des formes possibles de TextAnnotation est StructuresAnnotation qui sera utilis e pour l application C est une structure qui permettra la description de l annotation du contenu MM en r pondant aux questions propos es aux d but quel acteur who quel objet action what ou where quand when pourquoi why comment how etc Les images suivantes montrent la source analys e une image prises dans un caf bar et le TextAnnotation associ qui sp cifie a la fois la description sous la forme de FreeTextannotation sans structurer l information et sous forme de StructuredAnnotation identification structur e des sous composantes lt TextAnnotation id Ann1 gt lt FreeTextAnnotation xmi lang en gt Peggy Kuo is Reading a Book in Front of her VIAO Computer at Marc s Cafe in Kichij oji lt FreeTextAnnotation gt lt StructuredAnnotation gt lt Who gt lt ControlledTerm gt Name xmtiang en gt Peggy Kuo lt Name gt lt ControlledTerm gt lt Who gt lt WhatObject gt
58. agramme s quences UML MEI module extraction images Syst me exploitation System utilisateur lt lt create gt 1 LecteurMediad LecteurMedia Class lt lt Chargement fichier i 2 void actionPerformed ActionEvent e OPEN lt analyse param res roulage gt lt lt si erreur message l usager BIJOK affichage module dialague 4 4 errorDialogimessage H B selectionDialog showQ lt lt Choixfichier gt lt lt navigation gt gt 5 mediaNameiselection actionPerformed ActionEvent gighoixs 6 FileDialog lt lt fichier gt 7 String selection T lt lt Ouvrirfichier gt 8 void actionPerformed ActionEvent efouvrir lt lt lancement lecteur gt gt 9 LecteurimediaName While x loop lt lt traitement information 10 controllerUpdate ControllerEvent ei lt lt cr ation images 11 ImagelO write bufflmag String lt lt Affichage d roulement gt 12 jta append String endloop lt lt Message fin gt gt 13 jta append Fin capture images l in 0 lt lt destroy gt 14 windowClosing VindoweEvent e 0 ANNEXE 3 Module MTI diagrammes UML Diagrammes UML diagrammes des cas d utilisation sc narios diagramme des classes diagramme de s quences Diagramme des cas d utilisation Pour le module de traitement images on a identifi
59. ans notre cas les tiquettes prendrant la forme des signatures des images dans l acception Oracle 10g On utilise des op rateurs num riques pour analyser la similarit des images on construit une cha ne des attributs et poids associ es que l on envoie comme param tre pour les requ tes de similarit On calcule la distance entre les deux images mod le et cible partir de leurs traits caract ristiques La fonction utilis e pour tester la similarit des images est isSimilar d Intermedia Oracle 10g dont la formule g n rale est la suivante o isSimilar sign1 sign2 cha ne attributs seuil similarit Sign1 2 les deux signatures comparer Cha ne attributs est une cha ne alphanum rique sp cifiant la combinaison d sir e pour les attributs de bas niveaux A titre d exemple on peut avoir color 0 3 texture 0 5 shape 0 1 location 0 1 Seuil similarit similarity_threshold valeur maximale 100 a partir de laquelle on consid re que les deux signatures ne sont plus identiques Durant les exp rimentes pratiques on a modifi les valeurs num riques repr sentant les poids associ es aux attributs de bas niveaux la couleur la texture la forme et la motion On a enregistr les r sultats obtenus et en les confrontant aux attentes on a pris les corrections n cessaires L valuation des r sultats a t faite en consid rant deux aspects Quantitative calcul rappel et pr cision aussi
60. apable d utiliser la fois des mots cl des index de mots cl du contenu s mantique et des objets multim dia pour effectuer sa requ te Annexes ANNEXE 1 Analyse application Autriche approche technique Les suivantes aspects ont t identifi es la suite de l analyse faite sur l application 1 Le lancement de l application est faite a l aide d un fichier de commandes run bat trouv dans le r pertoire principal Ce fichier tabli le chemin PATH vers les biblioth ques utilis es La derni re ligne de commande lance en ex cution une classe java qui re oit comme param tre le nom du fichier XML data nightwish xml a Les constructeurs de la classe appellent une m thode qui construit le GUI pour l application b Dans le fichier XML on retrouve des informations concernant la source i ii iii iv V Type Videotype Localisation Titre Descripteurs s mantiques Descripteurs de d composition temporelle start frame dur e tranches et texte associ c titre d exemple on a 6 parties 3 r p titions et un solo 2 Structure arborescente des r pertoires Navigator X Mpeg Player settings bin com gt mpeg gt player H Li accl becl gt common data jars E gt plugins Run gt classpath gt project 3 Le r pertoire Player Data contient les composants d finissant l utilisation de parser XML JAXB
61. ased dozen dimensional digital content architecture for semantic image retrieval services 13 2 2 5 CBIR Sirsale le syst me CBIR d velopp en 4 et qui r alise une recherche et rep rage des s quences audio visuelles utilise une approche modulable multi niveaux indexation structurelle exploitation de la structure de la vid o pour la navigation indexation s mantique pour la recherche par le contenu La figure suivante donne un apercu de cette strat gie utilis e 2 VUE SEMANTIQUE stratification Personne Pr sident des v nement Jeux olympiques tats unis d hiver Lieu Salt Lake City Flux vid o Plan Plan Plan3 ln Sch me 1 Sch me 2 Sch me 3 Sch me 4 S quence 1 S quence 2 VUE PHYSIQUE segmentation structurelle Figure 17 approche syst me SIRSALE 4 Dans la figure ant rieure la vue physique r f re la segmentation structurelle ou plan shot unit composante de la vid o compos e a son tour d un ensemble continu d une ou plusieurs images fixes frames M me si le plan peut tre consid r comme un premier niveau de d coupage de la vid o son contenu s mantique est insuffisant pour l indexation Sch me c est l organisation pertinente des plans plusieurs plans reli s dans le temps ou l espace par leur contenu s mantique On peut la consid r comme le premier niveau s mantique S quence Si la longueur de la vid o ou la
62. ataset est form e de 5466 images divis es en 5 groupes Le syst me permet deux types de requ tes QBE Query by Example et QBD Query by draw Pour QBE on a utilis trois descripteurs visant la couleur DCD Dominant Color Descriptor CLD Color Layout Descriptor CSD Color Structure Descriptor et pour QBD seulement un CLD Color Layout Descriptor a fallu normaliser la valeur de similarit de chaque descripteur de 0 a 1 selon l quation normalized D Zu DA D ain where the distance value of image i and image jis D the minimum distance value in database is D and the maximum distance value in database is D Source Jae Ho Lee et al Video image retrieval system based on MPEG 7 VIRS 14 Si on consid re simultan ment plusieurs descripteurs pour l analyse de la similarit on a utilized descriptor integrated D w enomalized D k where the weight of kth deseriptor is w utilized descriptor and gt w l k Source Jae Ho Lee et al Video image retrieval system based on MPEG 7 VIRS 14 La conclusion des exp rimentes faites sur la BDMM en utilisant des QBE et QBD avec 1 2 ou 3 descripteurs ont montr que la pr cision du rep rage augmente avec le nombre des descripteurs utilis s Mais la recherche bas e sur un seul descripteur peut offrir des perspectives int ressantes si une analyse pr alable est faite de fa on rigoureuse Par exemple si la BDMM est de g
63. ations possibles Le tableau suivant donne les d tails concernant l approche Basili pour le projet Motivation Objet Objectif rep rage rep rage d images bas d images sur le contenu bas sur descripteurs de le bas niveau contenu analyse d images tir es de vid o pour annoter les descripteurs inter s quences Ajouter une fonction traitant les images stockage de la vid o extraction des images a partir de la vid o d tection des s quences sauvegarde des caract ristiques de l image repr sentative pour la s quence vid o en format XML MPEG 7 1 D finition Utilisateurs tudiants baccalaur at informations r centes sur le rep rage de l information multim dia exemple pratique lecteur vid o et module traitement images bas sur MPEG 7 des tudiants la ma trise point de d part pour continuer la recherche sur le rep rage multim dia bas sur le contenu d veloppement du prototype existent ajout des nouvelles fonctionnalit s etc chercheurs de l universit d Autriche collectif Dr Kosch 2 Planification tapes du projet Intrants tat de l art sur la recherche et le rep rage de l information multim dia bas sur le contenu analyse du prototype de player multim dia d velopp par l universit d Autriche analyse et conclusion Pr paration Conception grouper les Conception informations g n rale collect es Co
64. aux exigences tablies d s le d but optimisation de la gestion du temps facilit et simplicit de r alisation et de suivit concordance avec l ampleur du projet assurer la qualit requise J ai opt pour le mod le en V d riv du mod le classique en cascade waterfall C est un mod le appropri l envergure de mon projet et offre certains avantages quant aux interliaisons logiques entre les phases du cycle de d veloppement Il apporte des importantes corrections au mod le en cascade car en pratique le d veloppement d un projet logiciel n est pas lin aire mais it ratif avec boucles de r troaction Il arrive souvent qu au cours d une phase on d couvre des erreurs commises dans des phases ant rieures ou l absence des l ments indispensables au fonctionnement L image suivante donne l aper u des principales tapes suivre dans l acception du mod le en V du cycle de d veloppement d installation Conception Tests g n rale d int gration Conception Tests unitaires d taill e E Figure 22 Mod le en V du cycle de d veloppement 22 Le tableau suivant synth tise les tapes suivre les taches a accomplir et les livrables pour le processus de d veloppement du logiciel tape Analyse Conception g n rale Conception d taill e R alisation Tests Installation T ches Analyse des besoins d utilisateur D finition des fonctionnalit s du syst
65. buts pour ctestimag 00000 jpg CouleurDominante 27 25 22 1 Extraction attributs pour ctestimag 00015 jpg CouleurDominante 26 25 21 1 Extraction attributs pour citestimagi00033 jpg CouleurDominante 25 24 21 ls Extraction attributs pour ctestimag 00034 jpg CouleurDominante 24 2016 V Extraction attributs pour citestimag 00056 jpg Figure 35 D roulement module MTI Le d roulement des op rations suppose l ex cution des tapes suivantes chargement des images sous forme de liste java filtre pour l extension jpg tri selon le nom Le module MEI donne des noms aux fichiers d une fa on respectant la succession temporelle d extraction Connexion la BD enregistrement pilote Oracle connexion param tr e respectant la forme pilote drive machine port bd usager mot_de passe Cr ation de la BD utilisation des champs sp cifiques l extension Intermedia d Oracle ORDImage et ORDImageSignature Insertion des images dans la BD cr ation des objets Ordimage ayant comme flux d entr e getBinaryOutputStream le flux de sortie provenant des images FilelnputStream L acc s aux images est faite a travers les listes Java construites en analysant le contenu du r pertoire c testimag Les listes sont d j tri es selon le nom des fichiers qui ont t choisis d une fa on qui respecte le d roulement temporel de la cr ation des images Cr ation et insertion des fichiers MPEG 7 pour chaque
66. c nes et cadres et inversement chaque information contenu dans un cadre contribue d finir le profil de l information du vid o entier Le mod le adopt pour r aliser le syst me est nomm INM inference network model mod le de r seau d inf rence Il est utilis pour mod liser les documents leur contenu et les requ tes Ce r seau d inf rence utilise deux sous r seaux le DN document network et le QN query network Le DN est constitu des n uds et concepts du document analys qui sont en fait des l ments retrouvables pour les futures requ tes Chaque noyau est li aux plusieurs concepts les liaisons de causalit s tant sp cifi es par diff rents poids ou indicateurs de force de la liaison Le QN repr sente de son cot des clich s des vues des plusieurs noyaux affect s une requ te donn e et leur liaison sous forme d un arbre invers Pour r aliser le rep rage voulu il faut attach e le QN au DN correspondant formant ainsi le IN inference network Ensuite on passe une autre tape l valuation qui exige l analyse de chacun des n uds de IN pour trouver la probabilit de similarit avec la requ te Le DN a trois couches comme dans la figure suivante Figure 3 Les trois couches du sous r seau DN document network Source image A Graves M Lamas Video retrieval using an MPEG 7 based inference network 9 Couche 1 Document Node Layer c est la structure qui repr
67. ce documentaire BDMM 2 Vid o 6 9 MPEG 7 3 5 14 Annotation 1 7 101 12 13 CBIR 4 8 11 Tableau3 groupement r f rences documentaires 2 2 1 BDMM Ce qui apporte de la valeur est comme souligne Harald Kosh en 2 le fait que MPEG 7 n est pas un concurrent ou un rempla ant pour les syst mes de gestion de bases de donn es multim dia Il est pens et doit travailler en compl mentarit avec ceux ci Il faut donc comprendre tr s bien les interliaisons entre ce standard et les bases de donn es multim dia MMDB Il faut mettre en valeur qu il s agit d une compl mentarit et pas d une concurrence entre les deux notions Pour argumenter 2 base son rationnement sur les aspects suivants Les MMDBS syst mes de base de donn es multim dia organisent les structurent l information multim dia afin de faciliter le rep rage bas sur le contenu D ou l importance accrue de la mod lisation c est dire quelle information doit tre gard et quelles sont les liaisons entre les composants de la base de donn es G n ralement les mod les propos s au cours des ann es ont t bas s sur les besoins des d veloppeurs des bases de donn s et celles des usagers finaux R cemment l utilisation de la technologie orient objet enrichisse la palette des applications possibles apportant flexibilit conomie et performance encapsulation r utilisation du code h ritage etc Dan
68. chiariglione org mpeg standards mpeg 7 mpeg 7 htm contextuelle de XML balisage m tadonn es dans le domaine de la vid o et des images Si c est possible retracer des documents concernant le d veloppement des applications r alis s en utilisant un environnement Oracle Choix bases de recherche et strat gie Voici les sources consult es pour la revue bibliographique Le choix fait est les justifications sont d crites dans le tableau suivant Nom Justification ACM Digital Library http www acm orq dl Renomme ACM Association for Computer Machinery est l une des plus renomm es compagnies en technologie de l information et informatique Plus de 100 pays b n ficient de ces services en divers domaines industrie niveau acad mique gouvernement etc Couverture du domaine 1947 a pr sent Information pertinente disponible en texte int gral mise a jour de fa on r guli re IEEE Xplore http ieeexplore ieee org INSPEC http www engineeringvillage2 org IsiWEb http isiknowledge com wos Gale Renomm IEEE Institute of Electrical and Electronic Engineers est un grand organisme am ricain de normalisation en informatique et technologie de l information Couverture du domaine des transactions p riodiques magazines et conf rences publi s par l IEEE ainsi qu leurs normes courantes depuis 1988 des r f rences depuis 1950 Information
69. confirm e a la suite du contact eu avec l Universit Klagenfurt Autriche L analyse du prototype de player multim dia bas sur la norme MPEG 7 r alis dans le laboratoire diriger par Ph D Harald Kosch pr sent e dans l annexe 1 ma permis de mieux encadrer mon travail environnement et objectifs L environnement utilis et le suivant SGDBR Oracle10g base de donn es Oracle Intermedia extension Oracle pour la manipulation des donn es multim dia JDEV Oracle environnement de d veloppement Java fournit par Oracle C est v ritablement facile a utiliser et assez performant Eclipse environnement de d veloppement int gr Integrated Development Environment fournit par IBM performant rapide Java JDK 5 0 java developer kit JMF Java Media Framework JAXP Java API for XML Parsing biblioth que n cessaire pour le traitement des documents XML Elle propose des impl mentations des deux mod les le mod le SAX et le mod le DOM Poste de travail utilis Processeur Pentium 4 cadence 2 4 Ghz M moire 256 Mb RAM Quelques raisons concernant le choix de l environnement technique et l approche utilis e sont bri vement d velopp es en ce qui suit Java BD et XML Plusieurs raisons ont justifi mon choix quant l utilisation de Java langage multiplatforme Linux Unix Windows Solaris etc Les programmes Java sont portables Leur ex cution est ind
70. dans l ordre de succession naturelle dans le flux vid o Les images d pos es dans la BD seront analys es deux a deux une image et la suivante pour d celer un changement de sc ne L analyse sera bas e sur la mesure de la similarit des signatures des images Les enregistrements correspondants aux images identifiant un changement de sc ne seront marqu s champ indicateur pour faciliter la tache du module MV Pour ces images un document XML selon la norme MPEG 7 sera g n r MV permet la connexion param tr la BD et la visualisation des images d pos es la fois toutes les images de la BD et celles identifi s comme repr sentatives pour les sc nes On a aussi l acc s aux fichiers XML MPEG 7 associ s Chacun des modules identifi s prenne en charge plusieurs t ches assurant plusieurs fonctionnalit s travers certains sous modules Les sous modules charg s assurer les fonctionnalit s n cessaires MEI sont identifi s dans l image suivante qui donne la conception d taill e du module Interface graphique Choix Affichage Cadre param tres erreurs visualisation Cr ation flux vid o images Figure 24 Conception d taill e MEI module extraction images L allocation des fonctionnalit s est clairement identifi e et allou e choix param tres roulage algorithme extraction images choix et chargement fichier vid o extraction cadres partir du flux vid o cr ation i
71. de base pour l analyse du contenu syntaxe dans ce cas les cadre du flux vid o et s mantique dans ce cas le sc nes identifi es Le syst me est bas sur l id e que la recherche et la localisation de la vid o peuvent utiliser la d composition du flux vid o en cadre et sc nes selon le d sir de usager Jusqu pr sent l id e g n rale de b tir les syst mes de rep rage ont adopt s le concept QBE query by exemple qui quantifie les donn es vid o selon les propri t s d tectables couleur texture forme mouvement C est le d but d une contradiction car dans la plupart des cas l usager exprime ses dol ances sous le format des questions de haut niveau Alors soit il fait lui m me la translation de la requ te vers les attributs d crivant le contenu s mantique soit donne un exemple complet une image consid r e comme mod le de recherche Dans l application pr sent e 9 un document vid o est consid r tant caract ris par des sc nes qui a leurs tour sont form es de plusieurs cadres comme on sp cifie dans la figure suivante Figure 2 Structure d un document vid o Source image A Graves M Lamas Video retrieval using an MPEG 7 based inference network 9 Alors une description des s mantique de haute niveau peut prendre l allure d une vidence h rit e dans le sens que une information associ a une flux vid o automatiquement est associ a ses composantes s
72. de l image numero Zone affichage Creation de l image numero d roulement Creation de l image numero extraction images Creation de l image numero Creation de l image numero Creation de l image numero Zone affichage Creation de l image numero composante visuelle Creation de l image numero de la vid o Creation de l image numero Creation de l image numero Creation de l image numero Creation de l image numero Figure 32 d roulement extraction images L image suivante donne un aper u du r pertoire c festimag apr s l ex cution du module logiciel MEI fichier LecteurMedia java dans le projet coupevideo jpr DS testimag_copie1 BAE a File Edit View Favorites Tools Help Oh search gt Folders Fiz address C testimag_copiel 8 8 EI E 00000 jpg 00015 jpg 00033 jpg 00034 jpg 00056 jpg 00057 jpg 00077 jpg 00078 jpg GE L tf tt fF 00079 jpg 00080 jpg 00081 jpg 00082 jpg 00083 jpg 00084 jpg 00112 jpg 00113 jpg 00114 jpg 00115 jpg 00116 jpg 00122 jpg 00123 jpg 00144 jpg 00145 jpg 00146 jpg 00147 jpg 00148 jpg 00149 jpg 00150 jpg 00151 jpg 00152 jpg 00153 jpg 00154 jpg Figure 33 Images extraites de la vid o Other Places s 3020210001 C My Pictures d My Computer Si My Network Places Fonctionnement_MTI module traitement images Le fonctionnement suppose l existence des fichiers images jpg dans le r pertoire c testimag C est le
73. der by imnom ph00010 ph00013 ph00017 ph00019 ph00033 ph00034 ph00036 ph00037 ph00042 ph00046 ph00057 ph00059 ph00060 ph00062 ph00069 ph00071 ph00077 ph00082 18 rows selected Cas 8 0 35 0 65 0 0 0 0 10 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00010 ph00013 ph00042 ph00046 ph00057 ph00059 ph00060 ph00062 ph00069 ph00082 10 rows selected Cas 9 0 35 0 25 0 4 0 0 10 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00009 ph00010 ph00011 ph00013 ph00017 ph00019 ph00023 ph00024 ph00033 ph00034 ph00037 ph00042 ph00043 ph00044 ph00045 ph00046 ph00049 ph00050 ph00052 ph00053 ph00057 ph00059 ph00060 ph00062 ph00066 ph00069 ph00070 ph00071 ph00076 ph00077 ph00078 ph00082 32 rows selected Cas 10 0 7 0 0 0 0 0 3 10 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00007 ph00009 ph00010 ph00011 ph00013 ph00015 ph00017 ph00019 ph00026 ph00031 ph00032 ph00033 ph00034 ph00036 ph00037 ph00042 ph00043 ph00044 ph00046 ph00049 ph00050 ph00051 ph00052 ph00053 ph00054 ph00055 ph00056 ph00057 ph00059 ph00060 ph00062 ph00065 ph00066 ph00069 ph00070 ph00071 ph00074 ph00075 ph00076 ph00077 ph00078 ph00079 ph00082 43 rows selected Cas 11 0 7 0 0 0 3 0 0 10 pour couleur
74. e Interface Definition Standard Institute of Electrical amp Electronic Engineers organisme reconnu mondialement pour le d veloppement sur les standards de transmission de l information Internet Engineering Task Force responsabilit sur des aspects techniques de WEB protocole TCPIP RDF etc La plus grande ressource documentaire en format lectronique pour les domaines de la physique lectronique informatique la technologie de l information ISIWEB ISO IEC Java JAXB JAXP JMF JSApi JVM LDD MADIS MARC MCF MDC MDM MDS MIF MMDBS MMDS MPEG MySQL OO PICS PL SQL QBD QBE QN RDF RGB RMI SAX SDM SGBD SGBDR SMMD SMPTE Base documentaire tr s utile pour le rep rage des articles qui citent des articles d j trouv s The International Standardization Organization and International Electrotechnical Commission Committee Langage de programmation orient objet Sun Microsystems Java Architecture for XML Binding Java API for XML Parsing librairie propos e par SUN Micro System pour traiter les documents XML Java Media Framework paquet optionnel de Java permettant l addition du multim dia aux applications java Java Speech Api Java Virtual Machine Langage de description des donn es MPEG 7 Audio visual Documentation Indexing System Machine Readable Cataloging standard pour la repr sentation et la communication des ressources bibliographiques Meta content framework
75. e et l change de l information Cela signifie l alignement aux standards internationaux comme c est MPEG 7 En effet l apparition du standard MPEG 7 a influenc de fa on majeure le CBR Il offre une standardisation de contenu descripteurs de bas niveau et haut niveau permettant la r alisation des m canismes d interrogation interop rables Ce que soulignent ces deux auteurs Kosch 15 et Dunckley 16 est l importance des m tadonn es pour le processus de rep rage des objets multim dia Litt ralement donn es sur des donn es les m tadonn es ont t d j utilis es pour la gestion de l information dans les BD classiques Sch mas contraintes limites accept s pour les donn es etc Dans le cas du multim dia le r le des m tadonn es est primordial permettant un processus d interrogation plus efficace Les m tadon es peuvent augmenter la performance du processus et donnent un aide en temps r el pour l usager car un changement du m dia apporte automatiquement un changement des m tadonn es associ es consistance de information dans la BDMM L information visuelle joue aussi un r le primordial en multim dia Dunckley 16 fait l analyse des m thodes populaires pour le rep rage des images ou de la vid o et identifie les approches suivantes Rep rage d image o Bas e sur la couleur histogrammes invariance de la couleur o Bas e sur la texture variation de l intensit et topographie de
76. e exception utilise trois m thodes toutes els trois tant O d riv es de Exception ParsingException java PlayerEception java ValidationException java Chaque fois un message associ est envoy l cran R pertoire Loggin logger java cr ation et utilisation d un fichier pour noter les v nements gt log html R pertoire Style appel des m thodes pour retourner les attributs des composants couleur background couleur foreground dimension player dimension plugin control menu timeline e R pertoire TOOLS Calc java re oit un cha ne de caract res et reconstitue la valeur en O seconde temps coul analysant progressive caract re par caract re O mySplitPane java classe tendue de JSplitPane Le constructeur re oit un entier et deux composantes II appelle la m thode de la superclasse super entier composante1 composante2 pour d limiter l espace sur le canvas picLoad java m thode pour charger des images partir d une location sp cifi e ici c est com mpeg7 player accl gui images PictureBorder java class tendue de JPanel le constructeur re oit comme param tres la source l image les dimensions du future panel et un entier 1 2 3 ou 4 pour sp cifier l emplacement future 1 Nord 2 Sud 3 Est 4 Ouest e R pertoire PLUGINS O R pertoire contenant plusieurs plugins charg automatiquement au moment de d mar
77. elles ou spatio Structure temporelles du contenu audio visuel la couleur la texture la forme la motion caract ristiques audio etc Descriptions du contenu d un point de vue conceptuel en cours de Concepts standardisation La description MPEG 7 est bas e sur XML tant donc constitu e d objets imbriqu s La structure arborescente coute d un sch ma descripteur tabli partir d un LDD langage de d finition des descriptions manipulant deux l ments les descripteurs D et les sch mas descripteurs SD L image suivante donne une repr sentation de l hi rarchie MPEG 7 Figure 22 Hi rarchie MPEG 7 Les notions v hicul es par MPEG 7 sont Les descripteurs D des pr sentations de caract ristiques des l ments d finissent la syntaxe et les s mantiques de chaque repr sentation Les sch mas descripteurs SD _sp cifient la structure et les s mantiques des relations entre les composantes soit des descripteurs soit des autres SD Le langage de d finition des descriptions LDD fournit les outils n cessaires pour l administration et la manipulation des D et SD Pour le pr sent projet on s int resse aux descripteurs visuels offerts par MPEG 7 sp cialement aux descripteurs traitant la couleur Les descripteurs de couleur MPEG 7 sont les suivants 2 4 1 descripteur espace de couleur ColorSpaceDescriptor outil permettant de pr ciser l espace de couleur dan
78. els prennent la forme des mots cl s recherch s par le moteur parmi les mots pertinents associ s aux images Plusieurs techniques ont t d velopp s tiquette image titre image hyperlien image mot cl s dans le texte associ Mais c est une m thode qui laisse porte ouverte a une grande marge d erreur car la plupart les annotations sont faites manuellement donc de fa on subjective Il s impose donc de trouver des outils pour l annotation automatique des images Mais m me avec ces outils l usager est souvent int ress dans des propri t s difficilement d crire en mots C est le cas de CBIR et cette fois les attributs vont faire r f rence directement aux propri t s de bas niveau couleur orientation texture forme contour C est un v ritable d fi et selon le but vis il faut reconsid rer les attributs utilis s comme l ments cl s Pour l analyse des empreintes la texture ne donne pas les meilleurs r sultats la reconnaissance du visage exige plus que l attribut forme etc Souvent cest la combinaison des plusieurs attributs celle qui nous approche de la r ussite titre d exemple voila quelques syst mes de recherche images et les attributs utilis s 5 System Keywords ourier descriptors Elementary description Angles between edges and cross ratios of them Wavelet Fourier transform dge orientation histogram Image Rover HET Atlas WISE das Ges
79. ep rage de l information multim dia 22 221 BID Me eege EE kee EE EE 23 ZZ 2iNIACO EE 27 Ell 32 2 2 4 Annotation BEE 41 2 2 5 CBIR ee ee aaaeeeaa EEE E EE EE SEENEN 51 2 3 Analyse du prototype propos par l universit d Autriche nnnoeoanoaneannenenene 58 2 3 1 r f rences provenant d tudiant de M Harald CC sereine 58 2 3 2 Commentaires sur l analyse actuellement en Annexe 1 58 ZA eu ET 58 3 CHAPITRE 2 Ex cution sicsiccsciesecicsccscvesctseucsccvenseostsceedccevdssiccusseveesteessconsesdveestveens ie 60 Sal ge Uer Le E 60 SIZ PreParatlOn EE 60 3 3 CONCEPIION 25 RS ARR A te DEER eae Mere En 70 3 4 Programmation BEE 74 3 5 Chargement des donn es et essais cccccceccceeeceeeeeeeeeeeeeeeaeeececeeeeeeeeeeeeeeeeess 77 3 6 SOMMAIF ER 87 4 CHAPITRE 3 Interpr tation een 88 e Slide ele EE 88 4 2 Contexte d interpr tation ss 88 4 3 R sultats obtenus nie deefe et g dd net a e rl hae eee ere 89 4 4 Limites identifi s am liorations possibles 96 4 4 Travaux fut rS EENS EES der de ane tendent aei naa EE e 98 e Regel ET 99 5 CONGLUSION EE 100 ul TE 102 ANNEXE 1 Analyse application Autriche approche technique 103 ANNEXE 2 Module MEI diagrammes UML 115 ANNEXE 3 Module MTI diagrammes UML 119 ANNEXE 4 Module MV diagrammes UML 124 ANNEXE 5 Exigences envir
80. es multim dia accept es soit en ce qui concerne la capacit s mantique de mod lisation Malgr l impact apport par le standard MPEG 7 il n existe jusqu pr sent un SGBDMM capable d int grer toutes les avantages concernant l indexation et les requ tes possibles 7 XML SQL Utility http xml darmstadt gmd de xql http www dbxmLorg 2 2 2 Vid o La disponibilit accrue de la vid o digital cr e un fort besoin de pouvoir analyser de fa on automatique le contenu MM trouver acc der filtrer et administrer les donn es vid o Le MPEG 7 s occupe du contenu des vid os en appuyant sur les dimensions spatiales et temporelles Le cadre du mod le exp rimental de MPEG 7 XM est aussi la base de l application d velopp en el Cette fois ci on exploit le fait que MPEG 7 standardise quelques descripteurs de mouvement facilitant l acc s la dimension temporelle L application d crite en 6 propose donc un descripteur visuel qui analyse la trajectoire vid o li aux mouvements dans une s quence vid o On tudie les positions occup es successivement par les objets pr sents dans la vid o consid rant chacun d entre eux comme tant une r gion spatio temporelle Une m thode d extraction des trajectoires et de g n ration des documents XML associ es conformes aux sp cifications MPEG 7 est pr sent e On a utilis le XM eXperimentation model de MPEG 7 qui permet d utiliser comme entr e une
81. et localisation de l information sont g n ralement bas s sur l analyse et l interpr tation du texte Cependant de plus en plus c est le contenu visuel ou sonore celui qui caract rise l information Les efforts des chercheurs se sont concr tis s et dans plusieurs domaines des succes ont t pr sent s 8 Syst mes de rep rage bas s sur le contenu pour d pister des images sous l incidence de la loi de la propri t intellectuelle D pistage automatiquement des images ayant un contenu inad quat Rep rage des images bas es sur le contenu appliqu dans des domaines comme la loi et la pr vention du crime reconnaissance des empreintes ou du visage analyse similarit ADN impression des marques dans le sol etc Syst mes d aide touristique r seaux de transport terrestre sur l eau ou a rien ducation et entra nement recherche selon des sujet particuliers tr s utilis dans le monde p dagogique Mode architecture design m dicine recherche historique art M t orologie astrologie sciences en g n ral syst mes experts syst mes base de connaissances Pour aider la recherche bas e sur le contenu multim dia des normes ont t introduites afin de d crire le contenu plus pr cis ment Au cours des derni res ann es plusieurs normes ont t adopt es par exemple 8 RDF ressource description framework propos e par World Wide Web Consortium W3C les sch mas RDF utilisen
82. ettra d Associer a chaque exigence un module ou sous module logiciel Cela apporte flexibilit identification bien cibl e des probl mes augmentation de la qualit identification rapide et facile des bugs Un autre avantage offert consiste dans la possibilit de faire une agr gation des modules r alis s selon les besoins courants Trajet par tapes r p tition certains phases etc Chacune des exigences identifi s durant l tape d analyse sera prise en charge par un des modules r alis Un aper u de la conception g n rale met en vidence l existence de trois modules principaux MEI module extraction images MTI module traitement images MV module visualisation La figure suivante donne une vue de principe sur le couvrement propos par chacun des trois modules Annotation d image Ki M tadonn es Analyse Dela Vid o Figure 23 Conception g n rale syst me Groupement fonctionnalit s Plus pr cis ment les activit s d velopp es sont les suivantes MEI charge la vid o et fait l extraction des cadres images du flux vid o sous le format JPG Les images seront d pos s dans un r pertoire sur le disque dur afin d tre utilis s par le module MTI MTI r alise la connexion la BD rep che les images d pos es par MEI dans le r pertoire et les d poses dans une table cr e auparavant Les images seront d pos es dans l ordre de leur cr ation
83. eu consid r es comme des informations conceptuelles et automatique extraction automatique des attributs concernant la vid o dans ce cas la trajectoire des objets en mouvement Un sch ma du syst me est la suivante Background Kowede mn ees 4 Content 5 H A pA Extraction Analysis Player Content Information Intormanon Infomation d Annotator Metadata Modeling based on MPEG Description Schemes eee Query Interface Figure 11 Syst me de recherche multim dia annotation mixte Source image W W Hsieh et al Constructing a bowling information system with video content analysis 10 Un des plus importants v nements est consid r le moment de la frappe de la cible C est la raison pour laquelle le syst me sauve des vid os et des cadres associ s aux v nements pour utilisation ult rieure Une interface graphique permet l usager professionnel ou d butant en bowling d introduire les l ments permettant de personnaliser sa requ te et d observer le r sultat de la recherche tant donn l int r t des usagers pour certaines v nements et cadres le syst me permet une m thode d analyse des propri t s audio et visuelles pour l extraction automatique de l information Plus pr cis ment ce type d information compl te celle disponible partir des donn es existantes sur les joueurs et les lieux Toutes les donn es sont sauvegard es dans des fichier
84. eur des panels common tools Pictureborder java Filtre des fichiers accept s seulement des fichiers avec une certaine extension jpg gif ExampleFileFilterjava MainPanel java utilise SCHEMA comme param tre pour acc der un fichier externe des description sch mas MPEG 2001 xsd Marker java construction de la ligne de temps position en bas et droit sur l cran Menubar java construction menu en haut gauche data open close view showMenu showPlug reloadP Menupanel java construction du panel l aide des images de sous repertoire Images PlayerPanel java Construction du player Le constructeur re oit un objet de type MainPanel et applique une m thode initMe Pluginpanel java Similaire a Playerpanel java mais pour les plugins Rootpanel java c est une extension de MainPanel Son constructeur lance initMe et une autre m thode qui retourne une chaine de forme parseXML en recevant comme entr e le fichier Lal variable utilis e sch ma est initialis e en superclasse comme tant la description du PEG7 2001 xsd qui s occupe simultan ment de la description de donn es de la composante vid o celle audio et les outils MDS en utilisant ddl 2001 xsd visual 2001 xsd audio 2001 xsd et mds 2001 xsd A la suite de l analyse faite sur la cha ne VALIDATE on applique un des trois m thodes pour obtenir le parseFile validatorDOM validaorXDK ou validatorSchema
85. faire l annotation des descripteurs inter s quences A E N lt BD N Multim di ebe j Annotation d image ei De M tadonn es gut ZA a Norme MPEG 7 Analyse D de Vid o DQ Figure 1 Vue d ensemble de la recherche La figure 1 d crit sommairement l objectif de cette recherche La vid o stock dans une BDMM Oracle sera utilis e comme entr e pour l application d extraction des images Les images seront d pos es en la BDMM et un module logiciel s occupera de les analyser et d identifier les changements de sc ne Pour ces images repr sentatives pour la s quence vid o on va cr er des fichiers XML conforme au standard MPEG 7 qui seront galement d pos es dans la BDMM Harald Kosch 15 groupe en deux grandes cat gories les principales taches concernant l avenir du multim dia 1 comment acc der l information d sir e et 2 comment changer effectivement cette information N importe quel mod le de donn es pourra tre utilis localement et peu importe le m canisme de stockage local il sera possible de retracer et transf rer en un minimum de temps l information multim dia La cl du processus de rep rage tr s bien identifi par Kosch 15 et Dunckley 16 est la similarit entre deux objets le mod le et la cible Mais le probl me de la similarit est complexe avec des objets multim dia n cessitant parfois plusieurs approches simultan es Dunckley 16
86. ge2 where ind s order by imnom ph00001 ph00002 ph00003 ph00005 ph00006 ph00007 ph00008 ph00009 ph00010 ph00011 ph00012 ph00013 ph00014 ph00015 ph00017 ph00018 ph00019 ph00023 ph00024 ph00025 ph00026 ph00027 ph00029 ph00031 ph00032 ph00033 ph00036 ph00037 ph00039 ph00040 ph00042 ph00043 ph00047 ph00048 ph00049 ph00050 ph00051 ph00052 ph00053 ph00054 ph00055 ph00056 ph00057 ph00059 ph00060 ph00061 ph00062 ph00063 ph00064 ph00065 ph00066 ph00067 ph00069 ph00070 ph00071 ph00074 ph00075 ph00076 ph00077 ph00079 ph00080 ph00081 ph00082 63 rows selected Cas 5 0 5 0 5 0 0 0 0 10 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00009 ph00010 ph00013 ph00017 ph00019 ph00033 ph00034 ph00036 ph00037 ph00042 ph00043 ph00046 ph00057 ph00059 ph00060 ph00062 ph00069 ph00071 ph00077 ph00078 ph00082 21 rows selected Cas 6 0 7 0 3 0 0 0 0 10 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s order by imnom ph00009 ph00010 ph00013 ph00017 ph00019 ph00031 ph00032 ph00033 ph00034 ph00036 ph00037 ph00042 ph00043 ph00046 ph00049 ph00053 ph00057 ph00059 ph00060 ph00062 ph00066 ph00069 ph00071 ph00077 ph00078 ph00082 26 rows selected Cas 7 0 4 0 6 0 0 0 0 10 pour couleur texture forme localisation SQL gt select imnom from image2 where ind s or
87. gt bas niveau lt MultmediaContent gt lt Description gt lt Mpeg gt Ent te fichier Informations haut niveau 4 My Computer Figure 36 Exemple fichier MPEG 7 DominantColor Ent te Une fois les images transf r s dans la BD on proc de la recherche des images identifiant les changements de sc ne Pour y arriver on analyse la similarit des signatures des images successives Si deux images successives sont consid r s diff rentes selon certains crit res concernant les attributs de bas niveaux ont consid re qu on a un d but de sc ne et on donne la valeur s a un champ indicateur ind de l enregistrement de la BD La cl de l analyse est l utilisation de la m thode IsSimilar de la classe ORDImageSignature qui retourne un entier 1 pour images similaires O pour le contraire La syntaxe g n rale est la suivante o IsSimilar sign1 sign2 cha ne attributs seuil similarit Sign1 2 les deux signatures comparer Cha ne attributs est une cha ne alphanum rique sp cifiant la combinaison d sir e pour les attributs de bas niveaux A titre d exemple on peut avoir color 0 3 texture 0 5 shape 0 1 location 0 1 Seuil similarit similarity_threshold valeur maximale 100 a partir de laquelle on consid re que les deux signatures ne sont plus identiques Le r sultat des comparaisons est affich l cran pour chaque paire des images analys e Au final on affiche le n
88. gy Multimedia content description interface Part 6 Reference software http www ncits org ref docs FDIS 15938 6 PDF L vesque Ghislain Analyse de syst me orient e objet et g nie logiciel Concept m thodes et applications Cheneli re McGraw Hill 1998 ISBN 2 89461 161 7 B lonescu D Coquin P Lambert V Buzuloiu Analyse et caract risation de s quences de films d animation pr sentation ORASIS2005 9 me Congr s Jeunes chercheurs en Vision par Ordinateurs Mai 2005 http orasis2005 univ bpclermont fr user www orasis papiers 042 pdf Philippe Mulhem J r me Gensel Herv Martin Mod les pour r sum s adaptatifs de vid os Bases de donn es et multim dia Ing nierie des syst mes d information RSTI s rie ISI NIS Vol 7 N 5 6 2002 pages 91 118 ISBN 2 7462 0684 6 L Chen Y Chahir Indexation de la vid o num rique Gestion des donn es multim dias pages 306 334 Hermes Paris 2004 ISBN 2 7462 0824 5 Alain April Cours de Bases de donn es multim dia GTI440 D partement de g nie logiciel et des TI ETS Universit de Qu bec session t 2005 Cl ment Arsenault Cours de Recherche d information avanc e BLT6322 cole de biblioth conomie et des sciences de l information Universit de Montr al session hiver 2005
89. idates pour le systeme de reconnaissances des visages tant annot es comme cadre cl s pour le rep rage Architecture syst me distribu bas sur l architecture client serveur Query Metadata VideoClip Download or Streaming Fig 2 The iFinder system architecture Figure 10 Architecture de IFinder Source image J Loffler K Biatov et al JFINDER an MPEG 7 based retrieval system for distributed multimedia content 7 Les composantes principales sont application serveur application client la base de donn es XML stockage des m tadonn es module d extraction des m tadonn es L application client permet les fonctionnalit s suivantes connexion au serveur choix et saisie des param tres pour la requ te interface graphique pour observer et naviguer parmi les r sultats renvoy s par le serveur De m me l interface permet de rouler le film voulu La recherche dans la BDXML est fait partir des donn es choisis ou saisis par l usager et envoy s vers le serveur Celui ci utilise ces donn es pour b tir une cha ne de caract res pour la requ te XPATH query string Le SGBD retourne au serveur le r sultat de la requ te sous forme de document XML chacune des m tadonn es consid r es comme pertinente pour la recherche tant des l ments dans ce document XML Une tri selon la pertinence suit et le r sultat et envoy vers l application client travers l interface graphiq
90. ilotes con DriverManager getConnection tablir une connexion a la BD sous la forme url usager mot de passe url jdbc sous protocole bd stmt con createStatement un objet Statement qui a les m thodes n cessaires pour les requ tes statement requ tes simples preparestatement requ tes param tr es callablestatement proc dures stock es On a alors executeQuery pour les requ tes qui retournent un Resultset executeUpdate pour celles qui retournent un int nombre des touples trait s execute proc dures stock es pstmt con prepareStatement cr ation d un objet de type PreparedStatement qui permet l envoie des requ tes param tr es vers la base de donn es pstmt setString 1 nomlmage i permet de faire passer la valeur exprim e par le deuxi me param tre vers le premier ici le param tre sp cifi par 1 aura la valeur de nomimageli getcustomdatum permet l acc s l objet image c est un objet de type proxy conform ment au exemple donn sur le site d Oracle http www oracle com technology products intermedia htdocs intermedia quickst art intermedia java qs html ordimage setproperties permet la d tection automatique des propri t s de l image dimensions format etc OrdimageSignature c est une classe utilis e pour repr senter une instance d un champ Oracle de type ORDSYS ORDImageSignature dans une application Java Cette classe incl
91. image d pos e dans la BD Pour arriver obtenir les informations n cessaires on a utilis une classe Java capable de capter l information contenue dans l image la classe PixelGrabber qui fait partie du paquetage java awt image L essentiel apport de l utilisation de cette classe est qu elle permet de faire la correspondance entre une image et un tableau de pixels Ce tableau est un tableau d entiers contenant les valeurs RGB des pixels de l image donn e Cette classe offre la m thode grabPixels qui permet effectivement le chargement des pixels de l image vers le tableau d entiers Une fois obtenu le tableau des pixels on peut extraire la couleur associ e chaque pixel si on conna t le mod le de couleur associ image analys e celui qui d termine fa on dont les composantes de couleur sont stock es C est une autre m thode de la classe PixelGrabber getColorModel celle qui donne un objet de la classe ColorModel associ en Java pour un mod le de couleur Ayant ces informations on peut obtenir les couleurs de chaque pixel on applique des m thodes getRed getBlue getGreen de la classe ColorModel et on peut approximer une couleur dominante pour l image en normalisant les valeurs trouv s valeurs moyennes calcul s en tenant compte de la totalit des pixels de l image On obtient ainsi la valeur de la couleur dominante DominantColor de l image analys e dans l acception MPEG 7 L image suivante
92. img_sig1 img_sig2 color 0 1 texture 0 0 shape 0 9 location 0 0 10 img_sig1 img_sig2 color 0 1 texture 0 0 shape 0 0 location 0 9 10 img_sig1 img_sig2 color 0 5 texture 0 5 shape 0 0 location 0 0 10 img_sig1 img_sig2 color 0 7 texture 0 3 shape 0 0 location 0 0 10 img_sig1 img_sig2 color 0 4 texture 0 6 shape 0 0 location 0 0 10 img_sig1 img_sig2 color 0 35 texture 0 65 shape 0 0 location 0 0 10 img_sig1 img_sig2 color 0 35 texture 0 25 shape 0 4 location 0 0 10 img_sig1 img_sig2 color 0 7 texture 0 0 shape 0 0 location 0 3 10 img_sig1 img_sig2 color 0 7 texture 0 0 shape 0 3 location 0 0 10 img_sig1 img_sig2 color 0 7 texture 0 0 shape 0 3 location 0 0 15 img_sig1 img_sig2 color 0 7 texture 0 0 shape 0 3 location 0 0 20 img_sig1 img_sig2 color 0 7 texture 0 0 shape 0 0 location 0 3 15 img_sig1 img_sig2 color 0 7 texture 0 0 shape 0 0 location 0 3 20 img_sig1 img_sig2 color 0 7 texture 0 3 shape 0 0 location 0 0 15 img_sig1 img_sig2 color 0 7 texture 0 3 shape 0 0 location 0 0 20 img_sig1 img_sig2 color 0 7 texture 0 3 shape 0 0 location 0 0 19 img_sig1 img_sig2 color 0 5 texture 0 5 shape 0 0 location 0 0 15 img_sig1 img_sig2 color 0 5 texture 0 4 shape 0 1 location 0 0 15 La liste compl te des r sultat
93. ion et warning SaxParseException Parenth se SAX ou Simple API for XML est une fa on traditionnelle d analyse XML Elle est bas e sur les v nements rencontr s durant l analyse du fichier Celui ci est lu s quentiellement et des fonctions de rappel callback fonctions sont g n r es au d but et la fin des v nements rencontr s C est la responsabilit du programmeur d crire ces callback fonctions en respectant les sp cifications de l interface a org xml sax ContentHandler Mais si l application ne s int resse qu quelques v nements rapport s par l analyseur XML la flexibilit est assur e par l utilisation de la classe org xml sax helpers DefaultHandler qui fournit des impl mentations vides pour touts les v nements C est un avantage car l usager peut utiliser l extension clause extend en programme de DefaultHandler et r crire seulement les fonctions de rappel qui int ressent Ceci est en fait le cas de notre application qui utilise DefaultHandler Class ValidatorDOM java re oit comme param tre une sch ma XML et le document l tude Les possibles erreurs sont sauv es et affich es l cran Parenth se DOM ou Document Object Model c est une technique qui d crit le document XML comme une structure arborescente ayant chaque l ment XML comme un node Un analyseur XML bas DOM lit le document entier et forme en m moire l arbre correspondant L
94. ire Le projet est divis en quatre tapes 2 tape 1 D finition du projet La motivation principale de ce travail de recherche est d identifier les possibilit s offertes par ORACLE 10g en ce qui concerne le rep rage des informations multim dia bas es sur les descripteurs de bas niveau Plus pr cis ment on vise de faire l analyse des images tir es du flux vid o pour annoter les descripteurs inter s quences L identification des changements de sc nes sera faite la suite des analyses de la similarit des images successives L objet de l tude est principalement le rep rage des images bas e sur le contenu et l objectif est la cr ation d un module logiciel traitant les images module qui s occupera la fois du stockage de la vid o et des images dans la BDMM et de la d tection des s quences L objectif Cr er un module logiciel capable de traiter des images tir es de vid o stockage de la vid o en Oracle extraction des images a partir de la vid o d tection des s quences sauvegarde des caract ristiques de l image repr sentative pour la s quence vid o en format XML MPEG 7 Les utilisateurs la fois les tudiants de l ETS et ceux de l universit d Autriche Le pr sent projet offre des informations r centes sur les pr occupations et les r alisations dans le domaine de multim dia Le prototype d velopp peut tre le point de d part pour des futures recherches 2 tape 2
95. kyo Univ Japan MPEG 7 based dozen dimensional digital content architecture for semantic image retrieval services This paper appears in e Technology e Commerce and e Service 2004 EEE 04 2004 IEEE International Conference 28 31 March 2004 On page s 517 524 Inspec Accession Number 8107375 http tinyurl com 3jzmo Jae Ho Lee Hyoung Joon Kim Whoi Yul Kim Image Eng Lab Hanyang Univ Seoul Korea Video image retrieval system based on MPEG 7 VIRS his paper appears in Information Technology Research and Education 2003 Proceedings ITRE2003 International Conference 11 13 Aug 2003 On page s 79 83 Inspec Accession Number 8030313 http tinyurl com 6fdyj Kosch Harald Distributed multimedia database technologies supported by MPEG 7 and MPEG 21 2004 CRC press LLC USA ISBN 0 8493 1854 8 Dunckley Lynne Multimedia Databases An object relational approach Pearson Education Ltd 2003 Great Britain ISBN 0 201 78899 3 page Web sur le site de Sun http java sun com xml Gardarin Georges XML 2002 Dunod Paris 2002 ISBN 2100069330 19 20 21 22 23 24 25 26 27 Oracle interMedia http www oracle com technology products intermedia index html Oracle interMedia Image Quick Start http www oracle com technology products intermedia htdocs intermedia_quickst art intermedia java_gs html INTERNATIONAL STANDARD ISO IEC FDIS 15938 6 Information technolo
96. l information l utilisation de WEB a incit le d veloppement des plusieurs syst mes de rep rage bas sur le contenu de l information Les plus importantes sont illustr s dans le tableau suivant 8 Main System characteristic Descriptors Query style References TmageRover Experimented on Pictorial textual Sclaroff 1995 100 000 images HTML text By example Sclaroff et al images 1997 Taycher et al 1997 La Cascia et al 1998 Diogenes Specific for Human faces Textual Aslandogan and Yu celebrities faces HTML text celebrity s 2000a 2000b name Atlas WISE Combines positive Pictorial Textual Kherfi et al 2003a and negative HTML text By example 2003b examples images WebSeer Distinguishes Pictorial Textual Athitsos and Swain photographs HTML text enriched with 1997 Frankel from graphics image et al 1996 attributes Swain et al 1997 WebSeek Retrieves images Pictorial and Textual Smith and Chang and videos image By example 1996a 1997 attributes images Page URL ImageScape Retrieves images Image Textual Lew 2000 Lew from intranets content By icons and et al 1997 and the WWW Image tag sketches text PicToSeek Distinguishes Pictorial By example Gevers et al 2000 photographs images Gevers and from graphics Smeulders 1997 1999 WebMars Retrieves whole Pictorial Te
97. la requ te en utilisant soit des attributs soit du texte soit une combinaison des deux En utilisant la variante bas e seulement sur l ASR on a en r alit un syst me de rep rage bas sur l analyse du texte Il s agit de chercher parmi les documents textes associ s aux cadres des vid os dans la BDMM Quant au deuxi me cas celui qui combine lASR et les attributs le syst me permet une recherche bas e sur le contenu en analysant les signatures des diverses vid os de la BDMM Chaque vid o a sa propre signature donn par la moyenne pond r e des poids des attributs existants dans les cadres le composant L identification de la vid o s approchant le plus de la demande est faite en utilisant la technique de fr quence invers e idf invers document frequency permettant de mettre en valeur la pertinence des documents analys s A la base on consid re la relation qui donne le poids d un attribut dans un document ER S FW 1 0 log vf FI Ou le poids de l attribut f dans la vid o v N le nombre total des vid os dans la BDMM vf Jf la fr quence de l attribut f dans la vid o Ainsi une liste des vid os est offerte l usager comme r ponse la requ te pos e La position de chaque vid o dans cette liste est d termin e par la somme des influences normalis es des attributs sp cifi es au moment de description de la requ te Le deuxi me pas est produit quant l usager s lecti
98. la suivante 11 Query Composition Query Result Visualation interface I H i Web based User Interface HTML amp SVG e Query Request for specific to be displayed XSL to a Web e Application oO HI E A Internal XML Query Data Generation 2 MPEG 7 description of the requested video Query elated information XML Scoring for each feature for each shot or Reference to matched shots Ranked Search Test Resuk Collection Metadata DCU donated features MPEG 7 XML Video Descriptions g Ranking Function 25 for Videos D gt La 5 es Ranking Function 28 for Shots Figure 1 Architecture of Fischlar TREC2002 Figure 20 Exemple syst me dual de rep rage MM Source image G Gaughan et al Design implementation and testing of an interactive video retrieval system 11 L usager saisie et envoie une requ te vers le syst me travers l interface graphique Cette requ te sera trait e par l application Web qui va envoyer une demande au moteur de recherche Celui ci traite la demande et retourne le r sultat obtenu sous forme tri selon la compatibilit avec la demande vers un g n rateur XML bas sur la structure de standard MPEG 7 Les descriptions XML sont g n r es automatiquement et utilis s par XSL extensible Stylesheet Language pour fournir le code HTML et le SVG Scalable Vector Graphics n cessaires pour afficher l information l interface usager L usager compose
99. liste de points cl s de v rification des objets segment s et de fournir la sortie sous forme de document XML En grandes lignes l application est bas e sur Les objets peuvent tre observ s travers plusieurs images en analysant la mise jour de leur contour dans des cadres successifs Plusieurs algorithmes ont t invent s bas sur l analyse de la r gion occup par l objet ou son contour La m thode exige les tapes suivantes o D velopper une estimation globale de mouvement algorithme qui fait la compensation et encha ne le cadres vid os l un l autre o D tecter les particules vid o en mouvement o Analyser les volutions des trajectoires o Analyser et faire des transformations sur les donn es obtenues raffiner les trajectoires o Sortie des documents XML conformes MPEG 7 Plus pr cis ment on a L estimation du mouvement La technique est bas e sur quelques param tres dont la surface l inclinaison et l chelle Le d roulement cadre par cadre peut tre approxim par les vecteurs de mouvement MV dans le flux MPEG On appliquant des formules math matiques qui font la liaison entre les frames P B on peut calculer le mouvement d un macro block MB dont on conna t le centre La diff rence entre le d placement r el et celui estim nous donne le vecteur de mouvement r siduel Une moyenne des ces vecteurs est calcul e et la valeur est compar e avec un seuil fix en pr
100. ls MPEG 7 destin e pour assurer l interop rabilit ente plusieurs plateformes a t r alis e Il s agit de XM eXperimentation Model qui fournit un cadre commun permettant de traiter les composants standard et non standard des propri t s sp cifiques aux op rations de codification extraction et recherche Pour chaque D ou DS on a deux applications li es une pour le serveur extraction et l autre pour le client recherche filtrage codage L architecture du syst me Database Server Web Client Image MPEG 7 XML database Encoder Reference image Encoded Encoded image reference database image XML file database Sr Engine Ka User inte rface XMIL file navigator Figure 8 Architecture de ERIC7 Computer Reserch Institut Montreal Source image L Gagnon S Foucher V Couaillier ERIC7 an experimental tool for Content Based Image encoding and Retrieval under the MPEG 7 standard 5 On peut identifier facilement trois parties e La BD ou les mages et les descriptions MPEG 7 XML sont stock es e Le serveur la partie principale concernant le codage et la recherche Les fichiers MPEG 7 XML sont g n r s selon les sp cifications du l utilisateur et en utilisant une version jour de XM et des biblioth ques sp cialis es pour le codage de bas niveau Dans cette version 15 propri t s peuvent tre param tr s couleur texture contour localisation spatiale etc Le moteur calcule
101. mages traitement information et gestion des entr es sorties et erreurs Une approche UML du fonctionnement du module MEI est pr sent dans l annexe 2 On y trouve diagramme des cas d utilisation o niveau mod le o niveau instances diagramme s quences sc nario diagramme des classes Java o classes attributs m thodes Le deuxi me module celui de traitement images est son tour con u de fa on modulaire allouant de mani re arborescente ses fonctionnalit s La figure suivante identifie la conception d taill e du MTI Chargement Connexion Cr ation Insertions Analyse Images BD table donn es dans la similarit BD images Affichage messages et erreurs Cr ation fichiers MPEG 7 Traitement Figure 25 Conception d taill e MTI module traitement images Les fonctionnalit s du module MTI sont r alis es travers ses composants Cr ation des listes partir des images Connexion la base de donn es Cr ation de la BD Insertion des donn es dans la BD Cr ation des fichiers MPEG 7 pour les images D tection des changements de sc ne traitement information et gestion des entr es sorties et erreurs Une approche UML du fonctionnement du module MTI est pr sent dans l annexe 3 On y trouve diagramme des cas d utilisation o niveau mod le o niveau instances diagramme s quences sc nario diagramme des classes Java o classes attributs m thodes Le de
102. mble final Un diagramme qui d crit de fa on g n rale la s quence de travail pour la r alisation des modules logiciels est montr dans la figure suivante D but r alisation module MEI MTI M Modifcationsfajouts Wodifcations ajouts traitement fonctinnalit 1 traitement fonctionnalit x Interface graphique Tests unitaires Tests unitaires Int gration composantes et sous composantes Tests de composante Rectificationfmise jour Figure 27 S quence de travail pour la r alisation des modules logiciels L annexe 5 contienne plusieurs documents reli s l activit d pos e pendant l tape de programmation o Exigences de l environnement logiciel pour chacun des modules r alis s Dans l annexe 6 on trouve les diagrammes d activit s reli es l tape de programmation plus pr cis ment o S quence de travail pour la r alisation du module MEI o S quence de travail pour la r alisation du module MTI o S quence de travail pour la r alisation du module MV L annexe 7 donne un aper u des vues pour les sc narios des cas d utilisation identifi s et offre des informations sur les principales interfaces classes et m thodes utilis es pour r aliser de code 3 5 Chargement des donn es et essais Fonctionnement MEI module extraction images Tout d abord travers l interface graphique l usager doit param trer sa d marche en choisissant des valeur
103. me Etablir des variantes de solutions Description et d tailles sur la solution retenue pr parer la phase int gration Identification des composants logiciels l mentaires pr parer la phase des tests unitaires cr ation des modules logiciels l aide du langage de programmation tests unitaires valuation des composantes tests d int gration valuation des composantes assembl s Installation ensemble modules test d exploitation et d usage Tableau5d plan de travail c dule Livrables Sp cifications du logiciel cahier des charges du logiciel Document de conception g n rale sch ma d architecture organisation en entit s interfaces interactions plan de test d int gration Diagrammes des cas d utilisation Sc narios possibles Document de conception d taill e description d taill e des composants l mentaires plan de tests unitaires Diagrammes des cas d utilisation Diagrammes des s quences modules logiciels description environnement de production vues et interfaces graphiques pour les principaux sc narios document tests unitaires et d int gration document test d exploitation document configuration de l application manuel d utilisateur 3 3 Conception La conception g n rale du syst me a t pens e de fa on modulaire en respectant les exigences exprim es au d but L approche modulaire perm
104. module MEI qui se charge d assurer cette condition Tout d abord l utilisateur doit s identifier pour pouvoir se connecter la base de donn es Oracle La cha ne des caract res composant l identification de l usager est r alis e partir des donn es saisies en utilisant des champs pr vus dans interface graphique Celle ci est pr vue avec une zone d affichage pour les erreurs de connexion la base de donn es et une autre pour visualiser le d roulement des v nements Chargement cr ation table insertion des donn es d tection images d but sc nes Cr ation BBMM Usager __ Mot de passe Zone saisie donn es Zone erreurs de connexions si c est le cas identification Connexion den gato utilisateur Zone affichage tat connexion la base de donn es Zone affichage d roulement module application Figure 34 cran d marrage MTI Si la connexion choue un message d erreur est affich dans la zone d di e sinon le message Connexion r ussie s affiche le bouton Connexion passe en tat inactif et la succession d v nements pourra tre observ dans la zone d affichage d roulante Cr ation BDMM Usager sys as sysdba Mot de passe Tee OK connexion reussie Connexion On a trouv 43 images dans le repertoire L ancienne table IMAGE a t fac e Une nouvelle table IMAGEZ a t cr e ie Extraction attri
105. n es Thomson Gale sont extr mement vastes contenant plus que 5550 titres actives dont 3100 avec texte int gral et le partenariat avec Ingenta apportera encore 5400 d articles texte int gral source le site de Gale www gale com La mise a jour est quotidienne Tableau choix et justification bases de recherche documentaire La strat gie de recherche utilis e se r sume comme suit l identification et analyse des concepts mots cl s synonymes quivalences en autres langues etc Recherche approfondie dans ACM Digital Library IEEE Xplore Inspec Analyse de la pertinence des documents trouv s Identification des documents vraiment pertinents Recherche des citations des documents pertinents trouv s utilisation IsiWeb Recherche dans Gale des documents inexistants dans les trois bases d ja utilis es Utilisation de Copernic utilisation de la puissance et des fonctionnalit s d un m tamoteur En suivant un processus par it ration cyclique les documents non pertinents ont t limin s 2 2 tat de l art sur le rep rage de l information multim dia La croissance accrue des sources multim dia et le besoin d assurer constamment leur disponibilit exigent de plus en plus des syst mes capables d administrer rapidement avec maximum d efficacit des grands volumes des donn es h t rog nes On a besoin des syst mes intelligents flexibles adaptables Le standard M
106. n es relationnelles Extension de SQL qui supporte la multim dia Scalable Vector Graphics Texte based image retrieval Unified Modeling Language m thodologie de mod lisation orient e objet Uniform Resource Identifier nom g n rique quant l identification des ressources sur Internet Uniform Resource Locator L adresse identifie la location d une page WEB Uniform Resource Name Video Image retrieval system World Wide Web Consortium organism international qui travaille sur les protocoles du WEB World Wide Web eXperimental Model eXtensible Markup Language Extensible Markup Language Extensible stylesheet language XML SQL Utility 1 INTRODUCTION 1 1 Contexte La croissance sans pr c dent du contenu multim dia dans les documents aliment e par le d veloppement rapide de l Internet occupe sans doute un des premi res positions parmi les plus marquants d veloppements technologiques des derni res ann es La croissance des aspects multim dia dans l information actuelle est certainement un avantage mais soul ve toutefois de nombreux d fis de nature pluri ou interdisciplinaires structure compression normalisation de la repr sentation etc stockage transfert facilit d utilisation acc s recherche et rep rage indexation etc Un des probl mes actuels que les chercheurs tentent de r soudre est celui du rep rage rapide et pr cis de l information multim dia Les syst mes actuels de recherche
107. n permet la recherche et le rep rage dans une BDMM tant a pr sent utilis e pour l indexation des dissertations tenues dans le parlement d Allemagne IFINDER se distingue parmi les autres systemes de recherche et rep rage bas sur le contenu par une adaptation tr s cibl e modules d extraction reconnaissance de la parole et du visage et par l utilisation des composants open source comme Xindice XML database Micro Corba implementation ISIP outil de reconnaissance de la parole permettant une r duction importante des codts d impl mentation En ce qui concerne les algorithmes utilis s on a 7 Analyser la partie audio bas e sur la r alisation d une correspondance entre texte st nogrammes et s quences audio L id e principale est la g n ration des FSA finite state automata pour toutes les parties audio a partir des st nogrammes et les consid r s comme mod les de langages pour la recherche de similarit avec les donn s audio existantes Analyser la vid o bas e sur l extraction des informations s mantiques a partir de la composante temporelle de la s quence vid o La segmentation est bas e sur le changement dans l histogramme de couleur pour des cadres successifs dans ces segments on applique un syst me capable d identifier le visage reconnaissance ax e sur la composante spatiale Seulement les cadres qui contiennent des vues de visage direct sont consid r s comme cand
108. nce les limites du syst me d velopp Finalement on propose quelques am liorations et on trace des lignes directrices pour le d veloppement futur 4 2 Contexte d interpr tation La gestion et la manipulation des donn s audiovisuels posent plusieurs d fis la fois techniques et d interpr tation Repr senter ou analyser une vid o exige une approche multi niveau 26 ou multidimensionnelle n cessitant de consid rer la dimension spatiale volumes surfaces lignes positionnement relatif etc la dimension temporelle ordre des images dur e synchronisation etc la dimension hi rarchique structure arborescente vid o gt clips gt sc nes gt prises de vue la dimension du contenu objets relations entre objets la dimension technique m tadonn es acquises de fa on automatique De plus comme est soulign en 4 et 24 le niveau s mantique est d importance capitale car c est celui qui donne la description de haut niveau du contenu Repr sentation des objets concepts v nements et actions impliqu s dans la vid o tant tributaire au contexte d utilisation le multim dia peut donner lieu plusieurs interpr tations 26 parfois divergentes de son contenu C est a cette lumi re que la pr sence humaine est fortement n cessaire En effet une analyse et une indexation totalement automatique est impossible car tant purement descriptive identification des discontin
109. nception Choix et Installation d taill e environnement Choisir la m thodologie appropri e pour le cycle de vie du projet logiciel R aliser le plan de ressources bibliographiques Prototype Autriche logiciel sp cifications documentation Documentation support papier ou enligne pour l environnement du travail MPEG 7 Oracle10g Java JAXP Livrables tat de l art sur le rep rage multim dia image et vid o rapport d analyse application prototype Autriche description modules application locale stockage vid o et images dans la BDMM extraction images du flux vid o analyse similarit images cr ation documents XML conformes MPEG 7 rapport final XML Eclipse etc 3 Ex cution Programmation unitaires d veloppement des modules traitant le stockage des et tests Chargement des donnes et essais V rification fonctionnalit s images en Oracle et modules l analyse de la similarit Tests d veloppement du module fonctionnement d extraction des images a syst me partir du flux vid o et identification des s quences Cr ation des documents XML conformes aux sp cifications MPEG 7 pour grouper les Conception informations g n rale collect es Conception Choix et Installation d taill e environnement Choisir la m thodologie appropri e pour le cycle de vie du projet logiciel R aliser le plan de travail mod lisa
110. nne pr cision on peut consid r e comme int ressantes les situations offertes par le cas ou les couleurs bleu fonc et violet sont au dessus des couleurs bleu pale et jaune On cherche donc de la pertinence sans trop d oublie ou trop de bruit cette lumi re les zones susceptibles comme pertinentes sont pour l abscisse 8 15 et de 17 20 Cas 8 le rappel et la pr cision de valeurs comparables la pr cision est plus lev e Cas 17 20 pour cette intervalle c est le cas 20 celui qui offre la plus lev e valeur pour le rappel Le rappel retourn par ce cas est meilleur que celui du cas 8 Consid rant le compromis rappel pr cision bruit silence on peut consid rer ce cas comme le meilleur parmi les exp rimentes Cas 15 offre un rappel tr s bon mais est moins pr cis et plus bruit que les autres deux cas identifi s On peut consid rer que l augmentation de la valeur associ e au poids de l attribut couleur m ne une augmentation du rappel et de la pr cision Cela est aussi valable pour le cas de la texture Plus pr cis ment la dualit couleur texture semble avoir le plus d impact sur la pertinence des r sultats obtenus Les r sultats obtenus exp rimental vient de confirmer les affirmations et les conclusions des r f rences de sp cialit Comme s est sp cifi en 26 la plupart des bases de donn es de type CBR utilise la notion de couleur et jusqu 90 de CBIR est fond
111. oix et il actionne les boutons du menu pour lancer le terminaison chargement du fichier L usager sort compl tement du programme Exception Aucune Extension Aucune Compl mentaires Aucun Chargement de la vid o Description L utilisateur s lectionne l option Fichier du menu pour lancer le sommaire chargement de la vid o II utilise ensuite un menu dialogue pour arriver charger le fichier d sir Acteurs primaires L utilisateur Acteurs aucun secondaires R gles d initiation L utilisateur utilise l option Fichier du menu Description du En actionnant l option Fichier l usager d clanche une proc dure de processus v rification param tres de roulage Si le r sultat est positif un menu dialogue de chargement fichier appara tra L usager fouilla les r pertoires jusqu il trouvera le fichier voulu et il va le charger en appuyant sur Ouvrir Il a la libert d annuler l op ration en appuyant sur Annuler Une fois le chargement d clanche le module logiciel passe l extraction des images tout en affichant dans une zone pr vue l cran le d roulement du processus R gles de L usager fait son choix et actionne le bouton Ouvrir terminaison Uusager actionne le bouton Annuler L usager sort compl tement du programme Exception Le fichier d entr e n existe pas Extension Aucune Compl mentaires Aucun Sc nario 2 Insertion de
112. ojet documentation environnement choix m thodologie tablissement cas d utilisation et sc narios r daction bauche plan de travail Ensuite on a pr sent les d marches faites pour choisir l Architecture g n rale et d taill e des modules fonctionnels On a continu en sp cifiant et expliquant l allocation des chacune des fonctionnalit s un module ou sous module et on a pr sent la s quence de travail et le fonctionnement des modules r alis s pendant l tape de chargement donn es et essais Une fois cette tape atteinte on est pr t d aborder l tude de l impact des changements contextuels sur le d roulement et les performances du syst me On vise modifier les conditions d entr e pour l algorithme d analyse similarit images en modifiant les poids des attributs de bas niveau et le seuil de similarit L analyse des r sultats obtenus donneront des indices sur les limites du syst me r alis et se constituera dans un bon jalon de d part pour l identification et la proposition des d veloppements possibles 4 CHAPITRE 3 Interpr tation 4 1 Introduction Ce chapitre pr sente tout d abord le contexte d interpr tation des r sultats obtenus et l approche utilis e Ensuite on passe l analyse proprement dite ax e sur l interpr tation des r sultats et la comparaison avec les attentes Les conclusions tir es permettront d expliquer les diff rences face aux attentes et de mettre en vide
113. ombre des insertions faites avec succ s dans la BD Cr ation BDMM Usager sys as sysdba Mot de passe Ma Ok connexion reussie Connexion Signatures differentes ph001 48 avec ph00149 Signatures differentes ph001 49 avec ph00150 Signatures differentes ph00150 avec ph00151 Signatures similaires ph00151 avec ph00152 Signatures similaires ph00152 avec ph00153 Signatures similaires ph00153 avec ph00154 Signatures differentes ph00154 avec ph00177 Signatures similaires ph00177 avec ph00178 Signatures differentes ph00178 avec ph00179 Signatures similaires ph001 79 avec ph00180 Signatures similaires ph00180 avec ph00181 Signatures similaires ph00181 avec ph00183 Signatures similaires ph00183 avec ph00184 Signatures similaires ph00184 avec ph00193 Signatures similaires ph00193 avec ph00194 Signatures similaires ph00194 avec ph00195 Signatures similaires ph00195 avec ph00196 43 enregistrements ont t ins r s dans Image Figure 37 Messages analyse similarit et nombre finale insertions dans la BD Fonctionnement MV module visualisation Ce module permet l affichage des images d pos es dans la base de donn es travers une interface graphique Deux listes sont disponibles pour le choix de la visualisation L une permet de choisir parmi toutes les images de la base de donn es et l autre donne acc s seulement pour les images identifi es comme d but de sc ne L affichage simultan ment de
114. on la base de donn es la cr ation des tables l insertion et le rep rage des donn es Trois modules seront r alis es le premier permettant l extraction des images a partir d un fichier vid o un deuxi me traitant le stockage des images en Oracle et l identification des changements de sc ne et le dernier s occupant de la visualisation des images et des documents MPEG 7 associ s d pos s dans la base de donn s Le d pistage des images identifiant des s quences sera faite en analysant les signatures des images successifs extraites de la vid o et d pos es dans la BD Le r sultat de la comparaison de la distance calcul e entre deux images successives et un seuil donn encadrera l image analys e dans l une des deux cat gories image similaire avec ou diff rente de la pr c dente 3 2 Pr paration L tape d ex cution suit apr s une pr paration complexe couvrant la fois la recherche documentaire la lecture individuelle et les contacts professionnels Ainsi les lectures particuliers et le articles choisis la suite de la recherche bibliographique m ont permis d identifier les principales pr occupations dans le traitement des images standardisation et normalisation MPEG 7 annotation automatique extraction automatique des attributs de bas niveau et CBIR analyse bas e sur ses attributs saisis ou extraits priori La pertinence de ces informations et de l environnement de travail choisi a t
115. onne un vid o parmi ceux existantes dans la liste Alors un algorithme de tri semblable bas sur les poids des attributs fonctionne pour discriminer les cadres appartement la vid o s lectionn e 2 3 Analyse du prototype propos par l universit d Autriche 2 3 1 r f rences provenant d tudiant de M Harald etc 2 3 2 Commentaires sur l analyse actuellement en Annexe 1 2 4 Sommaire Le pr sent chapitre propose un survol sur les actualit s concernant le rep rage multim dia bas sur le contenu La strat gie de recherche utilis e m a permis de retracer des articles la fois r centes et pertinents Plusieurs conclusions peuvent tre tir es apr s ce survol sur les actuelles pr occupations pour le rep rage de l information multim dia d veloppement croissant des outils et techniques multim dia apparition des nouvelles m thodes bas es sur l analyse des ontologies de la s mantique n cessit accrue concernant l organisation l indexation le rep rage de l information multim dia tendance de migrer vers l annotation automatique du contenu objectivit n cessit d assurer l interop rabilit standardisation normalisation volume croissant complexit interliaison et caract re h t rog ne des donn es n cessit des outils performantes puissants bases de donn es relationnelles programmation orient objets Les articles choisis sont repr sentatifs po
116. onnement Jogicel ner neereeeerrrrrrerreneene nen 130 ANNEXE 6 Diagrammes s quences de travail programmation 132 ANNEXE 7 Vues des sc narios et d tailles code Java 135 ANNEXE 8 Images tir es de la vid o 141 ANNEXE 9 R sultats interrogations BD Oracle SQL Plus 143 BIBLIOGRAPHIE siiccicvcevedstecisdevcesvecsuscessedsduvevessvesseausnevsusersesssdvsnesstestsesssevssevveossevnoeiieed 154 LISTE DES TABLEAUX Tableau cadre Basili mode 20 Tableau choix et justification bases de recherche documentaire s00n0nnnnneeenenee 22 Tableau3 groupement r f rences documentaires 23 Tableau4 exigences projet ss 64 Tableau5 plan de travail C dule sus ere ennemi dette due 69 Tableau 6 r sultats exp rimentaux ss 94 LISTE DES FIGURES Figure 1 Vue d ensemble de la recherche 2 ececccececeeeeeeeeeeseeeseneenecees 14 Figure 2 Structure d un document vid o esesseesseerieseerrrrrrseerrrrirsssesrrrrenssee 29 Figure 3 Les trois couches du sous r seau DN document network 30 Figure 4 Structure du sous r seau QN query network cccceeeeeeee eee e eee teeteee 30 Figure 5 Exemple utilisation r seau inf rence 32 Figure 6 Architecture de MDC multimedia data cartridge 32 Figure 7 Int gration contextuelle de MDC multimedia data cartridge 34 Fig
117. oute libert et choisir lesquelles des images qu il veut visualiser Cela permet de faire un suivi visuel du moment d tect comme changement de sc ne en choisissant par exemple de visualiser une image d but de sc ne et l une des images voisines C est une fonctionnalit permettant de renforcer et parfois de contester les r sultats obtenus la suite d analyse similarit Le bouton Visualiser va consid rer les valeurs choisies pour les deux listes comme param tres pour b tir ses requ tes vers la BD Les images d pos es dans la BD seront rep ch es et affich es dans deux zones tablies sur l interface graphique Simultan ment un bouton permettant d acc der au fichier MPEG 7 de limage identifiant la sc ne devient disponible Un exemple possible est montr dans l image suivante Choix des images successives ph00034 a t identifi e comme IMAGE2 images disponibles debut d unescene Usager sys as sysdba Mot de passe Connexion r alis e ph00033 e ph00034 ll Visualiser MPEG 7 Bouton affichage fichier MPEG 7 Affichage ph00033 Affichage ph00034 Figure 39 Interface graphique MV visualisation comparative images En cliquant le bouton MPEG 7 on affiche dans une zone sp cialement pr vue le fichier MPEG 7 associ l image choisie pour la liste trouv e droite sur l interface graphique celle des images qui identifient les sc nes L v nement click souris
118. pSouth new JPanel new BorderLayoutO JPanel jpSouthEast new JP ane JPanel jpSouthwWest new JP ane JPanel jpXML new JPanelO JButton jbConnect new JButton Connexion JButton jbShow new JButton Visualiser JButton jAMLShow new JButton MPES 7 JComboBox jeb new JComboBox JComboBox jeb1 new JComboBo gt f JLabel jllmage new JLabel JLabel jllmage1 new JLabelQ JLabel jlUser new JLabel Usager JLabel jiP asaword new JLabel Mot de passe JP asawordField mdp new JP asawordField 10 JTextArea jta new JTextAreat JTextArea jtaxml new JT extAreat 19 25 est le cas 2 30 JScrollPane scrollpane new JScrollPane jtaxml JTextField jtUser new JTextField 10 PreparedStatement pstmt null ResultSet rs ResultSethletaD ata smd Statement stmt null String sDriver String sP assword String sQueryD SELECT DISTINCT imNom FROM image2 String sQueryP SELECT imBlob xmimpeg7 FROM image2 WHERE imNom 7 String sQueryD1 SELECT DISTINCT imNom FROM Image WHERE Ind LIKE s String srbName Connect String sURL String sURLKey CSURL String sUserlD public readbdmm2 public void doConnect public void doRetrieveQ static public void lectureXML String nomArticle public void endAppO public void actionPerformed ActionEvent ei public void reportSQLEronSQLException SQLe String s public void windowOpened WindowEvent e public
119. peg schema 2001 Es Voici la base multimedia Description xsitype ContentEntityType gt WultmediaContent xsi type ImageType gt image name ph00034 pg ediaLocator gt MediaURi fichiercuitestimag ph00034 pg Je ediaLocator gt lt VisualDescriptor xsi type DominantColorType gt ialCoherency gt 31 lt SpatialCoherency gt isualDescriptor l fin description image gt v H gt ANNEXE 8 Images tir es de la vid o Se Copy of testimag File Edit View Favorites Tools Help ay 00004 jpg 00005 jpg 00000 jpg 00001 jpg 00002 jpg Dimensions 352 x 288 Type JPEG Image Size 9 97 KB 00012 jpg 00013 jpg 00014 jpg 00015 jpg 00016 jpg 00017 jpg 21 jpg 00022 jpg 00023 jpg 00006 jpg 00007 jpg 00008 jpg 00009 jpg 00010 jpg ei 00018 jpg 00019 jpg 00020 jpg D Copy of testimag File Edit View Favorites Tools Help ay A 00024 jpg 00025 jpg 00026 jpg 00027 jpg 00028 jpg 0029 jpg 00030 jpg Dimensions 352 x 288 Type JPEG Image Size 7 92 KB 00032 jpg 00034 jpg 00035 jpg 00036 jpg 00037 jpg 00038 jpg 00039 jpg 00040 jpg 00041 jpg 00042 jpg 00043 jpg 00044 jpg 00045 jpg 00046 jpg 00047 jpg Pe Copy of testimag File Edit view Favorites Tools Help ay a 00048 jpg 00049 jpg 00050 jpg 00051 jpg 00052 jpg 00053 jpg 00054 jpg 00055 jpg 00056 jpg 00057 jpg 00058 jpg 00059 jpg 00060 jpg 00
120. pertinente disponible en texte int gral mise jour de fa on r guli re Renomm Inspec est consid r comme une des plus compl tes bases bibliographiques du monde couvrant les domaines de la physique l lectronique la construction et l utilisation des ordinateurs la technologie de l information Couverture Inspec contient plus de 8 millions d enregistrements pris de 3400 revues techniques et scientifiques et 2000 pr sentations aux diverses conf rences scientifiques La mise jour est faite chaque semaine Information pertinence disponible texte int grale mise jour chaque semaine Base tr s utile pour le rep rage des articles qui citent des articles d j trouv s Gale est d velopp e par Thomson ce qui donne confiance quant Extensible Markup Language XML URL http www w3 org XML 3 Oracle URL http Awww oracle com index html The ACM Digital Library URL _http www acm org about_acm 5 IEEE Xplore URL http lieeexplore ieee org Xplore DynWel jsp 6 Engineering Village 2 URL http www engineeringvillage2 org http infotrac galegroup com itw la qualit de l information disponible pertinence sources qualit eb alise udm liens mise a jour etc Gale vise le monde informationnel et ducationnel en offrant l information d sir e sous multiples formats livres solutions Web microfilmes www gale com Les bases de don
121. pour le temps o Sous r pertoire datamanager class Manager java le constructeur de la classe re oit comme param tre un mapper La source est la classe mapper java de r pertoire becl mapping La classe utilise aussi des m thodes pour administrer l ajout des plugins L Ajout est faite de fa on param tr e utilisation des m thodes jump who int int et step who int int o Sous r pertoire MAPPING Class Mapper java le constructeur de la class re oit un MainPanel il fait l analyse parsing du fichier pass aussi comme param tre Des plugins sont utilis s en appelant plusieurs m thodes les concernant showRootPlugin getPlugin reloadPlugin showPlugin getActualPlugin o Sous r pertoire PARSER Class JAXBParser java tablir le point d entr e pour l API JAXB par l utilisation de newlnstance contextPath Dans ce cas contextpath est a com mpeg player becl parsr structure L utilisation de unmarshaller permet la conversion des donn es XML dans une structure arborescente d objets Java Les possibles erreurs sont d pos s dans un tableau des v nements de validation et affich s l cran Class ValidatorAll java utilise SAX d Oracle et des m thodes d clar es pour interpr ter les erreurs de validation variables http www onjava com pub a onjava 2002 06 26 xml html page 2 associ es aux error SaxParseException fatalerror SaxParseExcept
122. r Content Based Image encoding and Retrieval under the MPEG 7 standard ACM International Conference Proceeding Series Proceedings of the winter international synposium on Information and communication technologies Cancun Mexico Pages 1 6 2004 http tinyurl com 9dr6y Yi Haoran Deepu Rajan Chia Liang Tien Automatic generation of MPEG 7 compliant XML document for motion trajectory descriptor in sports video ACM International Workshop On Multimedia Databases Proceedings of the 1st ACM international workshop on Multimedia databases New Orleans LA USA SESSION Video analysis retrieval and summarizing Pages 10 17 2003 ISBN 1 58113 726 5 http doi acm org 10 1145 951676 951680 Jobst Loffler Konstantin Biatov Christian Eckes Joachim Kohler IFINDER an MPEG 7 based retrieval system for distributed multimedia content International Multimedia Conference roceedings of the tenth ACM international conference on Multimedia Juan les Pins France Pages 431 435 2002 ISBN 1 581 13 620 X http doi acm org 10 1145 641007 641102 M L Kherfi D Ziou A Bernardi Image Retrieval from the World Wide Web Issues Techniques and Systems ACM Computing Surveys CSUR 9 10 11 12 13 14 15 16 17 18 Volume 36 Issue 1 March 2004 Pages 35 67 2004 ISSN 0360 0300 http doi acm org 10 1145 1013208 1013210 Andrew Graves Mounia Lamas Video retrieval using an MP
123. r le syst me Cette transaction lente est perdue Heureusement dans ce cas on peut consid r les deux extr mes comme faisant partie de la m me s quence de point de vue s mantique Nightwish ne Figure 44 transaction lente d tection des fausses s quences si un changement local de luminosit c est produit C est le cas de image 00010 souvent consid r e comme d but de sc ne car cause de l clair apparut dans la photo 00010 jpg 00010 jpg 00011 jpg Figure 45 changement tr s localis de luminosit Une am lioration possible est celle propos e par 25 qui d coupe l image en plusieurs blocs analys s de fa on ind pendante travers plusieurs images successives Alors un changement local affectera seulement un bloc qui aura seulement un petit pourcentage d influence sur l image totale contr le humaine indispensable le syst me d pend totalement de la pr sence humaine car la validation visuelle est indispensable Pour le moment le syst me exclusivement bas sur la d tection des discontinuit s temporelles utilise des descripteurs globaux comme la couleur ou la texture et laisse cot les aspects li s la s mantique Cette carence doit tre corrig par un observateur humain subjectivit La valeur du seuil de similarit est pr sentement tablie la suite des it rations successives tout en analysant les r sultats et en appliquent la r troaction correc
124. r une ventuelle transformation pour l image donn e imagelO classe continent des m thodes permettant la lecture et l criture des images aussi des m thodes pour simple codage et d codage PQ m thode permettant de sauvegarder une image sous la forme d un fichier La ImagelO write bufflmg new File c testimag aajouter jpg commande crase l ancien fichier existant dans le r pertoire MTI vues des sc narios Scenario Cr ation BDMM Usager sys as stysdba Mot de passe Connexion Erreur de connexion verifiez l usager et le mot de passe onnexion sc nario2 Cr ation BDMM Usager sys as sysdba Mot de passe Tee S OK connexion reussie Connexion On a trouv 43 images dans le repertoire L ancienne table IMAGE a t ffac e Une nouvelle table IMAGE a t cr e 1 Extraction attributs pour ctestimag 00000 jpg CouleurDominante 27 25 22 Aes Extraction attributs pour cvtestimagi00015 jpg CouleurDominante 26 25 21 1 Extraction attributs pour ctestimag 00033 jpg CouleurDominante 25 24 21 1 Extraction attributs pour ctestimag 00034 jpg CouleurDominante 24 2016 1 Extraction attributs pour citestimag 00056 jpg MTI principales interfaces classes et m thodes utilis es DriverManager registerDriver new oracle jdbc OracleDriver enregistrement du driver JDBC m thode de la classe gestionnaire des p
125. rage du player Quand le fichier source est analys parsing en utilisant JAXB les plugins sont initialis s Les plugins sont stock s en structure arborescente chacun contenant ou faisant la liaison avec le suivant plugin Toutes ces plugins sont en fait des JPanels sont des classes tendues de PLUGIN situ en player becl qui son tours a comme super class JPanel Sch ma de fonctionnement Interface amp Implemontason Classes Valid XML File Structure arborescente R pertoire ACCL classes sous classes interfaces Java JMenuBar MouseMotionAdapter Ee CT Expleation l S Movieplayer Implaments TThread E INTERFACE R pertoires BECL COMMON PLUGINS classes sous classes interfaces Java datamanager mapping plugin Manager LC parser JAXBParser __ DefaultPlugin structure SSE des centaines des classes g n r es automatiquement par JAXB ValidatorAll ValidatorDOM DEefauitHandler ValidatorSchema Validator XDK IL COMMON MT plugins U 3 ContentEntityType exceptions Logging Gs PlayerException PRET ER TT See U ParsingException ValidationException L FreeTextAnnotation U MediaLocatorTypePlugin tools Kl L JSplitPane PictLoad CreationinformationType L MySplitPane CreatorTypePlugin PictureBoarder SS Se CenterPanel MedialncrDurationType JPanel
126. rand volume on peut utiliser d abord DCD Dominant Color Descriptor pour faire un filtrage pr liminaire Une fois le filtrage ex cut on peut travailler sur la similarit en utilisant un autre descripteur le CSD Color Structure Descriptor MPEG 7 21 sp cifie une description standard de diff rents types d informations multim dia associ e au contenu lui m me pour permettre la recherche rapide et efficace des informations qui int ressent l utilisateur images graphiques audio vid o La description peut tre attach e n importe quel mat riau multim dia quel que soit le format de la repr sentation Le format MPEG 7 est compl tement ind pendant de la technique de codage ou de stockage du contenu du document multim dia Au del des informations sur le contenu MPEG 7 permet d inclure des informations concernant la cr ation le format codage compression etc les conditions d acc s et d utilisation du mat riel copyright prix liens utiles etc Le tableau suivant synth tise les 5 types des l ments d un document MPEG 7 El ments Description hgh 3 Des m ta informations d crivant le titre le cr ateur le but de la Cr ation et production cr ation Des m ta informations reli es droits d acc s des informations gtilisati n financi res des droits de publication M dia Caract ristiques de stockage Format l ments d identification Informations sur les composantes spatiales tempor
127. richesse en contenu est lev e les sc nes sont limitatives pour l indexation En regroupant les sc nes en s quences selon le lien temporel ou spatial on obtient une am lioration du rep rage par le contenu Quant la vue s mantique elle utilise une approche qui divise le document en strates selon le contenu audio visuel Ces strates sont ind pendantes de la structure de la vid o pouvant donc se superposer pour un instant donn Alors on a une r union de strates qui d finit l tat Cela permet une indexation plus fine et donc plus efficace pour la recherche par le contenu De point de vue technique l application a t r alis e l aide de Java Java RMI JMF MySQL Quant l utilisation plusieurs tapes sont pr vues Client gt requ te th me choisie gt ST serveur de th mes ST gt GUI personnalisation furetage interrogation GUI gt SMD serveur m tadonn es SMD gt GUI r ponse Le client choisit donc un theme le serveur des th mes analyse la requ te et lui retourne une interface graphique personnalis lui permettant le fureter la base de donn es sp cifique au th me ou construire des requ tes en sp cifiant des attributs Cette fois c est le serveur des m tadonn es qui se charge d analyser la requ te c est une recherche et un rep rage CBIR et de retourner la r ponse au client Un des domaines les plus dynamiques de la technologie de
128. rnier module celui de visualisation propose le sch ma fonctionnel suivant Interface graphique Connexion a Recherche s lection Visualisation Affichage la BDMM param tr e dans la BD Images listes choix messages images et sc nes XML MPEG 7 erreurs D aa LI Figure 26 Conception d taill e MV module visualisation L allocation des fonctionnalit s du module MV est la suivante connexion la BD rep rage des images dans la BD Affichage des images et des fichiers MPEG 7 Traitement de l information et gestion des entr es des sorties et des erreurs Une approche UML du fonctionnement du module MV est pr sent dans l annexe 4 On y trouve diagramme des cas d utilisation o niveau mod le o niveau instances diagramme s quences sc nario diagramme des classes Java o classes attributs m thodes 3 4 Programmation et tests Dans cette tape j ai pass la r alisation pratique des modules logiciels capables de r alis es les fonctionnalit s requises partir des diagrammes des s quences des cas d utilisation et des sc narios identifi s l tape de conception j ai commenc r aliser les modules tout en abordant une approche proc durale modulaire de d coupage pour le d veloppement C est une approche qui permettra de corriger l architecture suite la d couverte des probl mes Des points de v rification et de validation ont t pr vus pour chaque module d
129. rogation rep rage partir d un mod le image et recherche bas niveau clustering Le syst me permet aussi la navigation parmi les descripteurs XML et peut tre facilement d velopp pour traiter l indexation et le rep rage des s quences vid o Plusieurs id es principales sont retenir e ERIC7 un environnement g n rique de recherche images par contenu compatible MPEG 7 Il a t d velopp par une quipe de CRIM Computer Research Institute of Montreal e Utilise des outils d analyse de bas niveau descripteurs de couleur texture et forme d velopp es maison ou int gr s e CBIR a incit le d veloppement de plusieurs prototypes mais jusqu pr sent aucun n est totalement compatible avec MPEG 7 e Une particularit d ERIC7 est qu il vise le codage automatique et la navigation dans le sch ma MPEG 7 pour des raisons de recherche et analyse La description MPEG 7 est en fait une description XML capable d instancier deux cat gories d outils e Les descripteurs D d finissant la syntaxe XML et la s mantique de chaque propri t du contenu MM e Les sch mas des descripteurs DS sp cifiant la structure et la s mantique des relations entre les D Les D est les DS sont des structures d finis par DDL Description Definition Language bas sur le sch ma W3C XML On peut avoir acc s 25 outils sp cifiques du contenu visuel images fixes vid o mod les 3D Une plateforme qui simule les outi
130. rs et fr quences relatives 8 Descripteur distribution spatiale de couleur ColorLayoutDescriptor capture la mani re dont les couleurs sont r parties spatialement dans l image On divise l image en 64 blocs chacun repr sent par sa dominante On obtient 3 matrices 8 x 8 pour les trois couleurs de base 2 2 4 Annotation tant donn l importance croissante des m tadonn es pour le m dia num rique beaucoup d initiatives pour leur standardisation ont d marr les derni res ann es Selon 1 plusieurs effets imm diats sont facilement identifiables la standardisation permettra aux d tenteurs de multim dia d engager des affaires lectroniques changement des descriptions standardis es d veloppement des autres services connexes moteurs de recherche appui pour l annotation m dia et l extraction automatique du contenu On peut consid rer deux grandes classes de standards pour les m tadonn es 1 les sch mas de description MARC DublinCore CDWA etc les cadres environnements de travail PICS MCF RDF etc L exemple d taill en 7 propose IFINDER un syst me d indexation et de rep rage bas sur la technologie XML et sur celle de la base de donn es open source Le syst me est capable d extraire automatiquement des metadonn es partir du contenu audio visuel On peut acc der aux donn es en utilisant une application bas e sur la technologie client serveur L applicatio
131. s estimation faite seulement sur le DN le QN utilise la d pendance donn par les op rateurs pour s accroch au DN appropri On consid re deux types de probabilit s conditionnelles Contexte gt Contexte ou parent gt enfant de genre vid o gt sc ne sc ne cadre Contexte gt Concept ici intervient MPEG 7 qui offre un l ment important la dur frame duration On peut appliquer les formules suivantes pour calculer les probabilit s tf t d idf t 0 5 0 5 weight Weight Pweight t terme l ment D document Tf fr quence de l l ment term frequency Idf poids du terme inverse document frequency Il faut consid rer la description MPEG 7 comme la source des poids associ s aux termes recherch s Par exemple une structure comme la suivante lt StructuredAnnotation gt lt Who gt Basil Sybil Andre lt Who gt lt StructuredAnnotation gt Contient trois concepts Basil Sybil et Andre dans un seul descripteur MPEG 7 s par es par des virgules Cela impose automatiquement que aucun mot ne peut tre consid r comme repr sentative pour une recherche future C est normal alors de consid rer une probabilit de genre 1 nombre_evenements_possibles Comme titre d exemple une situation de la recherche du concept banana pourrait tre la suivante 0 75 Dur Video1 10 Dur Scenel 1 Dur Scene2 6 Dur Shot1 1 Dur Shot2 3 CreationInformation 1
132. s XML pour assurer l interop rabilit caract ristique au standard MPEG 7 XML est par ailleurs le format choisi pour repr senter le LDD le langage de d finition des donn es de MPEG 7 L annotation est faite donc de fa on mixte semi automatique en cumulant les donn es saisies manuellement informations sur les joueurs les lieux et les informations extraites directement du flux vid o s quences vid o moment du frappe segmentation de la trajectoire du ballon analyse du dernier cadre celui qui donne le r sultat de la frappe La fagon dont les annotations sont faites a des implications directes sur la performance du rep rage des informations multim dia C est la raison pour laquelle 12 propose un syst me d annotation sp cialement con u pour enrichir le contenu du multim dia Le systeme M4Note c est un outil multimodal d annotation multim dia bas sur le standard MPEG 7 Les annotations sont consid r s comme des objets multim dia et le syst me g n re automatiquement les documents associ es contenant la fois les annotations les attributs du contenu et les l ments de liaisons entre les deux L interface multimodale de M4Note est con ue en Java et permet simultan ment la capture vid o et l annotation Cette derni re peut tre faite soit l aide d un stylo lectronique soit travers un syst me de reconnaissance de la parole Dans les deux cas les annotations sont converties en
133. s d sir s pour la dur e du morceau vid o analys valeur en seconde et pour la cadence d chantillonnage nombre images seconde Des valeurs par d faut sont offertes et une v rification est faite avant de pouvoir passer l tape suivante le chargement de la vid o Seulement si les deux valeurs sont acceptables de point de vue logique le chargement est permis sinon un message d erreur avise l usager sur le probleme r soudre Les images suivantes donnent un aper u des tapes suivre Lecteur Media Fichier Dur e secondes Bo Frames seconde min 1 max 10 ho Figure 28 Ecran initial valeurs par d faut Une tentative de chargement vid o v rifie si il y a des erreurs de saisie lettres au lieu de chiffres valeur n gative pour la dur e valeurs hors gamme pour la cadence d chantillonnage etc Si c est le cas le chargement n est pas permis et on affiche un message d erreur Erreur Valeurs erron es pour la dur e ou et la cadence d chantillonnage Figure 29 Message erreur param trage MEI Apr s la r solution du probl me le chargement est permis a travers un menu d roulant Lecteur Media Fichier Dur e secondes 30 Frames seconde min 1 max 10 10 Selection de la video x Choix fichier Ouvrir Annuler Figure 30 dialogue chargement fichier vid o On cliquant le bouton choix ficher on peut naviguer jusqu on trouve le
134. s deux images pourra tre accompagn par l affichage du fichier MPEG 7 associ l image de d but de sc ne Tout d abord l usager doit s identifier pour acc der la BD Les donn es saisies l aide des zones Usager et Mot de passe seront utilis es pour b tir la cha ne alphanum rique utilis e pour la connexion la BD Oracle En actionnant le bouton connexion on d clanche plusieurs v nements tentative de connexion sur la BD bas e sur les donn es saisies affichage de l tat de la connexion message d erreur si c est le cas la suite de cette action Si la connexion a t faite on met en tat inactif le bouton connexion et on affiche les listes des options pour les images disponibles dans la BD o liste1 contenant toutes les images de la BD o liste 2 contenant seulement les images des tuples ayant le champ ind s images identifiant les sc nes IMAGE2 images disponibles Usager ous as sysdba Mot de passe Connexion r alis e phooo00 ph00034 visualiser Zone affichage Zone pour la tat connexion connexion la Toutes les Seulement les Bouton BDMM usager images de la images identifiant affichage mot de passe BDMM des sc nes images s lectionn es Zone affichage images et fichier MPEG 7 Figure 38 Interface graphique MV connexion r ussie la BD Une fois les deux listes disponibles l usager peut les parcourir en t
135. s images dans la BD et d tection des changements de sc ne Les op rations possibles sont connexion la BD Connexion la BD Description L utilisateur introduit ses cordonn es nom usager et mot de passe et sommaire _actionne le bouton Connexion Une r ussite de connexion la BD Acteurs primaires Acteurs secondaires R gles d initiation Description du processus R gles de terminaison Exception Extension Compl mentaires En actionnant lancement de la proc dure de connexion sur Oracle Si la connexion est r ussie on passe la cr ation de la table l insertion des images dans la table et aux proc dures d analyse des images et de cr ation des fichiers MPEG 7 associ s Apr s leur insertion dans la BD on d clanche un module logiciel permettant d identifier et noter les changements de sc ne _d clanche la proc dure de traitement lot images L utilisateur aucun L utilisateur actionne le bouton Connexion le bouton Connexion lusager d clanche le Connexion non r ussie sur la BD message d erreur affich r Connexion r ussie message de confirmation affich L usager sort compl tement du programme La BD n existe pas sur la machine distante Aucune Aucun Sc nario 3 Visualisation images et fichiers MPEG 7 Les op rations possibles sont Connexion la BD Affichage images Affichage fichiers MPEG 7 Connexion
136. s la BDMM pour les images tir es de la vid o ou on re analyse les images eux m mes de l image extrait les traits et on cherche dans la BDMM Recherche partir des mots cl s c est une approche permettant de faire la liaison avec la s mantique du contenu Il faut pr voir des modules logiciels permettant une annotation manuelle capable d attacher des metadonn es sur la signification du contenu Cette une approche mixte utilisant a la fois l indexation manuelle et automatique susceptible donc d apporter une consid rable am lioration Possibilit 2 Consid rer une autre dimension de la vid o le son On peut ajouter des modules logiciels permettant le traitement de son L analyse crois e image son pourra donner des bonnes r sultats car dans la vid o souvent un changement de plan est traduit aussi par des changement sonores importantes Possibilit 3 Avancer progressivement vers un syst me capable de r aliser le r sum d une vid o comme propose 24 Ce serait un grand pas car on ne doit pas visualiser ou analyser chaque fois un vid o en son int gralit pour extraire l information voulue Au del d une apparence facile cette tache est bien plus q une simple association des images fixes Il faut trouver comment repr senter la substance des s quences d identifier la s mantique du contenu d assurer la synchronisation et le sous titrage On peut imaginer des biblioth ques stockant des r sum es de
137. s lequel on exprime les autres descripteurs RGB YCbCr HSV HMMD a RGB red green lue b HSV hue saturation value composition spectrale puret de la couleur niveau de luminance c YCbCr luminance diff rences de couleurs d HMMD Hue Min Max Diff ici S est remplac e par Diff diff rence entre deux valeurs maximale et minimale des trois composantes primaires R G B 2 Descripteur quantification de Couler ColorQuantizationDescriptor outil permettant de quantifier chaque composante de l espace couleur R G B H S V Y Cb Cr etc 3 Descripteur histogramme de couleur ColorHistogramDescriptor traite les fr quences relatives d apparition des couleurs a H i Nombre pixels couleur i Nombre total pixels 4 Descripteur histogramme par transform de Harr ScalableColorDescriptor permet de d duire des variantes de l histogramme divers r solutions 5 Descripteur histogramme de couleur d un ensemble de frames GoF GoP Histogram Descriptor s occupe de la nature dynamique des frames ensemble d images D Descripteur histogramme couleur structure CS HistogramDescriptor introduit la coh rence spatiale locale par l utilisation d un masque binaire pour l image analys e 7 Descripteur couleurs dominantes DominantColorDescriptor consid re un nombre r duit maximum 8 de couleurs repr sentatives pour l image et quantifie leur apparition nombre valeu
138. s m thodes statiques pour comparer deux images deux signatures o generateSignature permet la cr ation d une signature pour une image donn e o isSimilar La m thode r alise la comparaison des deux signatures en utilisant des poids sp cifi s pour un ou plusieurs attributs visuels descripteurs de bas niveau Si le r sultat de la comparaison et plus petit ou gal au seuil fix les images sont consid r es identiques et la m thode retourne la valeur 1 au cas contraire la valeur retourn e tant 0 Pour l application pr sente on a utilis ORDImage et ORDImageSignature L image suivante donne une repr sentation de la liaison directe entre les objets ORDImage de Oracle et Java travers la connexion JDBC Oracle Database Java Program I I I l lt gt ORDImage JDBC connection Ordimage Database Object lOrdImage img lt gt Java Object img getHeight proxy for img getWidth Database ied Object Figure 21 Liaison entre les objets ORDSYS ORDImage d Oracle 10g et Ordimage de Java 20 Une analyse des exigences envisag es permet de r aliser le d coupage du projet et de g n rer les fonctions et sous fonctions principales suivantes Exigences Sous fonctions principales Extraction des images Param trage traitement Chargement de la vid o Gestion erreurs Affichage d roulement Traitement des images Connexion la BD Cr ation de la table
139. s notre domaine d int r t des nouveaux types de donnes et des m thodes associ es ont t introduits pour utiliser pleinement les possibilit s offertes par le texte les images ou la vid o L utilisation de la technologie relationnel objet RO et implant et support par SQL MM qui a t standardis e en mai 2002 le sous comit SC32 WORKING GROUP 4 SQL MM introduit des types objet structur s pour les images des m thodes de garder manipuler et repr senter l information bas e sur le contenu les histogrammes par exemple C est le contexte dans lequel en mai 2002 un autre sous comit de ISO SC29 WG11 MPEG Moving Picture Experts Group a publi un standard nomm MPEG 7 bas sur un set de descripteurs pour quantifier de fa on quantitative les propri t s audio visuelles des composants et des sch mas de description pour mettre en valeur les relations entre les composants donc la dimension qualitative du ph nom ne Les mod les MMDBS et SQL MM le mod le MMDBS doit r soudre les probl mes li s aux divers op rations avec des donn es multim dia s lection insertion dition indexation furetage rep rage interrogation Les derni res ann es ont propos es plusieurs mod les pour les MMDBS ou SBDMM les syst mes de bases de donn es multim dia o Mod le alg brique fait la diff rence entre le stream vid o physique et celui logique et permet l usager d utiliser une alg bre vid o
140. s obtenus la suite des exp rimentes est pr sent e dans l annexe 8 Les tapes ont t identification visuelle des images identifiant les changements des sc nes Action en boucle dizaines de fois contenant Modification des poids associ s aux attributs de bas niveaux Lancement module logiciel cr ation BDMM Lancement module logiciel lecture BDMM Validation visuelle valuation qualitative valuation quantitative des r sultats calcul rappel pr cision bruit et silence En consid rant une approche pr sent et d velopp par 4 25 et 26 identification d une sc ne est bas e sur l identification d un ensemble des plans reli s dans le temps et dans l espace par leur contenu s mantique Pour le morceau de 30 seconde de flux vid o analys dont les 83 images tir es sont repr sent es dans l annexe 8 on a identifi 12 images consid r es comme d but de sc ne 00013 jpg 00019 jpg 00026 jpg 00042 jpg 00046 jpg 00057 jpg 00060 jpg 00069 jpg 00071 jpg 00076 jpg 00079 jpg 00082 jpg amp scenes DER d File Edit View Favorites Tools Help A Q sac Q S D Search Key Folders HA Address ciiscenes M Ga a File and Folder Tasks Make a new folder Publish this Folder to the Web EI Share this Folder 00013 jpg 00019 jpg 00026 jpg 00042 jpg Other Places 5342021D001 C CO My Documents Shared Documents 4 My Computer
141. s vid os facilitant une recherche rapide pertinente interactive de l information avec des requ tes aussi proches que possible du langage naturel 4 5 Sommaire Ce chapitre a t d di l tude des r sultats exp rimentaux Tout d abord on a pr sent le contexte d interpr tation et l approche utilis e On a soulign l importance de la pr sence du facteur humaine pour la r ussite du processus L analyse des r sultats obtenus comparaison avec les attentes l interpr tation des carts identification des causes a permis d assurer le feed back n cessaire l am lioration du processus d augmenter le rappel et la pr cision jusqu au valeurs acceptables l occasion de l analyse faite plusieurs limites ont t identifi es On a essay de comprendre le pourquoi de leur existence et plusieurs am liorations possibles ont t propos es Finalement on a bri vement pr sent des ventuels sc narios pour le d veloppement du syst me r alis 5 CONCLUSION Le projet pr sente mes premiers travaux dans l analyse de la vid o et j esp re qu il encouragera des futures actions vers la construction d un syst me d indexation et de rep rage des s quences audiovisuelles En ce sens j esp re que ma contribution sera utile pour les futurs d veloppeurs du syst me Ayant comme principale motivation l identification et annotation des images repr sentatives des s quences d une vid o ce projet propo
142. se un syst me d analyse des images tir es d une vid o afin de faire l annotation des descripteurs inter s quences Parlant de l information en g n ral et plus pr cis ment de domaine de multim dia deux aspects ont devenu pr occupantes pour les sp cialistes comment acc der l information rapidit pertinence et comment le rendre disponible interop rabilit Ce projet se propose de toucher un peux les deux On accorde grande importance aux m tadonn es qui ont une importance primordiale pour le multim dia Les m tadon es peuvent augmenter la performance du processus et donnent un aide en temps r el pour l usager car un changement du m dia apporte automatiquement un changement des m tadonn es associ es C est pour cela qu on propose une modalit d extraction automatique des descripteurs de bas niveaux Il est n cessaire d assurer l interop rabilit de partage et l change de l information Cela signifie l alignement aux standards internationaux comme c est MPEG 7 En effet l apparition du standard MPEG 7 a influenc de fa on majeure le CBR Il offre une standardisation de contenu descripteurs de bas niveau et haut niveau permettant la r alisation des m canismes d interrogation interop rables C est cette lumi re que dans l approche propos e par le syst me d velopp on stocke les caract ristiques identifiant les images directement dans la BDMM dans des fichiers MPEG 7 Plusieurs aspec
143. sse JPasawordField mdp new JP asawordField 10 JTextArea jta new JTextArea Zone erreurs de connexionssi c est le cas 2 30 static JTextArea jtaxml new JTextAre at 18 25 static JScrollPane scrollpane new JScrollPanefjtaxml JTextField jtUser new JTextField 10 PreparedStatement pstmt null ResultSet rs ResultSetMetaData smd Statement stmt null String sDriver String sP asaword String sURL String sUserlD public createbdmmQ public void doConnect public void actionPerformed ActionEvent ei public void windowOpened WindowEvent e public void windowClosing WindowEvent ei public void windowClosed WindowEvent ei public void windowlconified WindowEvent ei public void windowDeiconitied WindowEvent ei public void windowActivated WindowEvent ei public void windowDeactivated WindowEvent ei static public List lire fichiers public int compare To Object oi static public int conversion int pixel int imgcols int imgrons static public String analyseimageflmage image int wi int hi int pixels static public void creationXMLfString nomfichier String Couleur static public void insererXMLfString nomFichier Connection con static public void creation Diagramme s quences UML utilisateur Syst me exploitation System Base de donn es System lt lt create gt gt 1 createbdrmd createbdmm Class eege lt everifitation identit gt lt lt connexion la BD gt gt
144. t comme langage XML Dublin Core m tadonn es auteur titre mots cl s sur le sujet le type du document le format du document MPEG 7 consid r pr sentement comme la r f rence de base pour la description du contenu multim dia La norme ISO MPEG 7 r alis e par Moving Picture Experts Group pr sente un ensemble d outils de description permettant de d finir et d identifier le contenu de donn es multim dia pour en faciliter l indexation et la recherche subs quente Pour les images par exemple les outils de description fournis par MPEG 7 sont capables de pr ciser un grand nombre d informations regroup es en cinq cat gories informations de bas niveau couleur texture forme informations sur la source titre auteur date format etc formations sur les conditions de l utilisation droit d auteur etc caract ristiques techniques format codage etc structure spatiale et temporelle positions d placements etc La norme MPEG 7 offre un cadre de d veloppement pour des applications bas es sur l analyse du contenu de l information multim dia permettant une localisation pr cise objective et rapide de l information voulue 1 2 Motivation de recherche Le pr sent projet a comme principale motivation l tude Identification et annotation des images repr sentatives des s quences d une vid o Plus pr cis ment il s agira d une analyse des images tir es de vid o afin de
145. t et la sauvegarde de l information obtenue Le syst me affiche le d roulement du processus L utilisateur est inform de la fin des op rations O O O OO O O O Utilisateur Chargement fichier V rification Affichage lancement Affichage d roulement Affichage fin traitement Figure repr sentation sc nario 2 use case MEI niveau instances Traitement et sauvegarde Diagramme de classes UML classes attributs m thodes MEI module extraction images LecteurMedia J TextField jdur new JTextField 30 3 JLabel jldur new JLabel Dur e secondes J TextField lead new JTextField 10 2 JLabel jlead new JLabel Frames seconde min 1 max 10 JPanel jp new JPaneld JPanel pani new JPanelQ Container cp MediaLocator locator Player player Dialog selectionDialog Button annuler Button ouvrir Button choix Button ok Button continuer TextField mediaName MenuBar bar Menu fileWenu Dialog errorDialog Label errorLabel Component visualComponent Component progressBar Dimension controlSize Dimension visualSize JText amp rea jta new JTextAre af20 30 JScrollPane jsp new JScrollPanefjta int menuHeight 50 LecteurMediaQ LecteurMedia String name public void actionPerformed ActionEvent e protected void LecteunString nameOfMedia protected void errorDialog String erroressage public void controllerUpdate ControllerEvent ei Di
146. taill e MV module visualisation 73 Figure 27 S quence de travail pour la r alisation des modules logiciels 76 Figure 28 Ecran initial valeurs par d faut 77 Figure 29 Message erreur param trage MET 78 Figure 30 dialogue chargement fichier video 78 Figure 31 erreur d marrage lecteur Vid o 4242munennmumnntnines 78 Figure 32 d roulement extraction images 79 Figure 33 Images extraites de la vid o sum 80 Figure 34 cran d marrage MTI s sssseieiseisisiserersrerenierenrersrisisreresrerenrerenrens 81 Figure 35 D roulement module MTI 2 4 ccsccececseeeeeeeee cnet seen eneeseeesenseenees 81 Figure 36 Exemple fichier MPEG 7 DominantColor 0 cccccceeeeeee eee e eee e eee 83 Figure 37 Messages analyse similarit et nombre finale insertions dans la BD84 Figure 38 Interface graphique MV connexion r ussie la BD 85 Figure 39 Interface graphique MV visualisation comparative images 86 Figure 40 Interface graphique MV visualisation fichier MPEG 7 87 Figure 412 Bruit t Silence stipe ENEE dees ee heure 91 Figure 42 Les images d but des sc nes 4 memmninanenne 93 Figure 43 R sultats exp rimentaux 44e 94 Figure 44 transaction lente aaeain ienne 97 Figure 45 changement tr s localis de luminosit 97 LISTE DES ABREVIATIONS ET DES SIGLES ACM API A
147. texte Comme sortie le syst me offre des documents XML g n r s de fa on automatique et contenant les l ments MM captur es vid o audio images cadres annotations par encre texte L interface graphique permet de s lectionner le cadre dont on veut ajouter annotation et offre aussi des possibilit s de faire l ajout de fa on manuelle ou en utilisant la parole Dans les deux cas les annotations sont synchronis es dans le flux MM et des fichiers XML associ es sont g n r s automatiquement Pour chaque session de capture vid o et audio le syst me M4Note utilise le JMF Java Media Framework API et analyse les flux multim dia pour g n rer des documents XML associ s aux attributs extraites de fa on automatique comme la figure suivante lt Mpeg7 xmins lt MediaFormat gt lt Content gt Local frame object lt Content gt lt FileFormat gt MPEG 4 lt FileFormat gt lt Size gt 640x480 lt Size gt lt FrameRate variable false gt 30 lt FrameRate gt lt Frame gt 3553 lt Frame gt lt MediaTimePoint gt 00 00 2 lt MediaTimePoint gt lt MediaFormat gt lt Mpeg7 gt Figure 12 Exemple fichier XML application M4Note Source image R Goularte R G Cattelan et al Interactive multimedia annotations enriching and extending content 12 En ce qui concerne les annotations faites oralement le systeme est muni d un module de reconnaissance et synth se de la parole qui utilise JSAPI Java Speech
148. tion UML Tableau cadre Basili modifi 1 4 Sommaire d veloppement des modules traitant le stockage des images en Oracle et l analyse de la similarit d veloppement du module d extraction des images a partir du flux vid o et identification des s quences Cr ation des documents XML conformes aux sp cifications MPEG 7 pour les images V rification fonctionnalit s modules Tests fonctionnement syst me Ce chapitre a pr sent une vue d ensemble de la recherche On a d but par sp cifier le contexte et d identifier la motivation de la pr sente recherche Ensuite on a pr sent la m thodologie utilis e pour arriver au but d sir Le projet a t divis en quatre grandes tapes d finition planification ex cution et interpr tation des r sultats La d marche du projet est d crite en utilisant le cadre exp rimental propos par Basili et al 1986 et modifi par A Abran et P Bourque 1997 afin de l adapter pour le travail de recherche exploratoire 2 CHAPITRE 1 recherche bibliographique 2 1 Objectifs et strat gie de la recherche bibliographique Objectif Retracer des informations les coordonn es les r sumes et le texte int gral concernant les pr occupations et les r alisations les plus r centes depuis janvier 2002 concernant le standard MPEG 7 Moving Picture Experts Group et l utilisation 1 e MPEG 7 Overview URL http Avww
149. tive C est une m thode qui donne des r sultats approximatifs car l appartenance d une image l une ou l autre s quence doit tre dict par une analyse faite sur une succession des images appartenant la m me s quence Pour am liorer ce processus 23 et 25 proposent des seuils de similarit moyens par s quence en introduisant le seuillage adaptatif qui tient compte de bruit et des mouvements plus ou moins rapides de la cam ra Approximative en effet l application est seulement une bauche un commencement Pour les images consid r es on stocke l information dans des fichiers XML repr sentant un mince sous ensemble des possibilit s offertes par MPEG 7 C est un aspect d velopper en ajoutant plusieurs attributs de bas et de haut niveaux 4 4 Travaux futurs Le syst me d velopp pourra se constituer comme noyau pour une futur application complexe traitant l indexation de la vid o la recherche de l information multim dia et le rep rage bas sur le contenu On peut envisager plusieurs sc narios pour des futurs travaux Possibilit 1 d veloppement d une partie permettant la recherche des images par similarit On peut avoir Recherche partir d un mod le on analyse l image mod le et on calcule les valeurs des descripteurs associ s On compares ces valeurs avec celles des descripteurs correspondants existants dans la BDMM on parse les documents XML d j existantes dan
150. ts susceptibles contribuer la r ussite ont t consid r s stockage le m canisme de stockage joue un r le important quant la performance du syst me multim dia On a opt donc pour en environnement de travail performant bas sur SGBDR Oracle 10g outils de travail m thode permettant de quantifier la similarit entre deux objets multim dia m thodes et fonctions offertes par Intermedia d Oracle 10g g n ration automatique des fichiers MPEG 7 Java JAXP programmation orient objet GUI requ tes connexion la BDMM Java validation de la s mantique du contenu boucle de r troaction assur e par un observateur humain In vitablement le syst me a des limites la fois techniques li s a la r alisation ou la conception C est en syst me n cessitant videmment des am liorations quelques unes d j identifi es autres d couvrir Les r sultats obtenus ont t encourageants et les perspectives s av rent plut t int ressantes On peut consid rer ce projet comme une premi re contribution la r alisation d un syst me d indexation et de rep rage multim dia permettant la mise en place d un environnement capable de travailler de fa on mixte inter reli e la fois spatiale et temporelle Le futur permettra peut tre d ajouter des l ments permettant d identifier et de retracer la s mantique du contenu Ce sera un grand pas car l usager sera dor navant c
151. u visuel des r sultats obtenus tout en facilitant l interpr tation IER EE EEN cas precision rappel bruit gt silence Figure 43 R sultats exp rimentaux 0 5 0 75 0 3333 0 0833 0 25 0 25 0 25 0 4167 0 1667 0 1667 0 3333 0 25 0 25 0 25 0 4167 0 4167 0 4167 0 3333 Le but de la recherche et des exp rimentes est d obtenir des r sultats aussi proches que possible de la r alit dans ce cas une r alit subjective car l identification des sc nes est faite a l aide de l oeil humaine tributaire a une subjectivit d riv e de l interpr tation s mantique du contenu En observant l allure des graphiques on peut noter quelques brefs observations la pr cision et le rappel voluent en antiphase si l un augmente l autre baisse confirmation de la th orie et en concordance avec les attentes Le bruit et le silence voluent en antiphase ce qui confirme nos attentes et la th orie Les courbes de rappel et de bruit ont des allures similaires donc on approche de la situation id ale rep cher tous les images identifi es comme d but de sc ne en payant le prix de ramener simultan ment assez d information non pertinente Les courbes de pr cision et de silence ont des allures similaires donc les plus pr cises des r ponses font rabat la quantit d information pertinente ramen e Comme ce qui nous int resse le plus et le rappel doubl d une bo
152. ue Impl mentation La solution utilis e pour la r alisation du syst me est bas e sur le langage IDL interface d finition langage du CORBA Celui ci a t utilis pour r aliser les interfaces entre le serveur le client et la BDXML Le serveur a t r alis en utilisant C et le client a b n fici de l apport de Java GUI in Java Swing pour la saisie des donn es utilis es pour les requ tes JMF Java Multimedia Framework pour l int gration des lecteurs audio et vid o Pour la BDMM on a choisit Xindice une BDXML de type open source r alis e par Apache permettant la connexion au serveur et le t l chargement du contenu similaire au requ tes envoy s par les usagers Un syst me de recherche et rep rage de l information MM bas sur l annotation mixte la fois manuelle et automatique est pr sent en 10 L article propose un syst me capable de rep rer des donn es multim dia concernant le jeu de bowling Le syst me permet la recherche bas e sur le contenu multim dia ayant comme crit res l information provenant de trois sources principales information sur le contenu vid o du match l information reli e au match proprement dit et celle concernant le joueur Pour repr senter ces types d informations et leur inter liaisons les sch mas de descripteurs MPEG 7 ont t utilis s Pour r aliser l annotation il a fallu utiliser la fois une mani re manuelle pour le joueur et les d tailles sur le j
153. uit s temporelles et m tadonn es bas es sur des descripteurs de bas niveaux laisse non trait un l aspect essentiel celui li la s mantique du contenu C est le facteur humain celui qui se charge finalement avec l analyse s mantique du contenu celui qui peut comparer les r sultats obtenus avec les attentes L approche que j ai choisie pour traiter les r sultats mettra donc en prime plan l importance de la boucle de r troaction assur e par l intervention humaine L am lioration successive des r sultats sera possible la suite de l valuation cyclique interactive de l usager qui b tira ses nouvelles requ tes en se basant sur l histoire des actions pass es Les descripteurs utilis s seront consid r s pertinents si le r sultat obtenu correspondra une r alit visuelle l analyse effectu e de fa on manuelle par l observateur humain L utilisateur interagira avec le syst me en assurant la r troaction n cessaire la modification des crit res de recherche Cela permettra des r sultats plus personnalis es et plus proches des attentes Cette approche assurant le feedback n cessaire est traduit dans notre cas par la modification des poids associ s aux descripteurs de bas niveaux et de la valeur num rique associ au seuil de similarit Valeur au del de laquelle le mod le analys et la cible peuvent tre consid r s comme diff rents Enfin cette d marche nous permettra d associer les
154. ur les tendances actuelles concernant le multim dia annotation mixte croissance de l automatisation des extraction des attributs d tection similarit analyse distance entre deux objets caract ris s par des attributs extraits en pr alable standardisation et normalisation utilisation des fichiers XML compatibles MPEG 7 Pour le domaine l tude plusieurs technologies sont souhaitables tant d j utilis avec succ s SGBDMM bases de donn es multim dia capables de r aliser le stockage et l interrogation directe des fichiers MPEG 7 ou pr vues d une extension permettant d impl menter le mod le MM et de g n rer des documents MPEG 7 IPSIS dbXML XSU XML SQL Utility d Oracle Xindice Apache MySQL Oracle etc Langages orient s objets permettant de construire des interfaces graphique la saisie des donn es et la visualisation des documents multim dia et des applications web ou client serveur C Java avec Java RMI JMF Swing Awt etc Annotation faite de fa on semi automatique m lange annotation manuelle et automatique ou totalement automatique extraction des informations directement a partir du flux vid o JSAPI Java Speech API ViaVoiceTM d IBM etc Deux approches principales ont t identifi Tune ayant comme point de d part des informations de bas niveau fournit par l usager l autre consid rant comme entrant pour sa recherche un mod le exemple a partir duquel on e
155. ure 8 Architecture de ERIC7 Computer Reserch Institut Montreal 36 Figure 9 Organisation MPEG 38 Figure 22 Hi rarchie MPEGS tegt ennemie tsar RE 40 Figure 10 Architecture de lFInden22e sn ane Ar mine nee 43 Figure 11 Syst me de recherche multim dia annotation mixte 45 Figure 12 Exemple fichier XML application M4Note 46 Figure 13 Exemple annotation encre lectronique application M4Note 48 Figure 14 Sch ma de description multim dia de MPEG d 49 Figure 15 Exemple utilisation TextAnnotation MPEG 7 50 Figure 16 Exemple utilisation m tadonn es interrogations sur la BDMM 50 Figure 17 approche syst me SIRSALE 4 51 Figure 18 Syst mes de rep rage bas s sur le contenu WEB 53 Figure 19 Exemples des attributs utilis s pour la recherche des images 54 Figure 20 Exemple syst me dual de rep rage MM 56 Figure 21 Liaison entre les objets ORDSYS ORDImage d Oracle 10g et Ordimage de Java 20 EE 63 Figure 22 Mod le en V du cycle de d veloppement 22 69 Figure 23 Conception g n rale syst me Groupement fonctionnalit s 70 Figure 24 Conception d taill e MEI module extraction images 71 Figure 25 Conception d taill e MTI module traitement Images 72 Figure 26 Conception d
156. ut une m thode permettant de g n rer la signature d une image donn e et des m thodes statiques pour comparer deux images deux signatures generateSignature permet la cr ation d une signature pour une image donn e isSimilar m thode qui compare les signatures des deux images donn es comme param tres Elle retourne un entier sp cifiant si le degr de diff rence entre les deux signatures se trouve ou non dans un cart donn La m thode r alise la comparaison des deux signatures en utilisant des poids sp cifi s pour un ou plusieurs attributs visuels descripteurs de bas niveau Le r sultat de la comparaison est quantifi entre 0 0 et 100 0 ou une valeur plus petite indique une plus forte ressemblance Si le r sultat et plus petit ou gal au seuil fix les images sont consid r es identiques et la m thode retourne la valeur 1 au cas contraire la valeur retourn e tant 0 MV vues des sc narios sc nario 1 IMAGE2 images disponibles Usager asdasd Mot de passe LD Probl mes de connexion ORA 01017 invalid username password logon denied Connexion sc nario 2 HI L Mot de passe Connexion r alis e ph00033 M ph00034 x A MPEG 7 sc nario 3 Mot de passe o Connexion r alis e mun phooo34 Visualiser MPEG 7 es Usager zy version 1 0 encoding iso 8859 1 gt a Mpeg xmins urn mpeg m
157. utiliser des m canismes de stockage et des requ tes des documents XML bas s sur le standard MPEG 7 Les modalit s concr tes sont Soit utiliser une extension de la SGBD qui permet d impl menter le mod le MM et g n rer documents MPEG 7 pour le dialogue avec l ext rieur par exemple XSU d Oracle Soit stockage et interrogation directe des MPEG 7 utilisation de XML DBMS capables de r aliser des interfaces et langages respectant la nature des documents XML par exemple IPSIS dbXML Le codec MPEG 7 est un autre atout pour SMD car le codage et le d codage est fait en respectant les versions et les extensions L interop rabilit est assur e l usager pouvant param trer selon son d sir l encapsulation de l information dans unit s d acc s fragments qui seront d cod s d un coup a la destination C est un grand avantage car cela signifie qu on peut contr ler la d codification a la source Plusieurs applications ont d j d montr e la force des affirmations faites en 2 mettant en pratique des syst mes activant concret sur la collaboration entre les SGBDMM et le MPEG 7 Un SGBDMM Syst me de base de donn es multim dia stocke et organise les donn es multim dia afin de pouvoir ex cuter des op rations de rep rage base sur le contenu On peut affirmer que a pr sent existent plusieurs mod les bas s sur requ tes indexation etc mais ils sont tous limit s soit de point de vue donn
158. vid o et leurs stockage dans la BDMM l analyse des images pour identifier celles indiquent un changement de sc ne La m thode de travail utilis sera l analyse des distances entre deux images successives bas e sur des attributs de bas niveau couleur texture forme Les l ments identifiant les images r sult s la suite de cette analyse feront le sujet d une sauvegarde en format XML conforme au standard MPEG 7 TABLE DES MATIERES le TT 3 AVANT PROPOS ET REMERCIEMENTS as Error Bookmark not defined LISTE DES TABLEAUX n es e eeneg Zenger anae Aeran vic inesbessssiseetsecteess 6 LISTE DES FIGURES ae gegeegdeed geg deed rte retenir mn reine rene ne nier eeh EE 7 LISTE DES FIGURES isc icceisccidediecesbessesuvassvessissuasssvsensesassssnasduesssenseebieas seusteseeesvevsasevsssivess 7 LISTE DES ABREVIATIONS ET DES SIGLES 9 LISTE DES ABREVIATIONS ET DES SIGLES ee 9 1 INTRODUCTION ees ge eegee degen dee EE Eege 12 keet EE 12 1 2 Motivation de recherche 13 1 3 M thodologie de recherche ss 17 E Ee ul ET EE 20 2 CHAPITRE 1 recherche bibliographique 20 2 1 Objectifs et strat gie de la recherche bibliographique 20 ODjSCtlfieset notice Ee tee RME E en EE 20 Choix bases de recherche et strat gie cccceccccccceeccneceeeeeeeeeeeeeeeceeceeeeeeeeeeeeeeeeees 21 2 2 Etat de l art sur le r
159. void windowClosing WindowEvent ei public void windowClosed WindowEvent ei public void windowlconified WindowEvent ei public void windowDeiconifiedQWindowEvent ei public void windowActivated WindowEvent ei public void windowDeactivated WindowEvent ei Diagramme s quences UML utilisateur Base de donn es Syster eecreate gt gt 1 readbhdmm20 readbdmm2 Class lt lt verifilation identit gt lt lt connexion la BD gt gt ssrequete gt gt 4 don cond 2 doConnectd 3 con DriverManager getConnection SURL sUserlD sPassword ae lt lt if con null on envoie message errreur gt DE 5 A String jta settext erreur I lt lt Connexion r alis e gt lt eif conl on commence le traitement 6 String jta append String B rs stmtexecuteQuery sQueryD sQueryD1 Whilexloop lt lt Visualiser les images gt 7 doRetrieve lt lt Requ tes vers la BD images et fichier MPEG 7 gt gt 8 resultset pstmtexecuteQuery s lt Afficher images gt d lt lt Activer le bouton MPEG gt FA JLabel seticon magelcan 9 B jXMLShow sebvisibletrue lt lt afficher le fichier MPEG 7 gt 0 void actionPerformed ActionEvent e jXMLShow lt lt Activation zone affichage gt 11 jpSouthWest add scrollpane end loop sedestroy gt gt 12 windowClosing WindowEvent e ANNEXE 5 Exigences environnement logiciel Le module MEI d velopp l aide de JDEV d
160. xlink type arc xlink from ID004 lt Stroke gt xlink to ID005 lt Text gt xlink arcrole file path relations Means gt lt Arc gt lt XLinkObject gt lt MediaObject gt A A A Figure 13 Exemple annotation encre lectronique application M4Note Source image R Goularte R G Cattelan et al Interactive multimedia annotations enriching and extending content 12 Les sch mas de description du standard MPEG 7 les SDM sont a la base du syst me analys en 13 On nous propose un outil de description s mantique du contenu multim dia con u comme une extension de l outil StructuredAnnotation de MDS Multimedia Description Schemes du standard MPEG 7 L outil permet l annotation du contenu multim dia en utilisant 12 attributs la fois aux caract ristiques statiques et dynamiques du document analys Les douze attributs sont choisis pour s aligner la syntaxe 5W1H 3D concernant le document analys ou 5W1H who what when where why how 3D direction distance duration La d finition du contenu MM combinant la vid o les images la musique et les douze attributs proposes est faite dans le syst me DDDC Dozen Dimensional Digital Content Le syst me est bas sur le MDS Multimedia Description Scheme de MPEG 7 Consent Organization es Navigation amp Cerca amp Access Produa Sename lke Preferences Contes Merdan Log ki De zz ku og Var
161. xtrait les informations n cessaires Dans la plupart des cas l usager exprime ses dol ances sous le format des questions de haut niveau Dans les deux approches le moteur de recherche se comporte pareil en calculant et normalisant selon une chelle quelconque la distance entre l image de la requ te et celle couramment analys e A cette lumi re mon choix technique a t Base de donn es Oracle10g facilit s offertes par Intermedia extension permettant la manipulation des donn es multim dia Langage de programmation Java JDK 5 0 JMF JAXP L approche que j utiliserai sera bas e sur l extraction automatique des attributs de bas niveau Comme id e g n rale l analyse des images tir es de la vid o portera sur l analyse des changements dans l histogramme de couleur pour des cadres successifs 3 CHAPITRE 2 Execution 3 1 Introduction L environnement de travail choisi pour le d veloppement de l application est bas sur l utilisation d Oracle10g comme base de donn es C est l extension Intermedia d Oracle celle qui fournira des facilit exploiter quant au stockage et la manipulation des images et de la vid o Pour le d veloppement du logiciel de l application on a choisit Java comme langage de programmation Parmi les principales taches accomplir des interfaces graphiques pour la saisie des donn es et la visualisation de l information des algorithmes de calcul des modules pour la connexi
162. xtual Ortega HTML HTML text By example Binderberger documents images et al 2000 Web WISE Allows queries by Pictorial By example Wei et al T1998 estimated images feature values By estimating features values RIME Replicated image Pictorial By requested Chang et al T1998 detector image DrawSearch Allows queries by Pictorial By sketch or Di Sciascio et al sketch by texture 1999 content Monash Combines images Pictorial Textual Lu and Wiliams retrieved by HTML text By example 1999 text and those images by content Figure 18 Syst mes de rep rage bas s sur le contenu WEB Source image M L Kherfi et al Image Retrieval from the World Wide Web Issues Techniques and Systems EI Comme on peut observer deux grandes approches ont t utilis es dans l implantation des syst mes de rep rage des images annotation des images avec du texte et l utilisation de celui ci pour des techniques de rep rage bas sur l analyse textuelle cest TBIR texte based image retrieval ou recherche d image bas e sur le texte utilis e par exemple par Google ou Altavista utilisation des attributs de l image comme la couleur ou la forme Il s agir cette fois ci de CBIR content based image retrieval Dans chacune des deux cas la recherche est bas e sur des requ tes b ties partir des donn es saisies par les usagers Dans le cas de TBIR les attributs textu

maîtrise - PublicationsList.org

Contents

Download Pdf Manuals

Related Search

Related Contents

ma&icirc;trise - PublicationsList.org

Contents

Download Pdf Manuals

Related Search

Related Contents

maîtrise - PublicationsList.org