Home

Manuel d`utilisation du logiciel de conditionnement et de

Contents

1. but never uses more refs than initially specified COPY i bframe bias if h param i scenecut threshold gt O amp amp param gt i scenecut threshold gt 0 COPY i scenecut threshold j can t turn it on or off only vary the threshold COPY b deblocking filter COPY i deblocking filter alphacO COPY i deblocking filter beta j COPY analyse intra COPY analyse inter COPY analyse i direct mv pred COPY analyse i me method COPY analyse i me range COPY analyse i noise reduction COPY analyse subpel refine COPY analyse i trellis COPY analyse b bidir me COPY analyse b bframe rdo E IR i FIG 3 1 Solution x264 avec MVS 2005 15 Introduction g n rale 3 2 1 Ajout d une option pour lire les fichiers de directives de codage Vu le grand nombre de segments temporels qui peuvent constituer une s quence vid o une s quence de 500 images repr sente 55 segments il n est pas envisageable de passer le nom de chacun des fichiers de directives en param tre d entr e du codeur Nous choisissons donc d ajouter en entr e du codeur un unique param tre qui est le nom g n rique associ aux fichiers de directives L option sera pr cis e lors de l utilisation de la CLI en crivant x264 exe d generic filename txt Dans ce cas les modifications que nous allons apporter au codeur permettront de lire les fichiers
2. 420 userParameters format 420 Taille d un segment temporel userParameters GOPsize 9 Largeur des blocs en pixels userParameters bWidth 16 Hauteur des blocs en pixels userParameters bHeight 16 Taille de la fen tre de recherche userParameters wSize 20 vid o entrelac e ou progressive userParameters isInterlaced false options permettant de g n rer les fichiers de sortie userParameters generate MV true vecteurs de mouvement des tubes userParameters generate RAW false file raw raw data for x and y coordinates of tubes userParameters generate TXT true file txt with information computed about tubes userParameters denerate SEGMENTATION RESULT true file with onlv ai ath compensated mvs for a full GOP M Description Fichier Ligne Colonne Projet 1 warning C4800 char valeur forc e la valeur bool enne true ou false avertissement sur les performances archipeg cpp 112 Liste d erreurs Fen tre Ex cution SExplorateur d appels E R sultats de la recherche 1 gg R sultats de la recherche de symbole Ln 141 Col 29 Car 17 INS Fic 1 1 Solution ArchiPEG2 0 avec MVS 2005 Chapter 2 Le logiciel gui4x264 2 1 Introduction Le besoin d un outil tel que le logiciel gui4x264 Graphical User Interface for 1264 est apparu au cours de l avancement du projet RIAM ArchiPEG De fait dans ce projet il est question de guider les choix d un
3. generic filename0 txt generic filenamel txt Pour int grer cette nouvelle option au codeur x264 nous modifions tout d abord la fonction Help du fichier x264 c afin de faire figurer dans l aide les options relatives aux fichiers de directives a HOC Nal Ye 2 HO Forced Analysis n a HOC ja a HO d directive lt string gt Specify the file which contains the directives n De m me la structure 2264 param t d finie dans le fichier d en t te x264 h est enrichie d un champ suppl mentaire Ce champ permet de conserver en m moire le nom g n rique des fichiers contenant les jeux de param tres pour chaque segment temporel a yc TE SIT Ct a q 3 oe 4 Video Properties 5 char s_generic_filename_dir 7 x264_param_t J Ce champ sera initialis et renseign dans la fonction Parse du fichier x264 c qui permet de lire et de stocker les entr es pass es dans la CLI de x264 Static int Parse int argc char argv x264 param t param cli opt t opt a q 3 4 param gt s_generic_filename_dir NULL 5 eee 6 Parse command line options 7 God gg J d 9 static struct option long_options 10 1 help no argument NULL h 12 directive required argument NULL d 13 pe 14 iat c E getopt long argc argy SA B b a f blim o p q r t Vvw long_options amp long_options_index 16 switch c 17 18 19 case
4. 0 4 frame 0 mbx 1 mby O mode 2 QP 26 partition 0 18 Introduction g n rale e Ramo 4 s mopse s moy 10 3 mods I a Me Ge paratast aso 3 souspartition 0 0 0 0 ref 1 if Le formatage renseigne tout d abord le num ro du segment temporel courant ici GOF 0 puis Vordre de codage des images de ce segment ici l ordre naturel et enfin le mode de codage de chacun des macroblocs de ce segment Un macrobloc est index par le num ro d image a laquelle il appartient sa position x y dans cette image mbx 1 mby 0 Pour chaque macrobloc le mode de codage est pr cis Trois valeurs sont possibles 0 comportement du codeur par d faut 1 codage en mode inter 2 codage en mode intra Toute autre valeur conduira le codeur garder son comportement par d faut mode 0 Dans le cas des modes intra ou inter le param tre de quantification est pr cis QP 26 et les tailles de parti tion test es galement Les valeurs num riques associ es aux tailles des partitions test es sont toutes disponibles dans le fichier inclusion h Pour certaines partitions partition 3 qui correspond une partition 8 x 8 les tailles de sous partitions test es sont galement pr cis es Les valeurs num riques des sous partitions test es sont galement disponibles dans le fichier inclusion h Le jeu de param tres d un segment temporel
5. d 16 Introduction g n rale 20 21 22 23 24 25 26 27 28 29 30 if optarg NULL fprintf stderr x264 error Intern Error n Penne les y param s generic filename dir char malloc strlen optarg 5 sizeof char _snprint param gt s_generic_filename_dir strlen optarg 5 sizeof char 4 s optarg break ir Le nom g n rique des fichiers de directives tant maintenant connu il faut analyser chacun de ces fichiers en r cup rer les informations et les stocker dans des structures adapt es L objet de la prochaine tape est la cr ation de ces structures 3 2 2 Structures de stockage des directives Les structures que nous allons d finir vont permettre de stocker pour un segment temporel complet l ensemble des param tres de chaque macrobloc QP mode de pr diction taille de partition tailles des sous partitions r f rences utilis es Nous d finissons donc une structure contenant ces informations l mentaires relatives chaque macrobloc typedef struct int mode mode de pr diction int qp QP int partition taille de partition int souspartition 4 int iRef r f rences utilis es codage E partir de cette structure il est possible de cr er une structure englobante de plus haut niveau pour d finir enti rement un segment temporel m typedef struct 4 inte ai gof int o
6. entier largeur en pixels des blocs pour la pr analyse du flux vid o Par d faut la largeur des blocs est de 16 pixels 1 bWidth 16 e bHeight entier hauteur en pixels des blocs pour la pr analyse du flux vid o Par d faut la hauteur des blocs est de 16 pixels 1 bHeight 16 e wSize entier taille en pixels de la fen tre de recherche pour l estimation de mouvement r alis e au d but de la pr analyse de flux vid o Par d faut la taille de la fen tre de recherche est 20 pixels 1 wSize 20 1 3 Le mode DEBUG Il s agit ici de permettre l utilisateur de ne plus utiliser le logiciel de pr analyse comme une boite noire Pour cela il doit pouvoir parcourir le code en mode DEBUG ce qui n est pas possible lorsque des entr es consoles sont n cessaires Dans la fonction main du fichier archipeg cpp nous ajoutons donc une variable DEBUG MODE qui indique si le code sera parcouru en mode DEBUG int DEBUG_MODE 1 logiciel de pr analyse en mode DEBUG Dans ce cas les entr es de la CLI ne seront plus disponibles et il faut les passer directement dans la fonction main int main int argc char argv 2 3 4 5 if DEBUG_MODE 1 6 7 Vid o en entr e 8 userParameters inputVideoFileName new char 500 9 snprintf userParameters inputVideoFileName 500 s E input mobcal yuv 10 R pertoire de sortie
7. 2 define MODE INTER 1 3 define MODE INTRA 2 s define I 16x16 0 e define 1_4x4 1 7 Hdefine 1_16x16_4x4 2 s define P 16x16 0 1 define P_16x8 1 u define P_8x16 2 2 define P_8x8 3 1 define P 16x16 16x8 4 4 define P 16x16 8x16 5 15 define P 16x16 8x8 6 1 define P 16x8 8x16 7 z Hdefine P_16x8_8x8 8 1s define P 8x16 8x8 9 1 define P 16x16 16x8 8x16 10 2 define P 16x16 16x8 8x8 11 a define P 16x16 8x16 8x8 12 2 define P 16x8 8x16 8x8 13 2 define P_ALL_PARTITION 14 24 2 define P_SUB_8x8 0 2 define P_SUB_8x4 1 x define P_SUB_4x8 2 2 define P_SUB_4x4 3 2 define P_SUB_8x8_8x4 4 x define P_SUB_8x8_4x8 5 a define P_SUB_8x8_4x4 6 3 define P_SUB_8x4_4x8 T 3 define P_SUB_8x4_4x4 8 a define P_SUB_4x8_4x4 9 3 define P_SUB_8x8_8x4_4x8 10 x define P_SUB_8x8_8x4_4x4 11 3 define P_SUB_8x8_4x8_4x4 12 3 define P_SUB_8x4_4x8_4x4 13 s define P SUB ALL PARTITION 14 Il est galement possible de g n rer des fichiers apr s chaque tape de notre outil de pr analyse et de conditionnement de flux vid o fichier texte contenant les vecteurs de mouvement de chaque tube spatio temporel fichier texte contenant les param tres du mouvement global pour chaque segment temporel vid o au format YUV contenant les cartes de la segmentation bas e mouvement de chaque segment temporel Introduction g n rale vid o au format YUV contenant les cartes de la segmentation spatio temp
8. Tz Cv Universit de Nantes cole polytechnique de l universit de Nantes Projet RIAM ArchiPEG convention ANRO5RIAMO1401 Lot 4 3 Manuel d utilisation du logiciel de conditionnement et de pr analyse de flux vid o O Brouard F Delannay V Ricordel et D Barba Laboratoire IRCCyN quipe IVC juin 2008 Table des mati res 1 3 ewe Arce A O e a A A do eee 3 Leek e AA A 3 E 5 Mop us a cee Bess a a A ra a 6 2 Le logiciel gui4x264 10 sao a a aa ty es DE 10 2 2 Pr sentation de l outil 4 3 4 4 44 Le s pa BE ra eee db 10 2 2 1 Cr ation d un projet 10 2 2 2 Choix du jeu de param tres de chaque Objetl 11 a CMM 19 14 AAN 14 E ee BS rene 14 3 2 1 Ajout d une option pour lire les fichiers de directives de codage 16 as oho A ee 17 3 2 3 Lecture des directives 18 cT D Ha oe Bee Sey Gs a ty ee ee 19 ba dhs A HEHE EEE 19 19 9 dedere RR ed 19 A re 19 Jaco RRA ye A A ee ee 20 22 23 TR to bdo do oa dl ds de BD ee ee eee 23 AN 24 lm dug ore E 25 deed donde mwas co E rea 25 osas so os PME 26 A A aes 97 eRe urba 4444 doy bs Bela ae let es 28 A 3 5 Caract ristiques temporelles 28 A A Suivi d objetsl 444 4244444244 mme ee dd o desde haut ia 29 ALT Compensation en mouvement de la carte de segmentation du segment tI 29 o ass oo a Des 29 AE E OS PESE 30 A AA 31 A O 31 AAA AA
9. Universit de Nantes PhD Thesis Ecole polytechnique de l universit de Nantes 2005 W Osberger A J Maeder and N Bergmann A Perceptually Based quantization Technique for MPEG Encoding In IS6 T SPIE Conference on Human Vision and Electronic Imaging II SPIE vol 3299 pp 148 1591 janvier 1998 http www acceptv com 49
10. celui d une r gion La fonction de potentiel qui mesure cette ressemblance est d finie par MV x MVR e maz MV MV Vinouvement 3 O MV et M Vine sont respectivement les vecteurs de mouvement associ s au site s et a la r gion R es form e des sites tiquet s es Le produit scalaire normalis pr sent dans l quation ci dessus fournit une valeur de ressemblance pour les vecteurs qui varie entre 1 et 1 L inversion du signe de ce produit scalaire permet d attribuer un potentiel faible lorsque les mouvements sont proches et plus important lorsqu ils sont diff rents L nergie l mentaire W pour le crit re de mouvement est donc d finie par Wales Os o R es 5 Vmouvement ses A 3 5 Caract ristiques temporelles La dur e de vie d un objet spatio temporel est g n ralement plus grande que la dur e d un segment temporel 180ms le cycle de vie d un objet s tend typiquement sur plusieurs segments successifs Une r gion segment e dans un segment temporel t doit donc respecter une coh rence temporelle avec la r gion correspondante dans le segment t 1 si elle existe c est dire que la forme d une r gion segment e doit rester temporellement homog ne et compacte Afin d assurer cette propri t entre deux segments successifs nous utilisons la projection temporelle du segment t 1 l instant t Cette pro jection tient compte
11. codeur H 264 r alise lors de la phase de codage d une s quence vid o une optimisation d bit distorsion pour chaque macrobloc afin d obtenir le meilleur mode de codage intra ou inter taille des sous partitions de macrobloc Lors de cette optimisation d bit distorsion le codeur doit r aliser une estimation de mouvement sur tous les modes inter en testant toutes les images de r f rence pr c demment cod es d cod es stock es dans un buffer Cette phase est donc tr s co teuse en temps de calcul alors qu elle ne garantie pas la coh rence avec le contenu spatio temporel de la s quence vid o Cette observation indique qu une connaissance a priori sur le contenu spatio temporel de la s quence vid o coder permettrait de r duire significativement la charge de calculs du codeur Il appara t donc n cessaire de placer en amont du codeur un phase de pr analyse d di e au mouvement au sein de la vid o Il sera possible d appr hender de fa on plus juste le mouvement des objete et leur ancrage temporel Cette analyse doit pouvoir caract riser le mouvement physique ainsi que la complexit locale de l image dans le but d acc l rer le codage en choisissant la meilleure strat gie offerte par le codeur H 264 i e le meilleur jeu de param tres du codeur La connaissance approfondie des objets cycle de vie suivi spatio temporel texture pr sents dans une sc ne permettra notamment de d cider pour chacun d en
12. de flux vid o g n re en sortie un fichier de directives par segment temporel Celui ci contient les informations de codage qui sont alors format es et crites dans le fichier texte correspondant au segment temporel trait sous la forme GOF 0 ordre 8 7 6 5 4 3 2 1 0 frame 0 mbx 0 mby 0 mode 2 QP 2 partition 0 frame 4 mbx 13 mby 8 mode 1 QP 1 partition 0 ref 1 Le fichier format contient donc le num ro du segment courant ici GOF 0 l ordre de codage des images et les informations de codage pour chaque macrobloc le num ro d image laquelle appartient le macrobloc la position mbx mby du macrobloc dans cette image le mode de codage voir l annexe l indice de quantification en fonction de la saillance du bloc la taille des partitions test es voir l annexe Introduction g n rale e le num ro de l image r f rence utilis e c est dire l indice de l image utilis e dans le buffer des images de r f rence Le fichier texte ainsi g n r peut alors tre fourni en entr e d un codeur modifi Le codeur utilisera les informations disponibles dans le fichier texte pour guider ses choix et aura un comportement par d faut lorsqu aucune instruction ne sera disponible Ci dessous sont pr sent es les valeurs num riques associ es aux modes de codage et aux tailles de partitions et de sous partitions qui seront test es 1 define MODE CODEUR 0
13. des jeux de param tres lus en entr e 1Un segment temporel est un ensemble de 9 images successives 14 Introduction g n rale a libx264 E Ey Core Gil AMD64 E core h Ca 1386 cabac c C common c Gti cpu c csp c CH det c frame c macroblock c me c c C me c mdate c ci pixel c ci predict c c predict c ci quant c ci set c amp 3 Dec amp Ey Enc e enc_h analyse c cabac c Cri cavlc c C encoder c eval c macroblock c me c ej plugin archipeg c ratecontrol c ci set c S Ey extras m extras h 2 getopt c E Gi x264 Ci matroska c h matroska h CH muxers c t muxers h n x264 h XZ64 c encoder c ratecontrol c X Port e globale dll 9x264_encoder_open x264_param_t param E Alex ifdef DEBUG_DUMP_FRAME create or truncate the reconstructed video file FILE f fopen fdec yuv y ifi f fclose f else x264 log h 4 LOG ERROR can t write to fdec yuvin x264 free h return NULL endif return h ELL PRRRRRRRERREREEREEREEREEREEREEEEEREEREEREEEEEREEREEEEEREEEE EE ER EE EEE REE Ga x2 64 encoder reconfig L RRRRRRERREAR EAR EAR ERR ERR ERR ERR ERR EER EER EER EER EER EER EER EER AREER EERE EE REE EE EES Gint x264 encoder reconfig x264 t h x264 param t param t define COPY var h gt param var param gt var COPY i frame reference
14. image centrale d un segment temporel de neuf images Pour obtenir la carte de segmentation de chacune des neufs images du segment courant il faut compenser en mouvement la carte centrale Pour cela un fichier contenant les informations de mouvement pour chaque segment temporel mouvement global et mouvements locaux est disponible et galement fourni par le logiciel ArchiPEG2 0 Les informations pass es en entr e du logiciel gui4x264 sont donc e le fichier qui contient la d composition de la s quence vid o en cartes de segmentation e la dimension de chaque carte de segmentation hauteur largeur et format d chantillonnage de la couleur 10 Introduction g n rale Sans nom gui4x264 Directives Dimensions des Param tres d entr e cartes de segmentation Cr ation d un projet QP Sous partitions Format uy 4 0 0 v Ordre de codage Figure 2 1 Entr es du logiciel gui4x264 e le fichier qui contient les informations de mouvement e le fichier dans lequel sera sauvegard le jeu de param tres que doit utiliser l encodeur H 264 La figure pr sente la bo te de dialogue qui permet de renseigner chacune de ces informations Notons que le nom de fichier pour sauvegarder les directives est en r alit un nom g n rique Pour acc der rapidement aux informations contenues dans un fichier ce dernier doit avoir une taille en octets relativement faible Nous cr ons donc un fichier texte pour chaque seg
15. impliquent des contrastes 34 Cartes de saillance visuelle importants Notre mod le de saillance des couleurs bas sur les travaux de Aziz et Mertsching 4 combinent tous les points mentionn s ci dessus Nous divisons cette proc dure en sept tapes dont chacune contribue la valeur de saillance d un site s Les valeurs des diff rentes composantes de couleur utilis es dans nos calculs pour un site s sont les valeurs moyennes du bloc situ au centre du tube consid r B 2 1 1 Transformation de l espace de couleur Avant de calculer la saillance spatiale nous r alisons une transformation des couleurs En effet les s quences vid os originales sont au format YUV Le mod le YUV d finit un espace colorim trique en trois composantes Le premier repr sente la luminance et les deux autres repr sentent la chromi nance Nous utilisons deux transformations pour obtenir des donn es dans l espace de couleur HSV La premi re est une transformation de l espace YUV vers l espace de couleur RGB et s crit 1 0 1 5701 RGB 1 0 187 0 4664 YUV B 1 1 1 8556 0 R Y 4 1 5701 x V 128 G Y 0 187 x U 128 0 4664 x V 128 B Y 1 8556 x U 128 La deuxi me transformation permet d obtenir des donn es dans l espace de couleur HSV partir de donn es issues de l espace RGB Les quations de cette transformation sont les suivantes 60 G B si matraB R 360 MAX RGB MINRG
16. ot kmin 0 21 La contribution de la premi re tape en terme de saillance pour un site s est obtenue a partir des deux facteurs de saturation et d intensit 35 Cartes de saillance visuelle J Pi As HUUGU va ni B 5 j 1 o p est la taille du voisinage 8 connexe et 7 repr sente l ensemble des sites voisins de s La seconde tape collecte les contributions des sites qui ont une valeur de teinte loign e de celle du site s Le calcul de Xi est r alis de la mani re suivante j Pi Xalsi Y feet fit Alem Ve n B 6 j l ou Be repr sente la diff rence de teinte entre le site s et le site voisin s Du fait de la nature circulaire de la teinte nous calculons la diff rence de teinte entre deux sites s et s de la facon suivante H H A teinte Ai pour Ai lt 0 5 dd 1 Aj sinon o Aj H s H s H s tant la valeur de teinte du site s celle ci tant comprise entre 0 et 1 Une valeur de teinte gale 1 repr sente un angle de 360 et donc une valeur de 0 5 repr sente un angle de 180 Les sites voisins ayant un contraste important en terme de teinte avec le site s vont augmenter le poids de cette seconde contribution la saillance finale Dans la troisi me tape nous tendons le principe de contraste entre couleurs chaudes et froides au contraste entre couleurs passives et actives Une couleur est consid r e comme tant active si sa valeur de teinte est c
17. segmentation initiale du segment courant pour le traitement avec approche markovienne est vide en fait elle ne comprend qu un seul objet le fond et donc notre approche markovienne n au rait aucun effet Nous choisissons alors pour ces configurations particuli res d initialiser la m thode de segmentation markovienne avec la carte de segmentation projet e du segment pr c dent Cette technique permet de rester efficace dans le suivi des objets travers les segments temporels successifs A 5 Minimisation de l nergie Nous avons montr que pour obtenir le champ d tiquettes optimal il faut minimiser la fonction d nergie U o e donn e par U o e a1 W a2 W2 03 W3 aa Wa o5 Ws La carte de segmentation issue de la segmentation bas e mouvement va servir d initialisation pour la segmentation par approche markovienne Nous calculons pour chaque site un degr de stabilit AU s qui correspond la variation entre l nergie associ e au site pour l tiquette courante e et l nergie minimale qu aurait ce site avec une tiquette optimale e AU s U s e U s es si AU s est non nul alors le site est instable Nous mettons en ceuvre une pile d instabilit le site le plus instable est trait en premier et ainsi de suite de facon it rative jusqu ce que tous les sites soient stables Chaque site instable est trait de la fa on suivante sile site a d j t trait plusieurs fois il e
18. sous projet Pr analyse et conditionnement d un flux vid o HD du projet RIAM ArchiPEG Ce sous projet va fournir pour chaque image de la s quence vid o encoder un jeu de param tres les valeurs de QP Quantization Parameter pour chaque macrobloc le mode de chaque macrobloc I P B les tailles de partition de chaque macrobloc l image r f rence utiliser pour un macrobloc de type Inter P ou Inter B Par d faut le codeur ne donne pas la possibilit d int grer ce jeu de param tres nous devons donc cibler et modifier certaines parties du code Afin de naviguer dans le code en mode DEBUG une modification doit galement tre apport e au codeur afin de l emp cher de fonctionner avec une CLI 3 2 Les directives de codage L objectif est de fournir au codeur x264 un jeu de param tres relatif la quantification au choix des modes de pr diction et au choix des images de r f rence Ce jeu de param tres est fourni en entr e du codeur sous la forme d un fichier texte analyser En r alit il y a un fichier texte descriptif de chaque segment temporel encoder Pour que le codeur utilise les jeux de param tres d finis plusieurs tapes sont n cessaires ajout d une option en entr e du codeur pour lire les directives ajout de donn es dans le codeur pour stocker ces directives lecture des directives Enfin l tape d analyse du codeur pourra tre modifi e en tenant compte
19. spatio temporelle B 2 Calcul des cartes de saillance visuelle De nombreux facteurs influencant lattention visuelle ont t identifi s 5 et sont regroup es en deux cat gories La premi re regroupe toutes les informations spatiales dont les plus susceptibles de stimuler notre attention visuelle regroupent la couleur l orientation et la taille La deuxi me concerne les informations temporelles Or une s quence vid o contient ces deux types d informations susceptibles de stimuler notre attention visuelle C est pourquoi notre modele d attention visuelle pr attentive doit les prendre en compte Celui ci se d compose en deux parties l une mod lise l attention visuelle partir des informations spatiales et l autre partir des donn es temporelles La derniere tape combine ces deux parties afin d obtenir une carte de saillance spatio temporelle B 2 1 Saillance spatiale bas e sur le contraste de couleur Des informations importantes peuvent tre trouv es dans la litt rature sur la th orie des couleurs et plus particuli rement sur les attributs des couleurs qui contribuent rendre un objet visuellement saillant ou non En terme de saillance de couleur d autres m thodes d attention visuelle artificielle se sont concentr s uniquement sur les attributs de couleurs qui ont t signal s en psychologie et de nombreux aspects importants d crits cet effet dans la th orie des couleurs ont t n glig s Les artistes utilisen
20. visuellement Bien videmment cela n cessite de disposer d informations priori sur la sc ne coder Dans ce contexte d tudes nous couplons un sch ma de compression s lective directe avec notre mod le de saillance visuelle d crit dans le chapitre pr c dent C 2 Compression s lective directe L objectif de la compression s lective directe est de contr ler la distribution des ressources de codage ne fonction de l int r t visuel de chaque macrobloc afin d accroitre la qualit visuelle perque Il a t montr qu une compression s lective sur images fixes permettait d am liorer la qualit subjective d une part lorsque les zones d int r t sont de tailles relativement faibles et d autre part lorsque pour une approche classique de codage le d bit de consigne provoque l apparition d artefacts de codage sur les zones saillantes La plupart du temps le param tre sur lequel on agit est la consigne de quantification En d autres termes un macrobloc pr sentant un int r t visuel faible sera quantifi plus grossi rement qu un macrobloc ayant un int r t visuel important C 3 Modification du coeur de codage La modification du coeur de codage consiste d terminer l index de quantification de chaque ma crobloc L index de quantification est d terminer en fonction de la carte de saillance spatio temporelle Plus une zone est saillante et plus elle sera quantifi e finement et inversement La carte de saillance spatio tempore
21. 2 yo we og xm a om NO aseo om 2 F we Wester t E C IG gs Fic B 4 Cartes de saillance pour la s quence New Mobile and Calendar segments 43 46 avec de haut en bas images originales cartes de saillance spatiale cartes de saillance temporelle et cartes de saillance spatio temporelle 41 Cartes de saillance visuelle Fic B 5 Cartes de saillance pour la s quence Knightshields segments 28 31 avec de haut en bas images originales cartes de saillance spatiale cartes de saillance temporelle et cartes de saillance spatio temporelle B 4 Conclusion Ce chapitre a pr sent une m thode de mod lisation de saillance spatio temporelle Le calcul de la saillance spatiale est bas sur les couleurs et plus particuli rement sur les contrastes de couleur Comparativement la d termination de la saillance spatiale la saillance temporelle est plus facile calculer car le concept sous jacent est relativement simple Une zone temporellement saillante est une zone en contraste de mouvement Dans l approche propos e le contraste de mouvement est d termin partir d une estimation locale vecteur de mouvement par tube et d une estimation globale du mouvement la diff rence appel e mouvement relatif indique les zones temporellement saillantes La saillance finale est obtenue en combinant les saillances spatiale et temporelle Le centre de l image en lui m me tant une zone particuli re
22. 32 33 Aaa aa o X NNUS mos m bo hb a ae Oe A 33 B 2 Calcul des cartes de saillance visuellel ee 33 33 35 35 37 37 38 39 A E A A A ee te 39 Oh 4 Aide AA a 42 43 Lu auus aV EI A A ura AS 43 bob wm sk OR S Poi gs ek hono n RR DR o4 4 40403 39 43 WERT 43 WW uas TM vc 44 45 34 4 9 D TR MIT US dns 5 OR aa 45 D Hee ee ae ces 45 A sae ce a ed A a at ae ata an 45 O an Goat ER 45 Li MINI a A 46 3 2 1 Tractor ies ae wa OO Xo P A a A wes 46 Table des figures 1 Sch ma du codeur H 264 AVC 2 2 1 1 Solution ArchiPEG2 0 avec MVS 2005 9 2 1 Entr es du logiciel guidx264 11 A AA ARA AA de deere N 12 3 1 Solution x264 avec MVS 2005 15 A 1 Bloc de traitement d un segment temporel par approche markovienne A 2 Cliques associ es des syst mes de voisinage en 4 connexit et 8 connexit A 3 Ensemble des cliques spatiales d ordre 2 associ es un voisinage 8 connexe cartes de saillance spatio temporelle rest re ee 46 AA 47 A O 47 ade ea ead tly ee 48 IV Introduction g n rale Les travaux pr sent s dans ce rapport ont t r alis s dans le cadre du projet RIAM ArchiPEG qui rel ve de la convention ANRO5RIAMO01401 Ils correspondent la troisi me t che du sous projet 4 intitul Pr analyse et conditionnement du flux
23. 6 no 6 pp 721 741 1984 M Z Aziz and B Mertsching Fast and Robust Generation of Feature Maps for Region Based Visual Attention IEEE Transactions on Image Processing vol 17 no 5 pp 633 644 2008 J M Wolfe and T S Horowitz What attributes guide the deployment of visual attention and how do they do it Nature Rev Neuroscience vol 5 pp 1 7 2004 J M Wolfe K R Cave and S L Franzel Guided search an alternative to the feature integration model for visual search Journal of experimental psychology Human perception and performance vol 15 no3 pp 419 433 1989 R Coudray and B Besserer Global motion estimation for MPEG encoded streams in Proc IEEE International Conference on Image Processing ICIP 2004 Singapore Republic of Singa pore October 2004 O Brouard F Delannay V Ricordel and D Barba Robust Motion Segmentation for High Definition Sequences using a Fast Multi Resolution Motion Estimation based on Spatio Temporal Tubes in Proc Picture Coding Symposium PCS 2007 Lisbonne Portugal novembre 2007 S Daly Engineering Observations from Spatiovelocity and Spatiotemporal Visual Models In IS8T SPIE Conference on Human Vision and Electronic Imaging III SPIE vol 3299 pp 180 191 janvier 1998 O Lemeur Attention s lective en visualisation d images fixes et anim es affich es sur cran Mod les et valuation de performances Applications
24. B 60 BR u H 360 x mavnGg minnag sS MATRGB G 360 X marnes minngs MOERGB B B 2 S MARGE MMRGE MATRGB Va TAX RGB B 2 1 2 Calcul de la saillance spatiale Les cinq premi res tapes de l algorithme utilisent un ou les deux facteurs de saturation iet d intensit fa dans leurs calculs Les indices i et j repr sentent respectivement la position du site courant et d un site voisin voisinage 8 connexe La premiere partie du facteur de saturation ru est obtenue en calculant la moyenne des valeurs de saturation entre le site s et le site s de sorte l effet de ce facteur soit plus important lorsque les deux blocs ont une valeur lev e de saturation et vice versa La deuxi me partie d pend seulement de la saturation du site s et d tient une valeur minimale gale kmin afin de ne pas supprimer l interaction des blocs avec une saturation proche de z ro Le reste de la seconde partie est obtenue partir de la saturation du site s et est pond r par 1 kmin Le facteur pour l intensit est calcul de la m me fa on en utilisant la valeur de l intensit de la couleur du bloc et non la valeur de la saturation Soient S s et I s respectivement les valeurs de saturation et d intensit du site s et la valeur maximale pour la saturation et l intensit tant gale 1 les deux facteurs de saturation et d intensit sont d finis par sat _ S si T S s E Med Fen x kmin E 1 kmin I si B 4
25. associ s aux tubes qui constituent cet objet Soit M Vobjet le vecteur mouvement repr sentant le d placement d un objet et MV i 1 N l ensemble des vecteurs d placement rattach s cet objet la pseudo variance 7 sera alors d finie par Y 7 3 MVaya MV i 1 o N repr sente le nombre de tubes qui constituent l objet Si cette pseudo variance est inf rieure un certain seuil nous consid rons que la segmentation au sens du mouvement est assez pr cise les mouvements associ s aux tubes qui composent un objet sont proches les poids li s aux autres crit res couleur texture seront donc moins importants Q4 ag a3 04 a4 1 a5 0 6 sio lt seuil ai ag 1 a3 0 4 04 as 0 6 sio gt seuil A 7 R sultats Les r sultats obtenus apres une segmentation bas e mouvement seule et ceux obtenus en couplant cette segmentation l approche markovienne pr sent e ici montrent que les objets spatio temporels sont plus fid lement d tect s avec l approche markovienne Le tableau A 1 pr sente pour chacune des deux m thodes le ratio entre le nombre d objets en mouvement d tect s et le nombre r el d objets en mouvement au sein de s quences HD Bien que le taux de d tection soit augment nous remarquons que l approche markovienne n assure la d tection de tous les objets Par exemple la fin de la s quence Tractor le tracteur est trop petit pour tre d tect cause du zoom sorta
26. d lisation Les notations suivantes sont adopt es pour la r solution de notre probl me E e s S est le champ d tiquettes sur l ensemble S des sites s Dans notre cas un site est un tube spatio temporel et les sites d une r gion segment e correspondant un objet en mouvement travers les segments temporels ont le m me label O 0 s S est le champ d observations Les r alisations des champs O seront not es o fos s S A respectivement Q est l ensemble des r alisations possibles de E respectivement toutes les configurations d tiquettes possibles de e n n s S est une structure de voisinage d finie sur s E O est mod lis par un champ de Markov al atoire Dans ce cas le champ d tiquettes optimal est obtenu selon un crit re MAP Maximum A Posteriori Le th or me de Hammersley et Clifford tablit l quivalence entre les champs markoviens et les distributions de Gibbs 1 la configuration optimale du champ des tiquettes est alors obtenue en minimisant une fonction d nergie globale U o e argmin U o e A 1 Les propri t s markoviennes du champ d tiquettes permettent d crire cette fonction d nergie comme tant la somme de fonctions de potentiel l mentaires Ces fonctions de potentiel sont d finies localement sur des structures appel es cliques U o e 5 V o e A 2 ceC o C est l ensemble des cliques c de S relatives au vo
27. de d un mod le affine six param tres Ve a az x ty B 14 Jl ae eus L quation donne le d placement Vx V d un point la position x y en fonction de six param tres li s au mouvement global Le mod le affine r duit le nombre de mouvements de la cam ra trois types les translations tx et t les rotations az az et les zooms a4 a4 Nous avons adapter la m thode de Coudray pour estimer ces six param tres 37 Cartes de saillance visuelle Lors de l estimation du mouvement global nous avons d termin les param tres de translation en localisant le maximum de l histogramme d accumulation des vecteurs compens s par les param tres de d formation Apr s tude de tous les pics une segmentation au sens du mouvement en plus de l esti mation du mouvement global est effectu e avec l hypoth se que chaque pic repr sente le mouvement d un objet Cette m thode d estimation du mouvement global possede cependant un l ger d faut En effet les param tres de translation du mouvement global sont d tect s l aide du pic principal dans l his togramme d accumulation des vecteurs compens s par les param tres de d formation Si la s quence vid o trait e contient un objet uniforme de taille importante c est dire recouvrant plus de la moiti de l image les vecteurs de mouvement de cet objet vont alors tre identifi s comme le pic principal dans l histogramme d accumulation Afin de r soudre ce p
28. du mouvement global de cam ra et des mouvements locaux des objets segment s Une clique temporelle peut alors tre d finie entre le segment courant et le segment pr c dent projet pour maintenir l homog n it de la forme de la r gion segment e Ce syst me est pr sent en figure Sur cette repr sentation une r gion repr sent e en couleur est suivie d un segment un autre et change sensiblement de forme au cours du temps La fonction de potentiel associ e au crit re temporel est d finie par Ve BR sies t Z es t 1 Ve f si es t es t 1 avec 3 1 et o es t et es t 1 sont respectivement les tiquettes du site du segment courant et du site du segment pr c dent projet L nergie l mentaire Ws pour le crit re temporel est alors d finie par Ws es t gt Ve es t es t 1 c C o C est l ensemble de toutes les cliques temporelles de S Notons que pour utiliser cette fonction de potentiel il faut qu un m me objet garde la m me tiquette d un segment temporel l autre il faut donc assurer le suivi temporel des objets travers les segments successifs C est l objet de la prochaine section 28 Segmentation par approche markovienne site s Iu is A Le ae L L o Masque compens du segment t 1 Masque de segmentation du segment t Fic A 4 Clique temporelle entre deux segments successifs A 4 Suivi d
29. e de voisins disponible dans le voisinage 8 connexe 36 Cartes de saillance visuelle Les couleurs chaudes constitu es de l intervalle de couleurs rouge orange et jaune produisent une contribution suppl mentaire afin de renforcer leur saillance dans la sixi me tape Cet intervalle de couleur est situ dans les premiers 45 du disque de repr sentation de la teinte Cette contribution se formule de la fa on suivante S s I s pour 0 H s lt 0 125 la valeur de la teinte variant entre 0 et 1 un angle de 45 correspond une valeur de 0 125 Finalement la septi me tape est constitu e de la contribution li e aux sites ayant une couleur fortement satur e et une intensit lumineuse importante Ces composantes de couleurs du site 5 sont combin es afin de d terminer la contribution pour la derniere tape La saillance spatiale finale est obtenue en combinant les contributions des sept tapes 7 1 S5 s 5 DV s B 13 El Cette carte est ensuite normalis e en fonction de la saillance maximale globale obtenue pour chaque image BPP fa te O Smax est la valeur de saillance maximale obtenue pour l un des blocs de l image B 2 2 Saillance temporelle L aspect temporel est primordial dans la mod lisation de l attention visuelle Dans un contexte de recherche visuelle J Wolfe 6 a clairement identifi le mouvement comme un attracteur visuel Une cible en mouvement enfouie dans un ensemble de dist
30. e est forte Il faut prendre en compte la capacit maximale de poursuite de l ceil S Daly 9 a montr que la vitesse de poursuite maximale de l oeil pouvait aller jusqu 80 deg sec Si la v locit du mouvement relatif est sup rieure est sup rieure la v locit maximale de poursuite alors la saillance temporelle est nulle De plus celle ci sera maximale entre D ds 30deg sec et Va 30deg sec Pour les v locit s inf rieures v et sup rieures v la saillance sera obtenue en fonction d une droite affine d finie ci dessous gt gt XV relatif 8 pour 0 lt V retatif s lt V1 gt gt S s m pour o 1 S V retatif 5 bru 2 B 16 ag V relatif 8 se 5 pour Va lt V relatif S X U ymax 0 sinon o Uy ii 30deg sec V2 30deg sec et Tmar 80deg sec L indice de saillance temporelle obtenu en fonction de la v locit temporelle est illustr dans la figure 38 Cartes de saillance visuelle 15 0 5 saillance temporelle 0 5 10 20 30 40 50 60 70 80 90 100 vitesse en deg sec Fic B 2 Fonction repr sentant la saillance temporelle en fonction de la vitesse B 2 3 Saillance finale A Partir de la saillance spatiale et de la saillance temporelle la saillance spatio temporelle est d terminer Les tudes r alis es par O Lemeur 10 montrent que les observateurs ont tendance favo riser le centre de l cran C est pourquoi il pond re son modele de saillance s
31. e est pr sent en figure 2 2 Il s agit d une carte de segmentation extraite d une s quence synth tique dans laquelle un objet ind formable suit une translation horizontale de gauche droite sur un fond textur et immobile L objet s lectionn est le fond en blanc dans le cadre Objet S lectionn le QP est fix 26 le mode choisi est le mode Inter les tailles de partitions test es sont en surbrillance et la pr diction s effectuera partir de la premi re imagq du buffer des images de r f rence Ici l ordre de codage des images est invers par rapport l ordre d affichage indices de 8 0 Une fois que tous les param tres li s au codage du segment courant sont entr s l utilisateur peut cliquer sur le bouton enregistrer le segment courant Les informations de codage sont alors format es et crites dans le fichier texte correspondant 2 3 Evolutions possibles Ce chapitre a pr sent le logiciel le logiciel gui4x264 qui a t r alis de mani re fournir les outils de bases absolument n cessaires la conception de tests lors du projet ArchiPEG Cependant d autres fonctionnalit s suppl mentaires pourraient tre ajout es la liste suivante propose quelques volutions envisageables sur l outil gui4x264 llimage k du buffer est index e par l indice k 1 12 Introduction g n rale e L outil ne traite que le cas du codage Inter P Nous pouvons donc souhaiter ajouter la gestio
32. en m moire il convient pr sent de modifier le code de x264 relatif l analyse pour tenir compte des directives impos es 3 3 Modification de l analyse La modification de l analyse vise ici trois objectifs choix des modes de pr diction choix des images de r f rence choix du param tre de quantification QP Nous allons pr senter pour chacune de ces modifications les parties du code original de x264 qui ont t modifi es 3 3 1 Choix des modes de pr diction Pour forcer le codeur utiliser un jeu de param tres impos pour un macrobloc il faut modifier la fonction d analyse 2264 macroblock analyse du fichier analyse c Par d faut cette fonction calcule pour chaque macrobloc un co t associ chaque mode de codage inter ou intra et pour chaque taille de partition Nous allons donc modifier cette fonction pour qu elle ne calcule que les co ts associ s aux modes et aux partitions que le fichier texte de directives autorise tester Notons qu en pratique il est complexe de modifier le codeur de sorte qu il ne teste pas tous les modes de pr diction Par exemple ce dernier ne peut mener l analyse d un macrobloc avec deux partitions 16 x 8 qu apr s avoir fini l analyse avec une partition 16 x 16 Nous allons donc tester tous les modes de pr diction les modes qui n taient pas pr vus par le fichier de directives se voient alors attribuer un co t maximal afin que le codeur ne les retienne pas Not
33. en mouvement d tect s A 6 Facteur d importance des crit res ajout s Un objet vid o est une forme spatio temporelle caract ris e par sa texture sa couleur et son mou vement qui souvent diff re du mouvement global de la sc ne Nous avons choisi de poser l hypoth se selon laquelle le mouvement est le critere le plus d terminant pour segmenter les objets d un segment temporel Cependant les informations de mouvement sont obtenues partir d une m thode d esti mation dont la pr cision d pend fortement des contenus vid os Ainsi pour certaines s quences le mouvement sera un crit re fiable alors que pour d autres s quences la segmentation devra s appuyer plus fortement sur les criteres de couleur de texture ou de voisinage Cette constatation nous a amen s cr er deux jeux de param tres a i 1 5 pour calculer l nergie globale U o e selon que l estimation des mouvements soit consid r e fiable ou non Dans le cas ou le mouvement sera fiable le param tre o4 qui repr sente l importance de l nergie li e au mouvement dans l nergie globale U o e sera augment tandis que les poids li s aux autres nergies seront plus faibles Inversement si l estimation de mouvement est jug e trop peu pr cise ce poids sera diminu et les autres poids augment s Pour caract riser la pr cision de l estimation de mouvement nous calculons pour chaque objet spatio temporel une pseudo variance des vecteurs de mouvement
34. ence importante va manifestement produire un contraste r el Du fait de la nature circulaire de la teinte la plus grande diff rence entre deux valeurs de teinte est de 180 4 Contraste d Opposants Les couleurs situ es sur les c t s oppos s du disque de teinte produisent une importante valeur de contraste Cela signifie naturellement que la diff rence des angles des valeurs de teinte doit tre proche de 180 Les couleurs situ es dans la premi re moiti du disque de teinte connues comme la gamme de couleur active domineront sur le reste des couleurs passives 5 Contraste des couleurs Chaude et Froide Les couleurs chaudes c est dire rouge jaune et orange sont visuellement plus saillantes Ces couleurs sont situ es dans les premiers 45 du disque de teinte Les couleurs chaudes et froides cr ent un contraste dans lequel les couleurs chaudes restent dominantes 6 Dominance des Couleurs Chaudes Les couleurs chaudes dominent leur environnement m me si un contraste existe dans cet environnement 7 Dominance de la Luminosit et de la Saturation Les couleurs fortement lumineuses et satur es sont consid r es comme tant attractives sans tenir compte de leurs valeurs de teinte De telles couleurs ont plus de chances d attirer l attention L effet de contraste est contr l e par la valeur de saturation des deux couleurs impliqu es dans les situations mentionn es aux points 2 5 Les couleurs fortement satur es
35. encodeur H 264 AVC pour le codage d objets spatio temporels contenus dans une s quence vid o Le but de l outil gui4x264 est donc de fournir un moyen simple et interactif de cr er des jeux de param tres interpr tables par un encodeur AVC Les param tres piloter dans le codeur ont t fix s dans le cadre du projet il s agit e du mode de codage Intra Inter P Inter B e de la taille de partition des macroblocs e du param tre de quantification QP e de l ordre de codage des images partir de la d composition d une s quence en objets spatio temporels l outil d velopp doit donc permettre de choisir ces param tres pour chaque objet Le jeu de param tres sera alors format et stock dans un fichier texte Ce fichier sera donn en entr e d un encodeur H 264 modifi et permettra de guider les choix de codage Notons que la d composition de la s quence en objets spatio temporels est fournie par l outil ArchiPEG2 0 qui se base sur une estimation de mouvement par tubes spatio temporel et une approche markovienne pour segmenter la vid o originale 2 2 Pr sentation de l outil 2 2 1 Cr ation d un projet Pour utiliser le logiciel gui4x264 il faut disposer en entr e de la d composition d une s quence vid o en objets spatio temporels Cette d composition est fournie par le logiciel ArchiPEG2 0 sous la forme d une suite de cartes de segmentation Chacune des cartes repr sente la segmentation spatio temporelle de l
36. ent la saillance des zones loign es du centre de l image De plus les chiffres crits en rouge sur le calendrier sont plus saillantes que les zones voisines Les figurines dispos es sur le train en mouvement sont d tect es dans les quatre segments temporels La figurine orange repr sentant un tigre est d tect e comme la zone la plus saillante du fait de sa position au centre en bas et de sa couleur orange Pour la derni re s quence test e les r sultats pr sent s dans la figure B 5 semblent corrects galement En effet la zone la plus saillante est l homme se d placant Le fond bien qu tant immobile r ellement tr s riche en informations spatiales est saillant par endroit Les diff rents bla sons shields sont plus ou moins saillants en fonction de leur couleur Les blasons poss dant des couleurs chaudes rouge orange jaune sont des zones saillantes Il est difficile de conclure d finitivement sur la qualit de la mod lisation propos e Elle semble toutefois permettre de d tecter relativement fiablement les zones les plus saillantes d une s quence vid o Fic B 3 Cartes de saillance pour la s quence Tractor segments 13 16 avec de haut en bas images originales cartes de saillance spatiale cartes de saillance temporelle et cartes de saillance spatio temporelle 40 Cartes de saillance visuelle erem ees HENE s mun P No MES re rw p A Fr w is ae ar prom m Hr we ese i 2
37. etage et suivi Pour appareiller les objets d un segment au segment suivant une m trique bas e sur la similarit des couleurs des textures et sur le taux de recouvrement est utilis e La similarit des couleurs et des textures est mesur e de nouveau a l aide du coefficient de Bhattacharyya Chaque objet du segment courant est compar aux objets pr sents dans la carte compens e du segment pr c dent L objet du segment courant prend alors l tiquette de l objet le plus proche en accord avec la m trique utilis e condition que leur similarit soit assez forte En pratique on fixe des seuils exp rimentaux pour le coefficient de Bhattacharyya sur la couleur le coefficient de Bhattacharyya sur la texture et le taux de recouvrement Si les deux objets les plus proches pr sentent pour chacun de ces trois seuils une similarit assez forte alors on consid re qu il s agit du m me objet sur les deux segments successifs D autre part il peut arriver que la m thode de segmentation au sens du mouvement ne distingue aucun objet tous les objets ont des mouvements proches ou trop difficiles estimer Dans ce cas la 29 Segmentation par approche markovienne pet gt 4 l l X l l ne Lune Masque de segmentation Masque compens Masque de segmentation du segment t 1 du segment t 1 du segment t Fic A 5 Suivi d objets entre des segments temporels successifs carte de
38. exte et une photo d taill e du Vasd partir de la 355 me image apparait un train en mouvement translationnel avec des jouets tr s color s Le fond est compos de deux types de papiers peints le premier est jaune uniforme avec quelques figures dessin es et le second est tr s textur La figure D 1 pr sente une image extraite de la s quence New Mobile and Calendar D 1 2 Knightshields La s quence comporte 500 images film es en plan rapproch Un homme avec une barbe et une veste tr s textur e marche devant un mur compos de boucliers de chevaliers d taill s la fin de la s quence le capteur effectue un zoom avant de la sc ne La figure pr sente une image extraite de la s quence Knightshields D 1 3 Parkrun La s quence comporte 500 images film es en plan loign La scene repr sente un homme avec un parapluie dans sa main qui court dans un parc puis s arr te et reste immobile vers la 340 me image L arri re plan est compos d arbres de neige et d une source d eau Le contenu est tr s d taill La figure pr sente une image extraite de la s quence Parkrun ILe Vasa est un vaisseau de guerre scandinave du 17 me si cle 45 Codage vid o qualit diff renci e bas sur la saillance visuelle D 2 La s quence 1080p Les s quences 1080p utilis es ici sont des vid os progressives de 1080 lignes par 1920 colonnes cadenc es 25 images par seconde la structure d chantillonnage co
39. f de ce chapitre tait de d cliner un cadre g n ral de compression vid o utilisant une carte de saillance Apr s avoir d fini la compression s lective directe la carte de saillance a t coupl e a un sch ma de codage Cette m thode concerne la compression s lective directe Pour ce type de compression c est le coeur et la strat gie de codage qui sont modifi s L objectif est d am liorer la qualit per ue comparativement une approche classique de codage 44 Annexe D Pr sentation des s quences vid o utilis es lors des tests Les s quences utilis es lors des tests r alis s pour les besoins de ce rapport sont disponibles via le serveur ftp Ces s quences ont t film es une fr quence de 50 images par seconde avec l quipement du SVT en octobre 2004 La plus grande attention a t donn e la conversion des films vers un format num rique Les d tails concernant les conditions de prise de vue et les post traitements sont pr sent s dans la documentation fournie par le SVT D 1 Les s quences 720p Les s quences 720p utilis es ici sont des vid os progressives de 720 lignes par 1280 colonnes ca denc es 50 images par seconde la structure d chantillonnage couleur des composantes YUV est 4 2 0 D 1 1 New Mobile and Calendar La s quence comporte 500 images film es en plan rapproch La cam ra qui subit un mouvement translationnel puis de zoom arri re filme un calendrier avec du t
40. ff rentes cartes de saillance obtenues Concernant les r sultats de la figure B 3 on constate que la zone la plus saillante est le tracteur En effet le mouve ment r el de celui ci est d tect par notre m thode et ainsi le tracteur devient la zone la plus saillante On observe cependant que la saillance du tracteur n est pas uniforme Les caract ristiques spatiales du tracteur sont tr s h t rog nes en terme de couleur et ce sont les roues de couleur rouge couleur 39 Cartes de saillance visuelle chaude qui sont les plus saillantes Concernant les r sultats de la figure B 4 relatif la s quence New Mobile and Calendar les zones les plus saillantes sont galement les objets en mouvement Dans les trois premiers segments temporels pr sent s 43 44 et 45 le calendrier est une zone saillante alors que pour le segment temporel 46 il n est plus saillant En effet on constate que la saillance temporelle bas e sur le mouvement ne d tecte pas le calendrier comme une zone saillante Le mouvement de translation du calendrier dans le segment temporel 46 s estompe et devient quasiment nul de ce fait sa saillance temporelle bas e sur le mouvement de celui ci est nulle Dans les trois premiers segments temporels la saillance spatio temporelle du calendrier n est pas uniforme En effet la gaussienne bi dimensionnelle utilis e pour reproduire l effet de favorisation du centre de l cran par les observateurs diminue progressivem
41. in de prendre en compte les directives de codage g n r es par notre logiciel de filtrage et de pr analyse de flux vid o Dans le cadre du sous projet 4 Pr analyse et conditionnement du flux vid o en haute d finition du projet ArchiPEG les derniers travaux r aliser seront l optimisation des algorithmes de pr traitement du flux vid o ainsi que les phases de test des algorithmes sur prototypes et sur la plate forme d accueil du projet 22 Annexe A Segmentation par approche markovienne A 1 Introduction Comme cela a t pr sent pr c demment une segmentation au sens du mouvement uniquement peut ne pas suffire pour cr er une d composition satisfaisante d un segment tempore en objets spatio temporels En effet dans certaines sc nes pr sentant des mouvements de cam ra complexes zoom ro tation et des contenus spatiaux uniformes les vecteurs d placement calcul s ne refl tent pas suffisam ment bien les mouvements r els des objets et ne sont pas assez pr cis pour tre rattach s efficacement l un des objets d tect s avec des crit res bas s mouvement Pour obtenir une segmentation coh rente dans de tels cas de figure des crit res spatiaux et tempo rels suppl mentaires vont tre calcul s et int gr s afin d affiner la carte de segmentation initiale bas e sur le mouvement Imaginons par exemple une s quence dans laquelle une zone de d couvrement ne permettrait pas d estimer correcteme
42. isinage 7 Une clique est un sous ensemble de sites de S tel que si s et s sont deux sites quelconques de cette clique s et s sont voisins au sens de 7 Des exemples de syst mes de voisinages et de cliques associ es sont pr sent s en figure 24 Segmentation par approche markovienne o O e ee i Clique d ordre 1 a Systeme de voisinage Cliques d ordre 2 4 connexite e e 1 Clique d ordre 1 ee 000 DC SN Systeme de voisinage ad to 8 connexit Clique d ordre 4 Cliques d ordre 2 Cliques d ordre 3 FIG A 2 Cliques associ es des syst mes de voisinage en 4 connexit et 8 connexit La fonction de potentiel V est d finie localement sur la clique c et donne les interactions lo cales entre les diff rents sites qui composent la clique L expression analytique de la fonction Ve est d pendante du probl me pos et des r sultats souhait s elle d finit les propri t s locales et globales du probl me A 3 Fonctions de potentiel Les fonctions de potentiel vont permettre de d finir en fonction de chaque nouveau crit re couleur texture la probabilit pour un site donn s d tre tiquet avec l tiquette e D apr s l quation le champ d tiquettes le plus probable sera celui qui minimisera l nergie globale U o e Chaque crit re va contribuer la valeur de cette nergie qui s exprime donc sous la forme U o e a1 W a2 W2 0a3 W3 aa Wa 05 Ws5
43. le cas vertical D apr s cette quation chacun des deux gradients qui composent la texture est quantifi sur 16 niveaux il y a donc n 16 256 valeurs possibles de texture Une fois les distributions de texture calcul es pour un site et pour une r gion nous les comparons en utilisant de nouveau le coefficient de Bhattacharyya Ptexture Ptexture R es 8 5 Bites x Sy Comme dans le cas de la couleur une fonction de potentiel valeurs dans l intervalle 1 1 est d duite de ce coefficient Vierture 1 2 X Prexture R Es 8 L nergie l mentaire Ws pour le crit re de texture est donc d finie par W es Os o R es 5 Viexture ses 1 0 1 1 2 1 2noyau de Sobel du filtre horizontal 2 0 2 du filtre vertical 0 0 0 1 0 1 1 2 1 27 Segmentation par approche markovienne A 3 4 Caract ristiques de mouvement Dans un segment temporel nous avons vu que le crit re principal pour la segmentation est le mouvement pour une r gion donn e les vecteurs mouvement associ s des tubes spatio temporels doivent avoir des valeurs proches C est le crit re qui permet de cr er un premier champ d tiquettes avant son raffinement par mod les markoviens Ce crit re doit donc conserver une importance dans le calcul de l nergie globale U o e Une nergie l mentaire li e au mouvement est alors d finie de mani re mesurer la ressemblance entre le mouvement d un site et
44. lle nous indique la saillance de chaque macrobloc situ sur l image centrale d un seg ment temporel neuf images Les cartes de saillance des autres images du segment temporel les quatre images pr c dentes et les quatre images successives sont d duites partir des informations de mouvement projection de la carte de saillance de l image centrale L indice de saillance calcul pour un macrobloc varie entre 0 saillance nulle et 1 tr s saillant Afin de quantifier les macroblocs en fonction de leur indice de saillance le pas de quantification doit 43 Codage vid o a qualit diff renci e bas sur la saillance visuelle tre modifi par rapport une strat gie classique de codage Pour ce faire on modifie la valeur du pas de quantification calcul par le codeur Si le macrobloc est saillant on diminue la valeur du pas de quantification et dans le cas contraire on augmente celui ci La modification du pas de quantification au sein du codeur est r alis de la fa on suivante QPsaillance i QU del D Ig C 1 o OP eodeur 1 est l index de quantification calcul par le codeur pour le macrobloc i et Igp i est l indice de quantification calcul en fonction de la saillance du macrobloc et est calcul de la mani re suivante SSP T gSP T Tgp i 2 x 1 SSP T o SSP T est la valeur moyenne de la saillance de l image laquelle appartient le macrobloc i C 4 Conclusion L objecti
45. lt 16 13 wSize int size of the search window 4 Appuyez sur une touche pour continuer default 20 B Les diff rents param tres pr ciser lors de l ex cution du logiciel de pr analyse de flux vid o sont d taill s ci dessous ainsi que les options e i vid o en entr e vid o en entr e de l outil de conditionnement et de pr analyse de flux vid o i E input mobcal yuv e o r pertoire de sortie r pertoire o sont sauvegard s les fichiers cr s en sortie du logiciel de conditionnement et de pr analyse de flux vid o 1 0o E output mobcal e f entier format de la vid o traiter 444 422 420 AO e width entier largeur en pixels de la vid o traiter 1 width 1280 e height entier hauteur en pixels de la vid o traiter 1 height 720 e interlaced bool en type de la vid o entrelac e true ou progressive false Par d faut l option interlaced pour valeur false interlaced false e frames entier nombre d images traiter de la vid o en entr e frames 500 e GOPsize entier taille en nombre d images des segments temporels Par d faut l option GOPsize pour valeur 9 ce qui correspond 180ms dans le cas d une vid o progressive avec un taux d affichage de 50 images par seconde Introduction g n rale 1 GOPsize 9 e bWidth
46. ment temporel Si le nom pass en entr e de la bo te de dialogue est par exemple directives txt les fichiers cr s seront alors nomm s directives0 trt directives1 txt Le logiciel v rifie que les fichiers pass s en entr e sont correctement format s si c est le cas Putilisateur peut alors visualiser les cartes de segmentation et utiliser l interface pour fixer interac tivement le codage de chaque objet 2 2 2 Choix du jeu de param tres de chaque objet Une fois le projet cr le logiciel permet de naviguer d un segment temporel au segment suivant ou pr c dant et de parcourir les neufs images du segment courant Pour cela le logiciel compense en mouvement la carte de segmentation centrale du segment courant et en d duit les cartes de segmenta tion associ es aux huit autres images L utilisateur peut alors choisir le jeu de param tres pour chaque objet de chacune des images de la s quence vid o Le choix de l objet courant s effectue de fa on interactive en cliquant directement sur sa repr sentation dans l image courante L objet s lectionn s affiche alors en blanc dans le cadre Objet S lectionn relatif aux directives L utilisateur peut alors choisir de coder cet objet en mode Inter seul le mode Inter P est pris en compte en mode Intra ou de laisser le codeur agir par d faut Dans le cas o l utilisateur choisit le mode Codeur les champs relatifs au QP aux tailles de partitions et aux tailles de sou
47. mp che la solution de converger il est donc retir des sites traiter le site courant prend l tiquette qui minimise son nergie l nergie des sites voisins est modifi e en fonction de la nouvelle tiquette du site courant Typiquement les sites les plus instables sont ceux situ s sur les bords de la carte de segmentation et ceux situ s sur les bords des objets segment s Le traitement est termin lorsque tous les sites sont stables ou que les seuls sites non stables restants sont ceux qui emp chent la solution de converger Notons que la m thode utilis e ici vise minimiser l nergie globale U o e du champ des tiquettes en minimisant successivement et localement les nergies de chaque site Cette m thode simple est une m thode de relaxation d terministe Elle assure la convergence vers le premier minimum d nergie trouv qui n est pas forc ment le minimum global l inverse les m thodes de relaxation stochastiques autorisent des configurations qui augmentent provisoirement l nergie du syst me afin de converger vers un minimum global Cependant ces m thodes sont complexes et peu adapt es notre contexte d utilisation 30 Segmentation par approche markovienne S quence Segmentation mouvement seul Segmentation complete Tractor 690 images 33 84 New Mobile and Calendar 500 images 85 92 Shields 500 images 94 100 TAB A 1 Ratio des objets
48. n du codage Inter B Cependant cet ajout modifiera la gestion des images r f rences l utilisateur devra choisir une image r f rence pass e et une image r f rence future pour pr dire l image courante e L outil ne permet pas de choisir une r f rence pour chaque sous partition d un macrobloc Cepen dant une telle option pr sente un int r t tr s limit dans le cadre du projet ArchiPEG En effet nous fixons une image de r f rence pour chaque objet et non pour chacune des partitions des macroblocs e Un bouton suppl mentaire pourrait tre ajout pour permettre l utilisateur d appliquer un jeu de param tres un objet sur toutes les images du segment courant et de sauvergarder ses pr f rences 13 Chapitre 3 Modifications du codeur VideoLAN fournit de mani re libre le projet x264 sous la forme d une solution fichier x264 sln pour le logiciel Microsoft Visual Studio 2005 MVS 2005 Il est videmment possible d utiliser x264 sans cette interface de d veloppement mais dans ce cas l architecture du projet n est plus disponible de facon aussi simple et structur e La figure 3 1 pr sente la vue du codeur x264 obtenue avec MVS 2005 Cette solution permet de naviguer dans le code de facon simplifi e nous allons donc l utiliser pour modifier le code de l encodeur x264 3 1 Les parties du code modifier Les parties modifier dans le code du codeur x264 sont d termin es par le cahier des charges du
49. n segment temporel de neuf images Nous allons donc modifier la fonction Encode du fichier x264 c pour lire le jeu de param tres qui permettra d encoder les images d un segment temporel Lit le fichier de directives et le met dans h gt gofDirectives 2 if h gt param s_generic_filename_dir NULL as t 4 ME 5 sprintf s fileDir As 4d txt h param s generic filename dir i gof 6 fid fopen s fileDir rb 7 ase seaiGl IS E 8 9 fseek fid 0 SEEK_END 10 fileSize ftell fid it fseek fid 0 SEEK_SET 12 h gt gofDirectives char malloc sizeof char fileSize 13 fread h gt gofDirectives sizeof char fileSize fid 14 fclose fid 15 y 16 17 Lit dans h gt gofDirectives les directives pour le segment courant 18 sprintf s ligneCherchee 100 GOF d i_gof 19 debut_gof strstr h gt gofDirectives ligneCherchee 20 E La modification de cette fonction permet de stocker les informations contenues dans le fichier texte relatif au segment courant dans la variable currentSegment d finie pr c demment Notons que si aucun fichier texte n est trouv o que si ce fichier texte est mal format le codeur gardera son comportement par d faut Un exemple de fichier texte contenant les directives de codage et format correctement est pr sent ci dessous 1 GOF 0 a Orce S O 1 8 835 455 605 fat s frame 0 mbx O mby O mode 2 QP 26 partition
50. nce pour un objet constitu de plusieurs macroblocs Les partitions des macroblocs d un m me objet utiliseront donc toutes la m me r f rence les fonctions d analyse pour des partitions inf rieures utiliserons donc la m me image de r f rence que celle utilis e lors de l analyse 16 x 16 La modification du code source est simple nous fixons l indice de l image r f rence utilis e dans la liste L0 au lieu de laisser le codeur tester toutes les images de r f rence 3 3 3 Modification du QP Le QP d un macrobloc est fix dans la fonction 2264 macroblock analyse du fichier analyse c et pass en param tre de la fonction 2264 mb analyse init void x264 macroblock analyse x264 t h 20 Introduction g n rale if mode MODE INTRA mode MODE INTER i_qp h gt currentSegment mbs i_f i_mb_xy qp weightedQP int x264_ratecontrol_qp h 1 i_qp x264_mb_analyse_init h amp analysis weightedQP E else x264 mb analyse init h amp analysis x264 ratecontrol qp h 21 Conclusion Ce document a pr sent le manuel d utilisation du logiciel de filtrage et pr analyse du flux vid o Le deuxi me chapitre tant consacr la description du logiciel gui42264 Ce logiciel est un moyen simple et interactif de cr er des jeux de param tres interpr tables par un encodeur AVC Le dernier chapitre de ce rapport a pr sent les modifications apport es au codeur 1264 af
51. nstitu e d une suite de 9 images soit un intervalle temporel de sensiblement 180ms temps de fixation de l oeil humain 23 Segmentation par approche markovienne Traitement INTER et INTRA d un segment temporel par approche markovienne Segment i AA gt LE Carte de Correspondance Traitement INTRA segmentation Classification des ca d un segment temporel A Carte d des tiquettes par approche markovienne niorhaton sur les objets Boc eed segmentation du segment i g initiale du segment i bas e mouvement Carte de segmentation du segment i 1 Cr ation du masque th orique courant Tubes par projection spatio temporels du segment i Traitement Inter d un segment temporel FIG A 1 Bloc de traitement d un segment temporel par approche markovienne A 2 Mod lisation par champ markovien Un champ de Markov est caract ris par sa propri t locale tandis qu un champ de Gibbs est caract ris par sa propri t globale distribution de Gibbs Besag i a reformul la relation entre champs markoviens et distributions de Gibbs initialement d montr e par Hammersley et Clifford en 1971 La possibilit d exprimer par une distribution explicite les propri t s markoviennes d un champ a permis l essor du d veloppement de mod les markoviens Nous allons dans un premier temps reprendre les principaux aspects math matiques de ce type de mo
52. nt de la cam ra Les figures A 6 et A 7 pr sentent pour quatre segments temporels successifs des s quences Trac tor et New Mobile and Calendar les cartes de segmentation obtenues avec une segmentation bas e mouvement uniquement ligne du milieu et une approche markovienne ligne du bas Les objets en mouvement sont correctement d tect s avec la segmentation bas e mouvement mais le suivi des objets en mouvement entre les segments n est pas assur un m me objet peut avoir des tiquettes 31 Segmentation par approche markovienne FIG A 6 Cartes de segmentation pour Tractor segments 13 16 segmentation mouvement ligne du milieu et approche markovienne ligne du bas FIG A 7 Cartes de segmentation pour New Mobile and Calendar segments 50 53 segmentation mouvement ligne du milieu et approche markovienne ligne du bas diff rentes d un segment l autre Avec l approche markovienne les bords des objets en mouvement sont plus r guliers et les contenus plus homog nes de plus le suivi entre segments est assur par exemple l tiquette du tracteur reste la m me sur les quatre segments temporels L ajout de crit res spatiaux temporels par approche markovienne a donc permis d une part d am liorer la qualit de la segmentation bas e mouvement initiale et d autre part d assurer le suivi des objets sur plusieurs segments temporels successifs A 8 Conclusion Ce chapitre a pr sent no
53. nt les mouvements l ajout de crit res purement spatiaux permet tra d appareiller chaque l ment de cette zone d couverte dont le mouvement n est pas fiable l objet spatio temporel qui lui correspond Les crit res suppl mentaires choisis sont la connexit spatio temporelle intra segment la couleur la texture le voisinage temporel Le calcul et l int gration de ces crit res l outil de pr analyse permettront non seulement de corriger la carte de segmentation initiale mais aussi d assurer le suivi des objets d un segment temporel l autre En effet le calcul de ces crit res spatiaux temporels va fournir une description tr s pr cise des objets d tect s Le niveau de d tail atteint quant la caract risation des objets permettra donc d assurer le suivi des objets entre plusieurs segments temporels successifs Les sp cifications pr sent es ci dessus nous ont men s d composer le syst me de raffinement de la segmentation en un ensemble de fonctions agenc es les unes avec les autres selon le sch ma bloc pr sent en figurdA 1 Les approches statistiques tant couramment utilis es pour aborder la construction des masques des objets et comme le type de connaissances a priori que l on veut inclure s exprime principalement en termes de contextes spatial et temporel les crit res spatiaux temporels seront int gr s au syst me initial avec une approche markovienne 1Un segment temporel est co
54. o 01 Q2 a3 a4 et as sont les poids des nergies l mentaires W W2 W3 W4 et Ws qui repr sentent respectivement les crit res de voisinage spatial de couleur de texture de mouvement et de voisinage temporel Les nergies l mentaires W 1 5 sont calcul es comme la somme de fonctions de potentiel l mentaires cf quation A 2 Afin de pouvoir comparer ces nergies et d obtenir des ordres de grandeur homogenes nous allons normaliser toutes les fonctions de potentiel sur l intervalle centr 1 1 Ainsi seuls les poids a 1 5 attach s ces nergies permettront de pond rer l importance de chaque crit re dans le calcul de l nergie globale U o e A 3 1 Connexit spatio temporelles Pour un segment temporel donn de neuf images une r gion segment e doit respecter une coh rence spatiale c est dire que la r gion segment e constitu e d une fusion de tubes spatio temporels doit tre localement homog ne et compacte L nergie minimiser U o e sera donc compos e d une nergie l mentaire charg e d assurer l homog n it des labels pour des sites voisins Dans notre cas le syst me de voisinage choisi est un voisinage 8 connexe dont les cliques retenues sont les cliques d ordre 2 Ce syst me de voisinage est repr sent en figure 25 Segmentation par approche markovienne El site s GO spatial clique FIG A 3 Ensemble des cliques spatiales d ordre 2 associ es un v
55. objets Comme nous l avons mentionn dans la section pr c dente un m me objet peut avoir un cycle de vie qui s tend sur plusieurs segments temporels successifs Dans une perspective de codage coh rente d un m me objet il est donc int ressant de r ussir suivre un objet sur plusieurs segments successifs Pour r aliser ce suivi entre un objet du segment t 1 et un objet du segment t nous compensons le mouvement de la carte de segmentation du segment t 1 l instant t puis nous appareillons cette carte compens e avec la carte de segmentation du segment courant l instant t A 4 1 Compensation en mouvement de la carte de segmentation du seg ment t 1 Consid rons une carte de segmentation disponible pour le segment temporel t 1 pour pouvoir la comparer spatialement avec le segment courant t il faut la projeter temporellement l instant t Une nouvelle carte de segmentation projet e est alors disponible Cette projection est d compos e en plusieurs tapes d tection de l objet fond initialisation de la carte de segmentation projet e par l tiquette du fond projection des objets avec leurs vecteurs de d placement Dans le cas de recouvrement d objets on considere que l objet le plus petit est mis au premier plan Ainsi si ce n est pas le cas dans la r alit il ne sera simplement appareill avec aucun objet du segment courant t Un exemple de projection est pr sent en figure A 5 A 4 2 Etiqu
56. oisinage 8 connexe Le mod le choisi pour favoriser la cr ation de r gions homog nes est tel que sa fonction de potentiel dE s crit Ve Bs sier es ves net Ve zm s si Et s avec 3 gt 0 Dans notre cas chaque clique correspond une paire de tubes spatio temporels voisins et connect s au sens d un voisinage 8 connexe Afin de normaliser cette fonction de potentiel sur l intervalle 1 1 le param tre 6 sera fix 1 8 pour un voisinage 8 connexe L nergie l mentaire Wi es li e au voisinage spatial s exprime donc sous la forme Wi es DD Vo es ex CcsECs o C repr sente l ensemble de toutes les cliques spatiales de S A 3 2 Caract ristiques de couleur Afin de savoir si un site est tiquet de mani re coh rente dans un segment temporel nous sou haitons pouvoir comparer les distributions de couleur de ce site avec celles des diff rentes r gions existantes Plusieurs m thodes sont adapt es au cas discret intersection La xa nous avons opt pour l utilisation du coefficient de Bhattacharyya qui permet de mesurer la similarit entre deux dis tributions soit Su u 1 m la densit de probabilit discr te de couleur du site courant s soit R e Melia la densit de probabilit discr te de couleur de la r gion R es constitu e des sites tiquet s es Le coefficient de Bhattacharyya qui permet de comparer ces densit s est d fini par Pcoule
57. omprise dans la premi re moiti du disque de repr sentation de la teinte c est dire une valeur inf rieure 0 5 180 Ainsi si la couleur d un site s est active alors un site s avec une couleur passive va contribuer la saillance du site s Une diff rence importante en terme de teinte va rendre ce contraste plus saillant Cette contribution la saillance du site s s crit sous la forme j Pi Xa si Y FP FINITI Vs Emi si H si 0 5 et H s 20 5 B 7 j 1 La quatrieme tape constitue la contribution li e au contraste de saturation Les sites poss dant des diff rences de saturation importantes dans leur voisinage contribuent a la saillance du site s de la facon suivante j Pi Xa si D IS APY AB Vs Em B 8 j 1 o Az est la diff rence de saturation entre les sites s et sj La cinqui me tape regroupe les contributions pour le site s partir des blocs voisins ayant une diff rence importante en terme d intensit contraste d intensit Le formule utilis e est similaire celui de la quatri me tape et s crit j Pi Xs si D FP FG A Vs mi B 9 j 1 o Aj est la diff rence d intensit entre les sites s et sj Pour chaque site s p sites voisins ont contribu la saillance dans les cinq premieres tapes Les contributions finales sont obtenues en fonction du nombre de voisins pour chaque site s V si x Vo 1 5 B 10 2 o p est le nombr
58. ons qu avec cette m thode les choix de codage seront respect s mais que les temps de calcul ne seront pas diminu s La modification de cette fonction est complexe et assez longue les extraits de code ne sont donc pas pr sent s ici Cependant les modifications de cette fonction sont toutes comment es dans le code Notons tout de m me que les informations relatives au mode choisi apr s l analyse sont stock es dans les variables h 7 mb 2 type et h mb partition 3 3 2 Gestion des images de r f rence Plusieurs fonctions interviennent dans la gestion des images de r f rence La fonction 2264 reference update du fichier encoder c permet de g rer les images qui rentrent et sortent du DPB Decoded Picture Buf 19 Introduction g n rale fer Par d faut ce buffer est g r comme une pile FIFO First In First Out La modification de cette fonction permettrait par exemple de g rer des images r f rences long terme Le buffer contenant les images de r f rence est d fini dans la structure 2264 t du fichier common h Struct x264 t 2 3 ces 4 frames used for reference sentinels 5 x264 frame t reference 16 2 6 v m Le codeur permet donc de stocker 16 images de r f rence au maximum Les r f rences contenues dans ce buffer sont alors organis es en deux listes LO et L1 comme indiqu dans la norme H 264 La liste LO ne contient que des images de r f rence pass es par rappo
59. orelle par approche markovienne de chaque segment temporel vid o au format YUV contenant les cartes de saillance spatio temporelle de chaque segment temporel Introduction g n rale siano e eyog ox Pr t IPEG2 0 Fichiers d en t te n frame h Ln globalMotionEstimation h Ln importanceMap h A inclusion h in lists h h markov h A matrix h motionEstimation h h parameters h h preanalysis h h resource h h resourcel h h segmentation h h testFunctions h h tube h EEEEEEEE EEE Ei G Fichiers de ressources if icon1 ico EA iconAppli rc E Ez Fichiers sources archipeg cpp C Frame cpp G globalmotionEstimation cpp importanceMap cpp 4 inclusion cpp Ge markov cpp matrix cpp motionEstimation cpp C parameters cpp C preanalysis cpp C seamentation cpp testFunctions cpp tube cpp markov h parameters h inclusion h markov cpp importanceMap cpp x Port e globale main int argc char argv v G include preanalysis h Gint main int argc char argv int DEBUG MODE 0 Le permet de parcourir le codeur x264 en mode DEBUG markov_data md user parameters reading int res int res2 importanceMap Parameters userParameters a J st t Param tres par d faut tiramiasa H Format de la vid o en entr e 444 422
60. patiale par une gaussienne bi dimensionnelle centr e sur l image Son tendue spatiale a t optimis e sur une base d images et sa valeur est de 2 5 degr s visuel Lors de nos tests nous utilisons des s quences vid os Haute D finition Celles ci ont une d finition maximale de 1080 lignes par 1920 colonnes C est pourquoi nous avons d cid d utiliser une gaussienne bi dimensionnelle centr e sur l image dont l tendue spatiale est gale 5 degr s visuel La saillance spatio temporelle est obtenue en combinant la saillance temporelle et la saillance spatiale pond r es par une gaussienne bi dimensionnelle de la facon suivante SSP 5 S s 557 9 Rata B 17 o gauss2D est la gaussienne bi dimensionnelle d tendue spatiale gale 5 degr visuel Le mou vement tant l un des param tres qui influence le plus l attention visuelle 11 la pond ration de la saillance temporelle est deux fois plus importante que celle de la saillance spatiale Finalement nous obtenons une carte de saillance par groupe de neuf images Ensuite on projette cette carte pour les images pr c dentes et suivantes au sein du segment temporel neuf images l aide des informations issues de l estimation du mouvement et de la segmentation spatio temporelle B 3 R sultats qualitatifs Les figures B 3 B 4 et B 5 pr sentent pour quatre segments temporels successifs des s quences Trac tor New Mobile and Calendar et Knightshields les di
61. qui attire l attention visuelle nous avons utilis une gaussienne bi dimensionnelle afin de mod liser ce ph nom ne lors du calcul de notre saillance spatio temporelle Les r sultats obtenus en terme de saillance visuelle semblent fiables Afin d valuer quantitativement les r sultats de notre modele il serait int ressant de poss der des donn es r elles en terme de saillance visuelle Pour cela on pourra r aliser des exp rimentations oculom triques sur les s quences vid os test es et collecter les donn es pour construire une r f rence en terme de saillance visuelle 42 Annexe C Codage vid o a qualit diff renci e bas sur la saillance visuelle C 1 Introduction L objet de ce chapitre concerne l application de compression de la vid o avec une qualit visuelle diff renci e pilot e par les cartes de saillance Ce type de compression est commun ment appel e compression s lective ou compression avec r gions d int r t Contrairement aux approches convention nelles de compression d images distribuant de facon homogene les ressources de codage la compression s lective r partit les ressources de codage de facon adapt e directement ou indirectement Dans un contexte de compression avec pertes la distribution adapt e des ressources de codage peut permettre d accroitre substantiellement la qualit globale perque L id e est simple puisqu elle consiste a favoriser la qualit des zones les plus importantes
62. racteurs fixe attire l attention En outre une cible fixe enfouie dans un ensemble de distracteurs en mouvement attire l attention mais dans une moindre mesure Dans ce contexte d tudes le contraste en mouvement est l l ment d terminant qui attire notre attention visuelle La cible en contraste de mouvement saute litt ralement aux yeux De plus pour la d tection de zones saillantes d une s quence d images projet es sur un cran il est int ressant d avoir l esprit les r gles en vigueur dans la fa on de filmer Les mouvements de cam ra influencent clairement la strat gie visuelle de l observateur La pr sence ou non de mouvement permet de hi rarchiser les diff rents v nements Par ailleurs la prise de vue est significative du message que le metteur en sc ne souhaite faire passer Elle incite inconsciemment le t l spectateur regarder quelque chose un endroit particulier En conclusion l objectif est de d terminer les zones pr sentant un contraste de mouvement Partir des donn es issues de l estimation du mouvement global et de la segmentation spatio temporelle il est possible de d terminer le contraste de mouvement pour chaque objet et plus particuli rement pour chaque tube Ce contraste de mouvement tant la base de la construction de la saillance temporelle B 2 2 1 Mouvement dominant Afin de r aliser la segmentation spatio temporelle nous avons premi rement estim le mouvement global l ai
63. rdre_codage 9 int i_real_frame_num int i_gof_frame_num int i_mb_xy_max codage mbs 9 segment ou i gof d signe l indice du segment temporel courant ordre codage indique l ordre temporel dans lequel sont cod es les images du segment courant i real frame num d signe l indice de l image courante i gof frame num d signe l indice de l image courante dans le segment courant imb xy max d signe le nombre total de macroblocs dans une image mbs d signe le jeu de param tres pour chaque macrobloc du segment temporel courant Lorsqu un segment temporel est trait cette structure doit tre accessible n importe qu elle tape Pour s en assurer nous cr ons la variable currentSegment de type segment et l int grons la structure 2264 t d finie dans le fichier common h et dont l instantiation h a un comportement pseudo global variable accessible dans la quasi totalit des fonctions du projet x264 17 Introduction g n rale Skies Aau e 3 char gofDirectives 4 segment currentSegment 5 PS Notons qu en plus de la variable currentSegment nous ajoutons galement la variable gofDi rectives qui permettra de garder en m moire le contenu du fichier texte relatif au jeu de param tres du segment temporel courant 3 2 3 Lecture des directives Comme nous l avons pr cis les directives contenues dans un fichier texte vont renseigner le jeu de param tres pour chaque macrobloc d u
64. robl me et d identifier correctement le mouvement apparent dominant de la s quence les blocs de chaque objet segment situ s sur le bord de l image sont comptabilis s L objet poss dant le plus grand nombre de blocs situ s sur le bord de l image sera identifi comme le fond de la sc ne Le vecteur de translation associ cet objet sera donc identifi comme le mouvement apparent dominant B 2 2 2 Mouvement relatif et saillance temporelle gt A Partir de la connaissance du mouvement apparent dominant V e et du d placement local V ioc pour chaque site macrobloc du tube situ sur l image centrale du segment temporel de neuf images le nen mouvement relatif V relatif exprim dans le r f rentiel r tinien est obtenu simplement par la relation suivante gt gt gt V relatif S V els V iocai 5 B 15 Le mouvement relatif est n cessaire pour estimer le contraste de mouvement inh rent un site particulier Mais ce n est pas suffisant de le consid rer de cette facon En effet l oeil est capable de poursuivre des objets en d placement Cette facult li e au mouvement oculaire de poursuite permet de conserver l objet suivi dans la fov a partie de la r tine pr sentant la sensibilit spatiale la plus lev e Par cons quent consid rer directement le mouvement relatif donn par la relation B 15 serait r ducteur Il n est pas correct de dire que plus le mouvement relatif est important plus la saillanc
65. rt l image courante cod e et la liste L1 ne contient que des images futures Notons n anmoins que contrairement aux sp cifications donn es par la norme la liste L1 ne peut tre utilis e que dans le cas d images cod es avec le mode Inter B Une image Inter P ne peut donc pas utiliser d image r f rence future Dans le cadre du projet ArchiPEG ce point est g nant et une solution simple t envisag e modifier l ordre des images de la s quence originale avant d encoder avec le codeur x264 Ces listes sont construites dans la fonction 1264 reference build list du fichier encoder c Ces deux listes sont galement d finies dans la structure 2264 t du fichier common h i struct x264 t LE 3 4 reference lists 5 int i refO0 nombre d images dans la liste LO 6 x264 frame t fref0 16 3 ref list O 7 int ab cols nombre d images dans la liste Ibal say 8 x264 frame t fref1 16 3 ref list 1 9 10 A Pour forcer le choix d un image de r f rence nous modifions dans le fichier analyse c les fonctions d analyse x264_ mb_analyse_ inter_p16x16 264_mb_analyse_inter_p16x8 264_mb_analyse_inter_p8x16 264 mb_analyse_inter_p8r8 Les fonctions quivalentes doivent tre modifi es pour le cas des images B En pratique seule la fonction z264 mb analyse inter p16216 a t modifi e En effet le pr traitement indique une image r f re
66. s de saillance notre outil d velopp doit permettre de choisir ces param tres pour chaque objet Le jeu de param tres sera alors format et stock dans un fichier texte Ce fichier sera donn en entr e d un encodeur H 264 modifi et permettra de guider les choix de codage Nous avons d velopp notre logiciel de conditionnement et de pr analyse de flux vid o l aide du logiciel Microsoft Visual Studio 2005 MVS 2005 La figure pr sente la vue du logiciel de pr analyse de flux vid o obtenue avec MVS 2005 1 2 Configuration du logiciel de pr analyse L ex cution du logiciel de conditionnement et de pr analyse de flux vid o se r alise via une application en lignes de commande CLI Command Line Interface Plusieurs options doivent tre pr cis es concernant la vid o traiter et les param tres de pr analyse Ces possibilit s sont donn es lors d un appel ArchiPEG2 0 exe h dans l invit de commandes 1 E ArchiPEG2 0 exe h 2 Syntax ArchiPEG2 0 exe i input_file o output_directory f int width int height int frames int options 3 i input_file 4 o output directory Introduction g n rale 5 f int video format 444 422 420 6 width int frame width 7 height int frame height 8 interlaced bool default false 9 frames int number of frames 10 GOPsize int default 9 1 bWidth int block size default 16 12 bHeight int block size defau
67. s partitions ne sont pas disponibles le codeur se comporte par d faut 11 Introduction g n rale S lection de l objet courant ajer courant E mask 2218 Guidx264 __ 3 t Fichier Aide Directives EN bbjet S lectionn 1 l i i QP i ee n Codage Inter v lop 25 1 Revenir au segment pr c danten enregistrant Revenir au segment pr c dant sans enregistrer Passer au segment suivant sans enregistrer Passer au segment suivant en enregistant Next Previous V Marquer comme r f rence EN l Partition 8x4 Meca 1 I 0 4x8 4x8 1 e EEC 4x 4 l 16x8 1 3x16 EE image du GOF num ro 2 8x4 1 1 1 Ordre de codage is 8 Image 6 Image 5 Image 4 Image 3 Image 2 Image 1 Image 0 esse Tailles des partitions test es Image r f rence utilis e Ordre de codage Enregistrer le segment courant Pr t Figure 2 2 Choix du jeu de parametres Dans le cas contraire l utilisateur peut fixer la valeur du QP comprise entre 0 et 51 les tailles de partitions et de sous partitions tester et l image de r f rence utiliser la valeur 1 indique que toutes les images disponibles dans le buffer sont utilis es Parall lement l utilisateur fixe l ordre de codage des images qui peut tre diff rent de l ordre naturel d affichage Un exempl
68. stiques de texture Il s agit ici de comparer la similarit entre les textures d un site et celles des diff rentes r gions existantes Comme dans le cas de la fonction de potentiel associ e la couleur l information de texture va tre repr sent e sous la forme d une distribution Le m me syst me de notation est conserv Sy 1 n est la densit de probabilit discr te de texture du site courant s m R es R es v 1 n est la densit de probabilit discr te de texture de la r gion R es constitu e des sites tiquet s es Par soucis de simplification les distributions pour la texture seront calcul es en ne consid rant que l image centrale du segment temporel courant Chaque pixel de l image centrale va donner une information de texture repr sent e sous la forme d un couple de gradients AH AV respectivement le gradient spatial horizontal et le gradient spatial vertical Afin de r duire limportance du bruit d acquisition dans le calcul des textures le gradient AH respectivement AV de chaque pixel est obtenu en filtrant l image centrale du segment temporel avec un filtre de Sobel horizontal respectivement vertical Les gradients correspondent alors aux valeurs filtr es en valeurs absolues et quantifi es selon la loi suivante AH v 4 six lt 64 AH 15 sinon o x repr sente la valeur filtr e d un pixel de l image avec un noyau de Sobel horizontal la m me loi est utilis e dans
69. t ses aspects pour cr er des effets de contraste des mises en avant visuelles et de mobilit dans leurs illustrations Dans leurs travaux Aziz et Mertsching 4 combinent ces concepts et formulent un ensemble de points possible mettre en oeuvre Il reste ensuite d cider quelles couleurs vont b n ficier de la saillance en pr sence d un contraste Les diff rents points avec la mention de la couleur saillante gagnante dans chaque situation sont num r s ci dessous 1 Contraste de Saturation Un contraste est produit par des couleurs faiblement et fortement satur es La valeur du contraste est directement proportionnelle la magnitude de la diff rence de 33 Cartes de saillance visuelle Fic B 1 Repr sentation conique de l espace TSV HSV saturation Des couleurs fortement satur es tendent attirer l attention dans de telles situations moins qu une r gion faiblement satur e soit entour e par une r gion fortement satur e 2 Contraste d Intensit Un contraste sera visible lorsque des couleurs sombres et lumineuses co existent Plus la diff rence d intensit est importante plus l effet de contraste augmente Les couleurs lumineuses attirent l attention dans cette situation moins que la r gion sombre soit entour e par une r gion lumineuse 3 Contraste de Teinte La diff rence des angles de teinte sur le disque des couleurs cf figure B 1 contribue la cr ation d un contraste Une diff r
70. te une description d une m thode de mod lisation spatio temporelle de l attention visuelle pr attentive est r alis e La derniere partie pr sente une application de compression s lective directe utilisant les informations issues de notre modele d attention visuelle pr attentive t D X Entropy T gt Q e Reorder encode NAL Fr MC Inter reference 1 1 or 2 previously x m P encoded frames Ly Choose Intra gt prediction Intra prediction Intra x uF D baa 4 Fiter je T Le at le Fic 1 Sch ma du codeur H 264 AVC Chapitre 1 Le logiciel de filtrage et de pr analyse de flux vid o 1 1 Introduction L outil de conditionnement et de pr analyse de flux vid o doit permettre de guider les choix d un encodeur H 264 AVC pour le codage d objets spatio temporels contenus dans une s quence vid o Notre outil doit donc g n rer des informations interpr tables par un encodeur AVC Les param tres piloter dans le codeur ont t fix s dans le cadre du projet il s agit e du mode de codage Intra Inter P Inter B e de la taille de partition des macroblocs e du param tre de quantification QP e de l ordre de codage des images partir de la d composition d une s quence en objets spatio temporels et des carte
71. tre eux quelles sont les meilleures images de r f rence pour la pr diction et les modes les mieux adapt s a leur codage Ce document pr sente le manuel d utilisation du logiciel de filtrage et pr analyse du flux vid o Le deuxi me chapitre est consacr la description du logiciel gui x264 Ce logiciel est un moyen simple et interactif de cr er des jeux de param tres interpr tables par un encodeur AVC Le dernier chapitre de ce rapport pr sente les modifications apport es au codeur 1264 afin de prendre en compte les directives l TVHD t l vision haute d finition 2Un objet d signe un ensemble de macroblocs dont le mouvement la couleur et la texture sont homog nes Introduction g n rale de codage g n r es par notre logiciel de filtrage et de pr analyse de flux vid o Les derni res tapes de l outil de pr analyse de flux vid o haute d finition en vue d un encodage en temps r el sous le standard H 264 sont pr sent es en annexes les premi res tapes ayant t pr sent es dans les rapports pr c dents L objectif est donc de fournir au codeur H 264 un jeu de param tres adapt au codage d une s quence vid o et pr sentant une coh rence spatio temporelle fonction des objets pr sents dans la sc ne Le premi re partie d crit la segmentation spatio temporelle par une approche markovienne combinant des informations de mouvement de couleur de texture et de connexit spatiale et temporelle Ensui
72. tre m thode de segmentation spatio temporelle bas sur les champs al atoires de Markov Celle ci combine des informations de mouvement issues de notre estimation de mouvement bas e sur des tubes spatio temporels de couleur de texture et de connexit spatiale et temporelle Les r sultats obtenus montrent que l ajout de crit res spatiaux temporels par approche markovienne permet d une part d am liorer la qualit de la segmentation bas e mouvement initiale et d autre part d assurer le suivi des objets sur plusieurs segments temporels successifs Annexe B Cartes de saillance visuelle B 1 Introduction Pour faire face a l norme quantit d informations visuelles de notre environnement visuel le syst me visuel poss de la facult de s lectionner une information pertinente localis e spatialement dans le champ visuel parmi toutes celles qui lui parviennent on parle d attention visuelle Du fait de la grande complexit des m canismes et des inter actions des inter d pendances existants entre les m canismes du syst me visuel humain mod liser l attention visuelle dans son ensemble reste trop com plexe Une voie r aliste est de mod liser l attention visuelle pr attentive Le modele propos doit tre capable de d terminer les zones visuellement importantes d une image et dans notre cas d une s quence vid o Ce chapitre pr sente notre modele d attention visuelle pr attentive permettant d obtenir des cartes de saillance
73. u userParameters outputDir new char 500 12 snprintf userParameters outputDir 500 4s E output NN mobcal 13 14 Format de la vid o en entr e 444 422 420 15 userParameters format 420 16 Largeur des images en pixels 17 userParameters width 1280 Introduction g n rale 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 Hauteur des images en pixels userParameters height 720 Vid o entrelac e ou progressive userParameters isInterlaced false Taille de la vid o nombre d images userParameters nbFrames 500 Taille d un segment temporel userParameters GOPsize 9 Largeur des blocs en pixels userParameters bWidth 16 Hauteur des blocs en pixels userParameters bHeight 16 Taille de la fen tre de recherche en pixels userParameters wSize 20 options permettant de g n rer les fichiers de sortie userParameters generate_MV true vecteurs de mouvement des tubes userParameters generate_RAW false file raw raw data ftom x and y coordinates of tubes userParameters generate_TXT true Aule E information computed about tubes userParameters generate_SEGMENTATION_RESULT true file with only ai a4 compensated mvs for a full GOP 1 4 Fichiers g n r s en sortie Notre outil de conditionnement et de pr analyse
74. uleur des composantes YUV est galement 4 2 0 D 2 1 Tractor La s quence comporte 690 images qui pr sentent un tracteur dans un champ La s quence enti re contient des zones sur lesquelles un tr s fort zoom avant est appliqu de mani re en obtenir une vue totale La cam ra suit le tracteur avec un mouvement chaotique sur la structure du champ de r colte La figure D 4 pr sente une image extraite de la s quence Tractor Fic D 1 Image 478 de la s quence New Mobile and Calendar 46 Codage vid o a qualit diff renci e bas sur la saillance visuelle ie RI 074 FIG D 3 Image 160 de la s quence Parkrun FIG D 2 Image 1 de la s quence Knightshields 47 Codage vid o a qualit diff renci e bas sur la saillance visuelle FIG D 4 Image 60 de la s quence Tractor 48 Bibliographie E 10 11 12 E Besag Spatial interaction and the statistical analysis of lattice systems with discussion Journal of the Royal Statistical Society Series B 36 196 236 1974 P Lalande D tection du mouvement dans les s quences d images selon une approche marko vienne application a la robotique sous marine Th se de doctorat Universit de Rennes I 1990 S Geman and D Geman Stochastic relaxation Gibbs distribution and the Bayesian restoration of images IEEE Transactions on Pattern Analysis and Machine Intelligence vol
75. ur Pcouleur R es 5 y V He X Su u 1 Les densit s de probabilit discretes de couleur sont calcul es partir des histogrammes de couleur correspondants Pour diminuer la complexit des calculs et regrouper les couleurs proches chaque com posante couleur est uniform ment quantifi e sur 16 niveaux donc m 16 4096 couleurs possibles Les histogrammes de couleur sont ensuite calcul s en consid rant uniquement l image centrale du seg ment temporel courant l histogramme couleur d un site est donc calcul partir du macrobloc central du tube correspondant et non des neuf macroblocs qui constituent ce tube Ces histogrammes sont alors normalis s par le nombre d l ments qui ont y contribu afin d obtenir les densit s de probabilit discr tes de couleur Le coefficient de Bhattacharyya varie de 0 distributions totalement diff rentes 1 distributions identiques Afin de normaliser la fonction de potentiel associ e la couleur sur l intervalle 1 1 nous utilisons la transformation lin aire Veouleur 1 2 X Peouleur R s Notons que la fonction 26 Segmentation par approche markovienne utilis e inverse le signe initial du coefficient de Bhattacharyya afin que deux distributions proches coefficient de Bhattacharyya fort aient une nergie faible L nergie l mentaire W pour le crit re de couleur est donc d finie par Wales Os o R es 5 Veouleur ses A 3 3 Caract ri
76. vid o en haute d finition Le dernier standard de codage vid o d velopp par le JVT Joint Video Team regroupant les ex perts MPEG et ITU savoir MPEG 4 Part 10 ou encore AVC ou H 624 vise gagner jusqu 50 de la bande passante actuellement utilis e par MPEG 2 pour une qualit visuelle quivalente On s accorde donc d crire ce standard comme le futur de la compression des signaux TV capable de transmettre un programme HDf des d bits allant de 6 9 Mbits s Le sch ma du codeur H 264 est pr sent en figure De telles performances ne peuvent tre atteintes qu au prix d une estimation et d une compensation de mouvement complexes afin d exploiter de fa on optimale les redondances spatiales et temporelles pr sentes au sein des vid os Le standard H 264 offre donc une palette large et complexe de possibilit s pour l estimation et la compensation de mouvement notamment au niveau de la pr cision des vecteurs d placement elle peut aller jusqu au au quart de pixel pour la luminance et jusqu au huiti me de pixel pour la chrominance la taille variable des blocs estim s 7 modes pour la pr diction inter 16x16 16x8 8x16 8x8 8x4 4x8 4x4 et 2 modes pour la pr diction intra 16x16 4x4 la s lection des images de r f rence le choix de l image de r f rence intervient au niveau macro bloc et sous macrobloc contrairement aux normes pr c dentes telles que MPEG 2 Le

Download Pdf Manuals

Related Search

Related Contents

MANUAL DEL PROPIETARIO  Whirlpool Duet WFW9450W User's Manual  American Standard Colony M950152-0070A User's Manual  PDFファイル - 医薬品医療機器総合機構  Chapter 2 - Installation.indd  om, xt700, mx550, 2009-03, trimmers/edgers, spanish  KORG KONTROL Editor取扱説明書  Fazer de PDF  Philips CP9661  REAR RUN-TURN-BRAKE LIGHT BARS for TRIKES 7268  

Copyright © All rights reserved. Failed to retrieve file