MG tool - Manual do utilizador
Contents
1. soccer 480p30 3mbs corrupted plr 3 2325 avi 2 2 1 2 2 1 1 2 2 1 67 0 5 1 67 0 5 NO 2 89 A soccer 480p30 3mbs corrupted plr 1 7177 avi 1 1 1 2 1 1 1 1 1 1 11 0 6 1 11 0 6 NO 3 45 soccer 480p30 3mbs corrupted plr 1 3832 avi 2 2 2 3 2 2 2 rd 2 2 11 0 69 2 11 0 69 NO 2 45 snow mnt 480p30 3mbs corrupted plr 0 60756 avi 4 3 4 1 4 4 4 3 3 28 1 21 3 33 1 21 NO 1 67 old town cross 480p25 2mbs corrupted plr 0 563 avi 4 5 4 1 4 4 4 5 5 4 0 1 72 4 0 1 72 NO 0 56 station 480p25 2mbs corrupted plr 0 22712 avi 4 4 1 5 5 5 4 4 4 11 2 14 4 11 2 14 NO 1 11 sunflower 480p25 imbs corrupted plr 7 7564 avi 1 1 1 5 1 1 1 1 1 1 44 2 52 1 44 2 52 NO 3 12 park joy 480p25 Smbs avi 5 5 5 1 5 5 5 5 5 4 56 2 85 4 56 2 85 YES 0 0 raven 480p30 2mbs corrupted plr 5 1629 avi 3 2 3 3 3 3 3 2 2 2 67 29 2 67 2 9 NO 1 89 snow mnt 480p30 3mbs corrupted plr 2 2527 avi 3 3 3 3 3 3 3 3 3 3 0 2 9 3 0 2 9 NO 2 0 big ships 480p30 2mbs avi 5 5 5 1 5 5 5 5 5 4 56 3 19 4 56 3 19 YES 0 0 sunflower 480p25 imbs corrupted plr 2 4583 avi 2 2 2 2 2 2 2 2 2 2 0 3 19 2 0 3 19 NO 2 56 station 480p25 2mbs corrupted plr 1 9709 avi 3 3 3 3 3 3 3 3 3 3 0 3 19 3 0 3 19 NO D 0 raven 480p30 2mbs corrupted plr 1 7177 avi 3 4 3 3 3 3 3 4 4 3 33 3 23 3 33 3 23 NO 1 23 old town cross 480p25 2mbs corrupted plr 2 5564 2 2 2 2 2 2 2 2 2 2 0 3 23 2 0 3 232. DocumentstEscolaiTesetAVIstout corrupted0l avi 12 1 1333 6 6667 15 3667 23 6667 E 9333 37 1333 43 4667 0 333 70 4667 32 9667 39 6667 98 9333 L Pj Emo da o ol Po h in Rj Ln 1 Col l Sel 0 Figura 5 Ficheiro de configura o de um novo teste AVCA Quando se faz a configura o de um teste num PC e depois se pretende realiz lo noutro PC tem que se ter em aten o os diret rios dos v deos Se houver diret rios diferentes de um PC para outro na altura em que se faz o Load Test ser mostrada uma mensagem de erro Para contornar este problema pode se utilizar um dispositivo externo ou exatamente o mesmo diret rio para as sequ ncias de v deo 4 Realiza o de um teste Conforme dito anteriormente para a realiza o de um teste de avalia o subjetiva escolhe se a op o Load Test no menu Subjective Test mostrado um gestor de ficheiros para escolher o ficheiro de texto com o teste pretendido Para garantir que todas as sequ ncias de v deo podem ser lidas corretamente feita uma verifica o aos caminhos dos diret rios onde est o armazenados as sequ ncias de v deo do ficheiro escolhido Se algum destes caminhos estiver incorreto e que d origem a erros na visualiza o do v deo mostrada uma mensagem onde informa que o respetivo ficheiro de v deo n o pode ser lido Se n o existir nenhum erro no carregamento do ficheiro disponibilizado um painel para o participante inserir
3. Na Figura 4 ilustrado o conjunto de par metros a configurar para um teste de avalia o continua AVCA Come a se por selecionar a sequ ncia de v deo a figurar no teste atrav s do bot o Get File Os tempos de artefactos perturba es no v deo s o adicionados lista final de tempos atrav s do bot o Add time Estes tempos devem estar em segundos Para eliminar um tempo da lista de tempos basta seleciona lo e clicar no bot o Delete time M MG tool Subjective Test Data Analysis Help Methods Info New Test 4 ITU Method Load Test AVCA Method Video file selected Get File C UsersiMarcio Desktoplavi Gilbig ships 480p30 2mbs avi Get video file Click to create a file with this configuration Finish Test Enter artefact time seg Add time Add artefact time to list Delete time Delete time selected Figura 4 Configura o de um novo teste AVCA Ap s terminar a configura o do teste clica se no bot o Finish Test para criar o ficheiro de configura o do teste Escolhe se o diret rio onde queremos guardar o ficheiro e o nome do teste gerado um ficheiro de texto utilizando como t tulo o nome inserido com o seguinte conte do nome do m todo sequ ncia de v deo n mero de tempos de artefactos introduzidos e respetivos tempos conforme ilustrado na Figura 5 No final a palavra end assinala o fim do ficheiro de configura o testeAVCA bd AVCA D
4. es ter os nomes do par de sequ ncias e n o apenas a sequ ncia de v deo avaliada Esta op o justifica se pelo facto de neste m todo o par de sequ ncias de v deo avaliadas resultar de combina es entre os ficheiros de v deo pertencentes a cada grupo Para o m todo de avalia o continua AVCA ap s a Informa o sobre a data e hora da realiza o do teste descrito o nome do v deo a sua dura o quantas vezes o participante clicou durante o teste e os respetivos tempos desses clicks em milissegundos conforme ilustrado na Figura 11 ul DSIS scores bt LoadTest testeD5IS txt Name u 01 Age 12 Gender Male vYideoExpert No DSIS 2012 05 28 21 43 39 cityz200 avi 3 z 3 coastguard100 avil 4 football avi 4 cityvs00 avi Z7 J coastgquardl00O avi 3 footballl0D avi 3 Do i mM 11 city avi D 12 footballs00 awi 4 13 city1l000 avi 1 Ln 6 Col 18 Sel D Figura 10 Ficheiro de pontua es de um participante com o m todo DSIS mD5 AVCA scores bd 1 Loadlest testeAV A txt 2 Name m S Age 21 Gender Male VideoExpert No AVCA 2012 07 28 15 45 27 out corrupted0l avi VideoDuration 99932 7 ClicksNumber 6 E 16444 5 30589 10 38338 11 44107 12 84700 13 99741 Ln 2 Col 10 Sel 0 Figura 11 Ficheiro de pontua es de um participante com o m todo AVCA Os ficheiros com as pontua es dos participantes devem ser gravados com nomes diferentes para que estes n o s
5. T significa que de teste Se o m todo selecionado for o DSIS ter a seguinte configura o identifica o do grupo seguido do caminho para o ficheiro do v deo de teste e caminho para o ficheiro do v deo de refer ncia Se o m todo selecionado for o SCACJ ser apresentado a identifica o do grupo seguido do diret rio da sequ ncia de v deo A e diret rio da sequ ncia de v deo B Na linha seguinte aparecer a identifica o do grupo seguido do caminho para o ficheiro do v deo B e diret rio da sequ ncia de v deo A derivado a este m todo usar todas as combina es poss veis das sequ ncias Como o tipo de m todo influencia a configura o dos ficheiros de teste nomeadamente o modo como s o criados e lidos Ap s adicionar as sequ ncias de v deo contidas na Video Group List para a Display Order List deixa de ser poss vel mudar o tipo de m todo utilizado no teste atrav s da combobox a n o ser que a lista Display Order List fique novamente vazia As sequ ncias de v deo aparecem inicialmente agrupadas por grupos na Display Order List mas a ordem com que ser o visualizadas durante os testes pode ser gerada de uma forma pseudoaleat ria ao selecionar o bot o Random Ao clicar no bot o Random escolhido aleatoriamente uma sequ ncia de v deo da lista e colocado novamente na Display Order List O mesmo acontece para as restantes sequ ncias de v deo na lista com a seguinte regra a sequ ncia seguinte escolh
6. 4 99 3 0 4 99 NO 1 56 big ships 480p30 2mbs corrupted plr 0 16803 avi 4 4 4 4 4 4 4 4 4 4 0 4 99 4 0 4 99 NO 0 56 snow mnt 480p30 3mbs corrupted plr 7 8129 avi 2 2 2 2 2 2 2 2 2 2 0 4 99 2 0 4 99 NO 3 0 soccer 480p30 3mbs avi 5 5 5 5 5 5 5 5 5 5 0 4 99 5 0 4 99 YES 0 44 park_joy_480p25_5mbs_corrupted_plr_7 0338_ avi 1 1 1 1 1 1 1 1 1 1 0 4 99 1 0 4 99 NO 3 56 sunflower 480p25 imbs corrupted plr 0 563 avi 4 4 4 4 4 4 4 4 4 0 4 99 4 0 4 99 NO 0 56 raven 480p30 2mbs corrupted plr 1 7061 avi 3 3 3 3 3 3 3 3 3 3 0 4 99 3 0 4 99 NO 1 56 big ships 480p30 2mbs corrupted plr 5 0147 avi 1 1 1 1 1 1 1 1 1 1 0 4 99 1 0 4 99 NO 3 56 old_town_cross_480p25_2mbs_corrupted_plr_2 4583_ 1 1 1 1 1 1 1 i 1 1 0 4 99 1 0 4 99 NO 3 56 e CE Figura 12 Tabela de resultados utilizando a metodologia ACR HR com m todo de rejei o ITU Ap s visualiza o da tabela com os resultados dos observadores ficam dispon veis dois novos bot es Um para gerar um gr fico Generate Graph com os resultados e outro para exporta os resultados para um ficheiro CSV Export CSV Como c lculo de rejei o de resultados para o m todo da correla o diferente as colunas na tabela tamb m s o diferentes dos m todos da ITU A primeira coluna cont m o nome das sequ ncias de v deo as colunas seguintes t m as pontua es de cada observador Nas duas ltimas colunas s o vis veis os valores de RawMOS e MOS respetivamente A ltima linha da tabela disponibiliza
7. a pontua o da sequ ncia de v deo visualizada e respetivo nome Este procedimento repete se sucessivamente at aparecer uma janela a dizer que o teste terminou File Settings Help Figura 8 Teste de avalia o do m todo DSIS De acordo com a recomenda o ITU R BT 500 12 quando se utilizam os m todos DSIS ou SCACJ as sequ ncias de v deo devem ser mostradas em pares lado a lado quando as dimens es do ecr o permitam No caso particular do m todo DSIS a sequ ncia de refer ncia o primeiro v deo a ser visualizado ou no caso de as sequ ncias serem exibidas em simult neo o v deo apresentado no lado esquerdo do ecra 3 Slightiy annoying 2 Annoying 0 1 Very annoying Figura 9 Escala de avalia o do m todo DSIS Terminado o teste de avalia o subjetiva as pontua es dadas pelo participante ficam guardadas num ficheiro de texto O ficheiro gravado com o seguinte nome nomeParticipante nomeMetodoAvalia oSubjetiva scores txt e cont m o nome do ficheiro de configura o do teste a informa o relativa ao participante nome idade g nero e tipo de participante o nome do m todo de avalia o subjetiva a data e hora em que se efetuou o teste e finalmente o nome das sequ ncias de v deo avaliadas e respetiva pontua o como ilustrado na Figura 10 No caso do m todo de avalia o subjetiva escolhido ser o SCACJ a nica diferen a no formato do ficheiro das pontua
8. de v deo e nome dos participantes em que o total de participantes corresponde ao n mero de ficheiros selecionados anteriormente e RawMOS baseado nas pontua es de todos os participantes e desvio padr o de RawMOS e MOS baseado nas pontua es de todos os participantes v lidos e desvio padr o de MOS e v deo de refer ncia para cada sequ ncia de v deo indica se um v deo de refer ncia ou n o apenas para ACR HR e Differential Mean Opinion Score DMOS apenas para ACR HR Conforme ilustrado na Figura 12 os nomes das sequ ncias de v deo exibidas durante os testes de avalia o subjetiva aparecem na primeira coluna da esquerda As pontua es de cada participante para a sequ ncia de v deo correspondente surgem nas colunas imediatamente seguintes Para o c lculo do RawMOS e do seu desvio padr o est o abrangidos todos os participantes Para o c lculo dos valores de MOS e respetivos desvio padr o apenas se considera os participantes v lidos ou seja os participantes que n o apresentem pontua es incoerentes As pontua es atribu das pelos participantes que foram rejeitados para o c lculo do MOS ficam com fundo amarelo Os resultados s o arredondados para 2 casas decimais MG too Subjective Test Data Analysis Help 9 RawMOS SD RawMOS MOS SD MOS Video Reference DMOS 3 part 3 N 3 QI 3 E 3 m 3 D E F o 3 Video Sequence
9. 4 3 3 4 3 E 3 3 3 E 2 6 2 88 mobile 512 264 5 5 5 5 4 5 4 5 4 4 4 75 coastguard_64 2 2 2 2 1 2 2 2 1 8 1 88 football 512 264 3 4 4 3 2 4 3 4 31 3 38 stephan 128 264 1 1 1 1 1 1 1 1 1 0 1 0 foreman 256 264 4 4 5 4 4 4 3 4 3 7 4 0 australia 128 264 5 4 5 4 5 4 4 5 4 1 4 5 foreman 64 264 1 1 1 1 1 1 1 1 1 0 1 0 coastguard_128 3 3 4 4 3 4 3 3 T2 3 38 mobile 256 264 4 4 4 4 3 4 4 4 3 6 3 88 container 256 264 5 5 5 5 4 E 5 5 45 4 88 football 1024 264 4 4 4 4 4 4 4 4 37 40 table 512 264 5 5 5 5 5 5 5 5 4 6 5 0 stephan 512 264 4 5 4 5 4 4 4 4 4 0 4 25 container 128 264 3 4 4 4 EJ 5 o 4 3 7 i 40 stephan 256 264 3 3 2 3 2 2 2 2 2 3 2 38 mobile 64 264 1 2 2 2 1 1 1 1 1 4 1 38 coastguard 512 5 4 5 5 4 5 4 5 4 2 4 62 table 64 264 1 2 2 p 1 1 2 1 1 4 l 1 38 foreman 512 264 5 4 5 5 5 5 4 5 44 4 75 football 256 264 1 3 1 2 1 2 2 2 1 8 1 75 australia 64 264 3 4 4 4 3 3 4 o 4 3 4 3 62 Correlation 0 96 0 95 0 96 0 97 0 95 0 97 0 95 0 97 j Enter a value for correlation threshold between 0 and 1 0 94 Export Csv Figura 13 Tabela de resultados utilizando metodologia DSIS com m todo de rejei o Correla o A apresenta o de resultados para o m todo de avalia o cont nua AVCA Results difere bastante da anterior Para este m todo interessa saber o n mero de vezes que o observador assinalou a rea de visualiza o do v deo em rela o ao n mero de art
10. MG tool Manual do utilizador 1 Introdu o Este documento tem como objetivo tornar o utilizador mais familiarizado com a aplica o Ser o apresentadas as principais caracter sticas da ferramenta para que o utilizador retire maior partido das suas potencialidades A aplica o foi desenvolvida num computador com o sistema operativo 32bits Windows 7 Utilizando tecnologia Java atrav s do IDE Eclipse Helios Para permitir visualizar as sequ ncias de v deo utilizou se a biblioteca Java Media Framework JMF Esta biblioteca permite trabalhar com v rios formatos de v deos que s o descritos em http www oracle com technetwork java javase formats 138492 html Para testes com esta ferramenta foram utilizados maioritariamente formatos de v deo YUV encapsulados em ficheiros AVI Foram usados dois plugins um para constru o das componentes gr ficas Visual Swing for Eclipse e o JFreeChart para construir os gr ficos com os resultados Esta aplica o foi testada com sucesso nas seguintes condi es Windows XP Windows Vista Windows Seven Nas condi es em que n o foi testado n o tem nenhuma raz o evidente para que n o funcione corretamente 1 1 Requisitos Para correto funcionamento da aplica o deve ser Instalado o JMF e um JRE de 32brts N o existe uma vers o de 64bit do JMF por essa raz o necess rio instalar um JRE de 32 bits nas m quinas que t m um sistema operativo de 64bit Podendo coexistir ambos J
11. NO 2 56 park joy 480p25 5mbs corrupted plr 3 8627 avi 2 2 2 2 2 2 2 2 2 2 0 3 23 2 0 3 23 NO 2 56 soccer 480p30 3mbs corrupted plr 1 3028 avi 5 5 5 1 5 5 5 5 5 4 56 3 49 4 56 3 49 NO 0 0 sunflower 480p25 imbs corrupted plr 0 53605 avi 4 4 4 1 4 4 4 4 4 3 67 3 63 3 67 3 63 NO 0 89 station 480p25 2mbs corrupted plr 0 21373 avi 5 5 5 1 5 5 5 5 5 4 56 3 87 4 56 3 87 NO 1 56 snow mnt 480p30 3mbs corrupted plr 0 59624 avi 5 5 5 1 5 5 5 5 5 4 56 4 09 4 56 4 09 NO 0 44 big ships 480p30 2mbs corrupted plr 5 1629 avi 2 2 2 2 2 2 2 2 2 2 0 4 09 2 0 4 09 NO 2 56 park joy 480p25 5mbs corrupted plr 0 21373 avi 2 2 2 2 2 2 2 2 2 2 0 4 09 2 0 4 09 NO 2 56 raven 480p30 2mbs avi 5 5 5 1 5 5 5 5 5 4 56 43 4 56 43 YES 0 0 old town cross 480p25 2mbs corrupted plr 7 0338 2 2 2 2 2 2 2 2 2 2 0 43 2 0 43 NO 2 56 station 480p25 2mbs corrupted plr 1 9848 avi 3 3 3 3 3 3 3 3 3 3 0 43 3 0 4 3 NO 0 0 snow_mnt_480p30_3mbs avi 5 5 5 1 5 5 5 5 5 4 56 4 51 4 56 4 51 YES 0 44 sunflower 480p25 imbs corrupted plr 7 0338 avi 1 1 1 5 1 1 1 1 1 1 44 4 7 1 44 4 7 NO 3 12 big ships 480p30 2mbs corrupted plr 0 19048 avi 4 4 4 1 4 4 4 4 4 3 67 4 8 3 67 4 8 NO 0 89 raven 480p30 2mbs corrupted plr 5 0147 avi 3 3 3 3 3 3 3 3 3 3 0 4 8 3 0 4 8 NO 1 56 park_joy_480p25_5mbs_corrupted_plr_1 5705_ avi 2 2 2 2 2 2 2 2 2 2 0 4 8 2 0 4 8 NO 2 56 station 480p25 2mbs avi 5 5 5 1 5 5 5 4 56 4 99 4 56 4 99 YES 1 56 old town cross 480p25 2mbs corrupted plr 7 7564 3 3 3 3 3 3 3 3 3 3 0
12. RE 64bit e 32bit no mesmo computador Ap s instala o destes dois aplicativos pode se correr o ficheiro execut vel JAR da aplica o 2 Estrutura da interface gr fica Na janela principal da interface gr fica est dispon vel uma barra de menus com tr s menus como se pode observar na Figura 1 No menu Subjective Test pode se obter uma breve descri o dos quatro m todos de avalia o subjetiva implementados Methods Info A aplica o disponibiliza um m todo Single Stimulus ACR HR um m todo Double Stimulus DSIS um m todo de compara o SCACJ e um m todo de avalia o continua AVCA ver sec o 6 Os tr s primeiros m todos est o nas recomenda es ITU T P 910 e ITU R BT 500 12 No submenu New Test pode se efetuar a configura o de um teste de avalia o subjetiva escolhendo inicialmente se queremos um dos m todos recomendados pela ITU ou o m todo de avalia o continua AVCA No submenu Load Test escolhe se o ficheiro de configura o gerado da op o anterior New Test Ap s valida o do ficheiro de configura o ser apresentado ao observador um painel para este introduzir os seus dados pessoais De seguida iniciar o teste de avalia o subjetiva No menu Data Analysis s o efetuados os c lculos e apresenta o de resultados com base nos ficheiros de pontua es escolhidos Inicialmente seleciona se se pretende visualizar os resultados de Mean Opinion Score Compute MOS ou os resultado
13. astguard100 avi G2 T G 2 Click to create a file with this configuration Get Files Add Group FinishTest Get video files z E E E E Select a video file to be the reference video for this group and click this button for add to final list Delete Video Select a video file and click this button to delete it Seed id Random Click to random the files Figura 2 Configura o de um novo teste ACR HR Os v deos contidos na primeira lista podem ser removidos da lista ao clicar no bot o Delete Video depois de se selecionar a sequ ncia de v deo pretendida Se o bot o Clear List for premido todas as sequ ncias de v deo contidas na segunda lista ser o apagadas Ao pressionar os bot es Delete Video ou Add Group sem que exista qualquer sequ ncia de v deo selecionada ou se for clicado o bot o Add Group com a Video Group List vazia aparece uma mensagem de aviso a dizer que necess rio escolher pelo menos um v deo Se tentar clicar nos bot es Random Clear List ou Finish Test com a segunda lista vazia mostrada uma mensagem de aviso a dizer que lista est vazia Antes de terminar a configura o do teste e caso se pretenda fazer ajustes na ordem das sequ ncias na Display Order List pode se utilizar o mecanismo de selecionar uma linha desta lista e arrasta la para a posi o desejada drag and drop Este mecanismo facilita bastante nos casos em que se pretende alterar apenas algumas posi es entre as sequ ncias
14. de v deo sem alterar toda a ordem como faz o bot o Random Ap s terminar a configura o do teste clica se no bot o Finish Test para criar o ficheiro de configura o do teste Escolhe se o diret rio onde queremos guardar e o nome do teste gerado um ficheiro de texto utilizando como t tulo o nome inserido com o seguinte conte do nome do m todo sequ ncias de v deo com os respetivos grupos e identificadores de sequ ncias conforme ilustrado na Figura 3 para o caso de um teste com o m todo de avalia o ACR HR No final a palavra end assinala o fim do ficheiro de configura o Esta palavra posteriormente usada durante a realiza o do teste para se ficar a saber que este chegou ao fim testeACRHR tt ACR HR 4 DocumentsiEscolalTeseiAVIsicity avi G1 R Fj 1 as 1 no D D DocumentsiEscolaiTesetAVIsicoastquard avi GZ R D DocumentsiEscolaiTeselaAVIsicity200D avi Gl T D DocumentsiEscolatTesetAVIsifootball avi G3 K D DocumentstEscolatTesetAVIstfootballl00D avi G3 T D DocumentsiEscolaiTeseiAVIsicityv500 avi Gl T D D D D in us O 4 DocumentsiEscolatTesetAVIsicoastquard 00 avi GZ T 4 DocumentsiEscolaiTeseiAVIsicity1l000 avi G T DocumentsiEscolaiTesetAVIstfootball350 avi G3 T DocumentslEscolalTeseNAVIsifootbal1900 avi G3 T end Do ig p ha p l le Ln 11 Col 42 Sel 0 Figura 3 Ficheiro de configura o de um novo teste ACR HR
15. do o valor do coeficiente da correla o para cada observador O utilizador que define o valor de refer ncia para coeficiente de correla o a partir do qual os participantes devem ser rejeitados Conforme ilustrado na Figura 13 os observadores com valores de coeficiente de correla o inferiores ao definido s o rejeitados colunas a amarelo Para este exemplo definiu se um coeficiente de correla o de 0 94 Caso um observador atribua a mesma pontua o a todas as sequ ncias de v deo definiu se que as suas pontua es tamb m deveriam ser rejeitadas E o valor apresentado para o seu coeficiente de correla o ser indefinido Ee M6to O o ES PO lM Subjective Test Data Analysis Help Video Sequence u01 u10 u02 u03 u04 u05 u06 u07 u08 u09 RawMOS MOS australia 32 264 2 2 2 2 2 2 2 3 2 1 2 12 table 256 264 4 4 5 5 4 4 4 4 4 0 4 25 container 64 264 3 4 4 4 ER 4 4 5 36 388 football 2048 264 4 5 5 5 5 5 5 5 4 3 4 88 mobile 128 264 1 2 2 2 1 2 2 1 1 6 1 62 coastguard_256 5 4 5 4 4 5 5 4 0 4 5 foreman 128 264 3 3 3 4 2 3 3 3 2 8 30 0 stephan 1024 264 5 5 5 5 5 5 5 5 4 4 5 0 container 512 264 5 5 5 5 5 5 4 5 4 5 4 38 australia 256 264 5 5 5 5 5 5 4 5 4 5 J 4 88 table 128 26
16. e sobreponham Os ficheiros de pontua es s o guardados na mesma diretoria do ficheiro de configura o do teste 5 Apresenta o de resultados Os resultados s o obtidos atrav s da an lise dos ficheiros de pontua es escolhidos Os ficheiros selecionados devem ter em comum o mesmo ficheiro de configura o do teste para que seja poss vel efetuar os c lculos corretamente Caso isso n o aconte a mostrada uma mensagem de erro No menu Data Analysis seleciona se pelo tipo de resultados que se pretende Resultados para testes com o m todo de avalia o cont nua da qualidade do v deo AVCA Results ou resultados para obter valores de MOS Compute MOS Neste ltimo submenu escolhe se o tipo de m todo para a rejei o de pontua es incoerentes por parte dos observadores De seguida os ficheiros com as pontua es dos participantes s o selecionados a partir de um gestor de ficheiros O c lculo de Mean Opinion Score MOS e rejei o de participantes com pontua es incoerentes s o feitos de duas formas distintas ITU method e Correlation Analysis A apresenta o dos resultados em forma de tabela depende do tipo de m todo de avalia o subjetiva usado no teste Caso se escolha a op o ITU method e na realidade o nome do m todo contido no ficheiro seja o AVCA ou vice versa mostrada uma janela de erro Para um m todo ITU as colunas da tabela s o constitu das pelos seguintes campos e nome das sequ ncias
17. efactos introduzidos no v deo E analisar a percentagem de vezes que este clicou acertadamente TP clicou erradamente FP e percentagem de vezes que este n o clicou e deveria ter clicado FN ou seja n o viu os artefactos mas eles estavam l Para o c lculo destas percentagens contabilizado o tempo de rea o do observador tempo que o observador demora a clicar no v deo ap s ter visualizado o artefacto Ap s an lise de alguns testes efetuados para testar o tempo de rea o das pessoas definiu se que este tempo seria igual a 1 5 segundo Um exemplo destes resultados apresentado na Figura 14 2 Durante a visualiza o do v deo para este m todo importante que n o exista problemas de processamento no computador Porque se houver paragens na sequ ncia de v deo devido a processamento no computador o observador pode assumir que era um artefacto devido a perdas de codifica o e clicar no bot o do rato No c lculo de resultados este click entra na percentagem dos falsos positivos FP Moto O DD TO MTO eme Subjective Test Help Compute MOS gt AVCA Results out corruptedO L avi m01 m02 m03 m04 m05 m06 m07 m08 m09 mio N dicks 6 0 4 0 6 0 8 0 6 0 5 0 5 0 3 0 5 0 2 0 TP 66 67 75 0 100 0 75 0 66 67 80 0 60 0 66 67 80 0 50 0 FP 33 33 25 0 0 0 25 0 33 33 20 0 40 0 33 33 20 0 50 0 Bakis 2 L cae f Ec L ma L aa 1 cu a L l E Led Export CSV Fi
18. ela 3 Escala de Compara o SCACJ Tabela 1 Escala de Tabela 2 Escala de Qualidade Artefactos Muito Pior Pior Ligeiramente Pior Igual Excelente Impercet vel Boa Percet vel Razo vel Ligeiramente Ligeiramente Melhor Melhor Muito Melhor ITU T method As pontua es dos observadores s o processadas de acordo com a recomenda o ITU R BT 500 12 As pontua es fora do intervalo de confian a podem ser rejeitadas Pobre Inc modo M Inc modo Muito Inc modo Correlation method A rejei o de resultados incoerentes feita com base na correla o entre as pontua es do observador e a m dia de todos os observadores Inicialmente escolhido um valor para o coeficiente de correla o entre O e 1 Todos observadores que obtenham um coeficiente de correla o inferior ao definido ter o as suas pontua es rejeitadas
19. etros dependem do tipo de m todo utilizado no teste E mo o Subjective Test Data Analysis Help Double Stimulus Impairment Scale DSIS he observer is presented with video sequences organized in pairs the right first sequence is the reference while the left second sequence is the impaired Each pair reference impaired sequence is presented a single time After each pair presentation the observer is asked to score the amount of degradation noticed in the impaired sequence given the reference sequence using the following impairment scale eimperceptible e Perceptible but not Annoying e Slightly Annoying e Annoying e Very Annoying Figura 7 Descri o do m todo DSIS w O participante clica no bot o Start para dar in cio visualiza o das sequ ncias de v deo Enquanto o v deo est a ser visualizado Figura 8 o bot o Start desaparece e s volta a estar vis vel depois de efetuada a avalia o de cada sequ ncia de v deo exibida no teste Dois segundos ap s a sequ ncia de v deo ter terminado fica vis vel a escala de avalia o ilustrado na Figura 9 Na janela correspondente escala de avalia o apenas permitido escolher uma das pontua es dispon veis Depois de visualizado o v deo e pontuada a sua qualidade o participante clica no bot o Start para iniciar a pr xima sequ ncia de v deo como descrito acima tamb m neste momento que guardado num ficheiro
20. gura 14 Tabela de resultados com o m todo AVCA 6 Avalia o subjetiva Absolute Category Rating with Hidden Reference ACR HR Neste m todo as sequ ncias de v deo s o apresentadas ao participante uma de cada vez e este faz a avalia o entre exibi es consecutivas com base numa escala de qualidade representada na Tabela 1 As pontua es de qualidade s o geralmente expressas por valores de Differential Mean Opinion Scores DMOS calculados com base nas diferen as entre as pontua es dadas ao v deo degradado e as dadas ao v deo de refer ncia O v deo de refer ncia mostrado entre as restantes sequ ncias de v deos sem que seja informado ao observador que est a pontuar o v deo de refer ncia Essa a raz o pela qual o m todo se chama Refer ncia Escondida Double Stimulus Impairment Scale DSIS Neste m todo apresentado ao participante uma refer ncia v deo original e o mesmo v deo mas sob uma determinada condi o de teste v deo degradado O participante atribui uma pontua o ao v deo degradado que feita tendo em conta o conte do do v deo de refer ncia As pontua es atribu das s sequ ncias de v deo devem ser conforme a Tabela 2 Se o avaliador n o notar nenhum artefacto no v deo de teste deve dar nota 5 Quer isto dizer que a diferen a entre o v deo original refer ncia e o v deo sob condi o de teste Impercet vel Esta refer ncia deve ter uma qualidade superior ao
21. ida ter de ser de uma fam lia de v deos diferente da anterior e assim sucessivamente Este espa amento entre sequ ncias do mesmo grupo fam lia maior ou igual a metade do n mero de fam lias total Pode no entanto aparecer sequ ncias de v deo da mesma fam lia seguidas no fim da lista caso os grupos de v deo n o tenham o mesmo n mero de sequ ncias O gerador de n meros pseudoaleat rios pode ser iniciado com base num temporizador ou com base numa semente Se for preenchido o campo Seed id com um n mero Inteiro a ordem gerada para os elementos contidos na Display Order List ser sempre a mesma desde que essa semente um n mero inteiro seja a mesma Isto permite gerar a mesma ordem para o mesmo conjunto de sequ ncias em momentos de tempo diferentes MG tool a bcl Subjective Test Data Analysis Help Methods Info New Test gt ITU Method Load Test AVCA Method Clearlist Select Method Choose Video Reference ARAR D DocumentsEscola Tese AvIs football avi D Documents Escola Tese AVIs city avi GLR AGR D Documents Escola Tese lavIsWootball1024 avi D Documents Escola Tese AVIs city200 n GIT G 1 D DocumentsEscola Tese AVIs football400 avi D Documents Escola Tese AVIs ity256 avi GIT D DocumentsEscola Tese AVvIs football750 avi D Documents Escola Tese AVIs city512 avi G1 T SCACJ D Documents EscolaiTeselAVIsicoastquard avi G2 R ID Documents EscolaTeselAVIsico
22. os seus dados Neste painel ilustrado na Figura 6 o utilizador dever preencher os campos nome idade g nero e tipo de participante se especialista em v deo ou n o Depois de feitas as verifica es a estes campos nome n o pode estar sem conte do e idade tem de ser um n mero inteiro entre 1 e 99 dado In cio sess o de avalia o subjetiva da qualidade do v deo O nome do participante vai ser usado para o nome do ficheiro gerado com os resultados provenientes da sess o User Information Name user 01 23 Male Female video Expert Figura 6 Painel de informa o sobre o participante Para evitar que os participantes se distraram e percam a concentra o na avalia o das sequ ncias de v deo os menus da barra de ferramentas deixam de estar dispon veis ap s serem guardadas as informa es relativas ao participante Caso essas op es estivessem dispon veis e fossem selecionadas iriam cancelar a avalia o feita at ao momento Os menus voltam a ficar dispon veis quando o teste terminar Assim dado in cio sess o de avalia o subjetiva que come a com uma breve explica o sobre o tipo de m todo utilizado no teste exemplo na Figura 7 para um teste com o m todo DSIS e de que forma as sequ ncias de v deo v o ser exibidas Durante esta breve introdu o aborda se tamb m a escala de pontua es que vai ser usada para avalia o da qualidade dos v deos Todos estes par m
23. s do m todo de avalia o continua AVCA Results Na op o Compute MOS pode se escolher o modo como se pretende que a rejei o de participantes com pontua es incoerentes seja calculada Atrav s do m todo de rejei o da ITU ITU T method ou atrav s do m todo da correla o Correlation Analysis ver sec o 6 No menu Help ser o disponibilizadas informa es sobre a ferramenta About Ao clicar no submenu User Guide ser automaticamente visualizado um ficheiro em formato pdf a explicar o funcionamento da ferramenta este documento Subjective Test Methods Info New Test k ITU Method Load Test AVCA Method Data Analysis Compute MOS TU method AVCA Results Correlation Analysis Help User Guide About Figura 1 Menus da interface gr fica Em seguida ser o explicadas detalhadamente as seguintes partes da ferramenta configura o de um novo teste realiza o de um teste apresenta o de resultados 3 Configura o de um novo teste Um novo teste de avalia o subjetiva configura se escolhendo a op o New Test do menu Subjective Test Ap s escolha do tipo de teste que se pretende configurar se um teste de avalia o continua AVCA ou um teste apresentado nas recomenda es ITU fica dispon vel um painel com as op es de configura o Para uma configura o com um m todo recomendado pela ITU ilustrada na Figura 2 este painel cont m uma combobox que permite escolher o tipo de m todo de a
24. s v deos sob condi es de teste Este m todo tem duas variantes nesta aplica o foi implementado a primeira variante cada par refer ncia condi o de teste mostrado uma nica vez pedindo se ao avaliador para votar ap s a exibi o de cada par Stimulus Comparison Adjectival Categorical Judgement SCACJ Neste m todo cada par corresponde a duas condi es de teste distintas A avalia o feita pedido aos observadores que indiquem qual das condi es de teste de cada par a que possui melhor qualidade Geralmente este teste feito utilizando todos os pares de condi es de teste poss veis e deve se assegurar que as sequ ncias de cada par s o visualizadas em ambas as ordens poss veis Com base nas classifica es apresentadas na Tabela 3 o observador ir indicar se a segunda sequ ncia de v deo tem melhor pior ou a mesma qualidade da primeira e qu o melhor ou pior essa qualidade Artifact Visibility Continuous Assessment AVCA Neste m todo apresentado ao observador uma sequ ncia de v deo longa maior que 2 minutos Esta sequ ncia de v deo consiste num conjunto de cenas de v rios v deos Durante a apresenta o da sequ ncia de v deo o observador sempre que visualizar um artefacto perturba o na Imagem deve assinala lo com o bot o do rato na rea do v deo N o existe uma escala de avalia o de qualidade pois esta feita de forma continua durante a apresenta o do v deo Tab
25. valia o subjetiva duas listas Video Group List e Display Order List onde ser o adicionadas as sequ ncias de v deo escolhidas pelo organizador a figurar no teste Na primeira lista as sequ ncias de v deo ficam agrupadas segundo fam lias ou grupos de v deos Estes conjuntos de v deos s o caracterizados pelo indentificador do grupo G1 G2 Gn Estes v deos s o selecionados atrav s do gestor de ficheiros apresentado ap s clicar no bot o Get Files Os grupos de v deos s o adicionados segunda lista atrav s do bot o Add Group Quando se utilizam os m todos ACR HR e DSIS devido sua metodologia necess rio selecionar uma sequ ncia de v deo para ser a refer ncia antes de se adicionar o grupo de v deos segunda lista Para os m todos DSIS e SCACJ necess rio que cada grupo contenha pelo menos duas sequ ncias de v deo pois os v deos s o exibidos aos pares Na segunda lista apresentada a configura o final onde as sequ ncias est o organizadas pela ordem com que ser o exibidas durante a realiza o do teste Por exemplo se o m todo ACR HR for selecionado na Display Order List cada sequ ncia de v deo dever ser descrita pelo diret rio da sequ ncia de v deo seguido da identifica o do grupo e identificador de refer ncia ou condi o de teste DNDocumentsNA VIsicity avi GI R em que 1 o n mero do grupo e R significa que a sequ ncia de v deo uma refer ncia e
Download Pdf Manuals
Related Search