Ferramenta para Avaliação Subjetiva
da Qualidade de Vídeo
Márcio Gonçalves
METI
Orientador: Prof. Tomás Brandão, ISCTE-IUL
Co-Orientadora: Prof.ª Maria Paula Queluz, IST
Apresentação da Dissertação de Mestrado
Outline

Motivação e Objetivos

Implementação da Ferramenta




Tecnologia
Interface gráfica
Características
Contribuições adicionais

Demonstração

Testes de Avaliação Subjetiva

Síntese e Trabalho Futuro
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
2
1. Motivação e Objetivos
Qualidade de vídeo
Definida como uma medida da degradação visual,
percepcionada pelos utilizadores, depois do vídeo ser
sujeito a perdas devido a codificação e/ou transmissão
Perdas de transmissão
Efeito de bloco
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
4
Avaliação da qualidade de vídeo

Avaliação Subjetiva
Realização de testes em que os observadores humanos
avaliam por si a qualidade de sequências de vídeo

Avaliação Objetiva
Avaliação automática de uma sequência de vídeo sem a
intervenção direta de humanos (através de algoritmos)
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
5
Testes de avaliação subjetiva

Software




Configuração de testes subjetivos
Efetuar testes de avaliação subjetiva
Tratamento de resultados
Bases de Dados


Armazenamento de sequências de vídeo
Disponibilização dos resultados (MOS, DMOS)
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
6
Limitações de ferramentas existentes

Variedade de métodos normalizados para
avaliação subjetiva de vídeo

Falta de suporte para

auxílio à preparação dos testes

processamento estatístico dos resultados
Existe um número reduzido de ferramentas disponíveis
para realização de testes de avaliação subjetiva
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
7
Objetivos

Construção de uma ferramenta capaz de efetuar
avaliações subjetivas da qualidade de vídeo



Visualização de vídeos com resoluções HD (1920x1080)
Tratamento estatístico de dados e extração de valores de MOS
(Mean Opinion Scores)
Inclua novas metodologias, não normalizadas, de avaliação
subjetiva e deteção de outliers

Realização de testes de avaliação subjectiva usando a
ferramenta desenvolvida

Disponibilização dos resultados obtidos à comunidade
científica
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
8
2. Implementação da Ferramenta
Tecnologia de implementação

Desenvolvidos 3 protótipos

C++


Java



OpenCV – Open Source Computer Vision
JMF – Java Media Framework
VLCJ – VideoLan Client Java
Razões para a escolha:


JAVA
com JMF
Java – o facto de ser portável
JMF – a biblioteca VLCJ não permitia a implementação
de algumas funcionalidades necessárias
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
10
Interface gráfica
Sequências
de Vídeo
GUI
Ficheiros
de texto
JAVA com
JMF
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
11
Características (1)

Métodos Single Stimulus (SS)



Absolute Category Rating with Hidden
Reference (ACR-HR)
Artifact Visibility Continuous Assessment (AVCA)
5
Excelente
4
Boa
3
Razoável
2
Pobre
1
Má
Métodos Double Stimulus (DS)


Double Stimulus Impairment Scale (DSIS)
Stimulus Comparison Adjectival
Categorical Judgement (SCACJ)
5
4
3
2
1
Imperceptível
Perceptível
Ligeiramente Incómodo
Incómodo
Muito Incómodo
-3
-2
-1
0
Muito Pior
Pior
Ligeiramente Pior
Igual
1
Ligeiramente Melhor
2
3
Melhor
Muito Melhor
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
12
Características (2)

Configuração de testes subjetivos




Métodos de deteção de outliers



Famílias de vídeos
Ordem de visualização pseudo-aleatória
Drag and drop
ITU Method
Correlation Analysis
µ 𝑖 =
1
𝑁
𝑁
Pontuação
atribuída pelo
participante j à
condição de
teste i
𝜑 𝑖, 𝑗
𝑗=1
Apresentação de resultados

Tabelas, gráficos, ficheiros CSV
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
13
Contribuições adicionais (1)

Artifact Visibility Continuous Assessment
(AVCA)

Sequência de vídeo longa, contendo artefactos
isolados introduzidos artificialmente

Pretende-se avaliar a perceção (ou não)
desses artefactos por parte de um observador

O observador assinala os instantes em que
perceciona um artefacto

Inexistência de escalas de avaliação
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
14
Contribuições adicionais (1)

Artifact Visibility Continuous Assessment
(AVCA)


Cálculo de percentagens:

Verdadeiros positivos

Falsos positivos

Falsos negativos
Tempo de resposta do utilizador (1,5 seg)
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
15
Contribuições adicionais (2)

Correlation Analysis
Video Sequence
big_ships_480p30_2mbs
old_town_480p25_2mbs
soccer_480p30_3mbs
station_480p25_2mbs
park_joy_480p25_5mbs
snow_mnt_480p30_3mbs
sunflower_480p25_1mbs
raven_480p30_2mbs
old_town_480p25_2mbs
station_480p25_2mbs
soccer_480p30_3mbs
big_ships_480p30_2mbs
park_joy_480p25_5mbs
sunflower_480p25_1mbs
old_town_480p25_2mbs
snow_mnt_480p30_3mbs
raven_480p30_2mbs
big_ships_480p30_2mbs
Correlation coefficient:
𝜌 𝑗 =
v01
v02
1
v03
2
2
2
1
3
2
5
5
5
1
2
3
2
2
5
1
5
2
v05
1
2
𝑥 2
3
2
𝑁
23
2
𝑥
𝑖=1 3
3
5
5
5
5
4
4
2
2
1
2
2
3
1
2
2
3
5
5
2
1
4
5
2
3
0.93 0.89 0.95 0.96 0.92
𝑁2
𝑖=1
1
1
2
1
2
3
4
5
5
4
2
2
2
2
2
5
1
4
3
v04
1
2
1
2
2
2
5
5
4
2
2
2
1
3
5
1
4
3
(…)
RawMOS
1.47
1.67
1.4
1.67
𝑁
2.4
𝑖=1
2.6
4.93
4.67
3.8
1.87
1.87
2.27
1.47
2.2
4.93
1.27
3.73
2.47
MOS
1.46
1.62
1.38
1.62
2.31
2.46
4.92
4.62
3.77
1.69
1.77
2.23
1.38
2.15
4.92
1.23
3.69
2.38
𝑥 𝑖, 𝑗 − 𝜇 (𝑗) × 𝑦 𝑖 − 𝜇
𝑥 𝑖, 𝑗 − 𝜇 (𝑗)
×
Video Ref
DMOS
NO
3.23
NO
3.3
𝑦 NO
3.16
NO
2 3.07
NO
2.61
NO𝑦
2.08
YES
0.0
NO
0.15
NO
1.15
NO
3.0
NO
2.77
NO
2.46
NO
3.54
NO
2.77
YES
0.0
NO
3.31
NO
1.08
NO
2.31
𝑦 𝑖 −𝜇
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
16
3. Demonstração
4. Testes de Avaliação Subjetiva
Condições dos testes

Metodologia ACR-HR

15 observadores


Testes de acuidade visual e despiste
de daltonismo
Procedimento de calibração dos
observadores

Sessão de 15min

Sequências de vídeo:





Resolução SDTV (720x480)
10 segundos de duração
Codificadas em H.264
PLR entre 0.1% e 8% -> 56 vídeos
Raw (YUV) / AVI.
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
19
Resultados
Método de avaliação subjetiva ACR-HR,
com deteção de outliers utilizando ITU Method
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
20
5. Síntese e Trabalho Futuro
Síntese

Desenvolvida uma ferramenta para realizar
avaliação subjetiva da qualidade de vídeo


GUI intuitiva e fácil de utilizar
4 métodos de avaliação subjetiva


2 métodos de deteção automática de outliers


Método ITU; Método da correlação
3 modos de apresentação de resultados


ACR-HR; DSIS; SCACJ; AVCA;
Tabelas; Gráficos; Ficheiros CSV
Utilização experimental da ferramenta
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
22
Trabalho futuro

Disponibilizar os resultados obtidos à comunidade
científica

Implementação de métodos para avaliação
subjetiva de imagens fixas

Implementação de mais métodos de avaliação
subjetiva de vídeo

Fazer os testes de acuidade visual e despiste de
daltonismo a partir da própria ferramenta
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
23
Ferramenta para Avaliação
Subjectiva da Qualidade de Vídeo
Orientador: Prof. Tomás Brandão, ISCTE-IUL
Co-Orientadora: Prof.ª Maria Paula Queluz, IST
Mestrado em Engenharia de Telecomunicações e Informática
Obrigado!
Anexos
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
25
Testes de avaliação subjetiva
Exemplo da estrutura de uma sessão de teste
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo
Academia ISCTE – Arquitectura de Computadores
26