Instituto de Computação – UNICAMP
Detecção de Algumas Transições
Abruptas em Seqüências de Imagens
Nielsen Cassiano Simões
[email protected]
Mestrando
Prof. Dr. Neucimar Jerônimo Leite
[email protected]
Orientador
Roteiro
•
•
•
•
•
•
•
Motivação
Objetivo
Principais Conceitos
Trabalhos relacionados
Detecção de transições
Resultados
Conclusões e Extensões
Nielsen Cassiano Simões
2
Motivação
• Detecção de transições entre tomadas
– Detecção de tomadas
• Indexação, extração de key-frames, detecção de cenas, etc.
Nielsen Cassiano Simões
3
Objetivo
• Tratar segmentação estrutural de vídeo como
um problema de segmentação de imagem
– 2D+t => 1D+t
• Redução do tempo computacional
– Detecção de transições abruptas
• Identificar padrões para transições abruptas
– Cortes e Flashes
Nielsen Cassiano Simões
4
Principais Conceitos
• Vídeo: seqüência de imagens
(2D) em um determinado
intervalo de tempo (t)
T
X
Y
Nielsen Cassiano Simões
5
Transições
• Uma tomada é um segmento ininterrupto de tempo,
espaço e configurações gráficas de tela
• Transição  interrupção de uma tomada
– Abruptas
• Corte
– Graduais
•
•
•
•
Wipe
Fades (Fade-in e Fade-out)
Dissolve
Morphing
Nielsen Cassiano Simões
6
Transição Abrupta - Corte
Exemplo da ocorrência de um corte.
Corte
Nielsen Cassiano Simões
7
Transições Graduais - Wipe
Exemplos de wipes:
a) diagonal
b) door open
c) iris round
d) push vertical
e) split
Nielsen Cassiano Simões
8
Transições Graduais - Fades
Exemplos de Fade-in e Fade-out.
Nielsen Cassiano Simões
9
Transições Graduais - Dissolve
Exemplo da ocorrência de um dissolve.
Nielsen Cassiano Simões
10
Trabalhos de Câmera
Efeitos dentro de uma
mesma tomada, não
envolvendo transições
entre tomadas,
geralmente decorrentes
de movimentos ou
operações da câmera.
Nielsen Cassiano Simões
11
Trabalhos de Câmeras - Flash
Presença de alta intensidade luminosa durante
poucos quadros, geralmente decorrentes de
flash de câmeras fotográficas.
Exemplo da ocorrência de um flash.
Nielsen Cassiano Simões
12
Trabalhos Relacionados
• Métricas de Dissimilaridade
• Diferença entre pixels
• Comparação de histogramas
• Testes estatísticos (2)
• Motion Vectors e transformada de wavelet
• Imagem Representativa (Ritmo visual)
• Modelos estatísticos e Cadeias de Markov
• Operadores e filtros Morfológicos
– Processamento de imagens
Nielsen Cassiano Simões
13
Ritmo Visual
Representação D+t do espaço 2D+t de um segmento de vídeo digital.
VRi, z   ft rx  z  a, ry  z  b
Nielsen Cassiano Simões
14
Ritmo Visual
Exemplo do ritmo visual de um segmento de vídeo.
Cortes
Nielsen Cassiano Simões
15
Detecção de Cortes
• Imagem representativa (ritmo visual)
– Considera informações locais (regionais)
• Considerar informações globais
– Redução da influência de movimentos de objetos
• Ritmo visual por histograma
• Ritmo visual por histograma acumulado
Nielsen Cassiano Simões
16
– Níveis de cinza
– Invariante à rotação e
translação
• Ritmo visual por
histograma acumulado
Histograma Acumulado
• Histograma
Acumulado
Histograma
Detecção de Cortes
– Cada coluna representa
o histograma
acumulado do quadro
j
Nielsen Cassiano
Simões
H acm
( j )   H hist (i)
correspondente
i 0
17
Detecção de Cortes
Ritmo visual por histograma.
Cortes
Ritmo visual por histograma acumulado.
Nielsen Cassiano Simões
18
Detecção de Cortes
• Vetor Representativo
– Projeção vertical do ritmo visual por histograma acumulado.
Nielsen Cassiano Simões
19
Detecção de Cortes
• Laplaciano
– Realce das ocorrências de cortes
– Minimiza a contribuição de variações graduais
Nielsen Cassiano Simões
20
Detecção de Cortes
• White Top-hat
– Realce adicional dos picos
Top-hat white utilizando elemento estruturante 1x3
Nielsen Cassiano Simões
21
Detecção de Cortes
Outro exemplo da aplicação do White Top-hat
Nielsen Cassiano Simões
22
Detecção de Cortes
• Limiarização
– Definição de um limiar manual
– Interfere na ocorrência de falsos positivos/falsos negativos
– Dependente das características de cada vídeo
• Classificação / Clusterização
– Duas classes: cortes e não cortes
– K-means
– Classificação em
2 centros/classes
Nielsen Cassiano Simões
23
Nielsen Cassiano Simões
24
Detecção de Cortes
• Limiarização
Valor 128
• K-means
Nielsen Cassiano Simões
25
Outro exemplo
Classificação: k-means
Nielsen Cassiano Simões
26
Nielsen Cassiano Simões
27
Vetor original:
Classificação: k-means 1 etapa
Classificação: k-means 2 etapas
Nielsen Cassiano Simões
28
Detecção de Flashes
• Presença de uma alta intensidade luminosa
– Grande quantidade de pixels cuja intensidade é alta
– O valor médio dos pixels é elevado (maior que 128 p/ 256 níveis de cinza)
• Saturação do histograma acumulado
– O histograma acumulado do quadro atinge um valor máximo, Ts2, a partir
de uma posição (bin) elevada Ts1.
Quadro com ocorrência de um flash e seu histograma acumulado.
Nielsen Cassiano Simões
29
Detecção de Flashes
Vetor de saturação do histograma acumulado:
Nielsen Cassiano Simões
30
Intensidade Média
Nielsen Cassiano Simões
31
Validação dos candidatos
Nielsen Cassiano Simões
32
Detecção de Flashes
• Classificação final
– K-means de duas classes para separar os principais
candidatos
– Eliminação de componentes conexas maiores que 5
quadros
– Identificação dos quadros correspondentes a um flash
Resultado após a classificação final
Nielsen Cassiano Simões
33
victoria.mpeg
Nielsen Cassiano Simões
34
Detecção de Flashes - Resultado
Saturação do histograma acumulado, intensidade média e validação de candidatos.
Nielsen Cassiano Simões
35
Detecção de Flashes - Resultado
903 frames com 7 flashes
1 falso
Nielsen Cassiano Simões
0 não detectados
36
Detecção de Cortes - Resultado
Ritmo visual
Ritmo visual por histograma acumulado
Nielsen Cassiano Simões
37
Detecção de Cortes - Resultado
Projeção do ritmo visual por histograma acumulado
Aplicação do Laplaciano e do White Top-hat 1x3.
Nielsen Cassiano Simões
38
Detecção de Cortes - Resultado
903 frames com 33 cortes
6 falsos
Nielsen Cassiano Simões
3 não detectados
39
Medidas de Qualidade
Nielsen Cassiano Simões
40
Nielsen Cassiano Simões
41
Resultados – Detecção de Flashes
Nielsen Cassiano Simões
42
Resultados – Detecção de Cortes
Nielsen Cassiano Simões
43
Um algoritmo simples
• Detecta-se contorno de uma das bandas RGB.
• Divide-se os quadros em janelas,. e.g., 32x32.
• Calcula-se a média de pontos de contorno em cada janela.
• Compara-se esta média quadro a quadro e janela à janela.
• O quadro k contendo mais de 50% de janelas com grande
diferença, em relação às janelas do quadro k-1, é considerado um quadro de corte ou transição.
Nielsen Cassiano Simões
44
Resultados
Videos
Nd
Nfalsos
Nfaltantes precisão
revocação erro detecção
Comercial
13
5
5
0,72
0,72
0,28
Comercial2
0
0
0
1,00
1,00
0,00
Highlander_2 25
16
5
0,61
0,83
0,53
Jamie
6
0
2
1,00
0,75
0,00
Lawnmowr
50
30
37
0,63
0,57
0,34
Lisa
5
4
2
0,56
0,71
0,57
News
4
1
0
0,80
1,00
0,25
Psycho
12
1
42
0,92
0,22
0,02
Sexinthecity
29
2
5
0,94
0,85
0,06
VideoAbstract 21
10
17
0,68
0,55
0,26
Total
69
115
0,78
0,72
0,23
165
Nielsen Cassiano Simões
45
Conclusões
• Detecção de cortes e flashes
– Nova abordagem utilizando imagem representativa
• Informações globais de quadros dos segmentos de vídeo
• Identificação de padrões em sinais 1D
– Algoritmos simples
– Baixo custo computacional
• Resultados comparáveis aos apresentados na literatura
Nielsen Cassiano Simões
46
Extensões
• Redução de falsos negativos
– Particionamento regular dos quadros
– Combinação total ou parcial dos Vrha
• Análises mais detalhadas
– Subquantizações do histograma acumulado
– Alterações na resolução espacial dos quadros
• Testes em outras seqüências de imagens
– Seqüências temporais de imagens de satélites
• Identificação de novos padrões
• Aplicação no domínio de compressão MPEG
Nielsen Cassiano Simões
47
FIM
Nielsen Cassiano Simões
48