Sumarização de
vídeo
Edward Cayllahua
[email protected]
Índice
o
o
o
o
o
o
Introdução
Objetivo
Modelos
Análise De Complexidade
Resultados
Conclusões
Introdução
o Sumarização de vídeo é o processo de extração de um resumo do
conteúdo original do vídeo.
o O objetivo é fornecer rapidamente a informação do conteúdo do
vídeo, preservando a mensagem do vídeo original
Introdução
o Por que é necessário resumir vídeos?
• Dia a dia um monte de informação é produzida
na televisão, internet, etc.
• O vídeo é um dos mais utilizados hoje.
Introdução
o Por que é necessário resumir vídeos?
• A quantidade de vídeos cresce exponencialmente.
• uma pessoa não pode processar todos os vídeos
• é necessário desenvolver um modelo que sintetiza um
vídeo
Introdução
o Tipos de resumos:
• Estáticos: Extração de um conjunto de quadros-chave do
vídeo original.
• Dinâmicos: Extração de um conjunto de clips do vídeo
original.
o Os clips
são elementos que
informações de som e movimento
podem
conter
Objetivo
• Desenvolver um método para sumarização de vídeo
estático baseado em características espaço-temporais
Modelos
o Um vídeo: é uma seqüência de frames consecutivos.
o Frame: uma única imagem em um filme.
o keyframe : Um único frame que pode representar outros
frames no mesmo vídeo.
Modelos
o A Video Summarization Approach based on Machine
Learning
• Detecta principais características, tais como valores
de pixel, bordas e histogramas.
• Machine Learning é usado como um sistema para
prever transições de vídeo
• Se o valor exceder um limite, então um keyframe é
detectado
• Um vídeo é construído usando o keyframes
Modelos
o An Improved
Algorithm
Sub-optimal
Video
Summarization
• O usuário define o tamanho final do resumo ( T ).
• Depois, o método calcula as distorções dos frames
• Se a distorção é grande e não chegamos a T, o
quadro é adicionado ao resumo de vídeo.
• O processo é rápido, mas não suficientemente
robusto.
Modelos
o Video Summarization from Spatio-Temporal
Features
• Detectamos as características espaço-temporal do vídeo
usando a matriz hessiana.
• Estas características são usadas para calcular o nível de
atividade do frame
• Se este nível é muito alto, então podemos sinalizar este
frame como um keyframe.
• Um vídeo é construído usando o keyframes
Modelos
Video Summarization from Spatio-Temporal
Features
• Cada frame pode ser considerado como
uma imagem
• O frame pode ser representado como:
• Onde
representa a informação
espacial.
• Representa a informação temporal
Modelos
o Video Summarization from Spatio-Temporal
Features
• Hessian Matrix
Modelos
o Video Summarization from Spatio-Temporal
Features
• Máscaras usadas:
Modelos
Video Summarization from Spatio-Temporal
Features
• Nível de atividade de um quadro
o
é um valor fixo.
o Se
contecer, marcamos o
pixel.
oOs
pixels
marcados
são
contadas eo valor total é o nível
de atividade do frame
Modelos
Video Summarization from Spatio-Temporal
Features
• Nível de atividade de um filme
Modelos
Video Summarization from Spatio-Temporal
Features
• keyframes
são
identificados
com
o máximo local
Modelos
Video Summarization from Spatio-Temporal
Features.
Análise De Complexidade
o Um vídeo contém
frames.
o Cada Frame contém
pixels
o Por cada Frame, 24 operações locais são
realizadas
Resultados
Conclusões
o A parte mais importante na sumarização de vídeo é dar um
modelo sólido para extrair os keyframes.
o Subjetividade, algo que pode ser importante para uma
pessoa, pode não ser importante para outra.
o Esta área de pesquisa ainda é muito jovem. Não há um
banco de dados standard para os testes