MyTv: Sistema Personalizado de Televisão
João Ferreira
Rui Jesus
Arnaldo Abrantes
Instituto Superior de
Engenharia de Lisboa
Instituto Superior de
Engenharia de Lisboa
Instituto Superior de
Engenharia de Lisboa
[email protected]
[email protected]
[email protected]
Sumário: Abordam-se os requisitos gerais de um sistema personalizado de televisão, no qual os utilizadores registados
seriam alertados de programas interessantes, existentes no fluxo de programas, disponíveis num sistema de televisão
por cabo.
Palavras chave: Perfil, Pesquisa, Personalização, Imagem.
1
Introdução
A quantidade de canais existentes num sistema de televisão por cabo, cria ao utilizador o problema da
escolha do programa certo e da ‘perda’ de programas interessantes feita uma escolha.
Este problema normalmente é resolvido pelo utilizador de 2 formas: (1) fazendo ‘zaping’ pelos programas
disponíveis num determinado intervalo de tempo, sendo muitas vezes impossível dado existirem
normalmente entre 100 a 300 programas; (2) leitura da programação existente, caso se encontre publicada o
que possivelmente não é feito de uma forma centralizada.
É para resolver este problema, o qual vai ganhando interesse, dado o continuo aumento do número de
programas disponíveis, que propomos um sistema personalizado de televisão, no qual os utilizadores
registados, sem fazerem grande esforço em definir preferências são alertados por um conjunto(s) de janela(s)
no canto superior da televisão de potenciais programas do seu interessantes. Este número de janela(s) é
previamente definido pelo utilizador. Para resolver o problema descrito, vai ser necessário criar e gerir de
forma automática um perfil de utilizador, extrair características que possam identificar o tipo de programa
para o qual o utilizador tem interesse (classificação de vídeo e áudio). O trabalho é apresentado com base na
linguagem e metodologia proposta em [1].
O sistema proposto, pretende explorar os sistemas interactivos existentes nos diferentes operadores de cabo,
existindo posteriormente o problema da uniformização de tecnologias ainda por resolver. Para simplificar o
processo vamos propor uma arquitectura aplicada do lado do cliente, no entanto no futuro quando houver
melhor definição e uniformização a extracção de características dos programas e a comparação de
características do perfil e dos programas deverá ser feito do lado do emissor, difundindo-se apenas a
informação necessária. O sistema proposto encontra-se descrito nas Figuras 2 a 4.
O sistema foi concebido para ter a mínima interacção do utilizador, pois diversos estudos no domínio da
pesquisa de informação textual [2], mostram que os utilizadores gostam pouco de interagir com os sistemas
de pesquisa, os quais se podem extrapolar para outros domínios. No sistema proposto os utilizadores podem
simplesmente indicar se as recomendações do sistema são ou não válidas.
« IR -S y ste m »
M yTV
+ V i sta C a so sU ti l i z a ç ã o
+ V i sta D a d o s
O b j e c ti v o : C ri a r u m a te l e v i sã o
p e rso n a l i z a d a , i .e . o s p ro g ra m a s
c o n si d e ra d o s i m p o rta n te s sã o
a p re se n ta d o s n o te l e v i so r a o u ti l i z a d o r.
+ V i sta P ro c e sso s
Figura 1: Sistema MyTV (Televisão Personalizada).
2
Vista de Casos de Utilização
D á R e tr o a c ç ã o
a o s R e s u l ta d o s
E s c o l h e P e r fi l
N e g a ti v o d o
U ti l i z a d o r
E s c o lh e a
P a s s w ord
I n tr o d u z o s Te r m o s
Re c om e nda
P ro gra m a s
« e xte n d »
C ria e g e re
S i s te m a
C l a s s i fi c a ç ã o
TV C a b o
D e fi n e o P e r fi l
« e x te n d »
E s c o l h e a s C a te g o r i a s e
Te r m o s n u m E s p a ç o
C l a s s i fi c a d o
I R -U s e r
C ria C o le c ç ã o
Te s te
« e x te n d »
E s c o lh a d e u m a
C o m u n id a d e
A v a lia o s
P r o g r a m a s V i s to s
D e fi n e a
P e rio d ic id a d e
IR A u th o r i ty
V a lid a ç ã o d a
C o m u n id a d e d e
U ti l i z a d o r e s
Figura 2: Vista dos casos de utlização do Sistema MyTV (Televisão Personalizada).
Os IR-Actors do sistema MyTV são:
−
IR-Utilizador, numa fase inicial o utilizador regista-se, escolhendo ou não um tipo de perfil já
disponível: (1) Identifica-se com uma comunidade tipo definida ou (2) Navega e escolhe um tema (e.g.,
correspondente aos principais temas: Informação, filmes (subdividido, em acção, terror, comédia, etc.),
desporto (subdividido em futebol, desportos motorizados, basquetebol, etc.) num espaço classificado.
O utilizador interage com o sistema aceitando ou não as sugestões lançadas (através de um simples
‘clique’). Esta informação é usada para actualizar o vector de pesos no seu perfil de preferências
(baixo nível). A retroacção do utilizador por ser: (1) explicita pela reacção a uma recomendação de um
simples interessa ou não; (2) implícita pela percentagem do tempo gasto pelo utilizador na avaliação
da recomendação. Estes mecanismos de retroacção têm um papel semelhante aos existentes na
pesquisa textual, alterando os pesos dos atributos existentes. Perante a selecção de tipo de programas
que desagradam ao utilizador, constrói-se um perfil negativo que permite evitar subsequentes
recomendações sobre tópicos que aos quais o utilizador mostrou desagrado.
−
IR-Authority, cria e gere o sistema de classificação, cria a colecção de teste, valida as comunidades de
utilizadores identificadas pelo sistema.
3
Vista de Dados
A indexação é o processo de criar representativos do espaço de informação de forma a esta poder ser tratada
pela comparação deste espaço com o dos representativos das necessidades dos utilizadores. Este tema
encontra-se bastante explorado no domínio da pesquisa textual que usa as propriedades estatísticas dos
documentos (e.g. frequência dos termos). No caso de programas de televisão o processo é mais complicado
sendo necessário recorrer a características de baixo nível do vídeo e do áudio dos programas, como se ilustra
na Figura 6.12. As Características de baixo nível do áudio, serão consideradas numa segunda fase do
projecto e terão como objectivo complementar a classificação feita a partir das características de baixo nível
da imagem. Desta forma pretende-se estudar o impacto da introdução do áudio no desempenho do sistema.
As características de baixo nível do vídeo são identificadas a partir dos seguintes algoritmos: (1) detecção de
transições abruptas (“shot boundary detection”), (2) extracção de descritor GofGopColor; (3) extracção de
descritor EdgeHistogram; (4) extracção de descritor MotionActivity. Da aplicação destes algoritmos resultam
as seguintes características de baixo nível:
−
Cor, utilização do descritor MPEG-7, GofGopColor, que calcula o histograma de cor no espaço HSV,
num dado segmento de vídeo;
−
Textura, utilização do descritor MPEG-7, EdgeHistogram, que calcula o histograma de orientação de
transições de intensidade (edges) para 16 zonas disjuntas de cada frame do segmento de vídeo;
−
Movimento, utilização do descritor MPEG-7, MotionActivity, que expressa numa escala de 1 a 5 a
intensidade do movimento (desde muito baixa até muito elevada) no segmento de vídeo;
−
Densidade de cortes (cuts). Número médio de cortes (transições abruptas) numa dada zona do vídeo
envolvendo N segmentos.
Pretende-se provar com o nosso sistema MyTv (Televisão Personalizada) que estes atributos são suficientes
para identificar os diferentes programas.
ComunidadeTV: Comunidades são grupos de utilizadores com interesses comuns, sendo proposto numa
primeira fase o agrupamento de termos do perfil (alto nível). Estas comunidades são caracterizadas pelo
perfil central, e constituem informação valiosa para os produtores de programas, podendo a partir desta
apostar na produção de programas com conteúdos mais adequados aos diferentes grupos tipo que apresentem
uma dimensão considerável. Outra funcionalidade destas comunidades é a optimização do sistema de
classificação definido inicialmente. A alteração deste espaço classificado é demasiado complexa para ser
executada de uma forma automática pelo sistema, pelo que se propõe que o sistema de recomendações,
sejam validadas por uma autoridade (pessoa(s) identificada com capacidade para gerir o sistema de
classificação).
Numa segunda fase pretendemos explorar o agrupamento de características de baixo nível do perfil, para
contribuir para estabelecer novas formas de passagem do perfil de alto para baixo nível.
Numa fase inicial deste projecto pretende-se guardar a informação (perfil e descritores de programas) numa
base de dados postgresql.
Ín d i c e B a i x o N íve l
P ro c e sso I n d e x a ç ã o B a i x o N í v e l
« I R -D o c u m e n t »
Ca na l 1
« I R -D o c u m e n t »
Ca na l 2
« I R -I n d e x »
Te x tu r a
« I R -A l g o ri t h m »
E d g e H i s to g r a m
« I R -D o c u m e n t »
Ca na l 3
« I R -C o l l e c t i o n »
P r o g r a m a s TV
« I R -I n d e x »
Cor
« I R -A l g o ri t h m »
G o fG o p C o l o r
« I R -I n d e x »
M o v i m e n to
« I R -A l g o ri t h m »
M o ti o n A c ti v i ty
« I R -D o c u m e n t »
Ca na l 4
« I R -I n d e x »
D e n s i d a d e C o r te s
« I R -A l g o ri t h m »
S h o tB o u n d a r yD e te c ti o n
« I R -D o c u m e n t »
Ca na l 5
« I R -I n d e x »
D is c u rs o
« I R -A l g o ri t h m »
A u d i o fe a tu r e s E x tr a c ti o n
« I R -D o c u m e n t »
Ca na l n
« I R -I n d e x »
R u íd o
« I R -I n d e x »
M u s ic a
« I R -C l a ssi f i e d S y st e m »
S i s te m a C l a s s i fi c a ç ã o Tv C a b o
-
d e sp o rt o : S t ri n g
f i l m e s: S t ri n g
n o t i c i a s: S t ri n g
c u l t u ra : S t ri n g
m ú si c a : S t ri n g
a d u l t o : S t ri n g
c ri a n ç a : S t ri n g
g e n é ri c o : S t ri n g
« I R -I n d e x »
S ilê n c io
« I R -C o l l e c t i o n »
C o l e c ç ã o Tr e i n o
+inpu t
+inp ut
u sa >
u sa >
« I R -U se rP ro f i l e »
P e r fi l U ti l i z a d o r B a i x o N í v e l
« I R -U se rP ro f i l e »
P e r fi l U ti l i z a d o r A l to N í v e l
-
n o m e [ * ] : S t ri n g
c a t e g o ri a [ * ] : S t ri n g
+input
u sa >
« I R -P ro c e ss»
C o n v e r s o r A l to B a i x o N í v e l
-
c o r: I n t
t e x t u ra : I n t
m o v e m e n to : In t
d e n si d a d e c o rt e : I n t
d i sc u rso : B o o l e a n
ru í d o : B o o l e a n
si l e n c i o : B o o l e a n
m u si c a : I n t
« I R -C o m u n i t y »
C o m u n i d a d e TV
-
n o m e : S t ri n g
p ro g ra m a [ * ] : S t ri n g
Figura 3: Vista dados do sistema MyTv.
4
Vista de Processos
ConversorAltoBaixoNível; ao conjunto de temas identificados o sistema associa um conjunto de
características de baixo nível (previamente identificadas). Dando assim origem a dois perfis cuja
correspondência é feita, por um conversor, elaborado a partir de um conjunto de heurísticas (identificadas no
processo EstimaParâmetro) que permitam caracterizar de forma unívoca os diferentes programas. É neste
campo que o presente trabalho pretende dar contributos inovadores, usando uma rede de inferência a qual
permite passar de descritores de baixo nível para descritores de alto nível. Por exemplo, o futebol é
caracterizado pela presença de cor verde (relva), movimentos globais com alternância de direcção
(esquerda/direita e direita/esquerda), existência esporádica de segmentos de vídeo reproduzidos em câmara
lenta. Esta conversão vai beneficiar da criação de comunidade e da manipulação do espaço classificado.
MyTv (Sistema): Tem o objectivo de identificar programas relevantes de acordo com o perfil do utilizador.
A proposta faz-se pela comparação de baixo nível dos descritores dos programas com os perfis dos
utilizadores. Na comparação pretende-se implementar o modelo vectorial e probabilístico, usando como
matéria-prima os vectores de baixo nível descritivos dos programas e do perfil dos utilizadores. O limiar de
decisão se um programa é ou não relevante é feito em função da escolha que o utilizador fez de ter muitos ou
poucos alertas.
« IR -A l g o ri th m »
A lg o r itm o s E x tr a ç ã o P r o p r ie d a d e s (I m a g e m + S o m )
« IR -A l g o ri t h m »
C o r r e la ç ã o
« IR -A l g o ri th m »
Cos e no
« IR -P ro c e ss»
G e s tã o E v e n to s
-
p e ri o c i d a d e e n v i o : In t
v a l o re l e v a n c i a : In t
tri g g e r
« IR -In d e x P ro c e ss»
P r o c e s s o In d e x a ç ã o B a ix o N ív e l
+input
ín d i c e b a i x o
n ív e l
« IR -S y ste m »
M yTV
« IR -O p ti m i z a ti o n P ro c e ss»
R e tr o a ç ã o
+input
u sa >
+
F 2 .1 2 ()
+inp ut
« IR -P ro c e ss»
C o n v e r s o r A lto B a i x o N ív e l
p e rf i l u ti l i z a d o r
b a i x o n ív e l
+ o u tp u t
+ o u tp u t
u sa >
+input
« IR -E st i m a ti o n P ro c e ss»
E s ti m a P a r â m e tr o
« IR -R e su l t»
P ro gra m a R e c om e nda do
C o m u n id a d e TV
Figura 4: Vista processos do sistema MyTv.
5
Conclusões
Tentou-se dar os primeiros passos numa área (classificação automática de imagem) onde existem poucos
trabalhos publicados, propondo-se um sistema personalizado de recomendação de programas de televisão.
Este sistema permite o estudo de diversos problemas: (1) Classificação de imagem; (2) Combinação de
classificadores de áudio e imagem; (3) Identificação de comunidades; (4) Passagem do ‘mundo’ textual
(identificado como nível alto no presente trabalho) para o ‘mundo’ da imagem, áudio (identificado como
nível baixo no presente trabalho).
Este sistema tem grande utilidade prática, com grande potencial de desenvolvimento dado a contínua
exigência dos utilizadores e a previsível evolução da Televisão, para uma Televisão personalizada feita tanto
quanto possível a medida das necessidades de um utilizador.
5 – Referências
[1]
Ferreira J, Silva A, Delgado J. (2005). Modelação da Pesquisa de Informação. JET2005.
[2]
Jansen M. B. Spink A. Bateman J. e Saracevic T. (1998). Real life information retrieval: a study
of user queries on the Web. SIGIR Forum 32(1).
[3]
R.S. Jasinschi, N. Dimitrova, T. McGee, L. Agnihotri, and J. Zimmerman. Video Scouting: An
Architecture and System for the Integration of Multimedia Information in Personal TV Applications.
Philips Research, 345 Scarborough Road, Briarcliff Manor, N.Y., 10510.
[4]
Phivos Mylonas, Kostas Karpouzis, Giorgos Andreou and Stefanos Kollias. Towards an integrated
personalized interactive video environment. Department of Computer Science, School of Electrical
and Computer Engineering. National Technical University of Athens, Greece.