Anotação semântica de dados
multimídia
Paulo Bittencourt Moura
CIn - UFPE
Agenda
●
●
●
●
●
●
Introdução
Anotação semântica por feedback
Anotação semântica com ontologias
MPEG-7 e a web semântica
Sistemas e ferramentas
Considerações finais
Introdução
●
Recuperação baseada em texto
●
Recuperação baseada em conteúdo
●
Recuperação baseada em semântica
Anotação semântica por
feedback
●
●
●
Feedback utilizado para “aprender”
semântica
Mesclam palavras chaves com dados visuais
Utilizam técnicas de IA para efetuar
agrupamentos
Anotação semântica por
feedback (2)
●
[2003, Zhang]

Propaga rotulações durante processo de
feedback

Utiliza modelos probabilístico para agrupamento
e propagação de anotações
Anotação semântica por
feedback (3)
●
[2004, Gosselin and Cord]

Vetor de relevância para cada busca
●
●
●



1 – relevante
0 – não classificado
-1 – irrelevante
Faz soma ponderada das buscas
Considera competência do usuário
Matriz de similaridade compactada
Anotação semântica por
feedback (4)
●
[2005, WANG and ZHANG]



Descrição em dois níveis: categoria e palavraschave
Redes semânticas ponderadas
Hierarquia de palavras-chave
Anotação semântica com
ontologias
●
O uso de ontologias altera a anotação em
alguns sentidos como:




Guiam o processo de anotação
Explicitam a relação entre agentes, propriedades
etc.
Ontologia trazem consigo conhecimento
adicional
itens que não se enquadram na busca podem
ser recomendados
Anotação semântica com
ontologias (2)
●
[2002, Hyovonen e Raatikka]





Eventos promocionais da Universidade de
Helsinki
Consultas na forma classe=instancia ou
classe=subclasse
Contador de visitas para recomendar imagens
mais populares
Mantém log das sessões para não repetir as
recomendações
RDF(S)
Anotação semântica com
ontologias (3)
●
[2001, Schreiber, Dubbeldam, Wielemaker e
Wielinga]




Anotações de imagens de macacos
Terminologia geral (Wordnet e ICONCLASS)
Ontologia de anotação + ontologia de domínio
RDF(S)
Anotação semântica com
ontologias (4)
●
[2007 Leslei, Chua e Ramesh]





Anotação de pinturas
Ontologia baseada em AAT e ULAN
Usa algorítmos probabilísticos para anotações
sobre cores e estilos de pinceladas
Heurísticas do domínio artístico para anotação
sobre autor, escola e período
Ontology-base Concept Desambiguation (OCD)
MPEG-7 e Web Semântica
●
MPEG-7


especifica uma forma padronizada de descrever
vários tipos de conteúdo multimídia
independente de sua forma de representação ou
armazenamento
Elementos básicos
●
●
●
●
Descriptors (D)
Description Schemes (DS)
Description Definition Language (DDL)
System Tools
MPEG-7 e Web Semântica
●
MPEG-7 - divisão










Parte 1: Systems
Parte 2: DDL
Parte 3: Visual
Parte 4: Audio
Parte 5: Generic Entities and MDS
Parte 6: Reference Software
Parte 7: Conformance Testing
Parte 8: Extraction and Use of MPEG-7
Descriptions
Parte 9: Profiles and levels
Parte 10: Schema Definition
MPEG-7 e Web Semântica
●
MPEG-7 - falha em interoperabilidade
semântica

Anotação com texto livre
<FreeTextAnnotation xml:lang="en">Zinedine Zidane scoring against
England.</FreeTextAnnotation>

Anotação com palavras-chave
<KeywordAnnotation xml:lang="en">
<Keyword>Zinedine</Keyword>
<Keyword>Zidan</Keyword>
<Keyword>scoring</Keyword>
<Keyword>England</Keyword>
<Keyword>goal</Keyword>
</KeywordAnnotation>
MPEG-7 e Web Semântica
●
MPEG-7 - falha em interoperabilidade
semântica

Anotação estruturada com rótulos
<StructuredAnnotation>
<Who>
<Name xml:lang="en">Zinedine Zidane</Name>
</Who>
<WhatAction>
<Name xml:lang="en">Zinedine Zidane scoring against England.</Name>
</WhatAction>
</StructuredAnnotation>
MPEG-7 e Web Semântica
●
MPEG-7 - falha em interoperabilidade
semântica

Anotação com descritor semântico
<Semantic id="FormalAbstractionDescription">
<SemanticBase xsi:type="AgentObjectType" id="Zidane">
<Label><Name>Zidane </Name></Label>
<Agent xsi: ="PersonType">
<Name>
<GivenName>Zinedine</GivenName>
<FamilyName>Zidane</FamilyName>
</Name>
</Agent>
</SemanticBase>
<SemanticBase xsi:type="EventType" id="scoring">
<Label>
<Name>Zinedine Zidane scoring against England.</Name>
</Label>
</SemanticBase>
</Semantic>
MPEG-7 e Web Semântica
●
MPEG-7 – ontologias

Hunter: cobre parte do MDS
●
●
●

RDFS / OWL Full
60 classes e 40 propriedades
Usa ABC como base
Tsinaraki: cobre todo o MDS
●
●
OWL DL
420 classes e 175 propriedade
MPEG-7 e Web Semântica
●
MPEG-7 – ontologias

Hollink: visual
●
●

RDFS
Usa Wordnet como base
VDO: visual
●
●
RDFS
Usa DOLCE como base
MPEG-7 e Web Semântica
●
MPEG-7 – ontologias

DMAG: cobre todo o MPEG-7
●
●
●

OWL Full
2372 classes e 975 propriedades
Gerada automaticamente com XSD2OWL
SCDO: cobre o esquema de Descrição
semântica
●
●
OWL
23 classes e 71 propriedades
MPEG-7 e Web Semântica
●
[2006, Burger, Guntner e Gams]


Define pontos de extensão onde o MPEG-7
pode ser aumentado com triplas RDF
Utiliza técnicas modernas de análise para
extração de informação semântica
●
Key frames, detecção automática de cenas,
reconhecimento de fala, transformação de fala em
texto etc.
Sistemas e ferramentas
• M-ontomant-annotizer
– Extende Ontomat-Annotizer
– Implementa Visual
Drescription Extraction
(VDE)
– DOLCE + VDO + MSO +
Ontologias de domínio
– Análise de similaridade
Sistemas e ferramentas (2)
• VideoAnnEx
– Segmentação de vídeo
– Editor de ontologia
– Anotação em termos de
evento, objetos e ações
– Sugestão de anotações
Sistemas e ferramentas (3)
●
MuseumFinland





Anotações de acervo de museus
Integra informações de museus distintos
Uma ontologia de termos para integração de
vocabulário
Várias ontologias de domínio
Geração de HTML
Considerações finais
●
Avanços na área são significativos e notórios
mas...


Será possível um sistema aberto e universal?
Será possível automatizar completamente a
anotação de multimídia?
Referências
●
●
●
●
●
●
[2005, Wang e Zhang] A Novel Method of Image
Categorization and Retrieval Based on the Combination of
Visual and Semantic Features
[2004, Gosselin and Cord] Semantic kernel updating for
content-based image retrieval
[2003, Zhang] Learning semantics in content based image
retrieval
[2002, Hyovonen e Raatikka] Ontology-Based Semantic
Metadata Validation
[2001, Schreiber, Dubbeldam, Wielemaker e Wielinga]
Ontology-based photo annotation
[2007 Leslei, Chua e Ramesh] Annotation of paintings with
high-level semantic concepts using transductive inference
and ontology-based concept disambiguation
Referências
●
●
●
●
●
●
●
●
[2004, Hyovonen, Salminen, Junnila e Junnila] A Content
Creation Process for the Semantic Web
04041333.pdf - [2006, Burger, Guntner e Gams] The Role of
MPEG-7 in semantic Annotation and the Cross-Media
Publishing Process
[2005, Hunter] Adding Multimedia to the Semantic Web:
Building and Applying an MPEG-7 Ontology
[2004 Tsinaraki] Interoperability support for Ontoly-based
Video Retrieval Appications
[2005, Hollink] Building a Visual Ontology for Video
Retrieval
[2006, VDO] Petridis et al., Knowledge representation and
semantic annotation of multimedia content
[2005, MDAG] Garciae Celma, Semantic Integration and
Retrieval of Multimedia Metadata
[2006, SCDO] Rahman, Hossian, Kiringa e SAddik, Towards