Multimídia para Web e Intranet
Prof. M. Sc. Carlos de Salles
Curso de Especialização em Redes de Computadores
Departamento de Informática
Universidade Federal do Maranhão
www.deinf.ufma.br/~csalles/disciplinas.htm
Ementa
• Diferentes tópicos referentes a difusão de
conteúdos multimídia através da rede (Internet e
Intranet);
• Reflexão sobre as diferentes formas de
transmissão de imagens, áudio e vídeo, bem
como sobre a interação com conteúdos
multimídia, em redes de computadores;
• Apresentação dos padrões correntemente
usados na Web e sobre QoS (Quality of Service)
em difusão de conteúdo multimídia.
São Luís, novembro de 2004
Slide 1
© 2004 DEINF - UFMA
Slide 2
Ementa detalhada
• Comunicação multimídia
– Conceitos básicos
– Requisitos multimídia:
• do usuário;
• da rede;
• Integração áudio-visual
– Bimodalidade do falar humano
– Leitura labial
– Sincronização labial
© 2004 DEINF - UFMA
Ementa detalhada (continuação)
• Processamento multimídia em comunicação
(sinais)
–
–
–
–
Mídia digital
Desafios do processamento de sinais
Marcas d’água
Processadores multimídia
• Sistemas distribuídos multimídia
– Principais características
• Padrões de comunicação multimídia
– MPEG-2, MPEG-4 etc
Slide 3
© 2004 DEINF - UFMA
Slide 4
© 2004 DEINF - UFMA
Conceitos básicos
• Comunicação multimídia refere-se à
–
–
–
–
Comunicação Multimídia
Slide 5
© 2004 DEINF - UFMA
• ... de informação processada expressa em
múltiplas mídias, tais como:
–
–
–
–
–
–
–
–
–
Slide 6
Popularidade de sistemas multimídia
© 2004 DEINF - UFMA
© 2004 DEINF - UFMA
Comunicação de áudio
(telefonia, difusão de som ...)
– Dispositivos de alta capacidade de armazenamento;
– Computadores poderosos e baratos;
– ISDN (Integrated Services Digital Networks) de alta
velocidade.
Slide 7
Texto
Imagem
Gráficos
Voz
Áudio
Vídeo
Animação
Escrita à mão
Arquivos de dados
Sistemas multimídia
• Vários fatores contribuíram para o crescimento
do número de sistemas multimídia, o que inclui
o advento de:
• Enfim, o acesso em banda larga cada vez mais
comum e barato e a existência de estações
cada vez mais robustas e econômicas
trouxeram popularidade aos sistemas multimídia
Representação
Armazenamento
Captura
Disseminação
Comunicação de dados,
texto e imagem
(transferência de dados, fax ...)
Slide 8
Comunicação
Multimídia
Comunicação de vídeo
(videofone, TV/HDTV ...)
© 2004 DEINF - UFMA
Áreas de aplicação
•
•
•
•
•
•
•
•
Medicina
Educação
Turismo
Bancos
Bens imóveis
Seguros
Administração
Imprensa
Aplicações multimídia
• Ensino à distância
– O instrutor e os alunos podem ficar separados a
quilômetros de distância
– O quadro branco pode ser armazenado como um
documento multimídia
• Acesso virtual a bibliotecas
– Levado ao extremo, todo conhecimento do mundo
poderia ser modelado como um único e enorme
documento multimídia
• Todas essas áreas são caracterizadas pela
existência de documentos multimídia grandes
com necessidade de pequeno retardo
• “Livros vivos”
Slide 9
Slide 10
© 2004 DEINF - UFMA
– Complemento a leitura escrita, o livro pode possuir
também animações e hiperlinks com informações
suplementares
Sistemas multimída
Aplicações multimídia (continuação)
• TV digital / interativa
– Caracterizada por um canal servidor-usuário com alta
taxa de transmissão e um canal de retorno de menor
banda mas fundamental para possibilitar as
interações
• Talking heads
– Ferramentas de animação facial com sincronização
entre face e fala
– Exemplo: Eva Byte, a apresentadora virtual do
programa fantástico
Slide 11
© 2004 DEINF - UFMA
© 2004 DEINF - UFMA
Phillip Robinson
• “Se um computador está exibindo um gráfico, ou
formatando uma página, ou tocando uma música, ou
mesmo exibindo um modelo tridimensional, isto não é
multimídia.”
• “Se um computador estiver exibindo um gráfico em uma
janela, fazendo a rotação de um modelo tridimensional
em outra, enquanto exibe uma voz, você está na
fronteira de um sistema multimídia.”
• “Se o computador, no entanto, estiver exibindo uma voz
enquanto anima um gráfico e superpondo o resultado
em uma imagem de vídeo pré-armazenada, isto sim é
multimídia.”
• Diferenciar multimídia de múltiplas mídias!
Slide 12
© 2004 DEINF - UFMA
Modelo de comunicação multimídia
•
Formado por 5 componentes:
1. Particionamento de objetos de informação
complexos em tipos de informação distintos
• O objetivo é facilitar a comunicação,
armazenamento e processamento levando em
conta a integração entre os diferentes tipos de
informação
2. Padronização de componentes de serviço por tipo
de informação, possivelmente com vários níveis de
qualidade
Slide 13
© 2004 DEINF - UFMA
Modelo de comunicação multimídia
3. Criação de plataformas em dois níveis:
• Plataforma de serviços de rede (abstraindo a
rede de transporte do ponto de vista do usuário e
do projetista)
• Plataforma de comunicação multimídia (provê
suporte à comunicação na base da estrutura de
informações e na troca de dados)
4. Definição de aplicações genéricas para múltiplos
usos em vários ambientes multimídia e diferentes
ramos atendendo a necessidades comuns
5. Aplicações específicas: compras eletrônicas;
treinamento à distância; manutenção remota etc
Slide 14
Elementos de Sistemas Multimídia
– Comunicações pessoa-pessoa (interações entre
usuários)
Interface do
Usuário
Transporte
Interface do
Usuário
– Comunicações pessoa-máquina (busca e
exibição de conteúdo multimídia armazenado)
Processamento,
armazenamento
e captura
Slide 15
Transporte
© 2004 DEINF - UFMA
Interface do
Usuário
© 2004 DEINF - UFMA
Requisitos do usuário
– O usuário requer certas propriedades básicas
de um sistema de comunicação multimídia:
– preparação e apresentação rápida da informação de
interesse, levando em conta os diferentes tipos de
informação e as capacidades dos terminais;
– possibilidade do controle dinâmico de aplicações;
– suporte inteligente ao usuário levando em conta suas
capacidades individuais e seu contexto;
– provisão de uma interface natural;
– padronização.
Slide 16
© 2004 DEINF - UFMA
Novos requisitos-chave do usuário
Requisitos das redes de comunicação
• Disponibilidade instantânea
– Alta velocidade e taxas de transmissão variáveis
• Transferência de informação em tempo real
– Diversas conexões virtuais usando o mesmo
acesso
• Serviços sempre online
– Sincronização de diferentes tipos de informação
• Acesso a seus serviços de qualquer terminal
(pontos móveis de entrega)
Slide 17
© 2004 DEINF - UFMA
– Serviços padronizados e suplementares visando
o suporte a aplicações multimídia
Slide 18
Tipos básicos de requisitos
– Requisitos de tráfego
– São satisfeitos pelo uso de mecanismos de reserva
de recursos
– Exemplos:
– Retardo de transmissão
– Disponibilidade
– Requisitos funcionais
– Exemplos:
– Transmissão multicast
– Habilidade de definir conjuntos coordenados de
fluxos unidirecionais
Slide 19
© 2004 DEINF - UFMA
© 2004 DEINF - UFMA
Qualidade de Serviço (QoS)
• As diversas mídias possuem requisitos próprios
de processamento e comunicação;
• Garantias diversas de Qualidade de Serviço
(QoS) são necessárias para manter as
características temporais, de sincronização, de
confiabilidade etc das diversas mídias;
• Oferecer garantias de QoS é um problema fima-fim que envolve:
– Compartilhamento eficiente de recursos;
– Políticas para manutenção do nível contratado do
serviço.
Slide 20
© 2004 DEINF - UFMA
Provisão de QoS fim-a-fim
E
os
/S
iv
sos
sit
po
ces ede
s
i
r
d
pro
Produtor
E/S
rs
to c
ffe
u
pro
b
e
d
ha
p il
e
red
s
olo
pil
ha
d
ro
ep
toc
pro
s
olo
ff
bu
ers
so
ces
s
Problema recursivo
componentes
usuários
/S
sE
A
o
tiv
os i
p
s
di
Consumidor
E/S
Componente
do Serviço
provedor de serviços
X
Componente
Usuário
Y
Requisitos de QoS fim-a-fim
Compartilhamento e orquestração de recursos
Z
MediaPipe
Provedor de
Serviço
Slide 21
© 2004 DEINF - UFMA
Provedor de
Infraestrutura
Provedor de
Infraestrutura
Slide 22
Provisão de QoS
Serviço
Provedor
de Acesso
Componente
© 2004 DEINF - UFMA
Usuário
Torre de meta serviços
• Fases:
– Negociação de QoS
• Admissão de novos fluxos estabelecendo um
contrato de serviço
Serviço Principal
– Sintonização de QoS
• Manutenção do nível de QoS do serviço durante
seu fornecimento
• Monitoração do contrato de serviço em busca de
violações
Negociação de QoS
Sintonização de QoS
Roteamento
Slide 23
© 2004 DEINF - UFMA
Slide 24
© 2004 DEINF - UFMA
B
Negociação de QoS
Negociação de QoS
• Controlador de Admissão
– Quando é primitivo, a admissão de novos fluxos é feita
diretamente sobre uma estrutura associada, chamada
árvore de recursos virtuais;
– Quando não é primitivo, sua função é de fachada entre os
subsistemas, recebendo requisições para admissão de
novos fluxos e as repassando ao negociador de QoS
associado.
• Negociador de QoS
Provedor de
Infraestrutura
– Responsável pela divisão da responsabilidade sobre a
provisão de QoS entre os subsistemas internos.
Provedor de
Infraestrutura
• Mapeador de QoS
– Traduz os parâmetros de QoS para os níveis de visão de
QoS dos subsistemas internos.
Slide 25
© 2004 DEINF - UFMA
Slide 26
Negociação de QoS
Admissão
de Fluxo
Negociação de QoS
Admissão
de Fluxo
Provedor de
Infraestrutura
Slide 27
© 2004 DEINF - UFMA
© 2004 DEINF - UFMA
Provedor de
Infraestrutura
Provedor de
Infraestrutura
Slide 28
© 2004 DEINF - UFMA
Provedor de
Infraestrutura
Negociação de QoS
Negociação de QoS
Admissão
de Fluxo
Provedor de
Infraestrutura
Provedor de
Infraestrutura
Provedor de
Infraestrutura
Provedor de
Infraestrutura
Admissão
de Fluxo
Slide 29
© 2004 DEINF - UFMA
Slide 30
Negociação de QoS
© 2004 DEINF - UFMA
Sintonização de QoS
• Controlador de Ajuste
Admissão
de Fluxo
– Quando é primitivo, realoca recursos com base em informações
coletadas em uma árvore de recursos virtuais associada;
– Quando não é primitivo, atua como uma fachada, repassando
requisições para orquestração de recursos;
• Monitor
Media PipeProvedor de
Provedor de
Infraestrutura
Infraestrutura
– Realiza cálculos estatísticos sobre o fluxo em busca de violações no
contrato de serviço negociado.
• Sintonizador de QoS
– Detecta violações e toma ações para manter o nível desejado de QoS.
Slide 31
© 2004 DEINF - UFMA
Slide 32
© 2004 DEINF - UFMA
Sintonização de QoS
SCM – Um modelo para provisão de QoS
• Histórico de trabalhos relacionados no Telemídia
Admissão
de Fluxo
Media PipeProvedor de
Provedor de
Infraestrutura
Slide 33
Infraestrutura
© 2004 DEINF - UFMA
– Um Framework para Provisão de QoS em Ambientes Genéricos de
Processamento e Comunicação [Gomes, 1999]
• Modelagem em UML de frameworks OO envolvendo:
– Parametrização de serviços;
– Compartilhamento de recursos;
– Orquestração de recursos.
• Os hot-spots regulam a adaptação e detalhes específicos do
ambiente;
– Extensões e especializações dos frameworks genéricos:
• Uma Arquitetura Adaptável para Provisão de QoS na Internet
[Mota, 2001]
• Um Framework para Provisão de QoS em Sistemas Operacionais
[Moreno, 2002]
• Um Framework para Provisão de QoS em Redes Móveis sem Fio
[Lima, 2002]
– Inter and Intra Media-Object QoS Provisioning in Adaptative Formatters
[Rodrigues & Soares, 2003]
Slide 34
© 2004 DEINF - UFMA
Integração áudio-visual
– Refere-se à integração entre essas duas mídias,
especialmente importante quando a
comunicação multimídia envolver a fala humana
Integração áudio-visual
– O objetivo dessa seção é demonstrar como
multimídia é muito mais que colocar junto texto,
áudio, imagem e vídeo
– Por vários motivos diferentes, a interação entre
áudio e vídeo é a mais interessante
Slide 35
© 2004 DEINF - UFMA
Slide 36
© 2004 DEINF - UFMA
Pontos interessantes a explorar
Interação entre as mídias
– Rastreamento labial
– Mapeamento áudio-visual
Texto
– Verificação pessoal bimodal
Slide 37
Slide 38
Aplicações do reconhecimento de voz
Tipo de aplicação Tamanho do Taxa de erro
vocabulário
de palavras
10
0,30%
2500
2%
Wall Street Journal
64000
8%
Comerciais de Rádio
64000
27%
Ligação comercial
10000
38%
Ligação residencial
10000
50%
Informação de viagem aérea
Slide 39
© 2004 DEINF - UFMA
Imagem / Vídeo
Leitura labial
Reconhecimento de escrita
© 2004 DEINF - UFMA
Falando dígitos concatenados
Multimídia
ial
Re
Te conh
xto ec
pa ime
ra
vo nto d
z
e
– Sincronização labial
Áudio
lab
ão
aç ial
niz fac
cro ão
Sin imaç ção V
a
An dific a A/
Co egrad
i nt
vo
z
– Leitura labial
© 2004 DEINF - UFMA
Bimodalidade do falar humano
– McGurk e MacDonald demonstraram que a
natureza do falar humano é bimodal, ou seja,
depende tanto do que ouvimos quanto do que
vemos
– A idéia de fonema nos é conhecida e
representa a unidade mínima da voz
– Além do fonema, o entendimento da fala
também leva em conta o visema, que é o
movimento dos lábios ao reproduzir um som
– Há uma relação um-para-vários entre visemas e
fonemas
Slide 40
© 2004 DEINF - UFMA
Grupos de visemas no inglês
Número
1
2
3
4
5
6
7
8
9
Imagens dos visemas
Grupo de visema
f,v
th, dh
s, z
sh, zh
p, b, m
w
r
g, k, n, t, d, y
l
© 2003 Laboratório TeleMídia, PUC-Rio
Slide 41
© 2004 DEINF - UFMA
Slide 42
Sistemas talking head
© 2004 DEINF - UFMA
Exemplo de talking heads: Eureka
• São sistemas de animação facial que realizam o
sincronismo entre fala e lábios
• São utilizados como tutores em sistemas de
informação, aproveitando-se do fato que a
similaridade com a face humana traz mais
produtividade na aprendizagem
• O problema principal é prover o sincronismo
entre visemas e fonemas!
Slide 43
© 2004 DEINF - UFMA
Slide 44
© 2004 DEINF - UFMA
Expressive talking heads (ETHs)
© 2003 Laboratório TeleMídia, PUC-Rio
Slide 45
© 2004 DEINF - UFMA