Compressão de Vídeo Equipe Antonyus Pyetro Diego Melo Luiz Zelaquett Rafael Duarte Thiago Jamir Definindo vídeo É uma a tecnologia de processamento de sinais eletrônicos,analógicos ou digitais para capturar, armazenar, transmitir ou exibir imagens em movimento. A aplicação principal da tecnologia de vídeo resultou na televisão, com todas as sua inúmeras utilizações. Variações da definição O termo vídeo ganhou com o tempo uma grande abrangência, chama-se também de vídeo uma gravação de imagens em movimento, uma animação composta por fotos seqüenciais que resultam em uma imagem animada, e principalmente as diversas formas para se gravar imagens em fitas (analógicas ou digitais) ou outras mídias. O porquê da compressão de vídeo? Banda larga; Espaço em HD; Tempo de processamento; Grande investimentos. Especificando as necessidades Quando se pensa em editar vídeos em seu computador será necessário um HD com grande capacidade porque mesmo com os novos padrões de compressão os filmes editados geram grandes arquivos. Você precisa de tempo porque a velocidade para converter os filmes em um formato que o computador entenda também não é rápido. Investimentos em computadores mais rápidos diminuiram esse tempo perdido, porem esses investimentos podem envolver muito dinheiro. Para se editar vídeos é necessário dinheiro, tempo e paciência como já foi dito. A compressão então se torna um fator muito importante para maximizar a velocidade e minimizar os custos na edição. Fases da produção de vídeos Primeiro importar o vídeo para o disco rígido de um computador, onde poderá ser editado e convertido. O processo se chama captura de vídeo, e deve ser feito conectando-se a fonte de captura (vídeo-cassete ou câmera analógica ou digital) à entrada de vídeo compatível na placa. O vídeo resultante da captura poderá estar no formato AVI ou MPEG, de acordo com os recursos da placa de captura. Apos a captura os vídeos podem ser editados para o formato desejado. Fases da produção de vídeos A maioria dos programas só aceita vídeos em MPEG. Tanto o AVI como o MPEG terão que ser convertidos para o formato compatível com o DVD. O DVD é atualmente a mídia de video mais popular. Filmes, shows musicais, cursos em video, e todos as categorias de video são vendidas atualmente em DVD, deixando para trás as antigas fitas VHS. Mídias ao longo da história VHS(1976) CD(1979/1982) DVD(1995) Disco Blu-ray(2005) HD DVD(2006) Padrões desenvolvidos ao longo da história • • Na década de 80 ficou claro a necessidade de aliar imagem com tecnologia digital. Nesse sentido, em 1988 ISO lançou o MPEG, para desenvolver padrões para o vídeo digital. 1990’s, os primeiros padrões de compressão foram introduzidos: H.261 (1990) e H.263 (1995) da ITU MPEG-1 (1993) e MPEG-2 (1996) da ISO Padrões desenvolvidos ao longo da história Desde então, a tecnologia avançou rapidamente H.263 foi seguido por H.263+, H.263++ • MPEG-1/2 seguido por MPEG-4 visual • Mas a industria e a pesquisa permanecem à frente H.264/AVC padrão criado recentemente por um projeto conjunto da ITU e da ISO. • Formatos da Indústria Analógicos: • Muse(sistema analógico de HDTV) • NTSC(National Televison System Committee ou Never Twice The same Color) • PAL(Phase Alternating Line) - PALplus - PAL-M(com características do NTSC - Brasil) • SECAM(Séquentiel couleur avec mémoire) Distribuição Muse Foi criado no Japão Só era transmitido via satélite 30 a 40Mbit/s Entre 6 e 8 Mhz de largura Transmissores(VHF,UHF,cabo,satélite. ..) Verifica erro com Reed-Solomon e CRC Fita Magnética Polímero de cromo ou ferro Gravação paralela ou helicoidal Até 40GB Facilmente danificada VHS(Video Home System): JVC, 1976 Fita magnética de ½ polegada 280 linhas de definição Até 6h de gravação Brasil -> anos 80 VHS - C S - VHS BetaMax Chegou em 1975 Imagem superior ao VHS Melhor integração com o hardware (mais rápido) Menor tempo de gravação Vendido no japão até 2002 VHS X BetaMax Padrão aberto Apoio da indústria de entretenimento adulto VIDEO DIGITAL Lançado 1996 DV, MiniDV, DVCAM,Digital8, DVCPRO, DVCPRO50 e DVCPRO HD + de 50 emrpesas.Philips, sony, JVC, Apple, IBM, toshiba,... . Compressão nos formatos MPEG e JPEG DVD(digital vídeo disc) Nasceu em 1995 Junção do MMCD(Multimedia Compact Disc) + SD(Super Density Disc) (Philips, sony) ++ (Toshiba, Time Warner,...) DVD(digital vídeo disc) armazena 4.7 GB, dual layer 8.5GB Estrutura: • *.IFO (de informação) são scripts sobre "como" rodar o DVD; • *.BUP são backups dos *.IFO; • *.PUO são de operações proibidas ao usuário e são removidos quando ripamos (nomenclatura usada quando convertemos um DVD para arquivo de computador); • *.VOB (de objeto visual) contém todo o filme, menu, extra, idiomas, legendas através de uma multiplexação Distribuição DVD(digital vídeo disc) DVD-R: permite uma gravaçao DVD+R: permite uma gravação e é mais rápido DVD+R DL (dual-layer): semelhante ao DVD+R, DVD-RW: permite gravar e apagar cerca de mil vezes DVD+RW :importantes aperfeiçoamentos, editar o conteúdo do DVD sem ter de apagar todo o conteúdo que já estava gravado e um sistema de controle de erros de gravação. DVD+RW DL: possui duas camadas de gravação Blu-Ray Comprimento de onda do laser azul-violeta menor que nas tecnologias anteriores. Sistema de lentes duplas Camada de proteção de durabis que evita arranhões e facilita leitura Aceita MPEG2 e MPEG4 Capacidade entre 25GB e 50GB Blu-Ray BD-ROM: Um disco que é só de leitura (54 Mbps) BD-R: Disco gravável(36 Mbps) BD-RE: Disco regravável (36 Mbps) Distribuição Blu-Ray X DVD armazenamento Blu-ray DVD 25 Gb -> 50 GB 4.7 GB -> 8.5GB Comprimento de onda 405nm do laser 650nm Taxa de transferência 54Mbps 11,1Mbps Formatos suportados MPEG2, MPEG4 – AVC, VC-1(baseado em wmv) MPEG2 Resistência a arranhões e gordura durabis Não possui Formatos da Indústria Digitais: • ATSC(USA,Canadá,Japão, Advanced Televison System Committee) • DVB(Europa, Digital Video Broadcasting) • ISDB(Japão, Integrated Services Digital Broadcasting) • ISDB-TB(Brasil, ... – Terrestrial Built-in) ATSC Aplicações: EPG, t-GOV, t-COM, Internet Middleware: DASE Compressão: Dolby AAC e MPEG-2 HDTV Transporte: MPEG-2 Modulação: 8-VSB DVB Tipos - DVB-T, DVB-S, DVB-C, DVBH, DVB-MHP,IPTV Aplicações - EPG, t-GOV, t-COM, Internet Middleware - MHP/MHEG Compressão - MPEG-2 e MPEG-2 SDTV Transporte - MPEG-2 Modulação - COFDM ISDB Aplicações: EPG, t-GOV, t-COM, Internet Middleware: ARIB Compressão de audio: MPEG-2 AAC Compressão de video: MPEG-2 HDTV Transporte: MPEG-2 Modulação: COFDM ISDB – TB Aplicações: EPG, t-GOV, t-COM, Internet Middleware: Ginga(Interatividade em breve) Compressão de audio: MPEG-4 AAC 2.0 ou 5.1 canais (dependente somente do programa produzido) Compressão de vídeo: MPEG-4 H.264 1080i (1920x1080 pixels) / 720p (1280x720 pixels)/ 480p (640x480 pixels)/ OneSeg (320x240 pixels, para dispositivos móveis) Transporte: MPEG-2 (TS padrão para todos os sistemas) Modulação: COFDM (dividido em 13 segmentos da portadora de 6 MHz- estrutura do ISDB) Compressão de video na web Compressão web Ultimamente a banda larga vem se alastrando na rede Conteúdo de vídeo pode ser adicionado aos websites Que programa usar? Como fazer isso efetivamente? Que formato escolher? Players Player Taman ho Formato Flash Player 9 2 MB swf, flv Windows Media Player 7 MB wmv, asf, mpeg-2, avi Quicktime Player 7 53 MB avi,mov, mpeg-2, mp4 Popularid ade Formatos MPEG-1 FLV MOV Streaming Unicast demanda uma grande largura de banda Streaming Lossy Compression Compressão com perdas Tipos • Lossy Transform • Lossy Predictive Lossy x Lossless Razão • Vídeo 300:1 • Audio 10:1 • Imagem 10:1 MPEG-1 Motion Picture Editors Guild Lossy compression Idealizado para Vídeo VHS e CD de Áudio Publicado como ISO/IEC-11172 Base para demais formatos web Padrão ISO/IEC-11172 System – I/O Video – Métodos de redução de vídeo Audio – Métodos de redução de áudio Conformance Testing – Procedimentos de testes Software Reference – Software de referência escrito em C FLV Flash Video Stream de bits codificada • Sorenson codec (H.263) • On2 VP6 • H.264 Audio codificada em mp3 Distribuição Um arquivo flv Embarcado num SWF Download progressivo via HTTP Streamed pelo Flash Media Server MOV Encapsulamento com várias faixas Cada faixa possui uma stream de mídia Cada stream usa seu próprio code Distribuição • Arquivo standalone • Download progressivo • Stream pelo Quicktime Streaming Server Por que o Flash é o mais usado? Maior penetração no mercado Maior interoperabilidade de SO Maior facilidade de distribuição Possibilidade de interação Proteção de conteúdo (sem cache) H.264 Possui uma série de vantagens em relação a seus antecessores • MPEG-1, MPEG-2 e H.263 Todas as novas características trazem pequenas melhorias H.264 novas características agregam uma complexidade à codificação\decodificação • complexidade computacional – principalmente codificador • complexidade de desenvolvimento H.264 O H.264 começou a ser desenvolvido apenas pelo ITU-T VCEG (Video Coding Experts Group) • Contemporâneo a última versão do H.263 Foram adicionadas as primeiras extensões ao padrão H.264 • fidelity range extensions (FRExt) Cronologia Provavelmente para depois de 2010 o H.265 reduzir a taxa de bits pela metade! Sinal de Vídeo Digital Consiste de uma seqüência de quadros que geram a ilusão de movimento Esses quadros passam também por uma amostragem espacial Sinal de Vídeo Digital Compressão Sem Perdas O sinal reconstituído é idêntico ao original • Compactar dados de duas a três vezes • Aplicações que não toleram qualquer distorção, como vídeos médicos ou sistemas de arquivamento Compressão Com Perdas Há uma degradação desse sinal: distorção • Podem comprimir para uma taxa até 100 vezes menor • Mais usada e difundida • Distorções podem ser imperceptíveis ao olho humano Particionamento A unidade básica de codificação é o macrobloco (MB) • matriz de 16×16 amostras É fundamental para o processo de compensação de movimento e a transformação. No H.264, os MBs podem ainda ser subdivididos em submacroblocos (SubMB) Particionamento Por exemplo, no formato 4:2:0, cada MB consistirá de: Compensação de Movimento É muito provável quadros amostrados em tempos próximos sejam muito parecidos • Muitas amostras continuarão iguais fundo • Outras terão apenas se “deslocado” espacialmente- objeto em movimento Compensação de Movimento Subtrair os valores de um bloco pelos de outro bloco de algum quadro anterior. • O bloco a ser subtraído do bloco atual é informado através de uma referência temporal • Um vetor de movimento (VM) Compensação de Movimento Transformação Aplicar uma transformação nos valores das amostras de um bloco • Transformar o sinal para o domínio da freqüência espacial • Reduzir as redundâncias • Descorrelacionar o sinal, concentrando a energia em alguns poucos coeficientes. Transformação Quantização Torna menores os valores dos coeficientes resultantes da transformação A matriz Q é tabelada, varia de acordo com o parâmetro de quantização (QP). Quantização Os valores resultantes são menores necessitando menos bits na codificação • existe uma perda na precisão A maior parte da distorção é resultante do processo de quantização, controlada pelo valor de QP. Quantização Reordenação e Codificação de Entropia Os coeficientes quantizados são reordenados em uma lista Reordenação e Codificação de Entropia Listas resultantes costumam conter muitos zeros em seqüência • Representar as seqüências de zeros de forma mais “compacta” • Representar a seqüência de coeficientes que são ±1 de forma compacta O futuro da Compressão de Vídeo Media coding & 3D Video coding Media coding Advanced Video Coding • O que faz: Fornece tecnologia para codificar tanto vídeo entrelaçados como não- entrelaçados com uma eficiência de codificação cerca do dobro em comparação com o MPEG-2 e MPEG-4. • Pra que serve: Praticamente todas aplicações de vídeo digital Wavelet coding • O que faz: Esta é uma atividade de exploração destinada a recolher provas sobre as possíveis vantagens oferecidas pelas transformadas wavelet para futuras normas de codificação vídeo. • Pra que serve: Praticamente todas aplicações de vídeo digital Media coding Advanced Video Coding • As principais melhorias em relação às normas anteriores são feitas na área de compensação de movimento. O ciclo de filtro prover um ganho significativo em relação a qualidade em dados com taxas baixas e muito baixas. Motion compensation using variable block sizes Usage of an integer transform of block size 4x4 or 8x8 An adaptive de-blocking filter Instead of B-type, P-type, and I-type pictures, type definitions are made slice-wise, where a slice may, at maximum, cover an entire picture. New types of switching slices (S-type slices, with SP and SI sub-types) Two different entropy coding mechanisms are defined Additional error resilience mechanisms are defined Network Abstraction Layer (NAL) A combinação de todos os diferentes métodos listados levou a um aumento significativo no desempenho da compressão em comparação com as soluções padrão. Redução da taxa de bits no mesmo nível de qualidade em até 50% ou mais quando comparados aos padrões atuais, como o MPEG-2, H.263, MPEG-4 Part 2 Simple Perfil e MPEG-4 Parte 2 Advanced Perfil. • • Áreas de Aplicação É esperado que se torne amplamente utilizado em uma ampla gama de aplicações, tais como as de transmissão e armazenamento de vídeos de alta resolução , streaming de vídeo (Internet e da televisão), e aplicações profissionais, tais como armazenamento e transmissão de conteúdo de cinema. 3D Video coding Multiview video coding • O que faz: Prover uma representação de um conjunto de sinais de câmeras de vídeo filmando a mesma cena. • Pra que serve: Vídeos interativos, i.e. quando o usuário pode navegar em uma cena escolher livremente um ponto de vista 3D vídeo e free viewpoint TV, onde o usuário tem uma impressão de profundidade da cena, pois cada olho separadamente obtém pontos de vista, mudado com o ângulo de visão. • O Multiview Video Coding (MVC, ISO/IEC 14496-10:2008 Amendment 1) é uma extensão do padrão Advanced Video Coding (AVC) 3D Video coding Multiview video coding Multiview Video Coding (MVC) Temporal/inter-view prediction structure for MVC. 3D Video coding 3D vídeo • É um padrão que tem o objetivo de servir o conjunto de displays 3D. 3D Video coding Exemplo do sistema FTV system e do formato de dados Exemplo de um display lenticular requerendo 9 views (N = 9) Exemplo da geracão de 9 outputs views (N = 9) , 3 input views , com profundidade (K = 3) Compressão de Vídeo + Dados MPEG-7 & MPEG-21 MPEG 7 O MPEG-7 é um padrão para descrever as características de conteúdos multimídia Disponibiliza um conjunto de elementos de metadados descritos em XML Especifica descrições em formato binário, o BiM, permitindo o streaming e a compressão em até 98% das descrições. Pretende disponibilizar ferramentas (nesse caso, as ferramentas são os descritores, que permitem a criação das descrições) para que a busca em imagens,vídeos e arquivos sonoros seja tão fácil quanto é a busca em textos. A descrição MPEG-7 pode estar fisicamente armazenada em conjunto com o material audiovisual, como também, pode estar locada em outro lugar através da rede, além de poder ser utilizada independentemente de outros padrões MPEG, tais como o MPEG-2 ou MPEG-4. As principais ferramentas utilizadas para implementar as descrições MPEG-7 são os Descritores, os Esquemas de Descrições e a Linguagem de Definição de Descrições MPEG 7 Exemplo de descrição MPEG-7 em XML Principais elementos do MPEG-7 e seus relacionamentos MPEG 21 Padrão que define uma infraestrutura para distribuição e consumo de dados multimídia. • • • • • • • • • Part 1- Multimedia Framework Part 2 - Digital Item Declaration Part 3 - Digital Item Identification Part 4 - Intellectual Property Management and Protection (IPMP) Part 5 - Rights Expression Language Part 6 - Rights Data Dictionary Part 7 - Digital Item Adaptation Part 8 - Reference Software Part 9 - File Format MPEG 21 Digital Item Declaration (Part 2) • • • • • • • • Container Item Component Anchor Descriptor Annotation Choice … Relacionamento entre os principais elementos do Modelo do Digital Item Declaration MPEG 21 Digital Item Identification (Part 3) • Como identificar unicamente um Digital Item e parte dele; • Como identificar unicamente um IP relativo a um Digital Item e parte dele; • Como identificar unicamente um Description Schemes; • Como usar identificadores para ligar um Digital Item com informações relacionadas; • Como identicar diferentes tipos de Digital Items. Relacionamento entre um Digital Item Declaration e um Digital Item Identification Perguntas ?