Formatos de Vídeo Digital Televisão Digital Guido Stolfi Mackenzie 4 / 2008 Guido Stolfi 1 / 103 Degradações do Sinal Analógico Ruído: aleatório, cumulativo, inerente aos processos físicos envolvidos na eletrônica; Distorção não-linear: presente em todos os elementos ativos de circuitos, amplificadores, processadores, etc.; Interferências: ingresso de sinais indesejados, geralmente de origem humana; identificáveis, porém de difícil eliminação; Perdas: atenuações, limitações de resposta em freqüência, dispersão temporal, etc. Guido Stolfi 2 / 103 Degradações do Sinal Analógico Guido Stolfi 3 / 103 O Sinal Digital na TV • Processamento de Sinal • Armazenamento • Transmissão Digital Guido Stolfi 4 / 103 Processamento Digital • “Frame store”: armazenamento digital para permitir congelamento de imagem, câmera lenta e “replay” • “Frame synchronizers”: sincronizadores de sinais de vídeo com capacidade de compensar defasagens de até 1 quadro completo • Conversores de padrões: transcrição entre sistemas com varreduras de 50 e 60 Hz, implementados com interpoladores e decimadores espacio-temporais Guido Stolfi 5 / 103 Processamento Digital • Equipamentos de telecinagem: conversão de 24 fotogramas para 60 campos por segundo através de interpolação • Efeitos de transformações geométricas: mapeamento espacial de imagens, em tempo real, com mudança de coordenadas, deformações, perspectivas, etc. • Redutores de ruído: baseados em filtragem temporal entre linhas e quadros consecutivos Guido Stolfi 6 / 103 Processamento Digital • "Time Base Corrector" (TBC): compensação de flutuações temporais de curta duração (Jitter), em equipamentos de VT • Gravadores de vídeo digitais: evitam degradação cumulativa da relação sinal/ruído em sucessivas gerações (cópias) • Edição não-linear: meios de armazenamento digital com acesso randômico a nível de quadros individuais, facilitam o processo de edição Guido Stolfi 7 / 103 Processamento Digital no Receptor • Cancelamento de ecos por multi-percurso (fantasmas): equalização adaptativa de canal no receptor de TV • Decodificação de crominância: receptores para padrões múltiplos utilizando DSP • “Picture in Picture” (PIP): decimação e transformações espaciais utilizando “frame buffer” Guido Stolfi 8 / 103 Armazenamento Digital • Servidores de Vídeo: bancos de Hard Disks com segmentos de programação, vinhetas, aberturas, etc. • Bancos de Dados relacionais: indexação de conteúdo (ex.: MPEG-7) • Compressão de Dados: arquivamento de massa (ex. MPEG-2, MPEG-4) Guido Stolfi 9 / 103 Transmissão Digital (Não percam próximos capítulos..) Guido Stolfi 10 / 103 Digitalização de Vídeo • Amostragem Temporal (quadros) • Amostragem Espacial Vertical (varredura) • Amostragem Espacial Horizontal ( fA ) • Quantização Guido Stolfi 11 / 103 Relação Sinal / Ruído na Quantização FS S n (dB) 20 log(2 ) 10 log(12) 10 log Qe 2 FV FS S 6.02 n 10.8 10 log Qe 2 FV ou (dB) fS/2 fV fS f Guido Stolfi 12 / 103 Relação S / R com “Headroom” FS S 6.02 n 10.8 10 log Qe 2 FV VT VT 20 log ( dB) V B VP VB-VP Guido Stolfi 13 / 103 Ponderação pela MTF da Visão f 2 f 2 1 1 f1 f 2 A f 10log10 dB 2 f 1 f 3 onde f1= 270kHz, f2 = 1.37MHz e f3 = 390kHz f Guido Stolfi 14 / 103 Relação S / R de Quantização Total fS VT S . . 143 122 6.02 8 10.8 10 log 20 log . dB 6.81 6343 8.4 0.714 Qe 8 bits 2 fV 100 IRE MTF Guido Stolfi 15 / 103 Amostragem da Luminância (sem fator Gama) 1 0.9 0.8 0.7 0.6 0.5 Escala Linear em “Lightness” (Percepção Subjetiva de Intensidade) 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 Guido Stolfi 16 / 103 Amostragem da Luminância 1 0.9 0.8 0.7 0.6 0.5 Sinal de Luminância quantizado 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 Guido Stolfi 17 / 103 Amostragem da Luminância 1 0.9 0.8 0.7 0.6 0.5 Percepção correspondente ao sinal de luminância quantizado (sem fator gama) 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 Guido Stolfi 18 / 103 Amostragem da Luminância (com fator Gama) 1 0.9 0.8 0.7 0.6 0.5 Escala Linear em “Lightness” (Percepção Subjetiva de Intensidade), corrigida por fator 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 Guido Stolfi 19 / 103 Amostragem da Luminância (com fator Gama) 1 0.9 0.8 0.7 0.6 0.5 Sinal de Luminância com correção gama, quantizado 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 Guido Stolfi 20 / 103 Amostragem da Luminância (com fator Gama) 1 0.9 0.8 0.7 0.6 0.5 Sinal de Luminância equivalente 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 Guido Stolfi 21 / 103 Amostragem da Luminância (com fator Gama) 1 0.9 0.8 0.7 0.6 0.5 Percepção correspondente ao sinal de luminância quantizado (com fator gama) 0.4 0.3 0.2 0.1 0 0 0.2 0.4 0.6 0.8 1 Guido Stolfi 22 / 103 Critérios de Amostragem de Vídeo • Vídeo é amostrado na forma perceptual (com correção Gama) • Taxa de Amostragem obedece critério de Kell ( fA 3 fM) para imagens “naturais” • Filtro “anti-aliasing” não pode afetar os transientes espaciais (p. ex.: gaussiano ) Guido Stolfi 23 / 103 Estruturas de Amostragem Espacial Guido Stolfi 24 / 103 Estruturas de Amostragem Espacial • ITU-R Rec.601: 720 (H) x 480 i (V) • CIF (Common Intermediate Format): 352 x 288 p • QCIF (1/4 CIF): 176 x 144 p • VGA (Video Graphics Array): 640 x 480 p Guido Stolfi 25 / 103 Estruturas de Amostragem Espacial • HDTV (SMPTE 274M) – 1920 x 1080 i – 1280 x 720 p Guido Stolfi 26 / 103 Estrutura de Amostragem 4 : 4 : 4 =Crominância = Luminância Guido Stolfi 27 / 103 Estrutura de Amostragem 4 : 2 : 2 ( Rec. 601 ) =Crominância = Luminância Guido Stolfi 28 / 103 Estrutura de Amostragem 4 : 2 : 0 (MPEG-2) =Crominância = Luminância Guido Stolfi 29 / 103 Estrutura de Amostragem 4 : 2 : 0 (MPEG-1) =Crominância = Luminância Guido Stolfi 30 / 103 Estrutura de Amostragem 4 : 2 : 0 (DV) =Crominância = Luminância Guido Stolfi 31 / 103 Estrutura de Amostragem 4 : 1 : 1 =Crominância = Luminância Guido Stolfi 32 / 103 Interfaces de Video Digital Guido Stolfi 33 / 103 Rec. ITU-R Rec. 601 • • • • • • (“D-1”) Originalmente CCIR-601 “Digital Components” ou “4:2:2” Amostragem separada de Y’, CB e CR fA = 13.5 MHz (Y’) e 6.75 MHz (CB , CR) 8 bits (extensão para 10 bits) Interface física: ECL, balanceado, 8/10 bits + clock Guido Stolfi 34 / 103 Rec. CCIR-601 (“D-1”) Componentes Analógicas: • Y’ = 0,299 R’ + 0,587 G’ + 0,114 B’ • PB = – 0,169 R’ – 0,331 G’ + 0,5 B’ • PR = 0,5 R’ – 0,419 G’ – 0,081 B’ Guido Stolfi 35 / 103 Rec. CCIR-601 (“D-1”) • Componentes Digitalizadas: 219 CY Y '16 100 CB (Y ' em unidadesIRE) 128 ( B 'Y ' ) 128 100 160 CR ( R 'Y ' ) 128 100 (8 bits) Guido Stolfi 36 / 103 Estrutura de Amostragem D-1 (4:2:2) Seqüência de Amostras CB CY CR CY CB CY CR CY Componentes: Y’ 148 ns 74 ns CB (B’-Y’) CR (R’-Y’) Guido Stolfi 37 / 103 Digitalização de uma Linha de Vídeo Guido Stolfi 38 / 103 Intervalo de Retraço Horizontal D-1 Guido Stolfi 39 / 103 Bloco Delimitador de Amostras Ativas Bit Preâmbulo Dados 9 8 7 6 5 4 3 2 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 Campo Blank SAV / 0/1 Vertical EAV P3 P2 P1 P0 Guido Stolfi 40 / 103 Compatibilidade do D-1 para 50 / 60 Hz Retraço 138 Amostras Linha visível 720 amostras (CY) fV=59.94 Hz fH =15.734 kHz 63.56 s 144 Amostras 720 amostras (CY) 64.0 s fV=50.0 Hz fH =15.625 kHz fA = 13.5 MHz Guido Stolfi 41 / 103 Padrão de Barras Digitalizado por D-1 Guido Stolfi 42 / 103 Padrão de Vídeo Digital “D-2” • • • • • “Digital Composite” Amostragem do Sinal de Vídeo Composto fA = 14.32 MHz (4 x fSC) 8 / 10bits Interface física: ECL, balanceado, 8/ 10 bits + clock (similar à D-1) Guido Stolfi 43 / 103 Níveis de Quantização para D-2 M á x im o 255 B r a n c o M á x im o 200 60 4 A p a g a m e n to T ô p o d o S in c ro n is m o Guido Stolfi 44 / 103 Padrão HDTV Digital (SMPTE 274 M) • • • • • • • 1125 linhas totais (1080 ativas) 2200 amostras por linha (1920 ativas) Duração da Linha: 29.63 s Interface Analógica: Componentes Y’ PB’PR’ fA = 74.18 MHz (Y’) e 37.09 MHz (PB’,PR’) 8 ou 10 bits Interface física: Serial, coaxial, 1,483 Gb/s Guido Stolfi 45 / 103 Fator Gama para HDTV (ITU Rec. 709) 4,5V V' 1,099V 0, 45 0 V 0,018 0,018 V 1 ( V = R, G, B ) Guido Stolfi 46 / 103 Colorimetria para HDTV (ITU Rec. 709) Componentes Analógicas: • Y’ = 0,2126 R’ + 0,7152 G’ + 0,0722 B’ • PB = – 0,114572 R’ – 0,385428 G’ + 0,5 B’ • PR = 0,5 R’ – 0,454153 G’ – 0,045847 B’ Guido Stolfi 47 / 103 Padrão HDTV Digital (SMPTE 274 M) Guido Stolfi 48 / 103 Colorimetria para HDTV (ITU Rec. 709) • Componentes Digitalizadas: CY 219Y '16 (Y ' variandode 0 a 1) 112 CB ( B'Y ' ) 128 0,9278 112 CR ( R'Y ' ) 128 0,7874 Guido Stolfi 49 / 103 Conversão HDTV / SDTV • Conversão de Rec. 709 para Rec. 601: Y ' 1 0,0993 0,1917 Y ' C 0 0,9898 0,1107 C B B C R 601 0 0,0725 0,9834 C R 709 Guido Stolfi 50 / 103 Conversão HDTV / SDTV • Conversão de Rec. 601 para Rec. 709: Y ' 1 0,1156 0,2079 Y ' C 0 1,0186 0,1146 C B B C R 709 0 0,07505 1,0253 C R 601 Guido Stolfi 51 / 103 Interface Serial CCIR-656 • • • • • 8 bits, serial 243 Mb/s (Y:U:V 4:2:2) Codificação de Grupo 8 / 9 bits Componente CC reduzida Cabo coaxial 75 Ohms, 1 Vpp Guido Stolfi 52 / 103 Dicionário de Código de Grupo 8/9 CCIR 8 bits 9 bits+ 9bits- 8 bits 9 bits+ 9bits- 00 0FE 101 37 196 - 01 027 - 38 026 1D9 02 1D8 - 39 08C 173 03 033 - 3A 02C 1C3 04 1CC - 3B 098 167 (Trechos) Guido Stolfi 53 / 103 Interface SDI (Serial Digital Interface) • 10 bits • 270 MB/s (Y’:CB:CR 4:2:2) • Codificação com embaralhamento (scrambler) • Cabo Coaxial 75 Ohms, 800 mVpp • Atenuação tolerada: até 30 dB • Áudio digital nos intervalos de apagamento Guido Stolfi 54 / 103 Scrambler para Interface SDI " Scrambler" Cod. Diferencial Entrada Serial D D D D D D D D D Saída D Guido Stolfi 55 / 103 Sinais Patológicos para Teste de SDI 1 bit CB CY CR CY 300 198 300 198 19 bits 20 bits CB CY CR CY 200 110 200 110 20 bits Guido Stolfi 56 / 103 Taxa de Erros x Comprimento de Cabo Erros por segundo 100 10 1 / frame 1 / segundo 1 0,1 1 / minuto 0,01 0,001 1 / hora 0,0001 0,00001 105 1 / dia 110 115 120 125 Comprimento do cabo (m) Guido Stolfi 57 / 103 Interface HD-SDI (SMPTE 292M) • • • • • • • 10 bits 1.485 GB/s (Y’:CB:CR 4:2:2) Codificação semelhante à SDI Cabo Coaxial 75 Ohms, 800 mVpp Atenuação tolerada: 20 dB CRC e número de linha após EAV Alternativa: Fibra Óptica (1310 nm) Guido Stolfi 58 / 103 DVI – Digital Visual Interface • Aplicação: Interface com Monitores Digitais • Codificação: T.M.D.S. – Transition Minimized Differential Signaling • 3 sinais seriais balanceados (R, G e B) até 1,6 Gb/s • 1 sinal de clock (até 165 MHz) • Taxas maiores que 165 Mpixels/s podem usar 2 canais em paralelo Guido Stolfi 59 / 103 DVI – Digital Visual Interface Transmissão por fonte de corrente balanceada Guido Stolfi 60 / 103 DVI – Digital Visual Interface Guido Stolfi 61 / 103 DVI – Digital Visual Interface Decodificação T.M.D.S. Guido Stolfi 62 / 103 DVI – Digital Visual Interface Pixel Clock Pixel Clock 25~165 MHz Canal Clock PLL PLL Dados Pixel (24 bits) (24 bits) Serializador Decodificador 3 canaisTMDS Transmissor Receptor Guido Stolfi 63 / 103 HDMI – High Definition Multimedia Interface • Especificação: HDMI – – – – – – – Hitachi Matsushita Philips Silicon Image Sony Thomson Toshiba Guido Stolfi 64 / 103 HDMI – High Definition Multimedia Interface Guido Stolfi 65 / 103 Conectores DVI e HDMI Guido Stolfi 66 / 103 Interfaces para Video Comprimido Guido Stolfi 67 / 103 Interface IEEE1394 (Firewire) 2 pares para Dados / Strobe balanceados 1 par para Alimentação CC 100 a 800 Mb/s (IEEE1394-B) Guido Stolfi 68 / 103 Vídeo Sobre IEEE1384 Pacote MPEG-2 188 bytes Time Code Blocos Pacotes isócronos IEEE1394 192 bytes 24 24 24 24 24 24 D 24 24 D Guido Stolfi 69 / 103 Interface DVB-SPI • “Synchronous Parallel Interface” • Rec. ETSI- EN50083-9 • Interface paralela para Pacotes “Transport Stream” • 8 bits + Clock + Sincronismo • Interface física: LVDS (balanceado) • Conector DB-25 Guido Stolfi 70 / 103 Interface DVB-SPI Pacotes de Transporte MPEG-2 Guido Stolfi 71 / 103 Interface DVB-SPI Sinais na Interface DVB-SPI Guido Stolfi 72 / 103 Interface DVB-SPI Sinais na Interface DVB-SPI – Modo 188 bytes Guido Stolfi 73 / 103 Interface DVB-SPI Sinais na Interface DVB-SPI – Modo 204 bytes (16 bytes de enchimento) Guido Stolfi 74 / 103 Interface DVB-SPI Sinais na Interface DVB-SPI – Modo 204 bytes (com codificação Reed-Solomon) Guido Stolfi 75 / 103 Interface DVB-SPI Sinais na Interface DVB-SPI – temporização de Clock e Dados Guido Stolfi 76 / 103 Interface DVB-SPI Interface LVDS (Low Voltage Differential Signalling) Tensão de Modo Comum: 1,1 a 1,4 V (Tx) Impedância característica do cabo: 100 Ohms Amplitude do Sinal: 247 a 475 mV (Tx) Guido Stolfi 77 / 103 Pinagem do Conector DVB-SPI Guido Stolfi 78 / 103 Interface ASI • • • • “Asynchronous Serial Interface” Meio: Cabo Coaxial 75 Ohms Taxa de bits: 270 Mb/s Amplitude; 800 mVpp (Tx) Guido Stolfi 79 / 103 Interface ASI Pacotes TS Codificação 8 / 10 bits Inserção de Sincronismo (K.28.5) Conversor Paralelo / série Amplificador Acoplamento Saida 75 Ohms Guido Stolfi 80 / 103 Dicionário de Código 8 / 10 8 bits 10 bits+ 10 bits- 8 bits 10 bits+ 10 bits- 00 18B 274 37 059 3A9 01 22B 1D4 38 0C9 339 02 12B 2D4 39 169 269 03 314 31B 47 385 075 04 0AB 354 K.28.5 305 0FA (Trechos) Guido Stolfi 81 / 103 Interface ASI Pacotes completos Bytes intercalados Guido Stolfi 82 / 103 Processamento Digital de Vídeo Guido Stolfi 83 / 103 Processamento de Vídeo: TBC A/D Shift Register VCO Ref. Freq. D/A Separador de sincronismo PLL Guido Stolfi 84 / 103 Processamento de Vídeo: Frame Buffer Video In A/D Dados D/A Memória Separador de Sincronismo Separador de Sincronismo Video Out Genlock RAM Ponteiro de Escrita Endereço Ponteiro de Leitura 1 quadro = 720 x 480 x 2 = ~700 kBytes Guido Stolfi 85 / 103 Redutor de Ruído Digital Video In A/D Dados a Memória Separador Sincronismo b RAM Ponteiro de Escrita Video Out + D/A c Endereço d Filtragem espacial / temporal (intra / inter frames) Guido Stolfi 86 / 103 Efeitos de Transformações Geométricas Video In A/D Dados Interpolação Decimação Saída Memória Separador Sincronismo Genlock RAM Ponteiro de Escrita Endereço Mapeamento Ponteiro de Leitura (xR, yR) (xE, yE) Guido Stolfi 87 / 103 Exemplo: Translação TY yE xE xE xR TX y E yR TY TX x E 1 0 y 0 1 E xR TX yR TY 1 Guido Stolfi 88 / 103 Generalização para 3 Dimensões x E 1 y E 0 z E 0 1 0 0 0 TX x R 1 0 TY y R 0 1 TZ z R 0 0 1 1 vE T vR (Projeção em x, y zR = 0 ) Guido Stolfi 89 / 103 Escalamento em x, y SY SX 1 SX S 0 0 0 0 1 SY 0 0 0 0 0 0 1 0 0 1 Guido Stolfi 90 / 103 Rotações nos Eixos x, y, z 0 0 1 0 cos 1 sen 1 R 0 sen 1 cos 1 0 0 0 0 0 0 1 cos sen R 0 0 cos 1 0 R sen 1 0 sen cos 0 0 0 0 1 0 0 sen 1 0 1 0 0 0 cos 1 0 0 0 1 0 0 0 1 Guido Stolfi 91 / 103 Operações Conjugadas vR R S T vE Guido Stolfi 92 / 103 Perspectiva y xE, yE, zE yR Ponto de Observação z xR Plano de Projeção x Guido Stolfi 93 / 103 Transformações de Perspectiva xR xE zE yR yE zE xE xR zE yE yR zE Guido Stolfi 94 / 103 Interpolação e Decimação Espaciais A B Guido Stolfi 95 / 103 Transcrição de Formatos de Varredura Estrutura de Amostragem de Entrada Estrutura de Amostragem de Saída Interpolação Bilinear y t Guido Stolfi 96 / 103 “Chroma Key” Decodificador 1o. Plano Plano de Fundo Referência Comparador Chave Imagem Composta Guido Stolfi 97 / 103 Multi-percurso e Equalização SINAL PROCESSADO SINAL RECEBIDO SINAL TRANSMITIDO t1 k1 t1 -k1 t2 k2 t2 -k2 tn kn Modelo da Distorção por Multi-percurso tn -kn Equalizador Adaptativo no Receptor Guido Stolfi 98 / 103 Necessidade de Compressão de Dados •Taxa de Bits para Codificação Rec. 601: •1 linha = 720 amostras de Luminância + 2 360 amostras de crominância •720 pixels/linha 482 linhas 30 frames = 10.411.200 pixels/s • 8 bits ( 1 + 1/2 + 1/2) = 166,58 Mbit/s Guido Stolfi 99 / 103 Necessidade de Compressão de Dados • Taxa de Bits para Codificação D-2: 1 linha ativa = 51 s Taxa de Amostragem = 14,31818 MHz 14,31818 MHz 51 s = 730 amostras / linha 482 linhas 30 frames = 10.555.800 amostras/s • 8 bits = 84,45 Mbit/s • • • • Guido Stolfi 100 / 103 Necessidade de Compressão de Dados • Taxa de Bits para HDTV (SMPTE-274M) • 1920 pixels 1080 linhas 30 quadros/s = 62.208.000 pixels/s • 8 bits (1 + 1/2 + 1/2) = 995 Mbit/s Guido Stolfi 101 / 103 Capacidade de Alguns Canais de Comunicação • Cabo Coaxial (Modulação 64-QAM) – (Relação Sinal/Ruído Maior que 30 dB) – Taxa Bruta: 43 MBits/s – Taxa Líquida: 38 MBits/s • Radiodifusão / UHF (Modulação 8-VSB) – (Relação Sinal/Ruído Maior que 15 dB) – Taxa Bruta: 38 MBits/s – Taxa Líquida: 19 MBits/s • Satélite DTH (Direct to Home-Modulação QPSK) – Taxa Bruta: 40 MBits/s por transponder – Taxa Líquida: 18 MBits/s Guido Stolfi 102 / 103 Critérios para Compressão de Imagens • São necessárias taxas de compressão da ordem de 50:1 • Compressão Com Perdas é inevitável • Objetivo: reduzir a Visibilidade das degradações conseqüentes • Deve-se levar em conta as características da Percepção Visual humana. Guido Stolfi 103 / 103