Teoria
da
Informação
-
Um Enfoque Para Telecomunicações
SHANNON : O grande mestre da
Teoria da Informação
– Claude Elwood Shannon é considerado o pai
da Teoria da Informação ou Teoria das
Comunicações. Trabalhou na empresa Bell
Laboratories (USA) como Matemático e
Engenheiro.
– Shannon nasceu na cidade de Gaylord,
Michigan, USA , aos 30 de Abril de 1916
e morreu em 2001 aos 84 anos.
SHANNON
Tópicos Gerais :
Informação
 Quantidade de Informação
 Entropia
 Banda de Transmissão
 Ruído
 Capacidade de Canal ( Shannon )

Introdução
Conceituando o sistema de
comunicação:
A Fonte
A Informação
A Mensagem
Conceitos Importantes

Elementos de um Sistema de Comunicação
sinal transmitido
fonte
transmissor
sinal de
entrada
Canal
receptor
Ruído, interferência
destino
Introdução à Teoria da
Informação
FONTE
fonte
destinatário
É o ente que produz a informação.
Dispõe de elementos simples e símbolos.
Introdução à Teoria da Informação
Fontes de informação podem ser classificadas
em duas categorias:
a - fontes de informação analógica: emissão de
sinais de amplitude contínua - Ex: microfone
captando a voz, câmara TV..
b- fontes de informação discretas: emissão de
símbolos discretos . Ex: saída de modem
digital, saída de computador, saída de
conversor A/D, etc...
Introdução à Teoria da
Informação
A fonte de informação discreta
apresenta em sua constituição:
O ELEMENTO BÁSICO :
 que é o componente mais simples que
entra na composição representativa da
informação. Por exemplo: 0 e 1
Introdução à Teoria da
Informação
O SÍMBOLO :
que é formado por um conjunto ordenado
de elementos.
Os símbolos que compõem uma fonte
também são fixos e definidos.
Ex.: com os elementos 0 e 1 podemos
compor os simbolos: 10,101..1100...

Introdução à Teoria da
Informação
O alfabeto da fonte pode ser o alfabeto
de elementos ou alfabeto de símbolos.
 MENSAGEM:consiste de um conjunto
ordenado de símbolos que a fonte
seleciona de seu alfabeto, ...
10011 10001 01110

elemento
Símbolo
Introdução à Teoria da
Informação
A mensagem é uma realização que se
caracteriza por apresentar
configurações variáveis ao longo do
tempo e, também, para um observador
externo à fonte, por apresentar
símbolos de um modo aleatório.
Introdução à Teoria da
Informação
A cada símbolo corresponde uma certa
quantidade de informação, que é
função de suas probabilidades de
ocorrência.
A cada mensagem se associa uma certa
quantidade de informação, dada pela
soma das quantidades de informação
de cada símbolo.
Introdução à Teoria da
Informação


A produção de uma seqüência de símbolos,
que podem ser letras , notas musicais, dados,
imagens, etc, operando de acordo com certas
probabilidades, é chamado um “processo
estocástico”, “aleatório” ou “randômico” .
Um caso especial, quando as probabilidades
dependem de eventos antecedentes, é
denominado processo Markov ou cadeia de
Markov.
Introdução à Teoria da
Informação
O processo de comunicação consiste em
estabelecer o fluxo de informações
entre fonte e destinatário, o que é feito
através da transmissão dos símbolos
que compõem a mensagem.
MENSAGEM 
FONTE
CANAL
DESTINO
“ Só conhecemos realmente um fenômeno quando
podemos medí-lo e compará-lo” ( Darwin )
Quantidade de Informação
É possível medir??
Introdução à Teoria da
Informação
Do ponto de vista técnico a informação é
analisada no que diz respeito às
características de diversidade e de
aleatoriedade dos símbolos que a fonte
seleciona.
Introdução à Teoria da
Informação
JOGO:
Quem adivinhar a carta
Recebe US$ 50,00
?
fonte
Número distinto de símbolos
Os símbolos recebidos são imprevisíveis
Introdução à Teoria da
Informação
O nível de incerteza a respeito da
ocorrência de um símbolo pode ser
expresso pela probabilidade de
ocorrência deste símbolo.
Esta probabilidade é fundamental para a
medida da quantidade de informação
que cada símbolo carrega para o
destinatário.
Introdução à Teoria da
Informação
A probabilidade de sair a face 5
é de 1 em 6 (total de eventos possíveis).
P = 1/6
Incerteza do Jogador
P= 1 => certeza total
0,7 – grau de incerteza antes que
o evento ocorra
Informação é a “quantidade de incerteza”
Sobre a ocorrência de um símbolo,
Que é anulada quando este símbolo ocorre.
0,3 grau de certeza (probabilidade que
aconteça um evento) antes que o evento ocorra
P = 0 => incerteza total
Se a probabilidade é p=0,3, o grau de incerteza é 0,7.
Quando o evento ocorre, passa p=0,3 para p=1
Introdução à Teoria da
Informação

Quanto maior o número de símbolos
disponíveis na fonte ( isto é, sua
variedade), maior será o grau de
incerteza sobre qual símbolo será
selecionado para envio.
?
destinatário
P( verde ) = 0,5
Introdução à Teoria da
Informação

Grau de liberdade:
– se todos os símbolos têm igual
probabilidade de serem selecionados, a
fonte possui o maior grau de liberdade
possível na seleção.
Introdução à Teoria da
Informação

Informação e sua Medida.
FONTE COM
SÍMBOLOS
MENSAGEM: conjunto de símbolos
Fonte “X” , com um conjunto de símbolos ( x1, x2 ..xi )
Introdução à Teoria da
Informação
Variedade de Símbolos:
a- alfabeto com “n” elementos.
b - símbolo composto por uma combinação
de “m” elementos dentre os “n”.
Configurações possíveis => N = nm
Princípios de
telecomunicações



A fonte seleciona os símbolos ao produzir a
mensagem.
Para o observador externo, que desconhece
a lógica da fonte, a escolha é aleatória.
Pode-se associar a cada símbolo selecionado
uma certa probabilidade de ocorrência.
Introdução à Teoria da
Informação

Quantidade de Informação inerente a
um símbolo xi :
I(xi) = f [ P (xi)]
P(xi) = probabilidade de ocorrência.
Introdução à Teoria da
Informação
Esta função deve ter as seguintes
propriedades:

1. Se P(xi) = 1 ENTÃO I (xI) = 0
2. Se P (xi) = 0 ENTÃO I ( xi ) = 

3. I (xi ) é monotônica decrescente com P( xi)

A função será:
I (xi ) = - log 2 P (xi ) (bits)
Introdução à Teoria da
Informação

Dada uma fonte X, sabemos:
Símbolo x1, x2, ....
xn
Probabilidade de Ocorrência: ..... P (xn )
Informação Própria do Símbolo... I (xn)
A quantidade de informação de um evento
(associado a uma mensagem) é definida como
o logaritmo do inverso da probabilidade deste
evento. I (xi ) = log 2 1 / P (xi )
Comunicação e Informação
A informação é recebida pelo
destinatário quando este identifica o
símbolo recebido com um dos de seu
alfabeto.
 A informação se transforma em
comunicação quando os símbolos
identificados pelo destinatário possuem
um sentido interpretável por ele.

Comunicação e Informação
em resumo!
A equação de Shannon para relacionar a
quantidade de informação (I)
 Com a probabilidade (p) é a seguinte:




I = log2 (1 /p)
I = quantidade de informação de um símbolo
p = probabilidade da mensagem que se
transmite
log2 = logaritmo na base 2
Um conceito fundamental :
ENTROPIA :
é a medida da quantidade de informação
presente num experimento (não em um símbolo apenas)
randômico ou aleatório. Quanto maior a quantidade de
informação de um experimento, maior será sua entropia.
Introdução à Teoria da
Informação
Para telecomunicações
o que nos interessa é
a quantidade de informação
média ao longo do tempo
para dimensionar os sistemas
de telecomunicações.
Introdução à Teoria da
Informação
X
FONTE
M=[a,b,c...s]

Aaa abbssssssaaas
Ou seja : Dada uma fonte “X” atuando...
Com M símbolos, com mj ocorrências,
cada símbolo ocorrendo xj vezes;
teremos assim uma quantidade
“Q” total de informação.
Introdução à Teoria da
Informação
Problema:
 Quando a fonte era conhecida ( nosso
dado com 6 faces) conhecíamos as
probabilidades, como p(2) = 1/6.
 Mas numa fonte desconhecida como
saber a probabilidade de um evento
isolado?
Seja a experiência
“lançamento de um dado 1000 vezes”
E determinar a freqüência relativa do aparecimento da face 6.
faces
1
2
3
4
5
6
total
Resultados
favoráveis
Freqüência
relativa
166
163
164
170
168
169
1000
0,166
0,163
0,164
0,170
0,168
0,169
1,000
P(6) = 1/6
0,167
Freqüência
relativa
do
aparecimento
de 6.
Número total de ocorrência da face 6 = 169
Lei de Bernouilli
lei fraca dos grandes números.
O valor mais provável da freqüência
relativa a ser encontrado, quando a
experiência é realizada um grande
número de vezes, é numericamente
igual a probabilidade do evento isolado
QUANTIDADE de Informação gerada
Q
 mi
n
=
i =1
I (xi ) =
Q = quantidade de informação
mi = número total de ocorrências de
cada símbolo xi
n = todos os diferentes símbolos da fonte.
Introdução à Teoria da
Informação
Q =  m I (x )
i =1
n
i
i
M = número total de símbolos utilizados
Lembrando a lei fraca dos grandes números, se M for
suficientemente grande podemos tomar mi / M por P (xi)
Então vamos dividir a expressão por M
Introdução à Teoria da
Informação
Lembrando que:
I(xi) = - Log2 P ( xi )
Conteúdo total
de informação
n
Q
M
Número
total de
símbolos
=

P (xi ) I ( xi ) = HX)
I=1
H (X) Entropia
ENTROPIA
n

H(x) =
P (xi ) I ( xi )
I=1
OU MELHOR:
n
H(x) = -

I=1
P (xi ) log2 P ( xi )
ATENÇÃO

Não confudir o parâmetro I com o
parâmetro H
Introdução à Teoria da
Informação
Um exemplo prático:
a, b, c, d, e, f, g, h, i, j, l, m, n, o, p, q, r,
s, t, u, v, x, z
Observação: Você deve estar se
perguntando pelas letras W, Y e K.Elas
não pertencem mais ao nosso
alfabeto.São usadas apenas em casos
especiais
Introdução à Teoria da
Informação





As mensagens a serem transmitidas são
compostas pelas 23 letras do alfabeto, (N =23)
formando combinações aleatórias.
Como as mensagens têm a mesma
probabilidade, a ENTROPIA do sistema será:
H = log2 N ou
H = log2 23
H = 5 significa que necessitamos de 5 bits para
codificar cada uma das letras do alfabeto.
Introdução à Teoria da
Informação
B
Ex.: alfabeto
com
elementos
L
0e1 em=5
O
25 = 32
-Código telegráfico
-: Baudot
E
Introdução à Teoria da
Informação

A informação média ou entropia em
uma fonte com m símbolos xi é
máxima quando as probabilidades de
seus símbolos forem equiprováveis.
Introdução à Teoria da
Informação
Em telecomunicações encontramos
fontes que emitem símbolos binários ou bits.


Cada bit assume dois estados: 0 ou 1
Logo temos P(0) e P(1)
H(X) = -[P(1) log2 P(1) + P(0) log2 P(0)]
shanonn/símbolo
Introdução à Teoria da
Informação
Se as ocorrências de (0) e (1) forem
equiprováveis
temos P(1) = P(0) =1/2
H(X) = 1 shannon/símbolo
Ou 1 bit / símbolo
Introdução à Teoria da
Informação

Quanto todos os símbolos são
equiprováveis a quantidade de
informação média por símbolo é
numericamente igual à quantidade de
informação própria de cada símbolo e
igual a variedade.
H(X) = I(xi ) = v
Entropia
Tendo calculado a Entropia de uma
fonte e obtido: H(X) = 0,8
 Isto significará que esta fonte em sua
escolha de símbolos, com a finalidade
de formar uma mensagem, estará com
aproximadamente 80% de grau de
liberdade.

Símbolos
Aplicação
fonte
Dada uma fonte e calculamos sua
entropia:
 H(X) = 7 sh / símbolo
 Isto nos indica que, em média, seus
símbolos podem ser representados por
7 bits.

Princípios de
telecomunicações
O canal
Comunicação da fonte
ao destino.
Transdutor
de Entrada
Sinal de vídeo
mensagem
Sinal de vídeo
Fonte
de
Informação:
Cena / imagem
Sistema
de
Comunicação Mensagem
recebida
Transdutor
De
Saída
Mensagem: caracterização física da informação
Sistema de Comunicação digital
simplificado
Sistema
De
Comunicação
Transdutor
entrada
Fonte
Codifi
cador
Transmissor
Transdutor
saída
Canal de
comunicação
Sinal de
Sinal a transmitir
Sinal
entrada - Codificação.
binária
mensagem
Receptor
Sinal
recebido
destinatário
Decodi
ficador
Sinal de
saída
Destino
O canal
Sempre que gerarmos informação pela
seleção feita no alfabeto de uma fonte
(codificador que alimenta o canal em
certa velocidade), isto corresponderá a
uma liberação de certa quantidade de
bits/s lançados no canal (meio físico)
pelo transmissor.
transmissor
canal
receptor
O canal
entrada
fonte
saída
canal
X=(xi)
destino
Y = ( yj )
P ( yj/ xi ) ou P (xi / yj )
( P (yj,xi ) significa a probabilidade de se obter um
yj na saída sendo enviado um xi )
O canal
fonte
canal
destino
fonte
destino
H(Y)
H(X)
Entropia no destino
p
X1=1
q
Y1 =1
p=1-q
q
X2 =0
p
Y2 = 0
O canal
É preciso fazer o dimensionamento da
Capacidade do Canal de forma a suportar o
fluxo de informação que lhe é oferecido.
Sem ruído não há distorção, o que entra no
canal será entregue por ele!
Com ruído, o “1” pode ser recebido como “0”
O canal
As entropias presentes serão:



H(X) entropia na fonte, ou entrada do canal.
H(Y) entropia no destino ou saída do canal
H(X/Y) ou H(Y/X) dispersão provocadas por
ruídos e distorções do canal, que acarretam erros
nos símbolos e perda da informação.

H(X;Y) entropia mútua entre entrada e
saída (transinformação), que é a
informação passada da fonte para o
destino.

H(X,Y) é a entropia conjunta, criada pelos
símbolos da fonte e do destinatário tomados em
conjunto.
O canal
De fato desejamos a transinformação e
queremos que ela seja máxima:
 H(X ; Y) = H(X) - H ( X / Y) sh/símb

Canal sem ruído = H( X /Y ) = 0
Define-se: Capacidade máxima do canal
C = Hmax (X;Y ) sh/símb
O canal
Um canal sem ruído, não tem erro de
símbolo transmitido, logo está sem perda:

Neste caso especial: H(X /Y) = H (Y/X) = 0

H(X;Y) = H(X) = H(Y) = H(X,Y) sh/símb

Sem ruído: H(X) = H(Y) = H(X;Y) - toda a
informação na entrada do canal chega ao
destinatário.
Neste caso Hmax (X;Y) = Hmax(X)
Então a Capacidade do canal será dada por:
C = log2 N sh/símb


O Canal
Capacidade de transmissão do canal
 1. A fonte nos dá uma variedade de símbolo:
 V = log2 N ou ainda,
v = m log2 n ( bit)
No caso de uma fonte binária. Equiprovável, com
elementos 0 e 1.
V = 1 log2 2 = 1 bit
Fonte
+ codif.
Transmissor:
10 volts = bit “1”
0 volts = bit “0”
Canal:
(Par de fios)
H(X) = - [P(1) log2 P(1) + P(0) log2 P(0) ] = 1 shanon/símbolo
Cada símbolo será representado por unidades binárias ( bits),
numericamente igual a entropia!
Capacidade de Transmissão
do Canal
TRANSMISSOR SINALIZA A LINHA COM DIFERENTES TENSÕES
Canal = Linha física: pares de fios.
TX
RX
V
V
1
t1
0 1
t2

tempo

t1
t2
t1 + t1
tempo
t2 + t2
Tempo da transição de um estado para outro
O canal
Variação dos Símbolos por unidade de tempo
(velocidade de sinalização) entregue ao canal será a

variabilidade Vs = v /  (bit/s)
( relação entre a variedade V dos símbolos
produzidos pela fonte e o intervalo de tempo “” em
que são produzidos)

Fonte binária
TRANSMISSÃO TELEGRÁFICA
Teleimpressor: terminal
a
bateria
LINHA = canal
Variação de
corrente
I
a = 01011
1
+i
t
t
ideal
0
-i
real
Princípios de
telecomunicações
Capacidade de Transmissão
do Canal
Capacidade de Transmissão
do Canal
Capacidade de transmissão do canal

Além da análise estática shannon/ símbolo é preciso
analisar dinamicamente a Vs = v / 

Suponhamos uma fonte que produz M símbolos ao
longo do tempo T e a cada símbolo corresponde o
intervalo de tempo , teremos uma taxa de envio
destes símbolos:
=T
M
então Vs = M v bit/s
T
Capacidade de Transmissão
do Canal
Na prática o canal não consegue responder
além de uma certa velocidade de transição do
sinal.
v
v
t

Existe um tempo mínimo [mín] para que o
sistema responda a uma transição do sinal.
t
Capacidade de Transmissão
do Canal


No início das técnicas de transmissão de
sinais elétricos ( transmissões telegráficas)
observou-se que os sinais eram transmitidos,
enviados pelo canal, mas chegavam
distorcidos.
Essa distorção se devia a esta duração
mínima necessária, que levou a definição da
faixa de passagem oferecida pelo meio.
Capacidade de Transmissão
do Canal


A pior condição do sinal entrante é a de que
em cada intervalo mín ocorra uma transição.
Para que o canal possa distinguir isto
constatou-se que precisava ter um período
de duração “T” mínimo, dado por:
T = 2 mín
 Assim se definiu uma largura de faixa
mínima, em Hertz, dada por:
B= 1
2 mín

Capacidade de Transmissão
part 1 1 1 0 0
do Canal
par
O sinal telegráfico de um terminal teleimpressor
se compõe de 1 pulso de partida com a duração
e 20 ms; 5 pulsos binários portadores de
Informação com a duração de 20 ms cada e 1 pulso de parada
com a duração de 30 ms.
Nesta condições toma-se para mín o menor valor, de 20 ms.
Logo
B = 1 / 2 mín = 1 / 2x20 x10-3
B = 25 Hz
Capacidade de Transmissão
do Canal


Visto que o símbolo possui a variedade dada
por: v = log2 n max bits
A velocidade máxima de transmissão do sinal
será igual à máxima velocidade de sinalização
que o canal aceita , ou seja:
Vs = V = 1 log 2 n max bit/s.
T
mín
Capacidade de Transmissão
do Canal
Como este é o sinal mais crítico que se pode
transmitir, esta grandeza vai medir a capacidade Ct
de transmissão de sinal
Ct = 1 log2 n max bit/s
mín
Telegrafia = Capacidade = 50 bps
50 = log2 2 . 1/ mín
Logo o mín = 1/50 = 0.02 s ou 20 ms
B = 1/ 2 mín
B = 25 Hz
Princípios de
Telecomunicações
A presença do Ruído limitando a
capacidade do Canal
Capacidade do Canal com
Ruído
Ruído
 É um sinal aleatório ao qual não se tem
controle sobre sua forma.
 No processo de transmissão do sinal
pelo canal observa-se sinais espúrios,
aleatórios, que se somam ao sinal
desejado.
Capacidade do Canal com
Ruído

Ruído branco: ocorre devido à agitação
térmica onde elétrons livres apresentam um
movimento aleatório e produzem uma
corrente elétrica, quando se é observado em
intervalos de tempo infinitamente pequenos.
I(t)
t
Capacidade do Canal com
Ruído


Agora se considerarmos um sinal elétrico
sendo transmitido no canal;
As variações no sinal podem ser analisadas
como alterações em sua amplitude,
percebidas entre dois instantes diferentes.
Capacidade do Canal com
Ruído
Mas a velocidade de transição do sinal
encontra uma limitação prática,
 Em termos físicos existem elementos
armazenadores de energia no canal que
impedem cargas e descargas
instantâneas.
 Estes componentes impõe um tempo
mínimo “  “ para resposta física

Capacidade do Canal –
limitações físicas

v
A pior condição para o sinal entrante é
aquela em que a cada intervalo “ mínimo“
ocorra uma transição,
Figura 1
1
0
1
t
t
t
Figura 4
Figura 3
Figura 2
t
t
Capacidade do Canal com
Ruído

v
Contudo, os ruídos inerentes ao
processo de transmissão impedem que
se reconheça amplitudes a partir de um
determinado valor.
sinal
ruído
t
t
Sinal + ruído
t
Capacidade do Canal com Ruído
Os níveis distinguíveis podem ser
apresentados em função da relação sinal / ruído.
Ruídos impedem reconhecer subdivisões de amplitude
do sinal recebido
Níveis de amplitude
nmax = s+r
r
s+r
s r
tempo
mín
=1+s
r
Capacidade do Canal com Ruído

Consideremos ainda que mín se
relaciona com a largura de faixa do
sistema( B = 1/2 min) temos:
Ct = 2 B log2 ( 1 + s / r) bit/s
Ruído é um sinal complexo de natureza aleatória.
Sistemas de Telecomunicações trabalham com sinais complexos
Sinais complexos se somam em potência.
Capacidade do Canal com
Ruído
Se trabalharmos com a potência do sinal (S),
a potência do ruído (R) e
S =  si2
R =  ri2
2
nmax = S + R = 1 + S = 1 +
R
R
 si2
 ri2
si componentes individuais do sinal ( valor eficaz)
Ri componentes individuais do ruído ( valor eficaz)
nmax = ( 1 + S )1/2
R
Capacidade do Canal com
Ruído

Substituindo este novo resultado e a banda B de
passagem chegamos a
C = B log2 ( 1 + S )
R

bit/s
Conhecida como a Lei de Shannon-Hartley e vai
nos traduzir a velocidade de transmissão de
informação ou capacidade de informação que o
canal permite.
Capacidade do Canal com
Ruído
Lei de Shannon-Hartley
C = B log2 ( 1 + S/R )
bit/s
C = capacidade do canal - medida em bits por segundo
B
= banda do canal- medida em Hertz
S/R = relação sinal ruído - geralmente dada em dB, decibéis
relação logarítmica de potências,
por exemplo: Sinal de voz S/N 30 dB = 1000 vezes
BIBLIOGRAFIA
MELO, Jair Candido. Introdução à Teoria da Informação.
MacGraw-Hill. Brasil. 1976
CARSON. A Bruce. Communication Systems. McGrawHill. Singapore. 1986.
BARRADAS. Ovídio. Sistemas Analógicos-Digitais. Livros
Técnicos e Científicos. Rio de Janeiro.1980
EPSTEIN Isaac. Teoria da Informação. Ática.S.Paulo.
1988.
EDWARDS Elwyn. Introdução à Teoria da Informação.
Cultirx. S. Paulo.1971