Universidade Federal do ABC
Disciplina: Natureza da Informação
Lista de Exercícios 03 – Teoria da Informação
Prof. João Henrique Kleinschmidt
A lista é individual e deve ser escrita à mão.
1) Considere que 1 milhão de resultados de lançamentos de uma moeda não
viciada precisam ser transmitidos. Qual o número mínimo de bits necessários
para a transmissão? E se a moeda fosse viciada de tal maneira que a
probabilidade de sair cara fosse ¼?
2) Considere um dado de 8 lados cujas faces estão escritas as letras de A até
H. Qual o número mínimo de bits por resultado do lançamento do dado,
considerando que todas as faces possuem igual probabilidade de saírem?
3) Refaça o exercício anterior com as seguintes probabilidades de sair cada
face: A (1/2), B (1/4), C (1/8), D (1/16), E (1/32), F (1/64), G (1/128) e H (1/128).
4) Um dado viciado de 5 faces possui probabilidade 1/8 de sair a face A e 1/8
de sair a face B. As outras três faces C, D e E possui ¼ de probabilidade de
sair cada uma. Encontre a entropia desta fonte de informação.
5) Uma fonte emite um de quatro símbolos possíveis durante cada intervalo de
sinalização. Os símbolos ocorrem com as probabilidades p0 = 0,4; p1 = 0,3; p2
= 0,2 e p3 = 0,1. Encontre a quantidade de informação obtida observando-se a
emissão desses símbolos pela fonte.
6) Uma fonte emite um de quatro símbolos s0, s1, s2 e s3 com probabilidades
1/3, 1/6, 1/4 e 1/4, respectivamente. Os símbolos sucessivos emitidos pela
fonte são estatisticamente independentes. Calcule a entropia da fonte.
7) Qual o número mínimo médio de bits usado para expressar cada resultado
de uma sequência de lançamentos de um dado não viciado?
8) Qual a informação (em bits) contida em uma molécula de DNA com 8 bases
do tipo G, C, T ou A, que tenha as seguintes restrições?
a) Em cada posição, a chance da base ser do tipo G, T, C ou A é de 1/8, 1/8,
3/8 e 3/8 respectivamente.
b) A molécula contém exatamente 1 base do tipo G, 1 do tipo T, 3 do tipo C e 3
do tipo A
c) Em cada posição, a chance da base ser de cada um dos tipos é igual.
Compare os resultados e justifique a diferença em termos de incertezas sobre
a organização.
9) Dado viciado: Suponha que o dado está viciado, com as seguintes
probabilidades: 1: 0.05; 6: 0.3; de 2 a 5: 0,1625.
a) Qual é a quantidade de informação individual de cada face
b) Qual é a entropia do dado viciado?
c) Qual o número médio de bits transmitidos por jogada para cada um dos
códigos abaixo? Qual é o código mais eficiente?
10) Em uma cadeia de DNA, existem quatro tipos de bases: G, T, C e A.Qual a
informação contida em uma sequência de DNA de tamanho 10 nos seguintes
casos?
a) A chance de ocorrência de cada base é igual
b) As bases G e T têm o dobro de chance de ocorrência do que as bases C e A
11) Uma fonte X possui quatro símbolos x1, x2, x3, x4 com probabilidades
p(x1) = 0,5, p(x2) = 0,2, p(x3) = 0,2, p(x4) = 0,1.
a) Calcule H(X).
b) Determine o total de informação contida nas mensagens x1x2x1x3 e
x4x3x3x2 e compare com a H(X) obtida no item anterior.
12) Calcule o conteúdo médio de informação da língua portuguesa, assumindo
que cada um dos 26 caracteres do alfabeto ocorrem com igual probabilidade.
13) Melhor de três: Dois times A, e B, jogam uma melhor de três jogos. Cada
jogo é independente, e os times têm igual probabilidade de ganhar.
Defina X como a sequência de vencedores. Por exemplo X=AA; ou X=BAB;
Defina Y como o número de jogos jogados (pode ser 2 ou 3)
Defina Z como o vencedor final: A ou B
a) Qual a entropia de X?
Dica: liste todos os possíveis valores de X e a probabilidade de cada um.
b) Qual a entropia de Y?