Visão Computacional – 2010
q-Entropia e Imagens
Paulo Sérgio Rodrigues
PEL205
Sumário
• Entropia Tradicional BGS
• q-Entropia
• Aplicações da q-entropia à PDI
Entropia Tradicional BGS Histórico
S  k ln w
Rudolph Clausius (1822-1888)
Clausius foi o primeiro
a dar uma definição
para Entropia
Ludwing Boltzmann (1844-1906)
Boltzmann idealizou o
conceito moderno de
entropia
No início, a idéia de
entropia estava ligada
somente a medida
da capacidade de
realização de trabalho
dos sistemas físicos.
Leis da Termodinâmica
Trabalho
Energia
TOTAL
Perdas
• Primeira Lei: A energia não pode ser criada nem destruída
• Segunda Lei: Só pode haver trabalho se houver entropia
Entropia Tradicional BGS - Histórico
w
S  k
 p ln p
i
i
i 1
Com Plank e Gibbs
a entropia transcendeu
a Termodinâmica e
passou a se associar
à Mecânica Estatística.
Max Plank (1854-1947)
Willard Gibbs (1839-1903)
Plank foi o verdadeiro
idealizador da fórmula
atribuída a Boltzmann
Gibbs introduziu a
conhecida fórmula
Entropia e a Teoria da Informação
w
S  k
 p ln p
i
i
i 1
A teoria da informação surgiu
na década de 40, com origem
na telegrafia e telefonia.
Claude Shannon (1916-2001)
Shannon associou a
entropia a uma
quantidade de informação
Posteriormente, foi utilizada
pela Cibernética no estudo da
troca de informação de um
organismo vivo ou mecânico.
Entropia e a Teoria da Informação
w
S  k
 p ln p
i
i
i 1
Claude Shannon (1916-2001)
Shannon associou a
entropia a uma
quantidade de informação
A teoria da informação encontrou
campo fértil em diversas áreas, entre
elas na Economia, Estatística,
Linguística, Psicologia, Ecologia,
Reconhecimento de Padrões,
Medicina, Inteligência Artificial, ...
Generalização da Entropia Clássica
• Sabe-se há mais de um século que entropia tradicional de
BG não é capaz de explicar determinados Sistemas Físicos
• Tais sistemas possuem como características:
- interações espaciais de longo alcance
- interações temporais de longo alcance
- comportamento fractal nas fronteiras
• E são chamados de Sistemas Não-Extensivos
Generalização da Entropia Clássica
• Exemplos
• turbulência
• massa e energia das galáxias
• Lei de Zipf-Mandelbrot da linguística
• Teoria de risco financeiro
Generalização da Entropia Clássica
• Lei de Zipf-Mandelbrot da linguística
Don Quijote
(Miguel di
Cervantes)
Extração de
Palavras
Relevantes
Rank
ordenado
frequencia AR
1

q 1

Generalização da Entropia Clássica
• Massa e Energia da Galáxias
q
8  ( D  2) 2
8  ( D  2) 2  2( D  2)
Generalização da Entropia Clássica
• Teoria do Risco Financeiro
• Quando se tem expectativa de perda, algumas pessoas
preferem arriscar
• Quando se tem expectativa de ganho, algumas pessoas
preferem não arriscar
Generalização da Entropia Clássica
• Citação de Artigos Científicos
N ( x)  N (0)e
N ( x) 
( x / x0 )
N (0)
1  (q  1)x
q /(q 1)

Generalização da Entropia Clássica
• Sinais de Eletroencefalograma de Eplepsia
Generalização da Entropia Clássica
• Psicologia da Visão


W
O
q

piq Oi
i 1
W
piq
i 1


Oi 

i 1
1  q 
W




W
~
i1  ln pi 
W
W




ln
p
O
i 1 i i 
W


W
i 1
Oi

 

Entropia Não-Extensiva
W
1
S
Constantino Tsallis

q
pi
k 1
1 q
Entropia Não-Extensiva
W
1

W
piq
k 1
S

q 1
 
w
q 1
q 1
w
 p ln p
i
k i
i
pi 
k i
pi 1  piq 1
 lim k i


w

pi piq 1
k i

q 1

w


k i
 
w
pi 1  piq 1
k i
q 1

1 p 
p lim

q 1
i
i
q 1

q 1
w
 p  ln p  
i
k i
i
Entropia Não-Extensiva
S A B  S A  S B  (1  q)S A * S B
Aplicação 1 -> Diagnóstico Assistido Por Computador
1
2
3
4
5
A
B
C
D
A = Original B = NESRA
C = Morphology
D
Aplicação 1-> Diagnóstico Assistido Por Computador
Maligno
Benigno