Universidade de Brasília - UnB
IG – Instituto de Geociências
RECONHECIMENTO AUTOMÁTICO DE
ALVOS EM IMAGENS MULTIESPECTRAIS E
HIPERESPECTRAIS BASEADO EM
MODELO, NOS EIGENSPACES E NA KLT –
KARHUNEN-LOÈVE TRANSFORM
Por
PAULO QUINTILIANO DA SILVA
Objetivo
• Construção de modelo de
Reconhecimento automático
de Alvos (discretos e contínuos)
• classificação de imagens
• detecção de alvos
• reconhecimento de alvos
02
Contribuições
• Novo sistema ATR
• Tratamento de imagens
multiespectrais e hiperespectrais com a KLT
• Manipulação dos índices
de falso-positivos e falsonegativos – Fator Q
03
Título
• ATR
• Imagens multiespectrais e
hiperespectrais
• Modelo
• Eigenspaces
• KLT
04
KLT
• Descreve as informações
c/conjunto mínimo de dados
• Redução da dimensionalidade dos dados
• Adaptação da KLT para
imagens multiespectrais e
hiperespectrais
05
Reconhecimento
• Uso de alvos militares
• Etapas
• Treinamento
• Representação
• Detecção
• Reconhecimento
06
Treinamento
• Supervisionado
• Escolha de classes
• Coleta de amostras
• Ensinamento
07
Representação
• Codificação
• Modelos
• Template-based
• Feature-based
• Appearance-based
08
Detecção
• Localização do alvo no
cenário
Reconhecimento
• Definição da classe em
que pertence
09
Imagens usadas
• Satélite Landsat 7
• Satélite Ikonos II
• Satélite Aviris
• LADAR (Radar a laser)
10
Métricas
• Métrica euclidiana
d  a b  c
2
2
2
11
Distâncias
Distância euclidiana
     i , (i  1,..., Nc )
2
i
2
Distância de Mahalanobis
d zi , z j   zi  z j  zi  z j 
2

1
T
12
Autovalores e Autovetores
Autovalores  de W
W  I 0
Autovetores
xi
de W
W  i I  xi  0
Para
( xi  0)
13
Modelo proposto
O modelo varre exaustivamente as
imagens, gerando-se janelas.
Conversão das imagens (colunas)
i,1  j' ,k , p (i  1,...,BN 2 ; k, j  1,...,N; p  1,...,B)
Conversão das imagens (bandas)
'
2
i,1  j ,k , p (i  1,...,BN ; p  1,...,B; k, j  1,...,N )
14
Modelo proposto
Cálculo da imagem média
1

M
M

i 1
i
Cálculo do “Espaço ”
 i  i  (i  1,...,M )
15
Montagem da matriz A
1
2
3
4
M
Ai , j   j ;i ,1
( BN 2 xM )
16
Montagem da matriz C
1
2
3
4
N2
C  AA
T
( BN 2 xBN 2 )
17
Montagem da matriz L
1
2
3
4
M
LA A
T
(MxM )
18
Montagem da matriz V
v1 v2 v3 v4
vM
Autovetores
da matriz L
(MxM )
19
Montagem da matriz U
u1 u2 u3 u4
uM
Autovetores
da matriz C
( BN 2 xM )
20
Cálculo dos Autovetores de C
M
ul   vlk  k , (l  1,...,M )
k 1
U  A( BN 2 xM ) V( MxM )
21
Treinamento do modelo
i  U ( *i ),i  1,...,Nc.
T
Treinamento supervisionado
Classes usadas
22
Reconhecimento dos alvos
 U (  )
T
Cálculo da distância euclidiana
     i , (i  1,..., Nc )
2
i
2
23
Cálculos dos thresholds
1) Máxima distância aceitável dos padrões
1
'
 i  max{i   j } (i, j  1,..., Nc; Q  1,...,50)
Q
2) Corte das quantidades de autovalores
• Autovetores com os 1, 5, 10 ou 20
maiores autovalores
24
Resultados obtidos
Imagem
Landsat 7
Classes:
Água
Cerrado
Reflorest.
C.Limpo
M.Galeria
25
Resultados obtidos
26
Resultados obtidos
Blocos:
11, 12, 21 e 22
3 bandas
espectrais
27
Resultados obtidos
Fator Q = 1
28
Resultados obtidos
Fator Q = 5
29
Resultados obtidos
Fator Q = 10
30
Resultados obtidos
Fator Q = 20
31
Resultados obtidos
Fator Q = 30
32
Resultados obtidos
Fator Q = 40
33
Resultados obtidos
Fator Q = 50
34
Resultados obtidos
Blocos:
23, 24, 33 e 34
35
Resultados obtidos
Fator Q = 1
36
Resultados obtidos
Fator Q = 5
37
Resultados obtidos
Cortes “hard”
com
diferentes
quantidades
de
autovalores
Fator Q = 1
Com 1 autovetor
Com 3 autovetor
Com 5 autovetores
Com 10 autovetores
38
Resultados obtidos
39
Resultados obtidos
40
Resultados obtidos
41
Resultados obtidos
Uso das seis
bandas espectrais:
1, 2, 3, 4, 5 e 7.
Pixels tomados
por colunas
Fator Q = 1
42
Resultados obtidos
Uso das seis
bandas espectrais:
1, 2, 3, 4, 5 e 7.
Pixels tomados
por colunas
Fator Q = 5
43
Resultados obtidos
Uso das seis
bandas espectrais:
1, 2, 3, 4, 5 e 7.
Pixels tomados
por bandas
Fator Q = 1
44
Resultados obtidos
Uso das seis
bandas espectrais:
1, 2, 3, 4, 5 e 7.
Pixels tomados
por bandas
Fator Q = 5
45
Resultados obtidos
Uso de 8 classes:
água, cerrado,
reflorestamento,
campo limpo,
mata galeria,
grama, solo
exposto e zona
urbanizada.
Uso de 3 bandas.
Fator Q = 1
46
Resultados obtidos
Uso de 8 classes:
água, cerrado,
reflorestamento,
campo limpo,
mata galeria,
grama, solo
exposto e zona
urbanizada
Fator Q = 5
47
Resultados obtidos
Uso de 8 classes:
água, cerrado,
reflorestamento,
campo limpo,
mata galeria,
grama, solo
exposto e zona
urbanizada
Fator Q = 10
48
Resultados obtidos
Uso de 8 classes:
água, cerrado,
reflorestamento,
campo limpo,
mata galeria,
grama, solo
exposto e zona
urbanizada
Fator Q = 20
49
Resultados obtidos
Uso de 8 classes:
água, cerrado,
reflorestamento,
campo limpo,
mata galeria,
grama, solo
exposto e zona
urbanizada
Fator Q = 30
50
Resultados obtidos
Uso de 8 classes:
água, cerrado,
reflorestamento,
campo limpo,
mata galeria,
grama, solo
exposto e zona
urbanizada
Fator Q = 40
51
Resultados obtidos
Uso de 8 classes:
água, cerrado,
reflorestamento,
campo limpo,
mata galeria,
grama, solo
exposto e zona
urbanizada
Fator Q = 50
52
Resultados obtidos
Uso de 8 classes:
água, cerrado,
reflorestamento,
campo limpo,
mata galeria,
grama, solo
exposto e zona
urbanizada
resultados do
sub-bloco 34 do
bloco 24
53
54
55
Os valores foram divididos por (1.0e+09)
56
Resultados obtidos
Uso de 5 classes.
Métrica de
Mahalanobis
Fator Q=1
*1000
57
Resultados obtidos
Imagem do
satélite
Ikonos II
Detecção de
alvos
Asfalto
58
Resultados obtidos
Imagem do
satélite
Ikonos II
Detecção de
alvos
Asfalto
59
Imagem Aviris
60
Ruídos nas imagem Aviris
61
Imagem Aviris com ruído
62
30 bandas – Fator Q=1
63
30 bandas – Fator Q=5
64
30 bandas – Fator Q=10
65
30 bandas – Fator Q=20
66
30 bandas – Fator Q=30
67
30 bandas – Fator Q=40
68
30 bandas – Fator Q=50
69
60 bandas – Fator Q=1
70
60 bandas – Fator Q=5
71
Comparação: 30 e 60 bandas
72
73
74
75
76
Imagens de Radar a Laser
77
Imagens de Radar a Laser
78
Imagens de Radar a Laser
79
Imagens de Radar a Laser
Imagens utilizadas para o treinamento
80
Imagens de Radar a Laser
81
Imagens de Radar a Laser
82
83
Thresholds calculados
84
Comparação classificadores
Modelo proposto x Mínima distância
Ambos utilizam a Norma Euclidiana como métrica
85
Comparação classificadores
Modelo proposto
Fator Q = 5
86
Comparação classificadores
Classificador da
literatura
Mínima
Distância
87
Comparação classificadores
Resultados do modelo proposto
88
Comparação classificadores
Resultados do classificador “Mínima distância”
89
Classificação do Índice Kappa
r
kˆ 
r
N  xii   xi  x i
i 1
i 1
r
N 2   xi  x  i
i 1
Sendo que: r = número de linhas ou colunas da
matriz de confusão; xii = número de observações
na linha i e coluna i; xi+ = total de observações
na linha i; x+i = total de observações na coluna i;
e N = número total de observações.
90
Índice Kappa = 0.8221 (excelente)
91
Índice Kappa = 0.9027 (excelente)
92
Mínima Distância com feições fora das classes
conhecidas
Índice Kappa = 0.530 (Moderada/Boa)
93
Conclusão
• Novo sistema ATR baseado na KLT
• O modelo permitiu o reconhecimento
automático de alvos em imagens de
satélite e de radar a laser
• Adaptação da KLT para o processamento
de imagens multiespectrais e
hiperespectrais
94
Conclusão
• Manipulação dos índices de falsos
positivos e negativo por meio do Fator Q
• Resultados comparáveis com os
classificadores da literatura
95