SISTEMA SEMI-AUTOMÁTICO
DE REGISTRO E MOSAICO DE
IMAGENS
Dmitry Fedorov
Dissertação de Mestrado em Computação Aplicada,
orientada pela Dr. Leila M. G. Fonseca.
INSTITUTO NACIONAL DE PESQUISAS ESPACIAIS,
São José dos Campos, 2002.
Sistema de registro
USUÁRIO
Imagens
SISTEMA
Escolha o método de registro.
Pontos de controle
Transformação associada
Resultados de testes de aceitação
Verificação de consistência e
edição dos pontos de controle.
Mosaico
Escolha do método de mosaico
Imagem
Registro
RESULTADO
Avaliação do resultado.
Sistema de registro
Código do sistema foi escrito em C++ utilizando
bibliotecas livres (Qt, libtiff, libjpeg)
Foi enfatizada a utilização em plataformas diferentes
Três métodos de registro automático foram
implementados:
• método baseado em optical flow e geometria
• método baseado na transformação wavelet
• método baseado em contornos
Método padrão
imagem1
O método baseado em
optical flow e geometria
imagem 2
Optical Flow
imagem 1
É o mais lento, porém é
o mais robusto e aceita
uma grande variedade
de dados de entrada
imagem 2
Extração de pontos utilizando máximos locais
pontos 1
pontos 2
Casamento preliminar utilizando janelas rotacionadas e
normalizadas
pontos
casados
Refinamento dos casamentos utilizando geometria
Método baseado em wavelets
O método baseado em
wavelets é importante
para o registro de
imagens de radar onde
identifica uma boa
quantidade de pontos
de controle
imagens
de
entrada
Pré-processamento
Decomposição wavelet
n=1,...,L
Extração de feições
L
Extração de feições
Casamento de feições
Apresenta melhor
precisão e eficiência de
registro do que o
método padrão
n
Casamento de feições
Refinamento de
parâmetros do modelo de
distribuição
Verificação de
consistência dos
casamentos
Função de transformação
final
Função de transformação
inicial
Interpolação
Casamento inicial
Imagens registradas
O método baseado em contornos
Apresenta processamento
rápido, porém só pode ser
utilizado em imagens que
possuem um número
suficiente de contornos
fechados bem definidos
imagem1
imagem 2
LoG
imagem 1
imagem 2
Extrair contornos utilizando código em cadeia
contornos
1
contornos
2
Casar contornos utilizando código em cadeia
É adequado para o registro de
imagens de diferentes
sensores pois o método de
casamento de feições não
depende da resposta
espectral
contornos
contornos casados
casados
Extrair pontos utilizando centroides dos contornos
pontos
casados
Refinar os casamentos utilizando geometria
Ferramentas do sistema
Pre-processamento:
Modificar resolução,
escolher a banda, realçar...
Edição de pontos de controle:
Remover, gravar ou carregar,
mostrar nas imagens...
Ferramentas do sistema
Registro de áreas retangulares aproximadamente
correspondentes selecionadas por operador
Testes do sistema
O sistema foi testado operacionalmente por vários
pesquisadores em:
• Instituto Nacional de Pesquisas Espaciais
• Universidade da Califórnia, Santa Barbara
• Office of Naval Research, China Lake Naval Air Warfare
Center, China Lake, Califórnia
Testes exaustivos foram executados com imagens:
• Radar
• Multi-sensores
• Alta resolução
• Seqüências de vídeo
Testes do sistema
Comparação entre os métodos padrão e wavelets:
Imagens
Método wavelets
Método padrão
Radar, JERS-1
(10/10/95) + (08/13/96)
Amazônia, floresta
(512*512)(512*512)
Tempo: 3185ms
C.P.: 53
RMSE: 0.7648
Tempo: 6099ms
C.P.: 6 (de 300)
RMSE: 1.0000
SPOT band 3 + TM band 4
(08/08/95) + (06/07/94)
Cidade Brasília
(512*512)(512*512)
Tempo: 3325ms
C.P.: 29
RMSE: 0.8710
Tempo: 5889ms
C.P.: 6 (de 300)
RMSE: 1.8257
TM band 5
(06/07/92) + (07/15/94)
Amazônia, floresta
(512*512)(512*512)
Tempo: 3104ms
C.P.: 188
RMSE: 0.5359
Tempo: 2914ms
C.P.: 4 (de 128)
RMSE: 0.7071
Testes do sistema
Comparação entre os métodos padrão e contornos:
Imagens
Método
contornos
Método padrão
Landsat, composição 3,4,5
Litoral
(1390*1500)(1200*1650)
Tempo: 2604ms
C.P.: 3
RMSE: 0.8165
Tempo: 6008ms
C.P.: 5 (de 128)
RMSE: 1.3416
Fotos aéreas
Área urbana, Bay area, Califórnia
(1283*2352)(1547*2284)
Tempo: 4566ms
C.P.: 32
RMSE: 1.4790
Tempo: 9183ms
C.P.: 22 (de 128)
RMSE: 2.0226
Fotos aéreas coloridas
Área urbana, Santa barbara, Califórnia
(306*386)(335*472)
Tempo: 521ms
C.P.: 6
RMSE: 0.4082
Tempo: 1392ms
C.P.: 21 (de 128)
RMSE: 1.2536
Imagens de florestas
Imagens da floresta amazônica, TM na banda 5,
adquiridas em diferentes datas, 07/06/1992 e 15/07/1994
Imagens de Radar
Imagens da floresta amazônica, JERS-1, adquiridas em
diferentes datas, 10/10/1995 e 08/13/1996
Imagens do CBERS
Mosaico de 4 imagens CBERS-IRMMS
Imagens Landsat (nuvens)
Mosaico de duas imagens Landsat de datas diferentes. Foi
gerado sem equalização em 3 minutos e 50 segundos
Detalhe do registro
Mosaico de duas imagens Landsat de datas diferentes. Foi
gerado com equalização em 5 minutos e 45 segundos
Imagens do LANDSAT-CBERS
Composição colorida das imagens registradas Landsat 7 –
PAN e CBERS CCD: R-PAN, G-4CCD, B-3CCD.
Fotografia digital
Demonstração do método de blending
Motivação
seqüência de 100 quadros gerado em 20 segundos
Mosaico
Mosaicos de
seqüências de 14
imagens visíveis e 6
termais de 640x480
pixels
Conclusão
• O sistema foi implementado e testado
• Existem binários para Windows, Linux, Solaris Sparc
• Desenvolvida a página WEB do sistema:
http://regima.dpi.inpe.br/
• Desenvolvida a versão demo para WEB:
http://regima.dpi.inpe.br/demo/
http://nayana.ucsb.edu/registration/
Congressos
Trabalhos publicados e apresentados em congressos
nacionais e internacionais:
• SPIE 9th International Symposium on Remote
Sensing, Crete, Greece, 2002
• IEEE International Geoscience and Remote Sensing
Symposium - IGARSS02, Toronto, Canada, 2002
• 29th International Symposium on Remote Sensing of
Environment, Buenos Aires, Argentina, 2002
• Worcap I, INPE, 2001
Interesse por instituições externas
Várias instituições demonstraram interesse no sistema:
1. Dr. Ralf Dunkel, General Atomics, San Diego, California;
2. Timothy Klassen, Avvida Systems Inc., Waterloo, Canada;
3. Ross Cobb, Aerials, Inc & Pan American Surveys, Inc, Miami,
Florida;
4. Kristof Ostir, Scientific Research Centre of SASA, Ljubljana,
Slovenia;
5. Veljko M. Jovanovic, Jet Propulsion Laboratory, Pasadena,
Califórnia;
6. Dr. G. Louis Smith, Langley Research Centre, NASA, Hampton,
Virginia;
7. Leonard John Otten, Kestrel Corporation, Albuquerque, New
Mexico;
8. André R. S. Marçal, Observatório Astronômico, Universidade
de Porto, Portugal.
Trabalhos futuros
• Pretende-se continuar o desenvolvimento do sistema:
• Adicionar suporte de georeferenciamento e estender
suporte de GeoTiff para todos os resultados
• Adicionar técnicas avançadas de equalização e
geração de mosaico de imagens
• Melhorar os métodos automáticos
Agradecimentos
Várias instituições participaram no desenvolvimento:
• Divisão de Processamento de Imagens, INPE
• Divisão de Sensoriamento Remoto, INPE
• Vision Lab, Universidade da Califórnia, Santa Barbara
• China Lake Naval Air Warfare Center, Califórnia
O trabalho foi financiado pelas instituições:
• CAPES
• SELPER Brasil
• Office of Naval Research, China Lake Naval Air
Warfare Center
• CalTrans
Demonstração do sistema
Regeemy