BALANCEAMENTO AUTOMATICO DE IMAGENS DIGITAIS Comissão Técnica: Fotogrametria José Alberto Quintanilha * Rodrigo Affonso de Albuquerque Nóbrega *,** * Escola Politécnica da Universidade de São Paulo Departamento de Engenharia de Transportes – Laboratório de Geoprocessamento Av. Prof. Almeida Prado, Travessa 2. nº 83 Cidade Universitária – São Paulo – Brasil CEP: 05508-900 Tel: +55 11 3818 5504 ** Aerocarta Engenharia de Aerolevantamentos S/A Rua Michigan, 547 – São Paulo – Brasil CEP: 04566-000 Tel: +55 11 5543 6466 [email protected] [email protected] RESUMO O propósito das presentes instruções é orientar os autores de trabalhos a serem publicados nos Eventos. Observe que o formato destas instruções pode ser tomado como modelo para a digitação dos artigos. Este resumo não precisa ser muito longo, com cerca de 5 a 10 linhas. ABSTRACT Image Balancing is a process able to minimize radiometric divergences in one image or several adjacent images. Many factors can cause this divergences and some of them can be explained like chromatic aberrations in different aerial camera positions, hot spots, sun glint and differences in scanner quality, differing film types or images acquired at different times For manual film process, technicians have used different illuminations to distinct regions of image through attenuant light filters to hot spot region and high illumination to dark region, estimating how much light change in color was needed in each part of image to create a perfect balancing. The digital process requires an operator to load each digital image into a computer to manually or automatically lighten, darken and color-correct each image until it satisfactorily matches adjacent photos. The necessity of image balancing in Photogrammetry today is more than visual effects. Correlation process have better effects to balanced images than non-balanced images. This paper purpose is show the actual state of the art as well as the main software and hardware solutions to this problem, suggesting suitable methodology to practical works, reporting comparative results and any development implementation. 1 INTRODUÇÃO Inúmeras são as técnicas e ferramentas hoje existentes para o processamento digital de imagens, produtos estes derivados da recente revolução tecnológica, substituindo quase que por completo, procedimentos desenvolvidos e utilizados ao longo de várias décadas. Estas reestruturações metodológicas, adequando produtos derivados de técnicas e ferramentas analógicas para o mundo digital visam, em sua maioria, a implementação de rotinas automatizadas, minimizando custos e prazos e maximizando a produtividade, qualquer que seja o campo de atuação. Processamento de imagem, hoje tratado quase que exclusivamente como técnica computacional, tem suas origens com o surgimento das fotografias e, assim como os filmes e câmaras fotográficas, sofreram grandes alterações ao longo do tempo. Ao contrário das técnicas de processamento digital de aplicadas no Sensoriamento Remoto orbital, o balanceamento de cores, brilho e contraste localizados tem sua origem na Fotogrametria, mais precisamente nos laboratórios de revelação, pela necessidade de imagens de tonalidades homogêneas na composição de mosaicos, na amenização de regiões altamente contrastadas ou realçando regiões pouco contrastadas. Este procedimento, embora eficiente, consiste na revelação manual de fotografias, promovendo um tratamento diferenciado para cada parte da imagem, seja através de filtros, iluminação diferenciada ou aplicação personalizada de agentes químicos, tornando o processo lento e arriscado, necessitando operadores qualificados e com vasta experiência em Fotogrametria. Hoje, com o atual estágio da tecnologia digital, a procedimentos analógicos de Fotogrametria, utilizando equipamentos ópticos/mecânicos de alta precisão, tornaram-se obsoletos. Mesmo ainda utilizados, os equipamentos analógicos não mais se destacam dentre os principais equipamentos fotogramétricos, seja pela escassez profissional/manutenção ou pelo desempenho, se comparado aos atuais equipamentos digitais disponíveis no mercado. Embora os fundamentos matemáticos sejam preservados, a principal alteração sofrida pela Fotogrametria Digital envolve basicamente a substituição de instrumentos restituidores ópticos/mecânicos por computadores, inserindo por meio de software e hardware os conceitos físicos de estereoscopia e orientação das fotografias aéreas, utilizando ainda os recursos digitais para criação de mapas e ortofotocartas, para os quais constantes avanços vem sendo obtidos objetivando automação destes processos. Assim como outros procedimentos, o tratamento prévio das imagens aéreas também é necessário na Fotogrametria Digital. Para tanto, sua evolução envolve desde conceitos básicos de tratamento e restauração de imagens até modelagens de parâmetros estatísticos, seja através da intervenção de um operador ou por procedimentos automáticos, visando uma melhora radiométrica expressiva. A necessidade de um balanceamento de cores em um conjunto de imagens esta se tornando rotina nas atividades de aerolevantamento, uma vez que produtos como mosaicos digitais e ortofotos vem ganhando destaque entre os produtos cartográficos disponíveis, seja pelos clientes consumidores ou pelos recursos atualmente disponíveis em software SIG. Mesmo estando o mercado cartográfico em expansão, as empresas não contam com uma grande variedade de produtos. Poucas são as empresas produtoras de equipamentos fotogramétricos, sendo que a maioria não dispõe de todas as ferramentas necessárias em uma empresa de Aerofotogrametria. Desta forma, somente poucos dos produtos disponíveis no mercado possuem recursos capazes de balancear imagens, de forma automatizada ou não, possibilitando um tratamento matemático exclusivo para cada região da imagem, calculando e aplicando fatores de correção radiométrica para um dado conjunto de imagens. 2 OBJETIVOS Este trabalho é parte de um projeto de pesquisa em desenvolvimento pelo Laboratório de Geoprocessamento da Universidade de São Paulo, a qual visa um estudo detalhado sobre o emprego da técnica de balanceamento de imagens, relatando sua origem, o tratamento das aerofotos em laboratórios fotográficos e sua evolução e adaptação aos recursos digitais. O projeto no geral conta com exemplos reais do balanceamento de imagens digitais interativamente, através de intervenções manuais e por procedimentos automáticos. Paralelamente, estão sendo estudados procedimentos baseados no processamento local e imagens digitais, implementados em alguns dos software fotogramétricos de mercado, bem como implementações e simulações utilizando o MatLab® The MathWorks, Inc. O objetivo deste trabalho é o de apresentar o estado a arte do balanceamento de imagens, seus resultados e a necessidade, citando as principais soluções disponíveis no mercado, relatando de forma sucinta a metodologia aplicada para o processamento das imagens, ilustrando o procedimento com imagens originais e imagens balanceadas e mostrando o processamento localizado e imagens. 3 METODOLOGIA O interesse em métodos de processamento digital de imagens parte de duas áreas de aplicação: tratamento de informações gráficas para interpretação humana e tratamento de informações gráficas voltado a aplicações em sistemas automatizados (Gonzales e Woods, 1993). Na Fotogrametria, a necessidade de imagens aéreas com tonalidades homogêneas esta presente na tanto qualidade gráfica dos produtos oferecidos (fotos, ortofotos, mosaicos) como nas rotinas automatizadas da Fotogrametria Digital, baseadas na correlação de imagens e reconhecimento de padrões (aerotriangulações, modelos digitais de terreno, etc.). Desta forma, a idealização deste trabalho, deve-se primeiramente a prática vivida nas atividades de uma empresa de Aerofotogrametria, aliado ao conhecimento prévio em Processamento Digital de Imagens, o qual motivou um intenso levantamento bibliográfico e uma constante busca por soluções consultando empresas desenvolvedoras de produtos para Aerofotogrametria e implementações locais. 3.1 Procedimento Analógico Desde sua origem, a Fotogrametria conta com a mais alta qualidade em fotografias, não somente pela geometria estável e calibrada de suas câmaras, mas pela qualidade dos filmes e processos de revelação necessários a técnica. O tratamento individualizado das fotografias aéreas durante a revelação em um laboratório fotográfico necessita habilidade e experiência por parte dos técnicos, que contam com dispositivos puramente analógicos para homogeneização das fotografias. Vale ressaltar que o filme fotográfico é a matéria-prima de todo um trabalho futuro a ser realizado e, por ser único e exclusivo, qualquer intervenção errônea durante sua revelação pode despender grandes prejuízos. Durante o processo de revelação do filme, são utilizados basicamente agentes químicos e luzes que a imagem original, (Gonzales e Woods, 1993). Desta forma, podemos assumir que o balanceamento de imagens, por promover uniformização entre as imagens processadas, pode ser classificado como técnica de tratamento de imagens (Image Enhancement). Por outro lado, segundo os mesmos autores, denomina-se restauração de imagens os procedimentos capazes de reconstruir ou reduzir os efeitos em uma imagem causados por algum fenômeno de degradação, o qual impossibilita a imagem original de representar fielmente a cena. Por outro lado, se pensarmos que fenômenos como a distribuição não uniforme de luminosidade na tomada das aerofotos ou o excessivo reflexo causado por espelhos d`água, os quais são uniformemente minimizados após o balanceamento das imagens, podemos classificar a técnica também como restauração de imagens (Image Restoration). Qualquer que seja a classificação, sabe-se de antemão que o processo deve ser diferenciado para cada porção da imagem e para cada uma das imagens de um conjunto. Parâmetros estatísticos são calculados e devidamente aplicados, contando com processamentos locais de ajuste de histograma. Segundo SCHOWENGERT-1997, a idéia essencial é a partição de uma imagem em vários blocos adjacentes e um melhoramento de contraste pixel a pixel, cujos valores são estatisticamente extraídos dos blocos de forma independente, o qual recebe o nome de Local Range Modification (LRM) ou ajuste local de histograma. especiais, sendo estas ajustáveis em sua intensidade de forma independente para diferentes regiões da fotografia. Com isso, é possível expor o filme em uma região pouco sensibilizada à uma intensidade de luz maior e, de forma análoga, expor uma região altamente sensibilizada do filme a uma intensidade menor de luz. Uma outra forma e minimizar as discrepâncias entre regiões distintas é a aplicação localizada de agentes químicos reveladores. Neste processo, a experiência de um técnico é fundamental pois a cada etapa de revelação o processo pode ser interrompido como um todo e, através de um pincel a aplicação destes agentes reveladores é feita localmente nas regiões não uniformes. A recente demanda por fotografias coloridas acelerou o processo de revelação e, embora exista a revelação manual, atualmente os filmes fotogramétricos são revelados em processadoras automatizadas, que nem sempre são capazes de corrigir as imperfeições das imagens, principalmente quando a imagem necessita de um processo não linear de revelação. Desta forma, é comum encontrarmos fotografias recentes que, apesar de todo avanço tecnológico utilizado, possuem qualidade inferior se comparadas às fotografias reveladas por processos manuais. 3.2 Procedimento Digital Com a evolução dos equipamentos para o mundo digital, novas técnicas foram incorporadas para execução de procedimentos capazes de produzir resultados semelhantes aos obtidos por equipamentos analógicos, porém visando ganhos em tempo e custo as operações. Normalmente, são desenvolvidas rotinas em software simulando antigos procedimentos para um posterior aperfeiçoamento, explorando recursos computacionais. Na Fotogrametria, onde antigos instrumentos restituidores utilizando um rigoroso sistema de lentes e engrenagens de alta precisão foram pouco a pouco cedendo lugar primeiramente a sistemas analíticos, compostos também por circuitos e componentes eletrônicos, os quais utilizavam ainda de forma parcial recursos computacionais, agora são maciçamente substituídos por estações de trabalho totalmente digitais, dotadas de programas que substituem interações ópticomecânicas por modelagens matemáticas. A fotografia aérea na Fotogrametria Digital, mesmo que obtida por câmara analógica, necessita de tratamento prévio adequado. O filme aéreo, uma vez revelado, é utilizado na conversão das imagens do formato analógico para o digital através de scanners apropriados. Neste processo, alguns parâmetros podem ser ajustados, adequando de forma linear ferramentas como filtro e ajuste de histograma a qualidade de imagem a ser processada. O principal objetivo as técnicas de tratamento de imagens é o de promover uma imagem capaz de obter melhores resultados para uma aplicação específica Bloco 1 2 Imagem dividida em blocos (Image Tiles) 3 4 Calculados média e desvio padrão de cada bloco 6 7 8 9 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Figura ilustrativa adaptada . 10 Definidas espessuras das bordas da imagem permite ao algoritmo ignorar tais regiões da imagem Cada bloco é processado de forma a que o novo histograma apresente média e desvio padrão próximos ao desejado Bordas da imagem De forma geral, media representa o brilho e desvio padrão o contraste. Dodger © LH Systems, LLC, March 26, 1988 Figura 1: Exemplo ilustrativo da técnica Local Range Modification (LRM) descrito por SCHOWENGERT, 1997 e adaptado no programa Dodger © LH Systems, LLC. 3.2.1 Balanceamento em uma única imagem Para o caso de uma única imagem, a técnica consiste basicamente na adaptação da LMR às necessidades de homogeneização da imagem, para qual é prevista um ganho em luminosidade para regiões escurecidas, normalmente os extremos das fotografias aéreas, e um leve escurecimento na região central. lagos, bem como regiões com luminosidade reduzida próximo ao centro da imagem. E emprego da técnica de LRM permite que cada porção pré-definida da imagem seja tratada de forma única sucessivamente à todos os blocos adjacentes. Para isso, em uma etapa anterior, a imagem deve ter alguns parâmetros globais calculados, como média e desvio padrão, para que, durante etapas posteriores, seja possível estimar se uma determinada região apresenta valores de brilho e contraste acima ou Todavia, é comum o aparecimento de regiões extremamente claras próximas as bordas da imagem, devido a variação do relevo e principalmente ao excessivo reflexo de rios e abaixo da média ou de um valor pré-determinado. Outro fator importante é a decomposição da imagem, quando colorida, em canais RGB (vermelho, verde e azul respectivamente), tratando-os de forma independente. Neste caso, a estrutura os blocos da LRM é preservada em cada canal processado, necessitando que o processo seja repetido três vezes, demandando maior tempo de processamento. RED IMAGEM ORIGINAL GREEN DECOMPOSIÇÃO BLUE Figura 2: Decomposição de uma imagem colorida em canais RGB, cedida por: Aerocarta S.A. engenharia de aerolevantamentos. Figura 3: imagem original (esq.) X balanceada (dir.) em área rural com intensa presença de água - Estado de São Paulo, esc.1:35000, cedida por: Aerocarta S.A. engenharia de aerolevantamentos. O balanceamento aplicado a um conjunto de imagens não difere dos princípios anteriores, ou seja, requer processamentos localizados (LRM), para os quais valores serão calculados visando uma aproximação das tonalidades do bloco em questão ao restante os blocos das demais imagens. Primeiramente são calculados valores de média e desvio padrão globais dos canais vermelho, verde e azul de todas as imagens do conjunto. Posteriormente, um valor único para cada canal que servirá como referência deve ser calculado, por exemplo através de uma nova média, conforme mostra a tabela abaixo: 3.2.2 Balanceamento em um conjunto de imagens Na Fotogrametria não é comum trabalhar isoladamente com uma imagem apenas, principalmente se o objetivo final do processamento for a composição de mosaicos ou a aerotriangulação de um conjunto de imagens para restituição de mapas. Desta forma, se pensarmos na qualidade radiométrica das imagens, um conjunto de imagens com tonalidades uniformes, qualquer que seja o propósito, é quase sempre mais apropriado. Bloco i Média 120 119 133 D.Padrão 36 39 38 Bloco i Média 132 117 145 D.Padrão 43 31 42 Bloco ii Bloco iii Bloco iv 127 129 118 33 37 29 125 131 125 34 39 33 138 144 138 36 36 36 Bloco ii Bloco iii Bloco iv 143 143 139 38 35 31 139 129 133 36 32 29 145 153 147 44 45 39 ... ... ... 128 131 129 35 38 34 ... ... ... 136 133 137 39 38 37 ... ... ... 129 119 129 35 26 33 IMG 1 IMG 2 . . . Bloco i Média 125 122 131 D.Padrão 37 27 32 Bloco ii Bloco iii Bloco iv 132 110 136 35 27 33 131 115 121 36 25 32 136 119 132 32 29 36 IMG n Valores Médios 129 35 119 26 129 33 Tabela 1: Valores de média e desvio padrão dos blocos, das imagens e do conjunto de imagens Em um projeto aerofotogramétrico de grandes proporções, é comum a execução do recobrimento aéreo em etapas, atendendo especificações prévias como o horário de vôo (horário onde a influência de sombras seja minimizada), ausência de nuvens ou mesmo fumaça de queimada. Neste caso, vários vôos com datas distintas são necessário para o recobrimento da região de interesse que, mesmo sobre controle, reflete na qualidade das imagens. Desta forma, a não homogeneidade entre as imagens será refletida nos valores calculados de média e desvio padrão se comparado as demais imagens do conjunto. Imediatamente ao final do processo estas imagens sofrerão influência das demais e passarão a ter valores de média e desvio padrão próximos as demais, cujo efeito será a aproximação das tonalidades nos canais vermelho, verde e azul entre todas as imagens do conjunto, ou seja, as imagens após o processamento tendem a apresentar semelhança entre histogramas. Outra forma de obter imagens digitais com tonalidades globais homogêneas é a padronização manual dos histogramas através de curvas ou manipulação da tabela de cores, ferramentas estas disponíveis na maioria dos programas editores de imagem. Como os efeitos sofridos por uma imagem aérea não são lineares, a simples utilização destas ferramentas não resolverá por completo a não homogeneidade das imagens. Assim, se nenhum processo local de alteração de histograma for aplicado, as imagens permanecerão com regiões excessivamente claras e escuras próximas ao centro e as bordas, respectivamente. Alguns dos aplicativos existentes para balanceamento de imagens presentes em software de fotogrametria são capazes de extrair parâmetros das imagens sem a necessidade de processá-las posteriormente, gerando relatórios estatísticos detalhados para intervenção de um operador, o qual pode alterar de modo global a tonalidade, brilho ou contraste em qualquer dos três canais. Assim, caso as imagens aéreas não apresentem resultados satisfatórios quanto a tonalidade por exemplo, a introdução manual e parâmetros forçará o sistema a corrigir sua tonalidade para uma mais adequada, desde que esta alteração não comprometa a interpretação das feições mapeáveis presentes na imagem. Figura 4:Fotoíndice de imagens originais X fotoíndice de imagens balanceadas - Estado de São Paulo, esc.1:35000, cedida por: Aerocarta S.A. engenharia de aerolevantamentos 4 RESULTADOS Mesmo com o trabalho em desenvolvimento, algumas conclusões já podem ser extraídas. Quanto a implementação de algoritmos, apesar de lento, o MatLab® tem mostrado eficiência e disponibilidade de funções básicas de processamento de imagens, como recorte, manipulação de histograma , facilitando o desenvolvimento de funções mais avançadas. Desta forma, o desenvolvimento de funções de LRM no MatLab® tem resultado em imagens homogeneamente balanceadas, comprovando a eficiência da técnica, seja em uma imagem ou em um conjunto. Como complemento, um estudo mais detalhado deve ser feito visando a suavização entre os blocos processados, pois a simples aplicação da LRM ressalta linhas de quebra nas divisas dos mesmos. Para contornar, alguns modelos de interpolação e recobrimento dos blocos estão sendo estudados e testados, conforme ARTERO & TOMMASSELLI, 2000, cujos resultados já podem ser apresentados, , conforme ilustra a figura 6 a seguir. Figura 5: Imagem original (dir) X imagem balanceada (esq) - rotina implementada utilizando o MatLab®. 5 REFERÊNCIAS American Society of Photogrammetry, 1980. Manual of Photogrammetry, Falls Church, VA, USA. Fourth Edition pp. 305-363. ARTERO, A. O., TOMMASELLI, A. M., 2000. Limiarização Automática de Imagens Digitais, Boletim de Ciências Geodésicas, Curitiba, Brazil, pp 38-48. AVERY, T. E., 1968. Interpretation of Aerial Photographs, Urbana, Illinois, EUA. Second Edition, pp.86-97. CORBLEY, K.P., 1996. Color Aerial Photography is Setting Lorain Country, Ohio’s Digital Ortho-Based GIS Project Apart from Many Others, Denver, CO, USA. http://www.eomonline.com/Comon/Arquives/April96/c orbley.htm (24 May 2001) DREW, M. S., WEI, J., LI, Z.N., 1999. IlluminationInvariant Image Retrieval and Video Segmentation, Pattern Recognition Society – 32 pp1369-1388. GONZALES, R. C., WOODS, R. E., 1993. Digital Image Processing, New York, USA. Chap. 4,5,7. LATOREE, M., DIAS, A., SHIMABUKURO, Y., CARVALHO, O., 2001. A Influência dos Efeitos da Geometria de Iluminação na Análise de Alvos de Superfície Terrestre Obtidos a Partir de Dados AVIRIS., Congresso Brasileiro de Sensoriamento Remoto, Foz do Iguaçu – Brazil LH - Systems, 1998. Socet Set User Manual - Image Balancing: Dodger, San Diego, USA. Chap. 36 pp. 110. NOVO, E. M., 1992. Sensoriamento Remoto Princípios e Aplicações, São José dos Campos, Brazil. Segunda Edição, pp.205-265 SCHOWENGERDT, R. A., 1997. Remote Sensing Models and Methods for Image Processing, San Diego, CA, USA. Second Edition, pp. 202-219. STRAND, E. J., 1999. It Takes a Wizard to Create Seamless Air Photo Mosaics. Synergetics Inc, Fort Collins, CO, USA. http://www/geoplace.com/gw/1999/0199/199nuts.asp (25 May 2001) ZHAO, L., YANG, Y.H., 1999. Mosaic Image Method: A Local and Global Method, Pattern Recognition Society - 32 pp.1421-1433.