AVALIAÇÃO DE TÉCNICAS DE REGISTRO E RECONSTRUÇÃO DE IMAGENS NO
PROBLEMA DE SUPER-RESOLUÇÃO
Arthur Faria Porto∗, André Paim Lemos†
∗
†
Instituto Federal do Norte de Minas Gerais - Departamento de Informática
Fazenda Varginha, 39560-000
Salinas, MG, Brasil
Universidade Federal de Minas Gerais - Departamento de Engenharia Eletrônica
Av. Antônio Carlos, 6627, 31270-901
Belo Horizonte, MG, Brazil
Emails: [email protected], [email protected]
Abstract— In this paper a evaluation of distinct image registration and reconstruction methods are applied to
the Super-Resolution problem. Four image registration and five image reconstruction methods were investigated.
The objective of this study is to find, among the evaluated methods, the best combination of techniques able to
generate a high resolution image based on a set of low resolution images. The candidate methods were selected
from several distinct controlled test cases proposed to evaluate the methods in difference scenarios. The best
image registration and reconstruction methods were selected and applied in a real super resolution problem. The
experiment results were able to show the efficacy of the chosen combination.
Keywords—
Super-Resolution, Image Registration, Image Reconstruction.
Resumo— Neste trabalho uma avaliação de distintos métodos de registro e reconstrução de imagens são aplicadas ao problema de Super-Resolução. Quatro métodos de registro e cinco métodos de reconstrução de imagem
foram investigados. O objetivo deste estudo é encontrar, dentre os métodos avaliados, a melhor combinação de
técnicas capazes de gerar uma imagem de alta resolução com base em um conjunto de imagens de baixa resolução. Os métodos candidatos foram selecionados a partir de distintos casos de teste controlados, propostos para
avaliar os métodos em cenários de diferença. Os melhores métodos de registo e reconstrução de imagens foram
selecionados e aplicados a um problema real de Super-Resolução. Os resultados dos experimentos foram capazes
de demonstrar a eficácia da combinação escolhida.
Palavras-chave—
1
Super-Resolução, Registro de imagens, Reconstrução de imagens.
Introdução
A partir das imagens digitais inúmeras informações podem ser extraı́das. Aplicações que se utilizam dessas informações almejam, ou dependem,
de imagens de alta resolução (AR). Maiores resoluções propiciam um maior detalhamento do contexto observado auxiliando à tomada de decisão,
tanto para interpretação humana, quanto para sistemas de máquina automáticos. Apesar das contı́nuas pesquisas para desenvolvimento de sensores
com maiores resoluções, a sua utilização é restrita
devido a um elevado custo, inviabilizando algumas aplicações. No entanto, existem métodos que
permitem o aumento da resolução de imagens geradas por sensores de baixa resolução (BR), como
por exemplo, as técnicas de Super-Resolução (SR)
(Milanfar, 2010)..
A nı́vel de hardware, o ganho em resolução
espacial pode ser obtido de duas maneiras, diminuindo o tamanho do pı́xel e aumentando a
área do sensor. O tamanho do pixel depende do
conjunto óptico. Geralmente, as lentes utilizadas
apresentam aberrações geométricas que causam
difrações óticas, restringindo a resolução do sensor (Cossairt, 2011). Além disso, ao diminuir as
dimensões do pı́xel a sensibilidade à luz também
diminui, causando perdas na relação sinal/ruı́do
do sensor (Chen et al., 2000). Por um outro lado,
aumentar as dimensões do sensor (maiores quantidades de pı́xeis) acarreta em um maior consumo
de energia, que amplifica a capacitância do sistema.
Com as restrições existentes a nı́vel hardware,
métodos de SR podem aplicados. Os métodos de
SR utilizam de imagens provenientes de sensores
de BR, esses sensores geralmente não tem especificações complexas e são de baixo custo.
Geralmente, o processo SR pode ser dividido
em 2 etapas, registro de deslocamento entre as
imagens e reconstrução. Portanto, o principal objetivo do presente trabalho é analisar diferentes
técnicas de registro e reconstrução de imagens de
BR avaliando o seu desempenho, com o fim de
obter uma combinação de métodos que beneficie
a aplicação em contextos que possam usufruir de
imagens com resolução aumentada.
Esse trabalho está dividido da seguinte forma.
Na sessão seguinte o modelo do processo de SR
é descrito, bem como, os métodos de registro e
reconstrução de imagens estudados no trabalho.
Os experimentos realizados e os resultados obtidos são apresentados na sessão 3. E por fim, as
conclusões do trabalho são expostas.
2
Super-Resolução
As abordagens utilizadas pelos métodos de SR
procuram estabelecer um processo inverso ao processo de captura de um sistema de imagem. As
câmeras digitais usam um modelo que captura observações do mundo real gerando imagens digitais.
No entanto, durante o processo perdas naturais
ocorrem no sinal observado.
A primeira etapa no processo de captura é
a discretização do sinal contı́nuo. A informação
de entrada do sistema são múltiplas imagens com
possı́veis deslocamentos entre si. Ao passar pelo
sistema óptico, as observações capturadas passam
pelas lentes da câmera sofrendo efeitos de “borrão”(blur ). Atingindo o sensor as imagens tem a
sua resolução reduzida, além de ter parte da informação alterada por ruı́do. Finalmente, depois
de todo processo, as imagens são apresentadas à
saı́da do sistema.
Considerando uma imagem de AR X =
T
[x1 , x2 , ..., xN ] , amostrada acima da taxa de Nyquist, de tamanho L1 N1 × L2 N2 representada por
um vetor unidimensional, rearranjado em ordem
lexicográfica, onde, N = L1 N1 × L2 N2 e, L1 e
L2 são, respectivamente, os fatores de escala horizontais e verticais, as amostras de BR geradas
possuem tamanho N1 × N2 . A k-ésima observação de baixa resolução pode ser descrita por,
T
Yk = [yk,1 , yk,2 , ..., yp,M ] , onde k = 1, 2, ..., p e
M = N1 × N2 . Sendo X constante, exceto pela
degradação e pelos deslocamentos, o modelo de
observação pode ser representado por:
Yk = Dk Bk Mk X + nk ,
para
1 ≤ k ≤ p (1)
onde, Mk , de tamanho L1 N1 L2 N2 × L1 N1 L2 N2 ,
é a matriz de encapsulamento, Bk , de tamanho
L1 N1 L2 N2 × L1 N1 L2 N2 , a matriz de Blur, Dk , de
tamanho (N1 N2 )2 ×L1 N1 L2 N2 , matriz de redução
de resolução e, nk o vetor que reproduz o ruı́do do
processo.
Geralmente, os deslocamentos contidos no
processo de captura podem ser variados - translação, rotação ou transformações afins. Esses deslocamentos são codificados pela matriz Mk . O blur
causado pelo conjunto óptico são modelados em
Bk , e os operadores de redução de resolução, que
definirão as dimensões da observação, são definidos por Dk .
O grande desafio da SR se dá ao fato de que
a matrizes representadas por Dk , Bk e Mk são
muito esparsas, além desse sistema linear ser tipicamente um problema mal posto. Em sistemas
reais de captura essas matrizes são desconhecidas
(Milanfar, 2010). Portanto, o método de SR deve
ser capaz de estimar, de maneira eficaz, cada uma
dessas matrizes, e com base nas observações de
BR disponı́veis, buscar reverter da melhor forma
o processo de captura, reproduzindo a cena de AR
observada.
O registro é o processo de mapeamento das
imagens sobre um mesmo plano de referência.
Esse mapeamento é uma etapa crucial para as técnicas de SR (Baboulaz e Dragotti, 2009). As frações deslocamento no conjunto de imagens devem
ser inferiores ao tamanho de um pı́xel (sub-pı́xel),
portanto os métodos para estimativa desses deslocamentos devem ser precisos.
A fase de reconstrução pode ser dividida em
interpolação e restauração. Após o registro das
imagens, estas são posicionadas em um plano de
alta resolução proporcional a um fator de escala
escolhido. Este processo é chamado de interpolação. A imagem resultante desse processo pode
apresentar imperfeições, devido aos equı́vocos no
registro das imagens ou a falta de imagens relevantes para o problema. Por isso, a restauração tem
como objetivo tratar as incertezas do processo oferecendo uma imagem de AR com mais qualidade.
2.1
Registro
O registro de imagens pode ser definido como o
mapeamento entre duas imagens, tanto espacialmente, quanto a nı́vel de intensidade (Brown,
1992). Através de modelos de transformação é
possı́vel a combinação das imagens em um alinhamento geométrico comum. Como as técnicas de
SR utilizam múltiplas imagens com movimentações mı́nimas entre elas é necessário que o registro em um plano comum seja preciso, com isso é
possı́vel a reconstrução eficaz da imagem de AR.
As diferenças entre as imagens podem ser causadas por tipos variados de transformações como
translação (vertical e horizontal), rotação, escala
e transformações afins. Nas sessões abaixo os quatro métodos avaliados no trabalho são brevemente
descritos, todos eles trabalham com a estimativa
de transformações apenas de translação e rotação.
Outros tipos de transformações não são comuns
em problemas de SR. Como o conjunto imagens de
BR devem apresentar diferenças mı́nimas entre sı́,
geralmente imagens que apresentam transformações afins tendem a não contribuir com informações relevantes ao problema de reconstrução.
2.1.1
Keren
O método espacial de estimativa de rotação
e translação entre duas imagens proposto por
(Keren et al., 1988) usa uma abordagem iterativa
baseando-se nas expansões da série de Taylor. Visando a precisão do método, um esquema piramidal de escalas é utilizado. Primeiramente os parâmetros são calculados para uma escala pequena
(geralmente 64x64) e em seguida a cada iteração
do algorı́timo os parâmetros são interpolados e reajustados para escalas superiores, até que se atinja
a escala da imagem original.
2.1.2
Marcel
O registro de imagens desenvolvido por (Marcel
et al., 1997) é um método baseado no domı́nio da
frequência. A ideia chave consiste em representar
as transformadas de Fourier de ambas imagens em
coordenadas polares. Nesse novo plano de coordenadas é possı́vel obter duas funções que se diferenciarão por um deslocamentos de translação correspondente ao ângulo de rotação entre as imagens.
Para detectar a translação entre as funções, um
método de correlação de fase é aplicado obtendo
o ângulo de rotação entre as imagens. Após a estimativa da rotação, a transformada de Fourier
da imagem a ser registrada é contra rotacionada,
e novamente a correlação de fase é aplicada para
calcular os parâmetros de translação.
2.1.3
Lucchese
A proposta de (Lucchese e Cortelazzo, 2000) se
baseia na propriedade que, a magnitude da transformada de Fourier de uma imagem, e a magnitude espelhada da transformada de Fourier da sua
versão rotacionada, possuem um par de linhas ortogonais de passagem pela origem. A estimativa
de rotação se dá em três etapas. Na primeira, a
transformada de Fourier das imagens é expressa
em coordenadas polares (assim como em (Marcel
et al., 1997)) com o objetivo de detectar o declive
formado pelas linhas ortogonais que passam pelas
origens. Esse ângulo é estimado através da construção de um histograma contendo a distribuição
dos ângulos, onde é esperado que esse histograma
mostre um pico de correspondência do declive das
duas linhas. Então o histograma é recalculado em
uma imagem com resolução maior, concentrandose ao redor da primeira estimativa. O refinamento
final se dá pela aplicação de uma regressão linear.
Por fim deslocamentos horizontais e verticais estão estimados utilizando um método padrão de
correlação de fase.
2.1.4
Vandewalle
O método proposto por (Vandewalle et al., 2006)
também trabalha no domı́nio da frequência utilizando coordenadas polares. O método considera
que o ângulo de rotação entre as imagens é o ângulo onde a correlação máxima entre as imagens é
atingida uma vez que a imagem a ser registrada é
rotacionada por esse ângulo. Para medir a correlação, uma função calcula o conteúdo de frequência
para valores de ângulo variados, através da integração por linha radiais, para ambas imagens. O
ponto que indica o valor máximo de correlação
entre elas indica a diferença de rotação. Para que
valores proporcionais sejam calculados, o cálculo
é limitado a um raio circular inferior ao raio da
imagem e valores de baixa frequência são descartados abaixo de um limiar. Uma vez que a rotação
é estabelecida, o deslocamento transacional entre
as imagens é calculado através do o declive da diferença de fase entre as imagens no domı́nio da
frequência.
2.2
Reconstrução
A partir do registro das imagens, os métodos de
reconstrução fazem a fusão das imagens de BR em
uma única imagem de AR. O principal objetivo é
tratar as incertezas provenientes do modelo de observação utilizado na captura das imagens de BR.
A abordagem comumente utilizada é baseada em
processos iterativos de otimização que fazem o refinamento da imagem de AR comparando-a com
as imagens de BR. Além disso, as abordagens se
diferem com os termo de regularização que são
adicionados a função objetivo do problema, como
restrições ao problema. Esses termos tem o objetivo de adicionar informações a priori ao problema
que auxiliarão a convergência do método.
2.2.1
Iterative Back Projection
O método de reconstrução formulado por (Irani
e Peleg, 1991), chamado de “retroprojeção iterativa”, ou iterative back-projection (IBP) a imagem
de AR é estimada pela retroprojeção da diferença
(o erro) entre a simulações de BR, provenientes
da imagem de AR gerada (utilizando operações
de blur ), e as imagens de BR originais. O primeiro passo é gerar uma suposição da imagem de
AR e então por meio de um processo de otimização iterativo a imagem de AR é repetidamente
refinada pelo erro encontrado até que um critério
de parada seja atingido.
2.2.2
Total Variation
O segundo método se baseia na aplicação da “Variação Total”, ou Total Variation (TV) proposta
por (Rudin e Osher, 1994) como termo de regularização na reconstrução da imagem de AR. A
norma TV utiliza o gradiente como uma função
de penalização. A quantidade total de mudança
da imagem é penalizada pela norma L1 da magnitude do gradiente da intensidade da imagem. A
tendência da aplicação da TV é uma imagem mais
nı́tida, preservando as bordas da imagem.
2.2.3
Robust super-resolution
A proposta de (Zomet et al., 2001) introduz uma
mudança no estimador (processo de otimização do
método) da SR, aplicando a mediana do erro no
critério de avaliação do resultado, ao invés da aplicação padrão que se utiliza da média. A abordagem resulta em um estimador robusto contribuindo para a redução do erro causado pelas estimativas inconsistentes do processo de captura das
imagens de BR. A utilização da mediana, além
Tabela 2: Movimentos de translação (∆x, ∆y) e rotação (θ
em graus) em relação a imagem de referência e oito imagens
dos casos de teste 3 e 4, para 8 imagens de baixa relo
Caso
3
4
Figura 1: Exemplo das imagens utilizadas.
Tabela 1: Casos de teste propostos para os experimentos.
Caso
1
2
3
4
5
6
Imgens
4
2
16
8
36
18
Escala
2
2
4
4
6
6
Distribuição
Proporcional
Aleatório
Proporcional
Aleatório
Proporcional
Aleatório
Dimensões
240x240
240x240
120x120
120x120
80x80
80x80
de produzir um aumento na robustez, é de baixo
custo computacional e a perda em acurácia é imperceptı́vel.
2.2.4
Normalized Convolution
A contribuição proposta por (Pham et al., 2006)
está centralizada na aplicação da convolução normalizada, ou Normalized Convolution (NC) como
termo de regularização. O método executa um
ajuste polinomial robusto em uma vizinhança
adaptativa. O sinal local é aproximado através de
uma projeção em um subespaço gerado por um
conjunto de funções de base. A aplicação do método garante melhorias na taxa sinal/ruı́do e minimiza as influências sofridas pelos erros ocorridos
na fase de registro.
2.2.5
G-PMSR
A abordagem proposta por (Maiseli et al., 2014)
possui um termo de regularização com um expoente variável adaptativo em função da magnitude
do gradiente. A abordagem assumida pelo método de reconstrução é local. Portanto, o expoente
assume diferentes valores ao percorrer a imagem.
Quando a magnitude do gradiente é alta (indicativo de regiões contendo bordas) o expoente assume valores elevados, e quando o gradiente apresenta baixa magnitude (indicativo de regiões homogêneas) o expoente tende a zero. O objetivo é
que o método favoreça a preservação das bordas,
bem como a redução do ruı́do em regiões homogêneas.
3
3.1
Experimentos
Dados
Um conjunto de 128 imagens foram selecionadas
para avaliar os métodos de registro e reconstrução
Mov
∆x
∆y
θ
∆x
∆y
θ
iRef
0.00
0.00
0.00
0.00
0.00
0.00
i2
0.00
0.25
0.00
0.51
0.22
-0.68
i3
0.00
0.50
0.00
0.66
0.33
-1.65
i4
0.00
0.75
0.00
0.12
0.08
-2.27
i5
0.25
0.00
1.00
0.21
0.61
-3.68
i6
0.25
0.25
-1.00
0.42
0.31
-3.69
i7
0.25
0.50
1.00
0.68
0.56
1.41
i8
0.25
0.75
-1.00
0.19
0.59
-1.80
de imagens. A Figura 1 trás 15 exemplos das diferentes imagens utilizadas no conjunto de teste.
O conjunto possuı́: 1 imagem sintética (adaptada
do gráfico de resolução EIA 1956); 39 imagens aéreas e 28 imagens (Weber, 1997); 25 imagens termográficas (Morris et al., 2007); 35 imagens de
ressonância magnética (NZBRI, 2015).
As imagens aéreas foram escolhidas pois as regiões de interesse selecionadas nas imagens podem
apresentar BR devido a distância entre o sensor e
a cena. Já a escolha das imagens térmicas e de
ressonância magnética, é motivada pelo fato de
possuı́rem sensores de BR. Visando padronizar as
imagens, todas foram convertidas para a escala de
cinza em 8 bits e com resolução de 480x480 pı́xeis.
Selecionada uma imagem, um conjunto de diferentes versões de BR é formado. Primeiramente,
aplica-se efeitos de blur e ruı́do gaussiano, simulando as incertezas do processo de captura. Logo
após, a resolução é reduzida com pequenas diferenças nos valores dos operadores de translação e
rotação, produzindo imagens de BR com mı́nimas
diferenças a nı́vel de sub-pı́xel. O processo é repetido para as todas as imagens em 6 diferentes
cenários de teste (detalhados à seguir), gerando ao
todo um total de 768 conjuntos de teste, aplicados tanto aos métodos de registro quanto aos de
reconstrução.
Após a fase de avaliação, um experimento é
realizado combinando os métodos que se destacaram nas etapas de registro e reconstrução. O objetivo é verificar a viabilidade dessa combinação
na SR. Um conjunto de imagens de BR com deslocamentos desconhecidos é utilizado. O exemplo
das imagens utilizadas pode ser visto na Figura 2.
3.2
Casos de Teste
Ao todo seis casos de teste (Tabela 1) foram propostos considerando, a quantidade de imagens de
BR, fator de escala e distribuição das imagens no
plano de AR. Esses três fatores influenciam diretamente no processo de reconstrução da imagem de
AR. Um maior número de imagens com diferenças de deslocamento proporcionais auxilia à um
melhor resultado do método de reconstrução. O
inverso acarreta em maiores desafios aos métodos.
Portanto, para cada um dos três valores de fator
escala escolhidos (2, 4 e 6), dois ambientes são propostos com diferentes nı́veis de dificuldade para a
reconstrução da imagem de AR, onde os casos de
teste de numeração par possuem maiores desafios
Tabela 3: Comparação da média (µ) e desvio padrão (σ) da REQM na estimação dos movimentos de translação (∆x, ∆y)
e rotação (θ em graus), pelos métodos de registro avaliados, levando em consideração 6 casos de teste, executados para as
128 imagens.
Caso
∆x
µ
σ
0.14 0.18
0.25 0.22
0.31 1.13
0.28 0.21
0.43 0.87
0.33 0.28
1
2
3
4
5
6
Keren
∆y
µ
σ
0.16 0.16
0.24 0.20
0.46 1.86
0.35 0.30
0.79 2.53
0.40 0.37
θ
µ
0.20
0.22
0.65
0.75
1.29
1.30
σ
0.13
0.19
0.33
0.39
1.29
0.58
∆x
µ
σ
3.99 10.98
3.82 12.19
12.83 10.70
12.33 11.36
11.31 7.73
11.86 8.20
Marcel
∆y
µ
σ
11.08 22.90
6.92 20.02
12.58 10.34
12.55 11.74
10.96 6.90
11.78 7.57
θ
µ
0.71
0.65
4.06
10.27
16.99
19.76
σ
0.00
0.38
17.57
42.60
47.22
54.28
∆x
µ
σ
19.04 23.49
17.65 25.77
17.46 13.68
19.75 14.59
18.53 6.30
17.63 7.21
Lucchese
∆y
µ
σ
21.54 25.52
16.39 25.25
18.31 13.60
19.77 14.84
18.14 6.09
18.11 6.94
θ
µ
18.37
15.15
30.11
32.72
42.37
40.79
σ
20.54
20.76
23.67
25.78
13.26
15.06
∆x
µ
σ
0.18 0.17
0.22 0.18
0.21 0.17
0.24 0.13
0.25 0.17
0.26 0.15
Vandewalle
∆y
µ
σ
0.19 0.15
0.23 0.18
0.21 0.13
0.27 0.13
0.26 0.14
0.29 0.14
θ
µ
2.35
2.15
4.05
4.43
5.72
6.10
σ
5.28
5.16
6.86
7.60
7.57
8.05
Tabela 4: Comparação da média da Raiz do Erro Quadrático Médio na estimação dos movimentos de translação
(∆x, ∆y) e rotação (θ em graus), pela associação dos métodos Keren e Vandewalle, levando em consideração 6 casos
de teste, executados para as 128 imagens.
Caso
1
2
3
4
5
6
∆x
µ
0.09
0.19
0.12
0.19
0.17
0.20
Keren/Vandewalle
∆y
θ
σ
µ
σ
µ
σ
0.08
0.09
0.08
0.20
0.13
0.14
0.21
0.14
0.22
0.19
0.08
0.13
0.09
0.65
0.33
0.08
0.22
0.10
0.75
0.39
0.11
0.17
0.10
1.29
1.29
0.10
0.22
0.10
1.30
0.58
às técnicas de SR.
A Tabela 2 exemplifica os movimentos determinados para gerar 8 imagens de BR para os casos de teste 3 e 4, a partir de uma das imagens de
teste, mostrando a diferença quando valores proporcionais são atribuı́dos ou não.
Com a padronização da resolução das imagens
em 480x480 pı́xeis, para fatores de escala maiores
as imagens de BR geradas apresentam menores
resoluções, dificultando o processo de registro e
reconstrução.
3.3
Resultados
Cada um dos métodos de registro foram avaliados para os seis casos de testes aplicado a cada
uma das 128 imagens selecionadas. A Tabela 3
mostra os resultados obtidos para testes com os
métodos de registro. A Raiz do Erro Quadrático
Médio (REQM) e o Desvio Padrão foram as métricas utilizas para avaliação. As transformações foram avaliadas separadamente, translação horizontal, translação vertical e rotação. Os resultados
demonstram que o método proposto por (Keren
et al., 1988) é superior para estimar a transformação de rotação, apresentando melhores resultados em todos os casos de teste. Considerando,
a estimativa das transformações de translação o
método que se mostra superior é o (Vandewalle
et al., 2006).
Como o processo de estimar as transformações de rotação e translação podem ser separados, um novo teste foi realizado nos mesmos critérios anteriores. Uma abordagem hı́brida foi utilizada associando os dois métodos que se destacam
nos primeiros experimentos, onde a rotação é estimada através do método de (Keren et al., 1988)
e a translação pelo método de (Vandewalle et al.,
2006). O resultado é demonstrado na Tabela 4.
É possı́vel observar que não há ganho na estimativa da rotação em relação ao método (Keren
et al., 1988), uma vez que a rotação é a primeira
(a)
(b)
(c)
Figura 2: Resultado da aplicação da SR em um problema
desconhecido. (a) amostra do conjunto de imagens de BR,
reescaladas pelo método do vizinho mais próximo; (b) Interpolação Bicúbica; (c) Método de SR.
a ser estimada na etapa de registro. Porém, os
resultados relativos a translação foram todos aprimorados se comparados aos resultados do método
de (Vandewalle et al., 2006). Portanto, esta foi a
abordagem que apresentou o melhor desempenho
na etapa de registro.
Para avaliação da etapa de reconstrução, os
métodos receberam os movimentos reais de rotação e translação entre as imagens de BR simuladas. Esses também foram submetidos aos seis
casos de testes, utilizando a Raiz do Erro Quadrático Médio (REQM) e também a Relação Sinal/Ruı́do de Pico (RSRP) como critérios de avaliação. Através dos resultados obtidos (Tabela 5)
o método que consegue reproduzir a imagem original de AR com maior eficácia é o método proposto
por (Maiseli et al., 2014).
Observando os resultados obtidos, a melhor
combinação para o processo de SR é formada pela
abordagem hı́brida que associa os métodos (Keren
et al., 1988) e (Vandewalle et al., 2006) para o registro e o método de (Maiseli et al., 2014) para a
etapa de reconstrução. Essa combinação foi utilizada em um conjunto de imagens de BR com movimentações desconhecidas para gerar a imagem
de AR com um fator de escala de 6. O resultado
obtido é apresentado na Figura 2. O conjunto de
imagens consiste de 29 imagens de 40x57 pı́xeis de
resolução. Nas duas primeiras colunas é possı́vel
perceber que o texto está ilegı́vel. Porém, com a
aplicação da SR o conteúdo da cena, o texto em
questão, é claramente percebido.
4
Conclusões
O presente trabalho apresentou um estudo de métodos que abordam as duas fases da SR com múltiplas imagens, registro e reconstrução. Ao todo
quatro métodos de registro de imagens e cinco métodos de reconstrução foram analisados. Através
Tabela 5: Comparação do REQM médio e RSRP média, pelos métodos de reconstrução avaliados, levando em consideração
6 casos de teste, executados para as 128 imagens.
Caso
1
2
3
4
5
6
Iterative Back Projection
REQM
RSRP
9.72
29.88
9.87
29.74
14.80
25.43
16.04
24.87
23.30
21.84
21.22
22.07
Total Variation
REQM
RSRP
7.83
31.69
12.03
27.32
13.66
26.22
16.17
24.65
17.91
24.02
23.76
22.25
Robust super-resolution
REQM
RSRP
9.71
29.89
9.87
29.74
14.77
25.57
16.13
24.85
24.51
22.24
19.27
23.21
dos experimentos realizados pode-se perceber a
superioridade da abordagem hı́brida da associação
dos métodos de (Keren et al., 1988) e (Vandewalle
et al., 2006) na etapa de registro e do método desenvolvido por (Maiseli et al., 2014) na reconstrução. A combinação dos métodos aplicados a um
problema real de SR trouxe bons resultados para
um aumento de resolução em seis vezes.
Agradecimentos
Os autores agradecem ao Instituto Federal do
Norte de Minas Gerais, à Universidade Federal de
Minas Gerais e ao CNPQ, pelo suporte à realização do trabalho. O presente trabalho foi realizado
com o apoio financeiro da CAPES - Brasil.
Referências
Baboulaz, L. e Dragotti, P. L. (2009). Exact feature extraction using finite rate of innovation principles with an application to image
super-resolution, Image Processing, IEEE
Transactions on 18(2): 281–298.
Brown, L. G. (1992). A survey of image registration techniques, ACM computing surveys
(CSUR) 24(4): 325–376.
Chen, T., Catrysse, P. B., El Gamal, A. e Wandell,
B. A. (2000). How small should pixel size be?,
Electronic Imaging, International Society for
Optics and Photonics, pp. 451–459.
Cossairt, O. (2011). Tradeoffs and limits in computational imaging, PhD thesis, Columbia
University.
Irani, M. e Peleg, S. (1991). Improving resolution by image registration, CVGIP: Graphical models and image processing 53(3): 231–
239.
Keren, D., Peleg, S. e Brada, R. (1988). Image
sequence enhancement using sub-pixel displacements, Computer Vision and Pattern
Recognition, 1988. Proceedings CVPR’88.,
Computer Society Conference on, IEEE,
pp. 742–746.
Lucchese, L. e Cortelazzo, G. M. (2000). A noiserobust frequency domain technique for estimating planar roto-translations, Signal Pro-
Normalized Convolution
REQM
RSRP
9.08
30.20
10.62
28.55
15.37
25.02
17.38
23.93
19.98
22.67
21.50
22.01
G-PMSR
REQM RSRP
7.34
32.51
11.52
27.75
11.57
27.77
14.30
25.75
14.19
25.91
16.58
24.49
cessing, IEEE Transactions on 48(6): 1769–
1786.
Maiseli, B., Elisha, O., Mei, J. e Gao, H. (2014).
Edge preservation image enlargement and
enhancement method based on the adaptive perona–malik non-linear diffusion model,
IET Image Processing 8(12): 753–760.
Marcel, B., Briot, M. e Murrieta, R. (1997). Calcul de translation et rotation par la transformation de fourier, TS. Traitement du signal
14(2): 135–149.
Milanfar, P. (2010).
CRC Press.
Super-resolution imaging,
Morris, N. J., Avidan, S., Matusik, W. e Pfister, H. (2007). Statistics of infrared images, Computer Vision and Pattern Recognition, 2007. CVPR’07. IEEE Conference on,
IEEE, pp. 1–7.
NZBRI, N. Z. B. R. I. (2015). Magnetic resonance
imaging at 3 tesla - the first in new zealand.
Pham, T. Q., Van Vliet, L. J. e Schutte, K. (2006).
Robust fusion of irregularly sampled data
using adaptive normalized convolution, EURASIP Journal on Applied Signal Processing
2006: 236–236.
Rudin, L. I. e Osher, S. (1994). Total variation based image restoration with free local
constraints, Image Processing, 1994. Proceedings. ICIP-94., IEEE International Conference, Vol. 1, IEEE, pp. 31–35.
Vandewalle, P., Sü, S., Vetterli, M. et al. (2006).
A frequency domain approach to registration
of aliased images with application to superresolution, EURASIP Journal on Advances
in Signal Processing 2006.
Weber, A. G. (1997). The usc-sipi image database:
Version 5, original release: October 1997, signal and image processing institute, university
of southern california, department of electrical engineering.
Zomet, A., Rav-Acha, A. e Peleg, S. (2001). Robust super-resolution, Computer Vision and
Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society
Conference on, Vol. 1, IEEE, pp. I–645.