Recuperação de Imagens por
Conteúdo Através de Regiões
Determinadas Automaticamente
pela Energia
Luis Marcelo Bortolotti
Agma Juci Machado Traina
ICMC - USP
Conteúdo


Introdução
Método





Determinação dos MBRs
Medidas de Textura
Vetor de Características
Experimentos e Resultados
Conclusões
Introdução e Motivação

Sistemas de Informação Hospitalar
(SIH) atuais


Organização de dados textuais e
numéricos sobre pacientes (exames
realizados, procedimentos adotados)
Em alguns casos é possível a associação
de dados textuais com exames
Introdução e Motivação

PACS (Picture Archiving and
Communication Systems)


integração em um único sistema todas as
informações dos pacientes (textos,
imagens, gráficos)
Devido ao alto custo, é comum a
obtenção de alguns módulos e o
desenvolvimento de soluções
particulares
Introdução e Motivação

Como os sistemas PACS organizam as
imagens provenientes de exames efetuados
sobre os pacientes, seria interessante
adicionar a capacidade de consultas
basedas em conteúdo, ou seja, consultas
do tipo:
Quais são as 10 imagens de tomografia mais
similares a uma imagem dada
Introdução e Motivação

Aqui é apresentado um método de extração
de características extração de
características de imagens baseado em
MBRs (Minimum Bouding Rectangles) de
regiões da imagem, determinados
automaticamente através de informações
de energia das linhas e colunas da imagem,
e no processamento baseado em textura
destas regiões
Conteúdo


Introdução
Método





Determinação dos MBRs
Medidas de Textura
Vetor de Características
Experimentos e Resultados
Conclusões
Extração de Características

O método de extração de
características de imagens é dividido
em duas fases:


Determinação automática dos Minimum
Bounding Rectangles (MBRs) de regiões
da imagem
Realização de medidas de textura sobre
estas regiões
Extração de Características:
Determinação dos MBRs
Extração de Características:
Determinação dos MBRs

A transformada de wavelets de
Daubechies é utilizada para criar uma
miniatura (thumbnail) da imagem



Eliminação de ruídos de alta freqüência
A imagem mantém as propriedades
necessárias
Maior velocidade no processamento da
imagem
Extração de Características:
Determinação dos MBRs
Miniatura
Imagem de entrada
Transformada
de wavelets
Extração de Características:
Determinação dos MBRs
Extração de Características:
Determinação dos MBRs

Sobre a miniatura é aplicado o filtro de
bordas de Sobel

Realce das bordas das estruturas
grandes da imagem
Extração de Características:
Determinação dos MBRs
Imagem de entrada
Sobel
Extração de Características:
Determinação dos MBRs
Extração de Características:
Determinação dos MBRs

Os MBRs das regiões são determinados
por meio dos gráficos de energia das
linhas e colunas da miniatura após a
aplicação do filtro de Sobel

Energia: concentração das intensidades
dos pixels de uma imagem
Extração de Características:
Determinação dos MBRs

Energia das Linhas: soma das intensidades
dos pixels de uma dada linha da imagem
NL
Ex 
 I ( x, i)
i 1

Energia das Colunas: soma das
intensidades dos pixels de uma dada coluna
da imagem
NC
Ey 
 I (i , y )
i 1
Extração de Características:
Determinação dos MBRs
Gráficos de Energia das
Linhas e Colunas
Extração de Características:
Determinação dos MBRs

Pontos de máximo são localizados nos
gráficos de energia das linhas e colunas
da imagem
Extração de Características:
Determinação dos MBRs

As coordenadas dos MBRs são determinadas
pelos pontos de intersecção entre os gráficos de
energia
Lista de MBRs
MBR1: (x1,y1,x2,y2)
MBR2: (x1,y1,x2,y2)
MBR3: (x1,y1,x2,y2)
MBR4: (x1,y1,x2,y2)
MBR5: (x1,y1,x2,y2)
...
MBRn: (x1,y1,x2,y2)
Extração de Características:
Determinação dos MBRs

Uma razão entre a energia total do MBR e sua
área é calculada para determinar quais MBRs
serão inseridos nos conjunto resposta
Lista de MBRs
MBR1: (x1,y1,x2,y2)
MBR2: (x1,y1,x2,y2)
MBR3: (x1,y1,x2,y2)
MBR4: (x1,y1,x2,y2)
MBR5: (x1,y1,x2,y2)
MBR6: (x1,y1,x2,y2)
MBR7: (x1,y1,x2,y2)
MBR8: (x1,y1,x2,y2)
MBR9: (x1,y1,x2,y2)
MBR10: (x1,y1,x2,y2)
MBR11: (x1,y1,x2,y2)
MBR12: (x1,y1,x2,y2)
MBR13: (x1,y1,x2,y2)
MBR14: (x1,y1,x2,y2)
MBR15: (x1,y1,x2,y2)
MBR16: (x1,y1,x2,y2)
MBR17: (x1,y1,x2,y2)
MBR18: (x1,y1,x2,y2)
MBR19: (x1,y1,x2,y2)
MBR20: (x1,y1,x2,y2)
MBR21: (x1,y1,x2,y2)
MBR22: (x1,y1,x2,y2)
MBR23: (x1,y1,x2,y2)
MBR24: (x1,y1,x2,y2)
MBR25: (x1,y1,x2,y2)
Extração de Características:
Determinação dos MBRs

Por fim as coordenadas são dos MBRs
transpostas para a imagem de entrada
Transposição dos
pontos
para a imagem
original
Extração de Características:
Medidas de Textura

A extração de características de
textura é feita utilizando-se a matriz de
co-ocorrência proposta por Haralick


Para cada MBR pertencente ao conjunto
de resposta, é calculada uma matriz de
co-ocorrência
A partir da matriz, são calculados as
medidas de Entropia e a Homogeneidade
Extração de Características:
Medidas de Textura
Matrizes de
Co-ocorrência
Medidas
Entropia
Homogeneidade
Entropia
Homogeneidade
Entropia
Homogeneidade
…
Entropia
Homogeneidade
Vetor de Características
Vetor de Características
nMBR
MBR1
Área Energia Homogeneidade
MBR2
MBR3
Entropia
Informações do MBR
...
Conteúdo


Introdução
Método





Determinação dos MBRs
Medidas de Textura
Vetor de Características
Experimentos e Resultados
Conclusões
Experimentos e Resultados

Testes realizados com um conjunto de 250
imagens de vários tipos de exames
radiológicos





Angiogramas do coração
Ressonância magnética de cabeça, corte axial
Ressonância magnética de cabeça, corte sagital
Ressonância magnética do abdômen
Ressonância magnética de coluna
Experimentos e Resultados
Angiograma
RM cabeça axial
RM abdômen
RM cabeça sagital
RM coluna
Experimentos e Resultados

Experimentos:


Consultas k-NN sobre o conjunto de
imagens processadas
Resultados analisados por meio dos
gráficos de Precision x Recall
Resultados
Experimentos e Resultados
Conteúdo


Introdução
Método





Determinação dos MBRs
Medidas de Textura
Vetor de Características
Experimentos e Resultados
Conclusões
Conclusões

O método apresenta baixo custo
computacional


Pode ser utilizado como um
processamento inicial de um conjunto de
imagens
Melhores resultados com imagens que
apresentam predominância de tecidos
moles

Massa encefálica, tecido muscular
Recuperação de Imagens por
Conteúdo Através de Regiões
Determinadas Automaticamente
pela Energia
Luis Marcelo Bortolotti
Agma Juci Machado Traina
ICMC - USP