Integrando Textura e Forma para a
Recuperação de Imagens por Conteúdo
André Guilherme Ribeiro Balan
Grupo de Banco de Dados e Imagens
Instituto de Ciências Matemáticas e Computação
Universidade de São Paulo
Conteúdo

Introdução

Técnica proposta



Método de Segmentação
Vetor de Características
Medida de Similaridade

Experimentos e Resultados

Conclusões
Introdução

Motivação para o desenvolvimento de técnicas CBIR:


Objetivo:


O aumento contínuo da quantidade de imagens digitais nos
hospitais e centros médicos.
Desenvolver uma ferramenta que auxilie os especialistas encontrar
imagens específicas em grandes repositórios.
Principal abordagem:


Extrair características que representem o conteúdo da imagem;
Comparar as características usando uma medida de similaridade.
Introdução

Exemplo de consulta:
 “encontre as cinco imagens mais semelhantes à
imagem identificada por radialcabeca_343.jpg”
Introdução

Grupos de características:



Brilho/Cor;
Forma;
Textura.

Brilho/Cor são características simples de serem extraídas,
mas podem causar ambigüidade.

Forma e Textura caracterizam melhor o conteúdo da
imagem, mas são mais complexas e custosas de serem
extraídas.
A técnica proposta

Principais elementos em imagens médicas:

órgãos, tecidos, anomalias, plano de fundo, …
Forma e Textura características

Neste contexto, nosso trabalho propõe a utilização
de textura e forma.
A técnica proposta

Esta abordagem compreende:

A segmentação da imagem baseada em textura.

A extração de características simples de forma do objetos obtidos
na segmentação.

O uso de uma função simples de medida de similaridade.
O método de segmentação

Método de segmentação empregado:


Método EM/MPM;
Principais características do EM/MPM:



Baseado em Textura;
Automático (não-supervisionado);
Utiliza campos aleatórios de Markov (MRF);
O método de segmentação

Sobre o EM/MPM:



Basicamente: um algoritmo de otimização.
Objetivo: “minimizar o número esperado de pixels classificados
erroneamente”
Sobre o uso de MRFs


Permite a representação de texturas de comportamento aleatório
(presente na maioria dos tipos de imagens)
Demanda uma quantidade relativamente pequena de parametros.
EM/MPM – visão geral
Campo Aleatório
de Markov
Imagem Segmentada
.
..
1
2
3
(1, 21)
L
(L, 2L)
(3, 23)
Imagem a ser O usuário define o Um mapa de classificação
segmentada número de classes é criado aleatoriamente
Realiza-se uma
nova
classificação
Algoritmo MPM
.
..
1
2
3
L
Características das
classes são definidas
Atualiza-se as
características
das classes
Algoritmo EM
Exemplos de segmentação
Classes (5)
1
2
3
4
5
fundo
Classes (2)
1
2
fundo
O vetor de características

O conjunto de características proposto inclui:



Medidas de forma da imagem segmentada;
Medidas da imagem original considerando a segmentação.
As medidas são obtidas das regiões:
Classes (5)
1
2
3
4
5
5 regiões distintas
O vetor de características

Para cada região, 5 características são extraídas:






Centro de massa (centróide);
Massa (tamanho);
Medida de dispersão;
Média e
Variância.
Deixe I e S denotar a imagem original e a imagem
segmentada, respectivamente.
O vetor de características

A massa da região c é:
mc 

x,y

hc ( x , y )
where

1 if
hc  

 0 if
S x,y  c
S x,y  c
Em outra palavras, massa é o numero de pixels da região c.
O vetor de características


O centro de massa da região c
é o par (xoc , yoc)
A medida de dispersão mede a
compactação da região:
 oc – centro de massa de c
 oi,c – centro de massa de
uma região isolada i na
região c

xo c 
x,y
dc 

x  hc ( x , y )
mc

,
yo c 
y  hc ( x , y )
x,y
mc
dist ( o c , o i , c )
i
Exemplo
de regiões
isoladas na
região azul
O vetor de características

Média e Variância são calculadas sobre a imagem original I
considerando a segmentação S

c 
I x , y  hc ( x , y )
x,y
mc
 (I
média
c 
2
x, y
  c )  hc ( x , y )
x, y
variância
N
O vetor de características

Se a imagem é segmentada em L classes o vetor de características é:
xo1
yo1
m1
d1
1
21
...
xoL
yoL
mL
dL
L
2L
...
Características da classe com menor média
Características da classe com maior média

Há 6 valores por região/classe (o centróide tem dois valores)

O vetor possui 6 x L valores reais.
Medida de similaridade

A medida de similaridade entre duas imagens é dada pela
Distância Euclidiana entre os vetores de características.

Os valores do vetor são normalizados para se obter maior
poder de caracterização.
Experimentos e Resultados

Bando de imagens reduzido para experimentos:
Categoria de Imagem

Número de Imagens
Angiograma
21
RM Bacia Axial
33
RM Cabeça Axial
50
RM Abdômen Coronal
34
RM Cabeça Sagital
38
RM Espinha Sagital
44
Imagens segmentadas em 5 classes → 30 características
por imagem.
Experimentos e Resultados

Exemplo de consulta utilizando o vetor proposto (30 valores)
Imagem de busca: 2865.jpg
Miniaturas das 24
imagens recuperadas
Experimentos e Resultados

Usando histogramas (256 valores)
Imagem de busca: 2865.jpg
Miniaturas das 24
imagens recuperadas
Experimentos e Resultados

Gráficos Precision x Recall
- 5 consultas por curva
- as mesmas consultas para ambas as técnicas
Técnica proposta
Histograma
1
Precision
Precision
1
0
0
0
0,1
0,2
0,3
0,4
0,5
Recall
0,6
0,7
0,8
0,9
1
0
0,1
0,2
0,3
0,4
0,5
Recall
0,6
0,7
0,8
0,9
1
Conclusões

Vantagens da técnica proposta




Alto poder de discriminação;
Número relativamente pequeno de características;
Método automático de segmentação.
Desvantagem

Alto custo para segmentação

Imagens de 300 x 400 pixels levam de 3 a 5 segundos em uma
máquina com processador Athlon 2600.