Universidade de São Paulo
Escola de Engenharia de São Carlos
Departamento de Engenharia Elétrica
@LADIM – SEL - EESC - USP
CHOPI – CCIFM - HCFMRP - USP
Recuperação Baseada em Conteúdo de Imagens
Mamográficas: Atributos Visuais de Forma,
Espectrais no domínio de Radon e Granulometria
Autores:
Sérgio K. Kinoshita, R. R. Pereira Júnior, M.O. Honda,
J.A.H. Rodrigues e Paulo M. de Azevedo Marques.
Introdução
1. Câncer de mama é a principal causa de mortalidade na população
feminina de acordo com ACS1 e o INC/MS2;
2. Mamografia é considerada a forma mais eficaz para a detecção
precoce de câncer de mama, permitindo a identificação da lesão
quando ainda não é palpável.
3. Associação da densidade mamária com o risco de desenvolvimento de
câncer da mama (Wolfe, 1976).
 Vários trabalhos, até hoje, utilizam a medida de densidade como fator de
risco de câncer de mama de acordo com o padrão de Wolfe.
 Existe controvérsia na adoção desse padrão, mas há a unanimidade de que
a densidade mamária é um fator importante na avaliação da mamografia.
4. Surgimento de padrões com o objetivo da caracterização da densidade
mamária
 Padrão BI-RADS
1American
2
Cancer Society, Cancer Facts and Figures, NY, 2004.
Instituto Nacional de Cancer – Ministério da Saúde, 2003.
Wolfe, JN (1976), “Risk for breast cancer development determined by mammographic parenchymal pattern”, Cancer,
V.37, p.2486-92.
2
Introdução

Padrão BI-RADS( descrição, enquadramento da mama e recomendações
de conduta e conclusões)
•
Composição: é importante para especificar o grau de sensibilidade
que se espera no diagnóstico.
•
•
Categoria: é utilizado para classificar a mama de acordo com os
achados radiológicos.
•
1American
Composição 1, 2, 3 e 4.
Categoria 0, 1, 2, 3, 4A, 4B, 4C e 5.
College of Radiology – Breast Imaging Reporting and Data System, 4th edition, 2003.
3
Introdução
5. Análise da mamografia pelo radiologista
 Padrão
( descrição
e enquadramento,
conclusão
e conduta)
 TodoBI-RADS
o processo
é feito
de forma visual
e envolve
alto grau de
subjetividade.
• Composição:
é importante para especificar o grau de sensibilidade que se
espera no
diagnóstico.
6. Sistema
Computadorizado
de Auxílio ao Diagnóstico (CAD)
• Composição
2, 3 e 4.dos trabalhos em análise de densidade em
 Representa
a 1,
maioria
mamografia
e tem objetivos
bem definidos
ao resultado
•Categoria:
é utilizado
para classificar
a mamaquanto
de acordo
com os esperado
achados
(classificação
no
padrão
Wolfe
e
BI-RADS).
mamográficos.
7. Sistema
de Recuperação
de4B,
Imagens
•Categoria
0, 1, 2, 3, 4A,
4C e 5. Baseado em Conteúdo (CBIR)

Não trabalhos
existe trabalho
de análise
de densidade
em CBIR.
•Vários
realizam
a caracterização
de acordo
com esse padrão.
 A busca de imagens é feita através de atributos visuais de similaridade.
4
Objetivo
Investigar atributos visuais para a recuperação de
imagens mamográficas baseado em conteúdo (CBIR)
que levem em consideração a densidade de tecidos
mamários, quanto à sua distribuição e intensidade.
5
Metodologia
Esquema Geral
Teste (consulta)
Extração e Seleção
de
Atributos
Atributos
Visuais
Treinamento
Classificação e Comparação
por Similaridade
Imagem
Recuperada
Imagem
Digitalizada
Preparação e Processamento
da Imagem
Banco de
Imagem
6
Metodologia
Imagem Digitalizada
 Imagens selecionadas pertencem ao projeto de Banco de Imagens do HCFMRP-USP,
módulo Mamografia, processo HCRP número 10093/2003.
 Foram selecionados 270 casos, correspondendo à 1080 imagens  270 CC direita,
270 CC esquerda, 270 MLO direita e 270 MLO esquerda.
 As imagens foram acompanhadas de respectivo laudo médico. A descrição dos
laudos acompanha o padrão BI-RADS e contém descrições de características de
simetria, classificação volumétrica, distribuição e forma da densidade mamária,
classificação da composição da mama (1,2,3 ou 4), classificação da categoria
(0,1,2,3,4A,4B,4C ou 5), etc.
 As imagens foram digitalizadas com resolução espacial de 300 dpi (84,67 m) e 12
bits de quantização (4096 níveis de cinza).
 Foram digitalizados 148 filmes mamográficos com dimensão de 240x300 mm e
932 filmes com dimensão de 180 x 240 mm.
Após realizados recortes na imagem para eliminação da identificação da paciente,
redimensionamento da imagem para 1024x1024, o tamanho dos pixels passaram a ter
os tamanhos de 223,50 m e 279,40 m, de acordo com a dimensão do filme.
7
Metodologia
Extração e Seleção de Atributos
Extração de Atributos de Forma
 Os atributos utilizados pertencem aos grupos de textura e forma.
 Atributos de forma de área, solidez e razão de diâmetro.
Atributos de Medida de Granulometria.
Atributos Espectrais no Domínio de Radon
8
Metodologia
Extração e Seleção de Atributos
Extração de Atributos de Forma
Área da Região da Mama
 A mais simples maneira de calcular a área de um objeto em uma imagem, é
contar o número de pixels do objeto.
O valor da área foi normalizado e transformado em milimetro.
N: número de pixels do objeto.
L
N 

g
h( g )
L: número de níveis de cinza do objeto.
h(g): a freqüência de nível de cinza g que
pertence ao objeto.
A 
N  tp
n
2
A: área em milimetross
tp: o tamanho do pixel (0,2235mm ou 0,2794mm)
n2: o número total de pixels na imagem
9
Metodologia
Extração e Seleção de Atributos
Extração de Atributos de Forma
Solidez, Compacidade ou Compactação
 Determina a razão do perímetro (P) e a área do objeto (A).
 A equação foi alterada de tal forma que para objetos semicirculares o valor
aproxima de zero e aumenta de acordo com a complexidade ou rugosidade da
forma.
S
P
2
A
S 1
2 A
P
2
10
Metodologia
Extração e Seleção de Atributos
Extração de Atributos de Forma
Medida de Razão de Diâmetro
 Este atributo fornece o grau de elongação da forma da mama. Quanto maior o
valor do atributo, mais elongado será a sua forma; caso contrário, a mama terá
a forma achatada.
CC
MLO
Dx
Dy
Dy
RD 
Dy
Dx
Dx
11
Metodologia
Extração e Seleção de Atributos
Extração de Atributos de Forma
a
b
Razão de
Diâmetro
(RD)
Imagem
Área (A)
Solidez
(S)
Imagem (a)
0,0998
0,7958
1,5916
Imagem (b)
0,0211
0,8087
0,7904
Medidas de atributos de forma extraídos das imagens (área,
solidez e razão de diâmetro).
12
Metodologia
Extração e Seleção de Atributos
Medida de Granulometria
 Fornece a distribuição dos tamanhos dos objetos presentes em uma amostra.
 São aplicados filtros morfológicos de abertura com elemento estruturante de
tamanho crescente na imagem original.
 A diferença entre a imagem original e a imagem filtrada é computada a cada
passagem crescente do elemento estruturante no filtro morfológico.
 No final do processo, essas diferenças são normalizadas e usadas na
construção de um histograma de distribuição dos tamanhos dos objetos
presentes na imagem.
 Na mamografia, a densidade comumente aparece com aspecto granular que
pode interferir na exatidão da caracterização de achados na região da mama.
 Extraímos a distribuição da imagem da região fibro-glandular segmentada e
aplicamos o filtro morfológico com elemento estruturante com formato circular
e raio variando entre 5 e 60 pixels.
Utilizamos o histograma de distribuição como atributo de medida de
granulometria.
13
Metodologia
Extração e Seleção de Atributos
Medida de Granulometria
Processo de extração de atributo de medida de Granulometria. (a) imagem original; (b) imagem com a
região de tecido fibro-glandular segmentada; (c) imagem numa etapa de filtragem de abertura morfológica;
(d) o histograma da quantidade de pixels em função do raio de abertura do elemento estruturante.
14
Metodologia
Extração e Seleção de Atributos
Domínio de Radon
Ilustração de uma imagem em nível de cinza e o domínio de Radon aplicada a transformada de Radon.
15
Metodologia
Extração e Seleção de Atributos
Domínio de Radon
 No domínio de Radon, valores de picos representam altas intensidades numa
determinada direção da imagem.
 A posição e direção destes picos são facilmente identificadas na imagem.
 Separamos o domínio de Radon R(t,) em duas funções unidimensionais da
intensidade em função da posição R(t) e direção R().
 Para analisar o comportamento das funções, extraímos os valores de Média,
Momentos centrado na média (Desvio-padrão, Skewness e Kurtosis) e Entropia.
16
Metodologia
Extração e Seleção de Atributos
Domínio de Radon
Gráfico das funções de decomposição do domínio de Radon. (a) imagem com a região fibro-glandular
segmentada; (b) Domínio de Radon R(t,); (c-d) as funções decompostas Rt() e R(t).
17
Metodologia
Extração e Seleção de Atributos
Exemplo do Domínio de Radon
Função
Média
Rt()
85,9352
R(t)
17,3467
Desviopadrão
Skewness
Kurtosis
Entropia
53,2773
0,1314
1,7293
0,0082
218,5510
-0,0306
2,6100
0,0018
Medidas de momentos estatísticos extraídos dos gráficos Rt( e R(t) .
18
Metodologia
Extração e Seleção de Atributos
Seleção de Atributos
 Este processo definiu a combinação de atributos que irão compor o conjunto
de vetores de entrada para o treinamento e teste da rede SOM de Kohonen.
 Foram realizadas combinações de atributos que variaram entre 10 e 33, foi
utilizado o método de Análise de Componentes Principais (PCA) para redução
da dimensionalidade.
Os conjuntos de atributos foram normalizados para o intervalo [-1,1] antes da
redução da dimensionalidade, utilizando a equação (1).
Após a redução da dimensionalidade, os valores foram normalizados para o
intervalo [0,1] para a entrada da rede SOM, utilizando a equação (2).
(1)
x 
x

(2)
x 
x  x min
x max  x min
19
Metodologia
Sistema CBIR com Rede SOM
Definição dos Grupos de Amostras de Treinamento e Teste
 A amostra de atributos extraídas das imagens foi dividida em treinamento e
teste, utilizando o método “leaving-one-out”.
 As imagens foram agrupadas em amostras de 270 imagens, sendo 269
imagens para treinamento e 1 imagem para teste, até completar o conjunto da
amostra.
Com isso, a avaliação do grau de generalização do classificador ficou, desta
forma, garantida.
20
Metodologia
Sistema CBIR com Rede SOM
A Rede de Mapa Auto-Organizável de Kohonen (SOM)
 Adotamos a topologia de grade de 16x16 neurônios, totalizando 256
neurônios na camada de saída. Para o treinamento, adotamos o valor máximo
de 8.000 epochs e a taxa de aprendizagem não fixada.
21
Metodologia
Sistema CBIR com Rede SOM
A Rede de Mapa Auto-Organizável de Kohonen (SOM)
22
Metodologia
Avaliação do Sistema CBIR
Avaliação do desempenho do sistema de recuperação
Na saida da rede SOM, cada imagem teste foi classificada dentro de um grupo
de imagens de acordo com a similaridade dos atributos utilizados.
 Para avaliar o desempenho do sistema de recuperação, utilizou-se a taxa de
precisão pela classificação da composição dos tecidos pelo critério BI-RADS
registrada no laudo médico da paciente.
 A classificação levou em consideração a variabilidade existente entre os
observadores na descrição da composição dos tecidos no laudo médico.
 Foram calculadas as taxas médias de precisão entre a imagem de consulta e
as imagens recuperadas.
O coeficiente de correlação médio e o desvio-padrão foram calculados com o
objetivo de demonstrar a correlação entre as imagens recuperadas e as
imagens de consulta.
23
Metodologia
Avaliação do Sistema CBIR
Avaliação pela taxa de precisão da classificação da composição dos tecidos
 Para o cálculo da correlação, utilizamos um sistema de alinhamento entre as
imagens (consulta e recuperadas).
   f ( x, y) 
N N
cc ( f , g ) 
x

f g( x, y)  g

y
 N N

2
2
f
(
x
,
y
)

f
g
(
x
,
y
)

g
 

 x y




1 2
24
Metodologia
Avaliação do Sistema CBIR
Avaliação pela taxa de precisão da classificação da composição dos tecidos
Imagens recuperadas com o atributo no domínio de Radon. Em (a) a imagem teste com composição 4,
classificadas no padrão BI-RADS; em (b-d) imagem recuperada com composições diferentes.
25
Metodologia
Avaliação do Sistema CBIR
Avaliação pela taxa de precisão da classificação da composição dos tecidos
Composição da
imagem teste
Faixa de classes consideradas pela
composição de tecidos na
classificação
1
1e2
2
1, 2 e 3
3
2, 3 e 4
4
3e4
Tabela do critério usado na classificação das imagens recuperadas
considerando a variabilidade ocorrida durante a avaliação da imagem de
acordo com a composição no padrão BI-RADS.
26
Metodologia
Avaliação do Sistema CBIR
Resultados da avaliação pela taxa de precisão da classificação da
composição dos tecidos
Taxa de Precisão
Grupo de Atributos
Coeficiente de
Correlação
(  )
82,86%
Domínio de Radon
0,8378  0,1014
81,81%
Medida de Granulometria
0,8383  0,0925
84,74%
Forma e Domínio de Radon
0,8478  0,0902
82,02%
Forma e Medida de Granulometria
0,8381  0,0947
84,50%
Forma, Domínio de Radon e
Medida de Granulometria
0,8472  0,0949
Os melhores resultados obtidos pela classificação da composição dos tecidos, de acordo com o padrão BIRADS, para cada combinação de atributos.
27
Metodologia
Avaliação do Sistema CBIR
Resultados da avaliação pela taxa de precisão da classificação da
composição dos tecidos
 Os resultados indicam a relevância dos atributos
investigados para a recuperação baseada em conteúdo de
imagens mamográfricas.
28
Universidade de São Paulo
Escola de Engenharia de São Carlos
Departamento de Engenharia Elétrica
@LADIM – SEL - EESC - USP
CHOPI – CCIFM - HCFMRP - USP
Recuperação Baseada em Conteúdo de Imagens
Mamográficas: Atributos Visuais de Forma,
Espectrais no domínio de Radon e Granulometria
Fim da Apresentação
Autores:
Sérgio K. Kinoshita, R. R. Pereira Júnior, M.O. Honda,
J.A.H. Rodrigues e Paulo M. de Azevedo Marques.