Redes Neurais Artificiais Aplicadas à Segmentação e Classificação de Imagens
Digitais de Úlceras Cutâneas
Tarallo1, A. S.; Gonzaga1, A.; Frade2, M. A. C.; Rocha1, W.G.
{tarallo, adilson}@sel.eesc.usp.br, [email protected], [email protected]
Universidade de São Paulo - USP
1
Escola de Engenharia de São Carlos (EESC) - Departamento de Engenharia Elétrica
2
Faculdade de Medicina de Ribeirão Preto (FMRP) - Departamento de Clínica Médica
Abstract
Treatments of leg ulcers are generally expensive and
made by direct manipulation for analysis of its evolution.
The treatment efficiency is observed through the reduction
of the size of ulcers in relation to the amount of tissues
found in their beds, which are classified as
granulated/slough. These results are obtained through
analyses performed after consultation due to the time
these analyses take. This work proposes a new noninvasive technique for the follow-up of treatments aimed
at cutaneous ulcers. In this methodology, it was proposed
that digital photos of cutaneous ulcers would be submitted
to an artificial neural network (ANN), so that all
surrounding the wound except for the wound itself could
be extracted (skin/background), thus obtaining the
ulcerated area. Computer vision techniques have been
applied in order to classify the different types of tissues
found in the ulcer bed, thus obtaining the corresponding
granulation and slough percentages as well as its area.
The results obtained have been compared with the results
obtained by Image J software. Finally, this methodology
will be a useful tool for health professionals in relation to
the quickness and precision that it will provide results
along the consultation.
Keywords: Leg Ulcer; Computer Vision; Artificial
Neural Network.
1. Introdução
Úlceras de perna são um problema de Saúde
Pública que atinge de 3% a 5% da população acima de 65
anos, e 1% da população adulta [12]. O seu tratamento
possui algumas complicações devido ao longo período, ao
desconforto dos curativos, além das incertezas quanto ao
seu sucesso, pois a sua cura sofre influência de vários
fatores que atuam como variáveis intervenientes no
processo, causando significativo impacto social e
econômico. Seu tratamento é trabalhoso, oneroso e longo,
devido a inúmeros fatores etiopatogênicos associados,
constituindo-se em uma das principais causas de
absenteísmo ao trabalho.
O uso de ferramentas computacionais, envolvendo
processamento de imagens (Visão Computacional),
consiste em alternativa de método de análise para o
acompanhamento e tratamento das úlceras de perna. Por
este método não há o contato direto com a ferida; pois as
úlceras são analisadas através das imagens digitalizadas
de tais feridas [2], [7]. Dessa forma, o profissional tem
uma ferramenta de auxílio para o seguimento das úlceras.
Este trabalho vem a ajudar na análise de úlceras de
perna, de forma quantitativa de cada tecido encontrado na
parte interna das feridas, que são classificados como:
granulado e fibrina e no cálculo da área da ferida. Com
estas medidas, pode-se ter uma perspectiva da evolução
do tratamento da ferida, ou seja, proporciona o
acompanhamento dinâmico-terapêutico da cicatrização.
Este trabalho propõe desenvolver uma abordagem para
classificar tecidos de úlcera de perna para auxiliar os
especialistas da área na evolução do tratamento. A
utilização pelo especialista de um programa de
computador com a metodologia proposta pode levar o
paciente a se sentir mais seguro, por não haver contato
direto com a ferida para obter amostras para esta análise.
A abordagem proposta, em uma primeira fase, consiste
em realizar a extração de características da base de
imagens digitais de úlcera de perna através de amostras de
cor retiradas das imagens de úlceras manualmente, e
aplicadas a uma Rede Neural – Fase de Treinamento. Em
uma segunda fase, as imagens são aplicadas ao teste da
rede neural, para segmentação de imagens; são usadas,
também, técnicas de processamento de imagens para,
através das cores, classificar os tecidos encontrados na
região interna da ferida – Fase de Testes.
2. Materiais e Métodos
Foram utilizadas imagens do banco de imagens do
Figura 1 – Exemplo de uma imagem com as devidas regiões de ruído, pele e úlcera.
ADUN (Ambulatório da Dermatologia de Úlcera
Neurovasculares) e do CSE (Centro de Saúde Escola) da
FMRP-USP (Faculdade de Medicina de Ribeirão Preto da
Universidade de São Paulo), junto a Divisão de
Dermatologia do Departamento Clínica Médica da
FMRP-USP. As fotografias foram tiradas através da
câmera Sony Cybershot P-93, com 5.1 Megapixels de
resolução, zoom óptico de 3x e zoom digital de 12x. As
imagens escolhidas aleatoriamente do banco de imagens
foram padronizadas e não-padronizadas quanto a zoom,
iluminação, distância da câmera à perna do paciente e o
foco da câmera na perna do paciente. Foram selecionadas
50 imagens para testar e validar esta metodologia em
formato JPG, obtidas em 3 Megapixels.
A abordagem proposta se divide em duas fases, na
primeira ocorre a extração das características de cor e o
treinamento da ANN (Fase de Treinamento). A segunda
fase consiste de segmentar as imagens (Teste da ANN) –
[10], aplicação de técnicas de processamento de imagens
digitais [9] para a eliminação de ruídos, melhoria de
qualidade na imagem e posterior classificação dos tecidos
no leito da ferida – Fase de Testes.
Primeiramente foram aplicados 2 algoritmos às
imagens para serem obtidas características de cor, quanto
à pele, úlcera (leito) e ruídos na imagem (fundo - tudo que
não seja pele e área ulcerada), servindo como entrada para
o treinamento da ANN para distinguir as características de
cor da área e borda da ferida das outras cores não
interessantes à ferida, formando padrões de treinamento; a
figura 1 mostra um exemplo de uma imagem com as
devidas regiões do que é pele, úlcera e ruídos na imagem.
Pelo primeiro algoritmo se obtém as características de
cor referente à pele e não-pele (pele/ruído/fundo), no
modelo RGB; este processo é realizado manualmente pelo
próprio operador do computador (mas é desejável que este
processo seja realizado por um profissional da área da
saúde, pois saberá quais são os melhores pontos a serem
selecionados, por saber melhor o que cada cor
corresponde na imagem). O software utilizado para o
desenvolvimento desta metodologia foi o Matlab 7.0 [15],
que abre as 50 imagens utilizadas (uma por vez) e espera
o operador do computador selecionar a região devida com
o mouse, pelo algoritmo. Cada característica de cor da
região selecionada é armazenada em um arquivo do tipo
texto, formando o vetor de característica (matriz de
pele/não-pele), conforme a figura 2, que representa a
média dos canais R, G e B da região selecionada.
Figura 2 – Exemplo da Matriz de Pele/Não-pele.
Se uma foto contiver várias regiões de características
interessantes, essa imagem é aberta mais de uma vez para
a seleção das devidas características.
Os valores contidos em cada linha da figura 2
representam :
•
-1 é bias utilizado pela rede neural para a
ativação do neurônio;
•
Os três próximos valores referem-se ao valor de
R,G,B da cor selecionada pelo usuário;
•
1 é o valor que será utilizado como saída
desejada pela rede neural para pele e não-pele.
O segundo algoritmo serve para obter as
características de cor da ferida, no modelo RGB; são
obtidas da mesma forma que no primeiro algoritmo. O
vetor de característica (matriz de feridas) de cada cor
selecionada é salvo em outro arquivo do tipo texto. A
saída desejada da matriz de feridas é o -1. Estas duas
matrizes vão formar os “padrões de treinamento”, que vão
ser utilizadas para o treinamento da ANN.
...........
Seleção de
Pontos Manual
Entradas da
Rede Neural
Rede Neural
MLP
Matriz de
Pele/Não Pele
Matriz de
Feridas
T
R
E
I
N
A
M
E
N
T
O
Etapa 2
Etapa 1
Figura 3 - Primeira fase da abordagem proposta.
A primeira fase da metodologia proposta se divide em
duas etapas. Na primeira são obtidas características de
entrada para a rede neural (características de cor) e na
segunda etapa estas características são aplicadas na rede
neural para o seu treinamento – Figura 3.
2.1. Treinamento da ANN
O treinamento da ANN foi aplicado as 25 primeiras
imagens do banco de imagens; estas numeradas de 1 a 50.
As características extraídas (padrões de treinamento)
são aplicadas a uma ANN MLP Feedforward, com o
algoritmo de treinamento Backpropagation, [10], a
arquitetura mais utilizada para classificação de padrões
em trabalhos de diversas áreas, sendo que as imagens de
úlcera cutâneas foram geradas no modelo de cores RGB.
As características do treinamento são:
•
Os dois vetores de características são
concatenados para formar a matriz de treinamento. O bias,
características RGB e a saída desejável são colocadas em
variáveis separadas, respectivamente; e as características
RGB normalizadas para o intervalo de [-1, 1];
•
A Rede é inicializada utilizando a função
mínimo/máximo da matriz de treinamento;
•
O treinamento da rede neural foi feito utilizando
a função de ativação sigmóide tangente-hiperbólica (serve
para que os valores das características RGB não saiam do
intervalo normalizado) para as três camadas ocultas da
rede neural e mais a camada de saída; é utilizado o
gradiente de momento;
•
Os valores de outros parâmetros utilizados neste
algoritmo e na Rede Neural serão especificados nos
próximos tópicos.
2.2. Teste da ANN (Classificação das Imagens)
Na segunda fase ou Fase de Testes, verifica-se a
eficiência da rede neural na segmentação das 50 imagens
a partir dos resultados obtidos no treinamento. Um pósprocessamento é necessário para eliminar alguns ruídos
restantes e preparar melhor a imagem para classificação
dos tecidos. A figura 4 apresenta a segunda fase da
abordagem proposta. As técnicas empregadas são as
operações morfológicas de erosão e dilatação [9], [15].
Finalmente os tecidos das imagens são classificados com
base na contagem de pixels, relacionadas às cores
similares às dos tipos de tecidos – pixels de cor vermelha
para granulação e amarela para fibrina. Foi também
calculada a porcentagem desses dois tipos de tecidos e a
área da úlcera na imagem.
O algoritmo implementado (Teste da ANN) possui os
seguintes passos:
1) Segmentação das Imagens;
2) Pós-Processamento: As imagens são processadas
através de dilatação e erosão e sobreposição de imagens
afim de eliminar ruídos e restar apenas a região da ferida;
3) Contagem dos pixels referentes ao tecido de
granulação e fibrina/esfácelo e cálculo da percentagem
referente a cada tecido na imagem;
4) Geração de uma imagem com marcações, na qual
são contados os pixels referentes à granulação e fibrina:
os pixels brancos são os de tecido de granulação e os
outros são os de tecido de fibrina;
Resultados do
Treinamento
Teste da Rede Neural
MLP
1...50
Técnicas de
Processamento de
Imagens
1...50
Contagem de pixels
de cada imagem
Cálculo da
porcentagem de cada
tecido
1...50
Figura 4 - Segunda fase da abordagem proposta.
5) Cálculo da área da ferida de úlcera de perna em
cm2.
A segmentação é executada pela Rede Neural,
utilizando os parâmetros do Conjunto de Treinamento, e
comandos baseados no toolbox de Redes Neurais do
software Matlab 7.0 [15], e a imagem resultante que
separa a ferida do resto da imagem é obtida – imagem
pré-processada.
2.2.1. Pós-Processamento
A imagem pré-processada é submetida a um pósprocessamento a fim de eliminar ruídos e restar somente a
região da ferida na imagem.
Para isso foram utilizados operadores morfológicos de
erosão e dilatação. Para utilizar erosão e dilatação no
Matlab, a figura tem que ser convertida em escala de
cinza, pois só assim é permitido utilizar os operadores
morfológicos citados.
Para utilizar operadores morfológicos é necessário
criar um elemento estruturante, que serve de parâmetro
para a dilatação. O elemento estruturante utilizado foi no
formato de um quadrado – square. Na seqüência é
utilizado o detector de bordas de Sobel.
São realizadas sobreposições dessa imagem com a
imagem original obtendo-se nova imagem melhorada e
com menos ruído – imagem pós-processada, na qual
foram contados os pixels e feitos os cálculos.
Figura 5 – Resultados da segmentação de úlcera de perna. Em (a) Imagem Original – (b)
Imagem Pré-Processada – (c) Imagem Pós-Processada – (d) Imagem com pixels contados.
Por último, foi gerada uma imagem baseada na
imagem pós-processada, com marcações dos locais em
que foram contados os pixels de fibrina e granulação. A
figura 5 mostra as imagens de acordo com a seqüência de
execução do algoritmo. Os parâmetros utilizados na ANN
desta metodologia podem ser observados na tabela 1.
Tabela 1 – Valores dos Parâmetros da Rede Neural.
Parâmetro
Neurônios na 1ª camada oculta
Neurônios na 2ª camada oculta
Neurônios na 3ª camada oculta
Termo de Momento
Número de Épocas de Treinamento
Taxa de Erro do Treinamento
Valor
4
4
1
0,5
1000
1x10-3
3. Resultados e Análises
Considerando as 50 imagens de teste, as médias das
percentagens de fibrina e granulação em relação a
imagem total e considerando somente a área da ferida
segmentada, podem ser verificadas na tabela 2. Os
resultados foram obtidos pela metodologia proposta.
Tabela 2 – Média aritmética da percentagem de Tecidos –
Metodologia Proposta.
Imagem Total Área de Ferida
Fibrina
10,5%
26,1%
Granulação
18,4%
73,9%
As mesmas imagens testadas na metodologia proposta
foram aplicadas ao software livre Image J (usa técnicas
não automáticas de processamento de imagens) para
comparação, pois este software é utilizado no
departamento de dermatologia da FMRP-USP para
análise das imagens de úlcera de perna. Os resultados
obtidos pelo Image J podem ser observados na tabela 3
[8].
Os resultados obtidos pelo software livre Image J e
pela nossa metodologia mostraram-se satisfatórios; na
área total de ferida, a média foi 13.1 cm2 pela metodologia
proposta e de 14.1 cm2 pelo Image J (Figura 6). Em
relação a granulação, a média obtida foi de 12.4 cm2 pela
metodologia proposta e 12.6 cm2 pelo Image J ( Figura 7).
Em relação a fibrina, a média foi de 1.8 cm2 (nossa
metodologia) e 1.9 cm2 pelo Image J (Figura 8).
Vale lembrar que a demarcação da área ulcerada pelo
Image J é feita manualmente, gastando muito tempo até
chegar aos resultados finais; já pela metodologia proposta
esse processo é feito de forma automática pela rede neural
artificial, ficando mais rápido e prático o processamento.
Essa demarcação manual afeta na diferença dos resultados
da tabela 2 e 3, bem como algumas péssimas
interpretações da RNA devido as qualidades das imagens
e de obtenção das mesmas.
Os resultados foram analisados por um especialista da
área médica, que verificou a concordância dos resultados
obtidos.
A figura 6 mostra o gráfico do Teste t Student aplicado
aos resultados obtidos pela metodologia proposta e Image
J para áreas totais. Os dois traços no meio do gráfico
mostram as médias aritméticas dos resultados para cada
metodologia, e pode-se observar que ambas estão muito
próximas.
Figura 6 – Resultados do Teste t para área.
Tabela 3 – Média aritmética da percentagem de Tecidos –
Image J.
Imagem Total Área de Ferida
Fibrina
18,9%
43,3%
Granulação
30,0%
56,7%
Também foi calculada a área de cada ferida em cm2
em relação à imagem total, tanto pela metodologia
proposta quanto pelo Image J; as médias aritméticas dos
resultados podem ser verificadas na tabela 4.
Tabela 4 – Média aritmética das Áreas das Feridas.
Metodologia Proposta Image J
Área Média
14,1cm2
13,1cm2
Figura 7 – Resultados do Teste t para granulação.
REFERÊNCIAS
Figura 8 – Resultados do Teste t para fibrina.
Da mesma forma existem dois outros gráficos que
também comprovam a similaridade dos resultados obtidos
pelo Image J e pela pesquisa deste trabalho; a figura 7
mostra os resultados do Teste t Student para área de
granulação e a figura 8 para a área de fibrina.
4. Conclusões
Tanto o uso pelo Image J como pela nossa
metodologia baseada em ANN apresentam resultados
satisfatórios. Foi aplicado Teste t Student com parâmetro
de 95% de acerto nos resultados obtidos para
comprovação da eficiência das metodologias. Com isso
fica-se comprovado que a variação entre os resultados
obtidos pela metodologia proposta e pelo Image J são
aceitáveis e que as metodologias podem ser aplicadas na
prática.
Os resultados sugerem que ambos os métodos de
análise de imagens mostraram-se eficazes na mensuração
das áreas total, de granulação e de fibrina, consolidandose em métodos adequado para avaliação dinâmicoterapêutica das úlceras de perna. As Redes Neurais
Artificiais mostraram-se uma metodologia superior de
análise de imagens quanto a praticidade, com menor
interferência do aplicador/pesquisador por não requerer
delineamento manual.
Este projeto encoraja e contribui para a divulgação de
novas tecnologias e conseqüente uso do software nesta
área e também para o surgimento de novas linhas de
pesquisas.
5 – AGRADECIMENTOS
Agradecemos ao Ambulatório de Dermatologia de
Úlceras Neurovasculares (ADUN) e ao Centro de Saúde
Escola (CSE) do Departamento de Clínica Médica da
FMRP-USP pelo fornecimento das imagens de úlcera de
perna, aos profissionais dessas entidades por tirar dúvidas
sobre a área da saúde e por apoiarem e motivarem o
desenvolvimento dessa metodologia.
[1] Abbade, L. P. F., Lastória, S., 2005. Venous ulcer:
epidemiology, physiopathology, diagnosis and treatment.
International Journal of Dermatology, Vol. 44, pp. 449 – 456.
[2] Albu, A., Ungureanu, L., 2005. Artificial Neural Network
in Medicine. In Symposium on Applied Computational
Intelligence.
[3] Barros, J. R., 2000. Insuficiência Venosa Crônica. In Pitta,
G. B. B., Castro, A.A. & Burihan, E. Angiologia e Cirurgia
Vascular: Guia Ilustrado, in UNISAL/ECMAL, Brazil, Maceió.
[4] Borges, E. L., 2005. Tratamento Tópico de Úlcera Venosa:
Proposta de Uma Diretriz Baseada em Evidência, MSc. Thesis,
University of São Paulo.
[5] Dean, S., 2006. Leg Ulcers – Causes e Management.
Reprinted from Australian Family Physician, Vol. 35, no. 7, pp.
480-484.
[6] Figueiredo, M., 2003. Úlcera Varicosa. Angiologia e
Cirurgia Vascular: Guia Ilustrado, viewed, 13 April 2007,
<http://www.lava.med.br/livro/pdf/marcondes_ulcera.pdf>.
[7] Goldman, R.J., Salcido, R., 2002. More Than One Way to
Measure a Wound: An Overview of Tools and Techniques –
Clinical Management. Advances in Skin & Wound Care, vol.15,
no.5.
[8] Gomes, F.G., Santana, L. A. & Minatel, D. G., 2005. Uso
do Software Image J Para Análise Clínico-Fotográfica das
Úlceras de Perna. 5o. Encobio “Encontro de Bioengenharia”,
University of São Paulo, pp. 37.
[9] Gonzalez, R., Woods, R., 2002, Digital Image Processing,
2nd edn, Prentice Hall.
[10] Haykin, S., 2001, Neural Networks: A Comprehensive
Foundation, 2nd edn, Prentice Hall.
[11] Kupcinskas, A. J., 2006, viewed 13 February 2006,
<http://www.ajkj.med.br/ulc.htm>.
[12] Mekkes, J.R., Loots, M.A.M., Van Der Wal, A.C., & Bos,
J.D., 2003. Causes, Investigation And Treatment Of Leg
Ulceration. British Journal of Dermatology, vol.148, pp. 388401.
[13] Phillips, T. J., Dover, J. S., 1991. Leg Ulcers. J Am Acad
Dermatol, St Louis, vol.25, pp. 965-987.
[14] Pitta, G. B. B., Castro, A. A. & Burihan, E, 2000.
Angiologia e Cirurgia Vascular: Guia Ilustrado, in
UNISAL/ECMAL, Brazil, Maceió.
[15] Math Works, 2004, ver. 7, computer program, The Math
Works Inc., Matlab Help, USA.