IDENTIFICAÇÃO AUTOMÁTICA DE DEFEITOS EM
PRODUTOS LAMINADOS POR MEIO DE INSPEÇÃO VISUAL
Marcus V. Miranda∗, Armando A. Neto∗, Mário C. da Silva Jr.∗, Leonardo A. Mozelli∗
∗
CELTA – Centro de Estudos em Engenharia Eletrônica e Automação
Universidade Federal de São João Del Rei
Ouro Branco, MG, Brasil
Emails: [email protected], {aaneto, mariocupertino, mozelli}@ufsj.edu.br
Abstract— This paper presents a method of identifying defects in flat rolled products using Computer Vision
techniques. The idea is to replace human work by an automatic visual inspection system, able to identify
manufacturing failures in laminated plates, highlighting the defect in black-and-white images, acquired by simple
digital cameras. To improve the quality of the images, filters were used for noise removal. Final results of the
method are presented, which have shown to be low susceptible to internal and external noise in the acquisition
process.
Keywords—
Computer vision, rolled products, defect detection.
Resumo— Este trabalho apresenta um método de identificação de defeitos em produtos laminados planos
utilizando técnicas de Visão Computacional. O objetivo é substituir o trabalho de inspeção visual humana por um
sistema automático, capaz de identificar falhas de fabricação em chapas laminadas, destacando o defeito com base
em imagens monocromáticas adquiridas com o uso de câmeras simples. Para melhorar a qualidade das imagens,
foram empregados filtros para a remoção de ruı́dos. Por fim, são apresentados os resultados do método, os quais
se mostram pouco susceptı́veis a ruı́dos internos e externos do processo de aquisição. Os autores agradecem à
Capes, ao CNPq e à Fapemig pelo apoio.
Palavras-chave—
1
Visão Computacional, produtos laminados, detecção de defeitos.
Introdução
Atualmente, com o advento dos sistemas de produção modernos, o fator qualidade dos produtos
tornou-se essencial para a sobrevivência em um
mercado cada vez mais competitivo (Salis, 2008).
Dessa forma, sistemas de inspeção automática instalados nas linhas de produção tem se mostrado
cada vez mais necessários.
Uma questão importante relativo à implantação de sistemas de verificação automatizados diz
respeito ao fator humano. Quando o trabalho de
inspeção é realizado manualmente, se mostra uma
tarefa monótona e degradante para o operador. Segundo Imatic Sistemas industriais de Visão (2014),
a inspeção humana mostra taxas de efetividade entre 80% e 90%, declinando rapidamente após a
primeira meia hora de trabalho.
Por outro lado, sistemas automáticos de inspeção obedecem sempre ao mesmo padrão, ou seja,
seus critérios nunca variam de maneira indesejada
ou imprevista. Além disso, apresentam nı́veis de
qualidade, precisão e velocidade muito superiores
aos das formas não automatizadas. Um sistema de
inspeção automática tı́pico, apresentado na Figura
1, é formado por diversas câmeras na face inferior
e superior do material, sistemas de controle de iluminação, servidores e monitores para visualização.
1.1
Breve Descrição da Planta
O plano de investimentos da Gerdau S.A. para
2012-2016 totaliza R$ 10,3 bilhões e tem como
Figura 1: Representação de um sistema de inspeção
automática (Machado et al., 2003).
uma das prioridades a expansão da Usina de Ouro
Branco/MG. Em 2014 iniciou-se a operação da
linha de acabamento do laminador de bobinas a
quente (Gerdau, 2015). A laminação é composta
de pontes rolantes, fornos de reaquecimento, cadeira de laminação, fornos Steckel, sistemas de
resfriamento da tira, sistemas de inspeção automática, bobinadeiras e estação de inspeção manual.
A placa reaquecida no forno à temperatura de
1.200 o C é laminada, nos dois sentidos, após vários
passes em uma cadeira reversı́vel. Durante o último passe, a tira passa pelo leito de resfriamento
para alcançar a temperatura-objetivo durante a
etapa de bobinamento. A estação de inspeção automática encontra-se no final desse leito, após o
qual a tira é bobinada, amarrada e enviada para a
área de expedição ou para a estação de inspeção
manual.
Para o funcionamento satisfatório do sistema
Imagens
ruidosas
Filtragem
Segmentação
(a) corpo laminado
(b) arranhão
Operações
morfológicas
(c) incrustação de
carepa
Sim
Detecção
do defeito
Não
ρ > limiar
Sem
defeito
Localização
do defeito
Defeito
encontrado
(d) esfoliação
(e) marca de cilindro
(f) mancha
Figura 2: Tipos de defeitos em produtos planos
laminados.
de inspeção, muitos dispositivos exigem controle
de iluminação a fim de eliminar a variação da luz
natural sobre o processo. Além disso, a qualidade
das imagens adquiridas deve ser independente da
velocidade de laminação. Os tipos mais comuns
de defeitos identificados baseiam-se nas diferenças
entre regiões defeituosas e suas vizinhanças. Os
principais são ilustrados na Figura 2.
A principal motivação para a realização deste
trabalho é, além das vantagens supracitadas, a
grande escassez e alto custo dos sistemas de inspeção automática de qualidade existentes no mercado
nacional. O objetivo primário aqui é desenvolver
um conjunto de algoritmos capazes de tratar imagens (monocromáticas a princı́pio) obtidas por
meio de uma câmera CCD de baixo custo, visando
adequá-las à identificação de defeitos, tais como arranhões, marcas e incrustações na chapa laminada.
Após o tratamento dessas imagens, utilizando processos estatı́sticos, determina-se a presença, ou não,
de imperfeições no produto fotografado com base
unicamente nas informações visuais processadas.
2
Trabalhos Relacionados
Sensores tipo laser e ultra-sônicos estão entre os
mais eficientes para a detecção de falhas em superfı́cies. Contudo, para trabalhar nos ambientes hostis
de uma laminação a quente (altas temperaturas,
fuligem, poeira, vapor, água) o grau de proteção
do equipamento deve ser adequado, aumentado
os custos associados a este tipo de tecnologia, já
elevados. Em Baillie et al. (2007) esse tipo de
sensor é adotado para a detecção de defeitos em
aços em um estágio precoce. Outra alternativa é
o uso de sensores de radiação, como em Sugimoto
and Kawaguchi (1998), onde o gradiente de temperatura é usado para detectar defeitos, partindo
da premissa de que o mesmo é praticamente nulo
em um laminado sem falhas.
Figura 3: Fluxograma do método utilizado para a
detecção de defeitos.
O escopo deste trabalho, entretanto, é a utilização de imagens obtidas a partir de câmeras
comuns para detectar defeitos na superfı́cie. Poucos trabalhos na literatura tratam da temática de
detecção de defeitos na superfı́cie de laminados
(Caleb and Steuer, 2000; Jia et al., 2004; Ghorai
et al., 2013).
Em Caleb and Steuer (2000) a detecção é baseada na identificação de regiões com texturas distintas com relação a cena, embasado em um método
proposto em 1973. Em seguida, baseando-se em
redes neurais diferentes, um estudo comparativo é
conduzido para determinar o melhor classificador
para 6 classes, 5 sendo tipos de defeitos e 1 classe
como sendo ruı́do, não representando nenhum defeito. Já em (Jia et al., 2004) apenas um tipo
de defeito é considerado e a metodologia adota
Support Vector Machine (SVM) como classificador, sendo que a detecção de regiões candidatas
a defeituosas é realizada segundo uma heurı́stica
especı́fica para o defeito do tipo seam.
Em Ghorai et al. (2013) resultados promissores
são obtidos usando wavelets e diferentes atributos
de Haar, Daubechies, Bior e múltiplos, ao invés de
metodologias baseadas em gradiente e segmentação. O trabalho apresenta resultados em favor da
metodologia de wavelets. Todavia, um detalhe que
deve ser destacado é o fato de que nenhum ruı́do é
considerado naquele trabalho, sobre a premissa de
condições favoráveis de iluminação constante.
3
Metodologia
A metodologia aplicada baseia-se na análise de
imagens digitais para a identificação de defeitos
em produtos laminados planos. A Figura 3 mostra
o fluxograma do método desenvolvido, cujas etapas
são descritas a seguir.
3.1
Obtenção da imagem
Para fins práticos, a imagem será considerada uma
função g(x, y), com g(·) : R2 → R, onde x e y
indicam o centro de cada pixel. Durante a aquisição, transmissão e processamento, essa função
normalmente é contaminada por ruı́do. Esse, por
sua vez, possui uma série de caracterı́sticas indesejadas que aparecem e mascaram a informação
visual relevante. Existem vários tipos de ruı́do conhecidos, tais quais diversas técnicas usadas para
atenuá-los ou eliminá-los. Os mais comuns são o
ruı́do impulsivo e o ruı́do gaussiano de distribuição
normal.
O ruı́do impulsivo é caracterizado principalmente pela ocorrência de valores de cinza que
diferem muito de seus vizinhos, normalmente
on/off (Arora, 2012). Vários algoritmos para a
remoção de ruı́do impulsivo têm sido propostos na
literatura. Dentre os mais conhecidos, estão os filtros da mediana (Sun and Nuevo, 1994), mediana
adaptativa (Sun and Nuevo, 1994; Hwang and Haddad, 1995) e métodos baseados em treinamentos
prévios (Abreu et al., 1996).
Já o ruı́do gaussiano é um tipo de ruı́do aditivo em que valores aleatórios são somados a cada
pixel. Esse tipo de modelo é frequentemente utilizado para representar ruı́dos desconhecidos, cuja
distribuição tende a uma função normal gaussiana
de média µ e desvio padrão σ. Ele normalmente
aparece na imagem devido ao próprio ruı́do que
corrompe os circuitos eletrônicos dos equipamentos
de aquisição.
3.2
Filtragem
Sistemas de inspeção automática normalmente exigem certa qualidade das imagens para o diagnóstico correto do produto. Por isso, são utilizados
filtros digitais para tornar o sistema mais robusto
e menos susceptı́vel a ruı́dos comuns no processo
de aquisição e transmissão de imagem.
Existem duas abordagens clássicas para filtragem: as do domı́nio da frequência e as do domı́nio
espacial. Neste trabalho, a filtragem é realizada
no domı́nio espacial por meio de uma máscara
com distribuição gaussiana (filtragem linear) e de
operações de mediana (filtragem não linear).
3.3
Operações morfológicas
Através da análise do histograma de uma imagem, verifica-se sua qualidade quanto ao nı́vel de
contraste e brilho (quão escura ou clara é a imagem). Neste trabalho, a equalização se mostrou
útil, pois aumentou significativamente o contraste
da imagem, facilitando a segmentação das partes
com defeito, conforme será visto na Seção 4. Entretanto, há situações em que a equalização pode
degradar a imagem, por exemplo, quando essa possui histograma muito fechado, ou seja, seus pixels
(a) sem defeito
(b) com defeito
Figura 4: Imagens binarizadas (a) com e (b) sem
defeito.
estão concentrados em uma faixa estreita da escala
de cinza.
É importante ressaltar que, durante a aquisição das imagens usadas neste trabalho, não foi
utilizado nenhum controle de iluminação ou posicionamento adequado, dificuldades que visamos
suplantar com a utilização de um filtro gaussiano
passa-altas para elimiar as variações normalmente
em baixa frequência. A diferença de brilho em
uma imagem dificulta sua segmentação, caso não
seja aplicado nenhum tipo de filtro. Essa caracterı́stica dificulta a segmentação da imagem, tanto
por limiar global quanto por limiar adaptativo –
método de Otsu (Otsu, 1979).
3.4
Detecção e localização do defeito
Uma maneira comum de se identificar objetos presentes em uma imagem é analisar o valor de cada
pixel e sua vizinhança. Um conjunto de pixels semelhantes tende a representar a mesma região, a
qual pode ser (ou não) um objeto. Porém, devido
à presença de ruı́dos, determinadas regiões podem
não representar um objeto. Uma diferença observada entre ruı́do e defeito é que o último acontece
de maneira mais concentrada que o primeiro, ou
seja, seus pixels estão mais próximos, mais concentrados. Observa-se na Figura 4(a) que, para uma
imagem sem defeito, as regiões encontram-se dispersas, possivelmente devido a ruı́do de aquisição.
Já na Figura 4(b), as regiões estão mais próximas,
ou seja, há um indicativo claro da presença de um
defeito.
Assim, a maneira encontrada para classificar
corretamente as imagens foi utilizar uma medida
de densidade ρ das regiões que representam (ou
não) o defeito. A densidade é encontrada através
da razão entre a soma de todas as m áreas das
regiões que indicam defeitos em uma imagem e a
soma das distâncias euclidianas entre os centroides
de cada região e os das demais regiões. Sejam os
centroides p e q, com coordenadas hxp , yp i e hxq , yq i
respectivamente, a distância é dada segundo:
d(p, q) =
q
(xq −xp )2 + (yq −yp )2 .
(1)
Como uma das caracterı́sticas do defeito é possuir
áreas maiores do que o ruı́do, foi utilizada a função
(a)
(a)
(b)
(b)
(c)
Figura 5: Resultado da identificação de defeito
em produtos laminados: (a) arranhão, (b) corpo
laminado e (c) esfoliação.
exponencial para a atribuição de peso, tal que:
Atotal =
m
X
eai ,
(c)
Figura 6: Detecção de defeito em imagens com (a)
20 %, (b) 40 % e (c) 60 % de ruı́do sal-e-pimenta.
(2)
i=1
onde ai é o valor da área individual de cada região
encontrada.
A densidade de uma imagem é então dada por:
ρ=
Atotal
,
d(p, q)
∀p, q ∈ m.
(a)
(3)
O limiar para a classificação entre imagens com
defeitos foi encontrado a partir da média entre a
densidade máxima de uma imagem sem defeito e
a densidade mı́nima de uma imagem com defeito,
o que constitui uma calibração prévia do sistema.
4
Experimentos
Para a realização dos experimentos, foi utilizado o
software MATLAB, além de um computador com
Intel i5, com 4GB e sistema operacional Ubuntu
13.10. Utilizamos o cálculo do fecho convexo entre
os centroides de cada região para destacar o defeito
identificado. Alguns dos resultados são mostrados
na Figura 5.
4.1
(b)
Susceptibilidade a ruı́do
A robustez do algoritmo proposto neste trabalho
foi testada inserindo-se (i) ruı́do impulsivo sal-epimenta e (ii) ruı́do gaussiano a imagem. É importante ressaltar que isso doi feito apenas para
testar a tolerância do algoritmo proposto, visto
que sistemas de inspeção padrão não apresentam
imagens de boa qualidade.
A técnica mostrou resultados importantes,
uma vez que, mesmo após a aplicação de significativas quantidades de ruı́dos, ainda foi possı́vel
detectar corretamente o defeito, como visto nas
Figuras 6 e 7. Entretanto, para nı́veis de ruı́do
muito alto, a perda de informação visual torna a
(c)
Figura 7: Detecção de defeito em imagens com
(a) ruı́do gaussiano de µ = 0 e σ = 0,01; (b) µ =
0,326.2 e σ = 0,015.3; e (c) µ = 0 e σ = 0,153.
detecção muito mais dı́ficil. Isso fica evidenciado
nas Figuras 6(c) e 7(c).
Analisando os resultados apresentados, notase que o ruı́do impulsivo afeta menos o sistema do
que o ruı́do gaussiano. Isso se deve ao fato de o
ruı́do sal-e-pimenta ocorrer basicamente em altas
frequências, ao passo que o ruı́do gaussiano afeta
todo o espectro.
4.2
Susceptibilidade a variação de iluminação
Como segundo teste, expusemos o método à variação de brilho na imagem. A Figura 8 ilustra esta
variação e a respectiva identificação dos defeitos.
Assim, projetamos um método com certa tolerância à variação na iluminação (um tipo especı́fico
de perturbação externa).
Referências
(a)
Abreu, E., Lightstone, M., Mitra, S. K. and Arakawa, K. (1996). A new efficient approach for
the removal of impulse noise from highly corrupted images, IEEE Trans. Image Process.
Arora, S. (2012). Standard Deviation Based Impulse Noise Filter, PhD thesis, Dep. of Information Tech., Delhi Technological Univ.
(b)
Figura 8: Variação de brilho: (a) imagem com
maior intensidade e identificação do respectivo defeito; (b) imagem com menor intensidade e identificação do respectivo defeito.
5
Conclusão
Sistemas de inspeção on-line utilizando técnicas
de Visão Computacional apresentam diversas vantagens em relação à inspeção visual manual. Eles
obedecem a padrões determinados, não variando
seus critérios de maneira indesejada. Possuem
maior velocidade de inspeção e garantem rápida
realimentação para as linhas de produção.
No algoritmo proposto aqui, foram implementados filtros a fim de melhorar a qualidade da
imagem, aumentando a robustez do sistema. Além
disso, não houve necessidade de se realizar a estruturação rı́gida da cena (posicionamento de iluminação especial, por exemplo) para tratar as imagens,
de forma que não é necessário investir muito no processo de aquisição. O algoritmo proposto admite
certos nı́veis de ruı́do na imagem, além da variação no brilho, fatores importantes para a maioria
dos sistemas baseados em Visão Computacional.
A identificação do defeito na imagem foi baseada
na densidade de regiões semelhantes, calculada
através da razão entre a soma de cada área e a
soma entre as distâncias euclidianas entre seus os
respectivos centroides.
Como trabalho futuro, sugere-se a correção de
borramento causado pelo movimento linear uniforme da bobina laminada a ser inspecionada. Esse
problema surge quando há movimento relativo entre a câmera e o objeto durante o tempo que o
obturador ficar aberto. Outro passo interessante
é a classificação dos defeitos encontrados. Para
tal, empregam-se técnicas de reconhecimento de
padrões, tais como redes neurais e lógica nebulosa,
que classifica os defeitos analisando suas caracterı́sticas geométricas.
Agradecimentos
Os autores agradecem à Capes, ao CNPq e à Fapemig pelo apoio.
Baillie, I., Griffith, P., Jian, X. and Dixon, S.
(2007). Implementing an ultrasonic inspection
system to find surface and internal defects in
hot, moving steel using EMATs, Insight .
Caleb, P. and Steuer, M. (2000). Classification
of surface defects on hot rolled steel using
adaptive learning methods, IEEE Inter. Conf.
Knowl. Based Intell. Eng. Syst. & Allied Tech.
Gerdau, S. A. (2015). Relatório Anual 2014, Technical report.
Ghorai, S., Mukherjee, A., Gangadaran, M. and
Dutta, P. (2013). Automatic defect detection
on hot-rolled flat steel products, IEEE Trans.
Instrum. Meas. 62(3): 612–621.
Hwang, H. and Haddad, R. A. (1995). Adaptive
median filters: new algorithms and results,
IEEE Trans. Signal Process., pp. 499–502.
Imatic Sistemas industriais de Visão (2014).
Jia, H., Murphey, Y., Shi, J. and Chang, T.-S.
(2004). An intelligent real-time vision system
for surface defect detection, Proc. 17th Int.
Conf. Pattern Recognit. 2004, Vol. 3.
Machado, M. L., Sobrinho, V. d. and Arrivabene,
L. F. (2003). Siderurgia para não siderurgistas,
1 edn, ABM.
Otsu, N. (1979). A threshold selection method
from gray-level histograms, IEEE Trans. Sys.,
Man., Cyber 9.
Salis, T. T. (2008). Aplicações de Visão Computacional na Indústria Siderúrgica: problemas, soluções e estudos de caso, PhD thesis,
UFMG.
Sugimoto, T. and Kawaguchi, T. (1998). Development of a surface defect inspection system
using radiant light from steel products in a
hot rolling line, IEEE Trans. Instrum. Meas.
.
Sun, T. and Nuevo, Y. (1994). Detail-preserving
median based filters in image processing, Pattern Recognit. Lett. 15.