Center of Excellence ITSAPT and Textile Faculty TU, Liberec, CZ CITEVE, V.N.Famalicão, Portugal University of Minho, Portugal INTERNATIONAL WORKSHOPS ” Caracterização de Mantos Agulhados por Recuperação de Conteúdo de Imagem ” Belino, N.J.R; Nunes, M.F.; Geraldes, M.J.; University of Beira Interior, Covilhã, Portugal And Silva, M.E.C. University of Minho, Guimarães, Portugal November 15th – 16th - Portugal UNIVERSIDADE DA BEIRA INTERIOR - COVILHÃ - PORTUGAL A CIDADE O PAÍS A UNIVERSIDADE OBJECTIVO • Este trabalho constitui um estudo laboratorial preliminar para a estruturação de um processo de controlo de qualidade baseado num método de classificação e comparação de imagens digitais de mantos pré agulhados (características texturais de imagem) submetidos a uma operação de estiragem. • Este trabalho, vem contribuir para o desenvolvimento de uma ferramenta gráfica computacional que está a ser desenvolvida no DCTT, visando a supervisão do processo de produção de feltros não tecidos agulhados com propriedades quasi istrópicas, através do recurso à análise de textura. INTRODUÇÃO • A análise de imagem, é uma ciência em expansão, que trata de imagens e de dados sobre imagens. Fundamenta-se numa multiplicidade de técnicas que cobrem uma vasta gama de campos de aplicação salientando-se a inspecção industrial, robótica, física, aplicações médicas, condução de veículos e sistemas autónomos, meteorologia, medição e mapeamento de superfícies, etc. • O termo análise de imagem é normalmente utilizado para designar o processo de extracção quantitativa de dados de imagens. • Estes dados são posteriormente armazenados sobre a forma de ficheiros em bases de dados. INTRODUÇÃO • Assim sendo, pode-se sinteticamente referir análise de imagem como o processo de criação de ficheiros de bases de dados, em que cada registo contem os valores extraídos das imagens durante o processo de medição. • Para se efectuar a análise de imagem, primeiro é necessário proceder à sua aquisição: digitalização. • Após a geração do sinal analógico, este é convertido numa matriz digital através da placa de captura de imagem ou “framegrabber”, a qual divide a imagem num reticulado, em que cada ponto está associado a um valor numérico inteiro. INTRODUÇÃO • Em sistemas monocromáticos, cada pixel é convertido a um dos 256 níveis de cinzentos possíveis, • Assim, uma imagem corresponde a um conjunto de pontos conhecidos (pixels), organizados numa forma matricial, possuindo Nx colunas e Ny linhas, tendo associado a cada ponto um nível de cinzento. • Genericamente, uma imagem digital, pode ser matematicamente descrita através da seguinte equação: f (0,0) f (0,1) f (0, Nx 1) f ( x, y ) f (1,0) f (1,1) f ( x, y ) f ( Ny 1,0) f ( Ny 1,1) f (1, Nx 1) f ( Ny 1, Nx 1) INTRODUÇÃO ELEMENTOS FUNDAMENTAIS NO PROCESSAMENTO DIGITAL DE IMAGEM • TEXTURA DE IMAGEM • Apesar de não haver uma definição estrita do conceito de textura de imagem, ela é facilmente perceptível pela visão humana e representa uma fonte de informação visual muito rica acerca da natureza e estrutura tridimensional dos objectos físicos. • De uma forma genérica, podemos considerar que texturas, são padrões visuais complexos compostos por entidades ou sub-padrões que apresentam propriedades características brilho, a uniformidade, densidade, regularidade, dureza, linearidade, frequência, fase, direcionalidade, suavidade, finura, granulação, aleatoriedade, grossura, etc, da textura como um todo (Levine – 1985). TEXTURA DE IMAGEM • Um atributo de textura é um valor, calculado a partir da imagem de um objecto, que quantifica algumas características da variação dos níveis de cinzento desse objecto. Normalmente, um atributo de textura é independente da posição, orientação, tamanho, forma e brilho do objecto como refere Castelman K.N. (1996). • Do ponto de vista estatístico, a textura de imagem corresponde a complicados padrões pictoriais, sobre os quais podem ser definidos modelos estatísticos por forma a caracterizar esses mesmos padrões. MÉTODOS DE ANÁLISE DE TEXTURA • Segundo Haralick, existem oito aproximações estatísticas para medir e caracterizar a textura de imagem: - Funções de auto-correlação; - Transformadas ópticas; - Transformadas numéricas; - Análise por detecção de contorno; - Análise de elementos estruturais; - Probabilidade de co-ocorrência espacial de níveis de cinzento; - Comprimento de sequências do mesmo nível de cinzento; - Modelo autoregressivo MÉTODOS DE ANÁLISE DE TEXTURA • As primeiras quatro aproximações, são uma medida de frequência espacial. Uma textura fina, possui altas frequências espaciais enquanto que uma textura grossa é rica em baixas frequências espaciais. • A análise por detecção de contorno, consiste em considerar uma textura como um certo número de contornos ou fronteiras por unidade de superfície. Assim, quanto mais fina for uma textura, maior será o número de fronteiras definidas. • A aproximação por elementos estruturais, consiste na colocação em evidência de formas designadas por elementos estruturais numa imagem binária. Esta abordagem insiste na forma das primitivas. MÉTODOS DE ANÁLISE DE TEXTURA • A aproximação por co-ocorrência de níveis de cinzento, dá relações espaciais entre este níveis. • A análise do comprimento de sequências de níveis de cinzento define uma textura fina como tendo poucos pixels dentro de uma sequência de níveis de cinzento, e uma textura grossa, como a situação contrária, com sequências largas. • O modelo autoregressivo, estima linearmente o nível de cinzento de um pixel relativamente aos níveis de cinzento de uma vizinhança que o contem. Para uma textura fina, os coeficientes calculados são elevados, enquanto que para uma textura grossa são baixos. Este modelo é conveniente para a análise das microtexturas. ESTATÍSTICAS DE 1ª ORDEM A partir do histograma dos níveis de cinzento da imagem, podemos inferir diferentes parâmetros para descrever quantitativamente as propriedades estatísticas de primeira ordem da imagem: G 1 ip(i) Média i 0 Variância Desvio Padrão Simetria Achatamento G 1 2 (i ) Entropia p (i ) 2 p (i ) i 0 G 1 (i ) i 0 3 3 G 1 (i ) 3 p (i ) i 0 4 4 G 1 (i ) p (i ) 3 4 i 0 G 1 Energia 2 2 E p (i ) i 0 G 1 H p(i) log p(i) 2 i 0 ESTATÍSTICAS DE 2ª ORDEM Existem basicamente três métodos diferentes que aplicam respectivamente algoritmos de estatísticas de 2ª ordem 1. SGLDM – “Spatial Grey Level Dependence Level” - Método da Dependência Espacial dos Níveis de Cinzento Calcula a probabilidade de ocorrer uma transição de nível de cinzento entre dois pixels da imagem separados por uma dada orientação espacial. 2. GLDM – “Grey Level Difference Method” – Método da Divergência dos Níveis de Cinzento Calcula a probabilidade de existência de uma dada diferença de nível de cinzento entre dois pixels, separados por uma dada orientação espacial. 3. RLM – “Run Length Method” – Método de comprimento de sequências de níveis de cinzento Calcula a probabilidade de exitência de sequências de pixels idênticos, para um dado comprimento e, ao longo de uma dada orientação. ESTATÍSTICAS DE 2ª ORDEM • Cornners, R. e Harlow, C. (1980), compararam a eficiência dos diferentes algoritmos com o objectivo de discriminar e classificar um determinado conjunto de texturas. • Estes trabalhos permitiram observar que o método SGLDM era aquele que melhor caracterizava as texturas. • Este método estuda a probabilidade de ocorrer uma transição de nível de cinzento entre dois pixels da imagem separados por uma dada orientação espacial e uma certa distância, é normalmente referido como método das matrizes de Co-ocorrência, ou também GLCM – Grey Level Co-Ocurrence Matrix. ESTATÍSTICAS DE 2ª ORDEM O desenvolvimento do método SGLDM passa por três estádios bem definidos: 1. Aquisição e digitalização da imagem. 2. Cálculo das matrizes de co-ocorrência. 3. Determinação das características ou atributos de imagem. A probabilidade de co-ocorrência espacial de nível de cinzento é uma densidade de probabilidade de 2ª ordem expressa por f(i,j,d,),que significa a probabilidade de ir do nível de cinzento i para o nível de cinzento j, separados entre si pela distância d segundo a direcção . ESTATÍSTICAS DE 2ª ORDEM Assim, para uma imagem com NG níveis de cinzento as funções de densidadade de probabilidade podem ser escritas sobre a forma de quatro matrizes NG X NG paras as direcções 0º,45º,90º e 135º. RESUMO DO PROCESSO Imagem Analógica Imagem Digital Mapa Digital Matriz de Coocorrência Horizontal Matriz de Matriz de Co-ocorrência Probabilidades Simétrica Normalizada ESTATÍSTICAS DE 2ª ORDEM RESUMO DO PROCESSO ESTATÍSTICAS DE 2ª ORDEM •A partir das matrizes de co-ocorrência 14 parâmetros podem ser calculados, Para este trabalho, os descritores texturais seleccionados foram: G 1 G 1 Entropia ENT P d , (i , i 0 j 0 2 G 1 G 1 Energia j ) LnPd , (i, j ) ENE P d , (i , j ) i 0 j 0 G 1 G 1 Homogeneidade HOM Pd , (i, j ) 1 (i j ) i 0 j 0 G 1 G 1 Contraste CON ( I J ) 2 2 Pd , (i, j ) i 0 j 0 G 1 G 1 (i )( j )P x Correlação COR y i 0 j 0 xy d , (i, j ) ESTATÍSTICAS DE 2ª ORDEM • ENTROPIA A entropia mede o grau de desordem numa imagem. • ENERGIA É a medida da dispersão das entradas da matriz, e consequentemente da uniformidade da textura. • CONTRASTE O contraste é o momento de inércia da matriz em torno da sua diagonal principal. É um parâmetro que mede a dispersão dos valores. • HOMOGENEIDADE A homogeneidade é a medida da uniformidade da textura. • CORRELAÇÃO A correlação é a medida da linearidade e do conteúdo estrutural de uma textura ESTATÍSTICAS DE 2ª ORDEM Como observação final, interessa salientar que a maioria das aplicações que recorrem a este método, efectuam a determinação das características para as quatro direcções angulares definidas de modo a não se trabalhar com apenas uma direcção específica, sendo por fim calculada a média dos quatro direccionamentos. CRIAÇÃO DE UMA BASE DE DADOS DE IMAGENS • Para a realização desta componente experimental, procedeu-se à tomada de imagens em modo dinâmico, por uma câmara VHS, de provetes de um feltro pré-agulhado padrão, submetido a um ensaio de resistência mecânica de alongamento constante até à rotura. • A variação ao longo dos valores da força de rotura, alongamento de rotura, da energia de rotura e dos descritores texturais seleccionados, foram registados para cada teste efectuado. • O protocolo experimental envolveu 30 ensaios no sentido longitudinal e outros 30 ensaios no sentido transversal. CRIAÇÃO DE UMA BASE DE DADOS DE IMAGENS • Para cada imagem adquirida, é determinado um vector de características. • A comparação por similaridade é efectuada através da cálculo da menor distância euclidiana entre o vector de características da imagem de teste e o vector determinado para cada uma das imagens constantes na base de dados, após uma normalização dos atributos alvo e de uma redução dos casos aberrantes. •Assim, para o caso concreto deste trabalho de estudo o processo métrico utilizado será a distância métrica padrão ou distância Euclidiana. CRIAÇÃO DE UMA BASE DE DADOS DE IMAGENS DISTÂNCIA EUCLIDIANA d (S n 1X i i 1 S1Y i ) 2 ( S1 X i S 2Y ) 2 ( E X i EYi ) 2 (C X CYi ) 2 (CoX i CoYi ) 2 ( H X i H Yi ) 2 ( FX i FYi ) 2 i S1X = Entropia de 1ª ordem da imagem a comparar; S1Y = Entropia de 1ª ordem das imagens comparadas; S2X = Entropia de 2ª ordem da imagem a comparar; S2Y = Entropia de 2ª ordem das imagens comparadas; EX = Energia de 2ª ordem da imagem a comparar; EY = Energia de 2ª ordem das imagens comparadas; CX = Contraste da imagem a comparar; CY = Contraste das imagens comparadas; CoX = Correlação da imagem a comparar; CoY = Correlação das imagens comparadas; HX = Homogeneidadeda imagem a comparar; HY = Homogeneidade das imagens comparadas; FX = Força de rotura da imagem a comparar; FY = Força de rotura das imagens comparadas. CRIAÇÃO DE UMA BASE DE DADOS DE IMAGENS Tempo = 1 Tempo = 2 Tempo = 4 Tempo = 6 Tempo = 8 Tempo = 10 Tempo = 12 Tempo = 15 Tempo = 20 Tempo = 25 Tempo = 30 Tempo = 35 Um sistema que possibilite a pesquisa de imagens a partir de informações sobre o seu conteúdo pictórico é denominado “Sistema de Consulta de Imagem Baseado em Conteúdo” – C.B.I.R. DESCRIÇÃO DA TÉCNICA EXPERIMENTAL 1 - MODO OPERATÓRIO: • Acondicionamento dos rolos de não tecido pré agulhado segundo atmosfera normalizada. • Selecção e corte dos diferentes provetes a ensaiar de acordo com as regras de amostragem e dimensões especificadas nas normas ISO 186 e NP EN ISO 9073 DESCRIÇÃO DA TÉCNICA EXPERIMENTAL 2 - PREPARAÇÃO E ACONDICIONAMENTO DOS PROVETES • Preparação e calibração do dinamómetro Adamel Lomarghi para a execução de ensaios de resistência mecânica. • Cortaram-se cinco amostras no sentido da direcção da máquina, (MD) e outras cinco no sentido transversal (CD). As amostras têm uma largura de 50 mm 0,5 mm e um comprimento que garante um afastamento das garras de 200 mm. • Acondicionaram-se as amostras de acordo com a norma NP EN 20139 – Atmosferas normalizadas. (20º c 65% H.R). • Colocaram-se as garras com uma distância entre si de 200 mm 1 mm, com uma pré-tensão definida pela norma ((EN ISO 13934-1). DESCRIÇÃO DA TÉCNICA EXPERIMENTAL 2 - PREPARAÇÃO E ACONDICIONAMENTO DOS PROVETES • Aplicou-se uma taxa de alongamento constante de 60mm/mn. (1mm/s). • Registou-se a curva tensão/extensão para cada amostra, sendo a tensão de rotura expressa em Newtons, a extensão de rotura é expressa em percentagem e a energia de rotura expressa em joules. DESCRIÇÃO DA TÉCNICA EXPERIMENTAL RESUMO DO PROCESSO 1 – Captação de imagens dos ensaios dinamométricos de referência para os dois eixos ortogonais. 2 – Pré processamento das imagens 3 – Cálculo das características de haralick 4 – Registo dos dados dinamométricos – Construção da base dados 5 – Novos ensaios experimentais 6 – Comparação por similaridade – Recuperação de imagem por conteúdo DESCRIÇÃO DA TÉCNICA EXPERIMENTAL BASE DE DADOS DE IMAGENS IMAGEM PARA CONSULTA NORMALIZAÇÃO NORMALIZAÇÃO CONSULTA NORMALIZADA BASE DE DADOS NORMALIZADA VECTOR DE PROPRIEDADES DAS IMAGENS COMPARAÇÃO POR SIMILARIDADE VECTOR DE PROPRIEDADES DA IMAGEM N MELHOR APROXIMAÇÕES DESCRIÇÃO DA TÉCNICA EXPERIMENTAL Segundo um sistema de “C.B.I.R. - Content based image retrieval”, as imagens capturadas, são submetidas a um processo de comparação com imagens de referência existentes numa base de dados, cujas características dinamométricas são conhecidas, permitindo desta forma estabelecer um modelo preditivo do comportamento mecânico do manto estirado. RESULTADOS • Com base nos resultados obtidos, procedeuse à verificação da existência de relações estatísticas, bem como à averiguação da sua natureza e robustez. • Deste modo, efectuou-se a determinação analítica dos coeficientes e parâmetros da equação estimada pelo método quadrático, e respectiva análise de variância. O resultado encontrado está expresso nos seguintes quadros RESULTADOS ERRO BETA NIVEL DE PADRÃO PADRÃO T SIGNIF. R2 EQUAÇÃO DE T () () - 000197 0,000304 -0,207275 -0,648 0,5276 tempo Y = -1,2000x10-5t2 -5 -6 2 0,90823 5.2 0,00197t -1,2000x10 5,1126x10 -0,751038 -2,347 0,341 tempo +6,028308 6,028308 0,003304 1824,755 0,000 constante Graus Soma Nível Modelo Quadrado Médio F de dos de Liberdade Quadrados Significância 2 0,00509560 0,00254780 Regressão 69,27871 0,0000 14 0,00051487 0,00003678 Residual Quadro Nº1 – Curva estimada para a variação da entropia de 1ª ordem para o eixo longitudinal ao longo do tempo e respectiva análise de variância. VARIÁVEL VARIÁVEL Tempo Tempo2 constante Modelo Regressão Residual Quadro Nº2.– variância. ERRO PADRÃO () 0,000261 4,390x10-6 0,002837 BETA PADRÃO () 2,252919 - 2,54592 T NIVEL DE SIGNIF. DE T 0,0116 0,0055 0,0000 R2 EQUAÇÃO 0,000757 2,29 Y = - 1,4391x10-5t2 -5 0,45917 + 0,000757t - 1,4391x10 - 3,278 + 6,104924 6,104924 2151,804 Graus Soma Nível Quadrado Médio F de dos de Liberdade Quadrados Significância 2 0,00032239 0,00016120 5,94316 0,0135 14 0,00037972 0,00002712 Curva estimada para a variação da entropia de 1ª ordem para o eixo transversal ao longo do tempo e respectiva análise de RESULTADOS ERRO BETA NIVEL DE PADRÃO PADRÃO T SIGNIF. R2 EQUAÇÃO DE T () () 0,001191 0,000601 1,238145 1,982 0,0675 tempo Y = -3,1382x10-5t2 -5 -5 2 0,6502 + 0,001191t -3,1382x10 1,0101x10 -1,940851 -3,107 0,0077 tempo +11,222928 11,222928 0,006527 1719,521 0,0000 constante Graus Soma Nível Modelo Quadrado Médio F de dos de Liberdade Quadrados Significância 2 0,00373546 0,00186773 Regressão 13,01163 0,0006 14 0,00200960 0,00014354 Residual Quadro Nº3. – Curva estimada para a variação da entropia média de 2ª ordem para o eixo longitudinal ao longo do tempo e respectiva análise de variância. VARIÁVEL ERRO BETA NIVEL DE PADRÃO PADRÃO T SIGNIF. R2 EQUAÇÃO DE T () () 0,003264 0,000369 3,253498 8,834 0,0000 Tempo Y = - 4,5534x10-5t2 -5 -6 2 0,87843 + 0,003264t - 4,5534x10 6,2117x10 - 2,699655 -7, 331 0,0000 Tempo + 11,394 11,394 0,004014 0,00 2838,841 0,0000 Constante Graus Soma Nível Quadrado Médio F Modelo de dos de Liberdade Quadrados Significância 2 0,00549150 0,00274575 Regressão 50,57767 0,0000 Residual 14 0,00076003 0,00005429 Quadro Nº4. – Curva estimada para a variação da entropia de 2ª ordem para o eixo transversal ao longo do tempo e respectiva análise de variância. VARIÁVEL RESULTADOS Direcção MD 2 1,5 ENTROPIA 1ª ORDEM 1 0,5 0 1 2 4 6 8 10 12 15 20 25 30 35 40 45 -0,5 -1 -1,5 -2 -2,5 TEMPO Valores Experimentais Valores Calculados Valores CBIR 50 55 60 RESULTADOS Direcção CD 2,000 1,500 ENTROPIA 1ª ORDEM 1,000 0,500 0,000 1 2 4 6 8 10 12 15 20 25 30 35 40 45 -0,500 -1,000 -1,500 -2,000 -2,500 -3,000 TEMPO (s) Valores Experimentais Valores Calculados Valores CBIR 50 55 60 RESULTADOS Direcção MD 1,5 1 ENTROPIA 2ª ORDEM 0,5 0 1 2 4 6 8 10 12 15 20 25 30 35 40 45 -0,5 -1 -1,5 -2 -2,5 TEMPO (s) Valores Experimentais Valores Calculados Valores CBIR 50 55 60 RESULTADOS Direcção CD 2,000 1,500 ENTROPIA 2ª ORDEM 1,000 0,500 0,000 1 2 4 6 8 10 12 15 20 25 30 35 40 45 -0,500 -1,000 -1,500 -2,000 TEMPO (s) Valores Experimentais Valores Calculados Valores CBIR 50 55 60 RESULTADOS CORRELAÇÃO VALORES EXPERIMENTAIS X VALORES CALCULADOS VALORES EXPERIMENTAIS X VALORES C.B.I.R. VALORES C.B.I.R. X VALORES CALCULADOS DIRECÇÃO MD CD MD CD MD CD Entropia 1ª ordem 0,8138 0,1385 0,9835 0,9431 0,7413 0,2104 Entropia Média 2ª ordem 0,9037 0,2238 0,8828 0,9274 0,9684 0,3549 Energia Média 2ª ordem 0,9244 0,4937 0,9656 0,9273 0,9278 0,6334 Contraste Médio 0,5693 0,7436 0,9379 0,8789 0,4683 0,5427 Correlação Média 0,8908 0,9543 0,9387 0,8268 0,7806 0,8666 Homogeneidade Média 0,8983 0,7642 0,9372 0,9664 0,9281 0,7610 Força de Rotura 0,9997 0,9998 0,9855 0,9490 0,9860 0,9508 CONCLUSÕES •Foi desenvolvido uma montagem experimental para a captação e processamento de imagens de amostras de mantos pré agulhados sujeitas a um movimento uniaxial de estiragem controlado, com uma razão de alongamento constante, e que permite avaliar instantaneamente de um modo estático, a evolução conjugada das principais propriedades texturais e mecânicas. CONCLUSÕES Neste trabalho introduziu-se uma nova técnica com vista à condução controlada do processo de estiragem de mantos pré agulhados fundamentada em recuperação de imagens por conteúdo, através da comparação simultânea de propriedades texturais e dinamométricas de imagens obtidas em ambiente experimental e respectiva comparação com imagens previamente adquiridas em condições controladas e arquivadas em base de dados. Os excelentes coeficientes de correlação obtidos entre imagens de resultados experimentais e os resultados previstos pela metodologia CBIR, permitem inferir que esta solução tecnológica poderá ser aplicável na catalogação em tempo real das propriedades texturais de mantos pré agulhados em meio industrial, e consequentemente, na estimação do seu comportamento futuro. CONTACTO: Universidade da Beira Interior Unidade de Materiais Têxteis e Papeleiros Departamento de Ciência e Tecnologia Têxteis Engº Nuno José Ramos Belino Rua Marquês D´Ávila e Bolama, Nº1 6200-001 – Covilhã – Portugal [email protected] www.ubi.pt Tel: 00351 – 275 319700 Fax 00351 – 275 319723