Aplicação de modelos computacionais evolutivos na otimização de parâmetros de uma rede neural multilayer perceptron treinada via backpropagation André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto Laboratório Protem Departamento de Computação Universidade Estadual de Londrina 20 de novembro de 2008 André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 1 / 19 Introdução Redes Multilayer Perceptron (MLP) Aprendizagem da Rede MLP Algoritmo backpropagation com momento Escolha dos parâmetros livres Modelos Computacionais Evolutivos André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 2 / 19 Motivação Rede MLP é a rede mais largamente utilizada [Basheer and Hajmeer, 2000] Determinação dos parâmetros é realizado por tentativa e erro. [Sukthomya and Tannock, 2005], [Basheer and Hajmeer, 2000] Impraticável quando espaço de busca é muito grande. Número de combinações possı́veis. André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 3 / 19 Objetivos Objetivos Determinar a melhor configuração da rede automaticamente; Parâmetros otimizados: - Taxa de aprendizagem; - Constante de momento; - Número de neurônios na camada oculta. André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 4 / 19 Objetivos Para isso utilizou-se: Modelos Computacionais Evolutivos Algoritmo Genético (AG); Otimização por Enxame de Partı́culas (PSO). Métodos conhecidos pela aplicabilidade em problemas de otimização. André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 5 / 19 Materiais e métodos Algoritmo Genético Algoritmo Genético Método de busca e otimização baseado no mecanismo de evolução dos indivı́duos de uma população. Inspirado na teoria da evolução Darwiniana; Iindivı́duos representam possı́veis soluções do problema; Indivı́duos evoluem por meio de seleção e a aplicação de operadores genéticos: Crossover; Mutação. André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 6 / 19 Materiais e métodos Otimização por Enxame de Partı́culas Otimização por Enxame de Partı́culas Algoritmo inspirado no comportamento e interação social entre indivı́duos do mesmo grupo [Kennedy, 1997]. Utiliza o conceito de inteligência coletiva; Indivı́duos evoluem comparando suas posições e velocidades; Considerando seu melhor resultado e o melhor de todo o enxame. André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 7 / 19 Materiais e métodos Modelagem Modelagem com Algoritmo Genético Codificação binária; Método da Roleta para seleção; crossover de 1 ponto (P(c) = 80%); Mutação por inversão de bit (P(m) = 1%); Elitismo (Taxa = 20%). Parâmetros codificados são concatenados formando um único cromossomo. André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 8 / 19 Materiais e métodos Modelagem Modelagem com PSO Indivı́duos buscam em um espaço tridimensional; Indivı́duos foram sintetizados em uma estrutura; André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 9 / 19 Materiais e métodos Modelagem Método de validação cruzada k-fold (k = 10); Em ambos os modelos: Número de Indivı́duos: 15 Número de Ciclos (Gerações): 15 André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 10 / 19 Materiais e métodos Modelagem Intervalo dos valores obtidos por heurı́sticas; Taxa de Aprendizagem e constante de momento [Fu, 1994]; Número de Neurônios Ocultos [Jadid and Fairbairn, 1996]. Parâmetros Taxa de Aprendizagem Constante de Momento Número de Neurônios Ocultos André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto Intervalo 0-1 0-1 2-13 20 de novembro de 2008 11 / 19 Resultados e Discussão Simulações Rede MLP é um classificador de indivı́duos normais ou com DPOC (Doença Pulmonar Obstrutiva Crônica). Medidas fisiológicas consideradas: Capacidade Vital Forçada (CVF); Volume Expiratório Forçado no Primeiro Segundo (VEF1); Pico de Fluxo Expiratório (PFE); Fluxo Expiratório Forçado Médio (FEF25-75%) e Ventilação Voluntária Máxima (VVM). André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 12 / 19 Resultados e Discussão Simulações Dados do Lab. de Fisioterapia Pulmonar da Universidade Estadual de Londrina. Dados coletados de 222 pacientes: 142 normais; 80 com DPOC já diagnosticada. André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 13 / 19 Resultados e Discussão Simulações Software simulador da rede MLP implementado sobre o ambiente Scilab; Computador Pentium 4, 3.0 GHz; Plataforma Slackware Linux 12. André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 14 / 19 Resultados e Discussão Resultados Análise sobre várias perspectivas: Taxa de Execução MSE Teste MSE Treinamento Melhores Parâm. Taxa Ap. Const. Mom. No Neur. Ocultos Acurácia André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto PSO 5.92% 0.048632 0.056570 0.5 0.9 7 93.68% AG 6% 0.44122 0.56302 0.7 0.9 12 96.96% 20 de novembro de 2008 15 / 19 Conclusões Conclusões Algoritmos evolutivos capazes de encontrar boas configurações; Número de configurações testadas baixo (5 ∼ 6 %); Baixo erro treinamento e teste. André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 16 / 19 Trabalhos Futuros Trabalhos Futuros Outros parâmetros como: Número de camadas ocultas; Número de ciclos de treinamento. André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 17 / 19 Referências Basheer, I. A. and Hajmeer, M. (2000). Artificial neural networks: fundamentals, computing, design, and application. Journal of Microbiological Methods, 43:3–31. Fu, L. (1994). Neural Networks in Computer Intelligence. McGraw-Hill, Inc., New York, NY, USA. Jadid, M. and Fairbairn, D. (June 1996). Neural-network applications in predicting moment-curvature parameters from experimental data. Engineering Applications of Artificial Intelligence, 9:309–319(11). Kennedy, J. (1997). The particle swarm: social adaptation of knowledge. In IEEE International Conference on Evolutionary Computation, pages 303–308. Sukthomya, W. and Tannock, J. (2005). The optimisation of neural network parameters using taguchi´s design of experiments approach: an application in manufacturing process modeling. Neural Computing & Applications, (14):337–344. André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 18 / 19 André Ricardo Gonçalves [email protected] www2.dc.uel.br/∼argoncalves André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto 20 de novembro de 2008 19 / 19
Download
