Aplicação de modelos computacionais evolutivos na
otimização de parâmetros de uma rede neural
multilayer perceptron treinada via backpropagation
André Ricardo Gonçalves;
Maria Angélica de Oliveira Camargo Brunetto
Laboratório Protem
Departamento de Computação
Universidade Estadual de Londrina
20 de novembro de 2008
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
1 / 19
Introdução
Redes Multilayer Perceptron (MLP)
Aprendizagem da Rede MLP
Algoritmo backpropagation com momento
Escolha dos parâmetros livres
Modelos Computacionais Evolutivos
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
2 / 19
Motivação
Rede MLP é a rede mais largamente utilizada
[Basheer and Hajmeer, 2000]
Determinação dos parâmetros é realizado por tentativa e erro.
[Sukthomya and Tannock, 2005], [Basheer and Hajmeer, 2000]
Impraticável quando espaço de busca é muito grande.
Número de combinações possı́veis.
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
3 / 19
Objetivos
Objetivos
Determinar a melhor configuração da rede automaticamente;
Parâmetros otimizados:
- Taxa de aprendizagem;
- Constante de momento;
- Número de neurônios na camada oculta.
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
4 / 19
Objetivos
Para isso utilizou-se:
Modelos Computacionais Evolutivos
Algoritmo Genético (AG);
Otimização por Enxame de Partı́culas (PSO).
Métodos conhecidos pela aplicabilidade em problemas de
otimização.
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
5 / 19
Materiais e métodos
Algoritmo Genético
Algoritmo Genético
Método de busca e otimização baseado no mecanismo de evolução
dos indivı́duos de uma população.
Inspirado na teoria da evolução Darwiniana;
Iindivı́duos representam possı́veis soluções do problema;
Indivı́duos evoluem por meio de seleção e a aplicação de
operadores genéticos:
Crossover;
Mutação.
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
6 / 19
Materiais e métodos
Otimização por Enxame de Partı́culas
Otimização por Enxame de Partı́culas
Algoritmo inspirado no comportamento e interação social entre
indivı́duos do mesmo grupo [Kennedy, 1997].
Utiliza o conceito de inteligência coletiva;
Indivı́duos evoluem comparando suas posições e velocidades;
Considerando seu melhor resultado e o melhor de todo o enxame.
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
7 / 19
Materiais e métodos
Modelagem
Modelagem com Algoritmo Genético
Codificação binária;
Método da Roleta para seleção;
crossover de 1 ponto (P(c) = 80%);
Mutação por inversão de bit (P(m) = 1%);
Elitismo (Taxa = 20%).
Parâmetros codificados são concatenados formando um único
cromossomo.
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
8 / 19
Materiais e métodos
Modelagem
Modelagem com PSO
Indivı́duos buscam em um espaço tridimensional;
Indivı́duos foram sintetizados em uma estrutura;
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
9 / 19
Materiais e métodos
Modelagem
Método de validação cruzada k-fold (k = 10);
Em ambos os modelos:
Número de Indivı́duos: 15
Número de Ciclos (Gerações): 15
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
10 / 19
Materiais e métodos
Modelagem
Intervalo dos valores obtidos por heurı́sticas;
Taxa de Aprendizagem e constante de momento [Fu, 1994];
Número de Neurônios Ocultos [Jadid and Fairbairn, 1996].
Parâmetros
Taxa de Aprendizagem
Constante de Momento
Número de Neurônios Ocultos
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
Intervalo
0-1
0-1
2-13
20 de novembro de 2008
11 / 19
Resultados e Discussão
Simulações
Rede MLP é um classificador de indivı́duos normais ou com
DPOC (Doença Pulmonar Obstrutiva Crônica).
Medidas fisiológicas consideradas:
Capacidade Vital Forçada (CVF);
Volume Expiratório Forçado no Primeiro Segundo (VEF1);
Pico de Fluxo Expiratório (PFE);
Fluxo Expiratório Forçado Médio (FEF25-75%) e
Ventilação Voluntária Máxima (VVM).
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
12 / 19
Resultados e Discussão
Simulações
Dados do Lab. de Fisioterapia Pulmonar da Universidade
Estadual de Londrina.
Dados coletados de 222 pacientes:
142 normais;
80 com DPOC já diagnosticada.
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
13 / 19
Resultados e Discussão
Simulações
Software simulador da rede MLP implementado sobre o ambiente
Scilab;
Computador Pentium 4, 3.0 GHz;
Plataforma Slackware Linux 12.
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
14 / 19
Resultados e Discussão
Resultados
Análise sobre várias perspectivas:
Taxa de Execução
MSE Teste
MSE Treinamento
Melhores Parâm.
Taxa Ap.
Const. Mom.
No Neur. Ocultos
Acurácia
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
PSO
5.92%
0.048632
0.056570
0.5
0.9
7
93.68%
AG
6%
0.44122
0.56302
0.7
0.9
12
96.96%
20 de novembro de 2008
15 / 19
Conclusões
Conclusões
Algoritmos evolutivos capazes de encontrar boas configurações;
Número de configurações testadas baixo (5 ∼ 6 %);
Baixo erro treinamento e teste.
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
16 / 19
Trabalhos Futuros
Trabalhos Futuros
Outros parâmetros como:
Número de camadas ocultas;
Número de ciclos de treinamento.
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
17 / 19
Referências
Basheer, I. A. and Hajmeer, M. (2000).
Artificial neural networks: fundamentals, computing, design, and application.
Journal of Microbiological Methods, 43:3–31.
Fu, L. (1994).
Neural Networks in Computer Intelligence.
McGraw-Hill, Inc., New York, NY, USA.
Jadid, M. and Fairbairn, D. (June 1996).
Neural-network applications in predicting moment-curvature parameters from
experimental data.
Engineering Applications of Artificial Intelligence, 9:309–319(11).
Kennedy, J. (1997).
The particle swarm: social adaptation of knowledge.
In IEEE International Conference on Evolutionary Computation, pages 303–308.
Sukthomya, W. and Tannock, J. (2005).
The optimisation of neural network parameters using taguchi´s design of
experiments approach: an application in manufacturing process modeling.
Neural Computing & Applications, (14):337–344.
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
18 / 19
André Ricardo Gonçalves
[email protected]
www2.dc.uel.br/∼argoncalves
André Ricardo Gonçalves; Maria Angélica de Oliveira Camargo Brunetto
20 de novembro de 2008
19 / 19