Uma Abordagem de RNA`s Híbridas
baseada em Autômatos Celulares para
Modelagem de Endemias
Anderson Paulo da Silva – [email protected]
1
Sumário
Introdução
Motivação
Descrição do Problema
Objetivos
Meta-Aprendizado Evolucionário em RNAs
Meta-Aprendizado Evolucionário em RNAs com AC
Ferramentas do Sistema
Roteiro e Cronograma
Referências
2
Introdução
• Aplicação de RNAs.
• O projeto de uma RNA, em geral, é um dos grande
entraves em diversos problemas.
•Vários métodos têm sido propostos para reduzir a
complexidade da rede e os algoritmos evolucionários estão
entre estes [14, 16].
3
Introdução
• Vantagens do uso de AE:
• Os algoritmos evolucionários podem evoluir para a
arquitetura ótima, sem interferências externas.
• Eles eliminam o processo de trabalho tedioso e erro
no trabalho manual de encontrar uma rede ótima [13]
4
Introdução
• Desvantagem:
• Embora, de forma geral, sejam bons em pesquisas
globais, algoritmos evolucionários são ineficientes
para uma boa busca local [12, 16].
5
Introdução
• Uma possível solução é incorporar uma abordagem
híbrida de meta-aprendizado;
• Além da busca evolutiva de conexão, pesos e arquiteturas
(conectividade e funções de ativação), técnicas de busca
local são utilizados para ajustar os pesos (metaaprendizagem)
6
Motivação
• Sistemas inteligentes híbridos utilizam mais de uma
técnica para suprir necessidades
• Exemplo: clássica associação de redes neurais e algoritmos
de otimização [12].
• Novas técnicas surgem. Entre elas, técnicas de
aprendizado indireto.
7
Motivação
• O estudo do hibridismo entre redes neurais, algoritmos de
otimização e autômatos celulares podem trazer resultados
atrativos.
• O uso de tal tipo de hibridismo é diferente em relação a
grande maioria, uma vez que é pouco encontrada na
literatura.
8
Motivação
• A. Salah e Y. Al-Salqan [1], tiveram bons resultados com
uma proposta parecida.
9
Descrição do Problema
• Alguns métodos de aprendizagem evolucionária são
baseados em representações diretas dos parâmetros das
redes neurais, no entanto, essas representações não
permitem escalabilidade.
• Métodos de otimização que utilizem representações
indiretas deste parâmetros podem ser uma alternativa
viável para solucionar tal problema.
10
Objetivos
• Desenvolver uma alternativa diferente das
representações diretas dos parâmetros das redes neurais.
• Utilizar um método de otimização de arquitetura de redes
neurais híbridas com esquemas de codificação indireta
utilizando autômatos celulares [8, 9, 10].
11
Objetivos
• De acordo com a Gutierrez[8] usar um autômato celular
no projeto da arquitetura de uma rede neural é melhor que
usar métodos de codificação direta.
• Mas como usar um autômato celular para otimizar a
arquitetura de uma rede neural?
12
Meta-aprendizado
Evolucionário em RNAs
• A abordagem de Meta-aprendizado híbrido combina
aprendizagem evolutiva com métodos de busca local.
• De acordo com os trabalhos de A. Abraham [13]
•A meta-aprendizagem gera melhores resultados e rápida
convergência.
13
Meta-aprendizado
Evolucionário em RNAs
Wl1 e wl2 são os pesos
iniciais localizados na
pesquisa evolucionária.
wA e wB correspondem aos
pesos finais aperfeiçoados
pela técnica de metaaprendizagem (através do
algoritmo de busca local)
14
Meta-aprendizado
Evolucionário em RNAs
• Algoritmo básico de meta-aprendizado (utilizando
algoritmos genéticos) [17]:
1 – Faça t = 0 e aleatóriamente gere a população inicial de redes neurais com arquiteturas,
funções de transferências e pesos de conexões aleatórios.
2 – Em modo paralelo, avalie o fitness de cada RNA usando quatro algoritmos de aprendizado (BP,
SCG, QNA e LM).
3 – Baseado no valor do fitness, selecione parentes para reprodução.
4 – Aplique a mutação para os parentes e produza nova população para a próxima geração.
Reabasteça a população de acordo com o tamanho definido.
5 – Repita o passo 2 para calcular o fitness de cada RNA usando algoritmos de aprendizado em
modo paralelo.
6 – Pare quando o solução desejada for encontrada ou o número máximo de iterações tenha sido
atingido.
15
Meta-aprendizado
Evolucionário em RNAs com AC
Estágio da Otimização da Arquitetura das Redes Neurais
População aleatória de
arquiteturas de redes
neurais
MÓDULO
DO
PSO
Configuração inicial
do autômato Celular.
MÓDULO
DO AC
Configuraçã
o final do
autômato
Celular
Estágio de meta-aprendizado
Aplique o algoritmo de
meta-aprendizado
(treinamento em paralelo
com 4 algoritmos de
treinamento, ...)
Módulo de treinamento da rede neural
Use a RNA traduzida para criar uma
população inicial com arquitetura,
nodos, funções de transferência e
pesos atribuídos aleatoriamente.
Traduzir a configuração
final
do
AC
numa
arquitetura de RNA
16
Ferramentas do Sistema
• PSO
• O PSO é uma técnica de base populacional autoadaptativa de pesquisa que foi proposta por Eberhart e
Kennedy[3].
• Baseado em simulações de comportamentos sociais, tais
como os dos peixes em um cardume ou de um enxame
de pássaros [4].
17
Ferramentas do Sistema
• PSO – Funcionamento
• O PSO utiliza dois vetores (um para velocidade e outro para
posição) para otimizar o seu enxame.
18
Ferramentas do Sistema
• Autômatos Celulares
•Foram introduzidos por Von Neumann e Ulam como
modelos para estudar processos de crescimento e autoreprodução [11].
• Qualquer sistema com muitos elementos idênticos que
interagem local e deterministicamente podem ser
modelados usando autômatos celulares [5,6].
19
Ferramentas do Sistema
• Autômatos Celulares
Vizinhança de Neumann
X
Vizinhança de Moore
20
Ferramentas do Sistema
• Autômatos Celulares - Grid
• Será a ferramenta responsável por gerar a arquitetura da
RNA.
• Suas dimensões X e Y representam:
• X = Número de nodos de entrada + nodos de saída;
• Y = Número máximo de nodos escondidos.
•
21
Ferramentas do Sistema
• Autômatos Celulares – Estados das Células
• Suas células podem estar em dois estados: ativo (ocupado
por uma raiz) ou inativo
• Há dois tipos de raízes: Raíz crescente e raíz decrescente.
• Duas regras regem seus estados: growing e decreasing;
22
Ferramentas do Sistema
• Autômatos Celulares – Regras
• Growing:
•Havendo 3 nodos crescendo, torna nodo inativo
crescente (ativo).
• Decreasing:
•Havendo 3 nodos decrescendo, torna nodo ativo
decrescente (inativo).
23
Roteiro e Cronograma
• Esta sessão visa mostra as atividades que foram
desempenhadas e aquelas que ainda serão, juntamente
com o cronograma de atividades que determina o
período em que cada atividade deve ser realizada.
24
Roteiro e Cronograma
Atividades
Descrição
1
Disciplinas do primeiro período
2
Disciplinas do segundo período
3
Coleta e estudos das referências bibliográficas;
Estudos em artigos para construção de um modelo híbrido para
classificação e/ou predição.
4
Disciplina: Tópicos Avançados em Inteligência Computacional II
Desenvolvimento da técnica para a construção do sistema.
5
Coleta de base de dados e implementação do sistema.
6
Continuidade da Implementação do Sistema;
Revisão das referências bibliográficas e trabalhos relacionados;
Avaliação do sistema implementado.
7
Finalização do sistema e escrita de artigos.
8
Início da escrita da dissertação.
9
Término da escrita da dissertação
25
Roteiro e Cronograma
Atividades/Meses
1-3
4-6
7-9
10-12
13-15
16-18
19-21
22-24
Atividade 1
Atividade 2
Atividade 3
Atividade 4
Atividade 5
Atividade 6
Atividade 7
Atividade 8
Atividade 9
Atividades concluídas
Atividades em andamento
Atividades ainda não realizadas
26
Referências
[1] A. A. Salah e Y. Al-Salqan, “Meta-Learning Evolutionary Artificial Networks: by Means of Cellular Automata”, IEEE Computer
Society, 2005, International Conference on Computational Intelligence for Modelling.
[2]J.-C. Chen et al. “Pattern differentiation of glandular cancerous cells and normal cells with cellular automata and evolutionary
learning” Expert Systems with Applications 34, 2006
[3] R. C. Eberhart e J. Kennedy, “A new optimizer using particle swarm theory,” in Proc. 6th Int. Symp. Micro Mach. Human Sci.,
Nagoya, Japan, 1995, pp. 39–43.
[4] S.-T. Hsieh, T.-Y. Sun, C.-C. Liu e S.-J Tsai, “Efficient Population Utilization Strategy for Particle Swarm Optimizer” em Proc. IEEE
Trans. Systems, Man and Cyberneetics, Vol 39, No 2, Abril de 2009.
[5] S. Wolfram, em "A New Kind of Science”, 2002. Champaign, IL: Wolfram Media.
[6] R. Rudy; em “The Lifebox, The Seashell and The Soul, 2005” Basic Books (Thunder’s Mouth Press): New York.
[7] S.F.P. Sarmago, J. R. Prado “Otimização por Colônia de Partículas”
[8] G.Gutierrez, P. Isasi, J.M. Molina, A. Sanchis, I.M Galvan, “Evolutionary cellular configurations for designing feedforward
neural network architectures”, Computer Science, Vol. 2084, Springer, Germany, 2001
[9] Molina, J.M., Galvan. I, isasi. P, SAnchis. A. “Grammars and cellular automata for evolving neural networks architectures”.
2000 IEEE International Conference on Systems, Man, and Cybernetics.
[10] S. Wolfram. “Theory and Applications of Cellular Automata”. World Scientific, Singapore, 1988.
[11] J. V. Neumann and A. W. Burks. “Theory of Self-Reproducing Automata”. University of Illinois Press, Champaign, IL, 1966.
27
Referências
[12] G. F. Miller, P. M. Todd and S. U. Hedge. “Designing Neural Networks Using Genetic Algorithms”. In Proc. Of the third
Internaticonal conferente on genetic algorithms and their applications. San Mateo, CA, USA, 1989.
[13] A. Abraham, “Optimization of Evolutionary Neural Networks Using Hybrid Learning Algorithms”, IEEE 2002 Joint International
Conference on Neural Networks, Vol. 3, IEEE Press, New York, 2002.
[14] X Yao, “A review of Evolutionary Artificial Neural Networks”, Inernational Journal of Intelligent Systems, 1993.
[15] Haykin, Simon. Redes Neurais. Princípios e prática. Bookman, 2001.
[16]. X Yao. “Evolving Artificial Neural Networks”. Proceedings of IEEE 87 (9 Suppl. 1) (1999) 423–1447.
[17]. A. Abraham, “Meta-Learning Evolutionary Artificial Neural Networks”, Neurocomputing Journal, Elsevier Science,
Netherlands, Vol. 56c, pp. 1-38, 2004
28