INTRODUÇÃO AS REDES NEURAIS FÁBIO SILVA PIAZZI Orientadores: Marcelo Albuquerque Aline Gesualdi Novembro 2001 SUMÁRIO Introdução & Histórico Conceitos & Características Exemplo & Implementação Conclusão & Referências Bibliográficas 1) INTRODUÇÃO REDES NEURAIS OU REDES NEURONAIS ? • tentativa de reproduzir artificialmente redes neurais biológicas MOTIVAÇÃO Cérebro lida melhor com alguns problemas que o computador reconhecimento de padrões problemas de otimização combinatória Outras características desejáveis capaz de aprender sem o conhecimento do algoritmo capaz de generalizar robustez APLICAÇÕES • reconhecimento de padrões • processamento de sinais e imagens 1 2) HISTÓRICO EVOLUÇÃO DO ESTUDO • 1940-1950: início das Redes neurais com McCulloch e Pitts. E as redes de auto-organização. • 1950-1960: Perceptron de aprendizado supervisionado. • 1960-1970: Pouco avanço • 1980-2000: Redes simétricas e o Backpropagation 2 3) NEURÔNIO BIOLÓGICO Estudo do comportamento do neurônio PARTES dendritos corpo celular axônio sinapse Idéia de entrada, processamento e saída 3 4) REDE BIOLÓGICA Tentativa de mapear o seu funcionamento APRESENTAÇÃO formam malhas complexas comunicação entre neurônios pelas sinapses Como reproduzir tal complexidade? 4 5) NEURÔNIO ARTIFICIAL - PERCEPTRON Começando pela unidade básica CARACTERÍSTICAS variável interna - U polarização - bias função de ativação - F , tanh tanh bias Entradas X1 X2 . . . Xn W1 W2 Wb pesos sinapses Saída U FU Y P U WK . X K K 0 Y F U Wn Semelhança entre os modelos 5 6) REDE ARTIFICIAL Construção de um modelo similar 6.1) APRESENTAÇÃO Disposição em camadas (simplicidade) Comunicação entre neurônios entre camadas adjacentes Atendendo aos desejos iniciais, simplificando o modelo real 6 6) REDE ARTIFICIAL 6.2) CARACTERÍSTICAS 2 MODOS DE FUNCIONAMENTO TREINAMENTO Algoritmo - Backpropagation Supervisionado Erro Passo do aprendizado Não supervisionado OPERAÇÃO Algoritmo - Feedforward 7 7) TREINAMENTO 7.1) SEM TREINAMENTO conjunto de treinamento pesos sinápticos aleatórios A B REDE NEURAL ? C 8 7) TREINAMENTO 7.2) TREINAMENTO SUPERVISIONADO conjunto de treinamento A,B A,B A,B Professor erro, ok,erro erro ok, ok PADRÕES A B 1a ITERAÇÃO REDE NEURAL D X R X 2a ITERAÇÃO 3a ITERAÇÃO A P X A B 9 8) BACKPROPAGATION BACKPROPAGATION propagação saída/entrada erro associado Backpropagation 10 9) ERRO ASSOCIADO ERRO Y Valor desejado Y ' Valor obtido na saída da rede 2 Y’ ERRO² Erro 2 Y Y ' Neurônio artificial ITERAÇÃO Como atingir o erro mínimo? 11 10) MINIMIZAÇÃO DO ERRO MÉTODO DO GRADIENTE DESCENDENTE minimização do erro mesma direção e sentido oposto ao gradiente 8 7 w2 y 5 6 VALOR INICIAL 5 ERRO y (n) , 1 w(n) w y (n) 2w w(n) w 5 w(n 1) w(n) w(n) n w(n) w(n) 0 5 -2 1 3 -1,2 2 1,8 -0,72 3 1,08 -0,43 1 4 0,65 -0,26 0 -6 -5 -4 -3 -2 -1 0 1 2 3 VALOR DAS SINAPSES 4 3 2 1a ITERAÇÃO 2a ITERAÇÃO 3a ITERAÇÃO 4a ITERAÇÃO 4 5 6 12 11) FEEDFORWARD serão utilizadas 3 camadas propagação entrada/saída conjunto de operação rede treinada A B C A REDE NEURAL Feedforward B C 13 12) EXEMPLO 11.1) FEEDFORWARD U ..X W b V XXX11.a.aW .W VV2X W bias 511a 3 .W53 .42W U15432 11..W W W15432bias V V W .W W .W bb.b52 1 bias 3b bias a.W 4132a a 2X 2V b 3 .W43 ,74 U 020 ,1 63 ,,,0746 ,070 11..0 ,1000,,01,06 01,.06 ,.10..,.1000,1, 250 0.46 7,..9.00,0,032,,210 ,,,06 U51432 0,,1 3,1 ,0 000,05 63..1,10, 10,715 0,097 ' 5 1 YYV tanhU bV V' a1 tanhU tanhU tanhU 32 0,06 0,1 1 0, 0,46 0,46 -0,1 0,2 0,3 0,9 0,63 -0 ,1 0, 2 0,097 5 0, 0,2 -0,1 2 0, -0,1 ,1 -0 0,3 0,1 0,06 43 2 0,614 0,63 1,1 14 12) EXEMPLO 11.2) BACKPROPAGATION - simplificado retropropagação do erro um neurônio wi Erro wi w(n 1) w(n) w(n) Regra Delta bias Entradas X1 X2 . . . Xn W1 W2 Wb pesos sinapses Saída U FU Y Wn 15 12) EXEMPLO 11.3) BACKPROPAGATION valores desejados: Ya=0,2 ; Yb=1 retropropagação do erro 0,13 0,03 0,103 E1 Ya Ya 0,2 0,097 0,103 ' 0,24 E2 Yb Yb 1 0,614 0,386 ' 0,152 16 13) IMPLEMENTAÇÃO PROGRAMA EM C rede 35 x 4 x 10 entrada grid 5x7 saída 10 bits 1 2 3 . . . . 35 Rede Neural 0 1 2 3 4 5 6 7 8 9 17 14) GRAFICO DO ERRO 1 PADRÃO DE ENTRADA Erro associado 6 4 2 0 1 3 5 7 9 11 13 15 17 No. de Iterações 18 14) GRAFICO DO ERRO 2 PADRÕES DE ENTRADA Erro associado 8 6 4 2 0 1 6 11 16 21 26 31 36 41 46 51 56 61 No. de Iterações 19 15) CONCLUSÃO Tentativa da modelagem do neurônio biológico para o artificial movida pela perfeição das redes biológicas Grande dificuldade no desenvolvimento e implementação das redes artificiais complexidade e do enorme número de parâmetros Já existem resultados animadores que revelam um grande avanço no estudo das Redes Neurais 20 16) REFERÊNCIAS BIBLIOGRÁFICAS 1) Calôba, Luiz P. - Introdução à Computação Neuronal (CBPF) 2) Reis, Caimi F., Albuquerque, Marcelo P., Castro, Sérgio B. Nota Técnica – CBPF-NT-002/01, março 2001 (CBPF) 3) Haykin, Simon – Neural Network: A Comprehensive Foundation (CBPF) 4) Internet http://equipe.nce.ufrj.br/thome/grad/nn/transp/sld001.htm http://artecno.ucs.br/textneurais.htm http://www.ielusc.br/inst/comsocial/jornalismo/ntc/990303/redeneur.htm http://www1.cptec.inpe.br/~anderson/apost/info/neura.htm http://www.cesec.ufpr.br/~zanardin/Contents/Disciplines/neural/neural_network.htm http://www.icmsc.sc.usp.br/~andre/ann_links.html 21 INTRODUÇÃO AS REDES NEURAIS FÁBIO SILVA PIAZZI Orientadores: Marcelo Albuquerque Aline Gesualdi Novembro 2001
Download
