INTRODUÇÃO AS REDES NEURAIS
FÁBIO SILVA PIAZZI
Orientadores: Marcelo Albuquerque
Aline Gesualdi
Novembro 2001
SUMÁRIO

Introdução & Histórico

Conceitos & Características

Exemplo & Implementação

Conclusão & Referências Bibliográficas
1) INTRODUÇÃO
REDES NEURAIS OU REDES NEURONAIS ?
• tentativa de reproduzir artificialmente redes neurais biológicas
MOTIVAÇÃO
Cérebro lida melhor com alguns problemas que o computador
 reconhecimento de padrões
 problemas de otimização combinatória
Outras características desejáveis
 capaz de aprender sem o conhecimento do algoritmo
 capaz de generalizar
 robustez
APLICAÇÕES
• reconhecimento de padrões
• processamento de sinais e imagens
1
2) HISTÓRICO
EVOLUÇÃO DO ESTUDO
•
1940-1950: início das Redes neurais com McCulloch e Pitts. E as
redes de auto-organização.
•
1950-1960: Perceptron de aprendizado supervisionado.
•
1960-1970: Pouco avanço
•
1980-2000: Redes simétricas e o Backpropagation
2
3) NEURÔNIO BIOLÓGICO
Estudo do comportamento do neurônio
PARTES
 dendritos
 corpo celular
 axônio
 sinapse
Idéia de entrada, processamento e saída
3
4) REDE BIOLÓGICA
Tentativa de mapear o seu funcionamento
APRESENTAÇÃO
 formam malhas complexas
 comunicação entre neurônios pelas sinapses
Como reproduzir tal complexidade?
4
5) NEURÔNIO ARTIFICIAL - PERCEPTRON
Começando pela unidade básica
CARACTERÍSTICAS
 variável interna - U
 polarização - bias
 função de ativação - F , tanh
tanh
bias
Entradas
X1
X2
.
.
.
Xn
W1
W2
Wb
pesos
sinapses
Saída
U
FU
Y
P
U  WK . X K
K 0
Y  F U 
Wn
Semelhança entre os modelos
5
6) REDE ARTIFICIAL
Construção de um modelo similar
6.1) APRESENTAÇÃO
 Disposição em camadas (simplicidade)
 Comunicação entre neurônios entre camadas adjacentes
Atendendo aos desejos iniciais, simplificando o modelo real
6
6) REDE ARTIFICIAL
6.2) CARACTERÍSTICAS
2 MODOS DE FUNCIONAMENTO
TREINAMENTO
Algoritmo - Backpropagation
 Supervisionado
 Erro
 Passo do aprendizado
 Não supervisionado
OPERAÇÃO
Algoritmo - Feedforward
7
7) TREINAMENTO
7.1) SEM TREINAMENTO
 conjunto de treinamento
 pesos sinápticos aleatórios
A
B
REDE
NEURAL
?
C
8
7) TREINAMENTO
7.2) TREINAMENTO SUPERVISIONADO
 conjunto de treinamento
A,B
A,B
A,B
Professor
erro,
ok,erro
erro
ok, ok
PADRÕES
A
B
1a ITERAÇÃO
REDE
NEURAL
D
X
R
X
2a ITERAÇÃO 3a ITERAÇÃO
A
P
X
A
B
9
8) BACKPROPAGATION
BACKPROPAGATION
 propagação saída/entrada
 erro associado
Backpropagation
10
9) ERRO ASSOCIADO
ERRO
Y  Valor desejado
Y '  Valor obtido na saída da rede

2
Y’
ERRO²

Erro 2  Y  Y '
Neurônio artificial
ITERAÇÃO
Como atingir o erro mínimo?
11
10) MINIMIZAÇÃO DO ERRO
MÉTODO DO GRADIENTE DESCENDENTE
 minimização do erro
 mesma direção e sentido oposto ao gradiente
8
7
w2
y
5
6
VALOR INICIAL
5
ERRO
y (n)
,  1
w(n)  
w
y (n)
2w
w(n) 

w
5
w(n  1)  w(n)  w(n)
n
w(n)
w(n)
0
5
-2
1
3
-1,2
2
1,8
-0,72
3
1,08
-0,43
1
4
0,65
-0,26
0
-6 -5 -4 -3 -2 -1 0 1 2 3
VALOR DAS SINAPSES
4
3
2
1a ITERAÇÃO
2a ITERAÇÃO
3a ITERAÇÃO
4a ITERAÇÃO
4
5
6
12
11) FEEDFORWARD




serão utilizadas 3 camadas
propagação entrada/saída
conjunto de operação
rede treinada
A
B
C
A
REDE
NEURAL
Feedforward
B
C
13
12) EXEMPLO
11.1) FEEDFORWARD
U
..X
W
b V
XXX11.a.aW
.W
VV2X
W
bias 
511a
3 .W53
.42W
U15432 11..W
W
W15432bias
V
V
W
.W
W
.W
bb.b52
1
bias
3b
bias 
a.W
4132a
a
2X
2V
b 3 .W43
,74
U
020
,1


63
,,,0746
,070
 11..0
,1000,,01,06
01,.06
,.10..,.1000,1,
250
0.46
7,..9.00,0,032,,210
,,,06
U51432 
0,,1
3,1
,0
000,05
63..1,10,
10,715
0,097
'
 5  1
YYV
tanhU
bV
V' a1 
tanhU
tanhU
tanhU
32
0,06
0,1
1
0,
0,46
0,46
-0,1
0,2
0,3
0,9
0,63
-0
,1
0,
2
0,097
5
0,
0,2
-0,1
2
0,
-0,1
,1
-0 0,3
0,1
0,06
43 2
0,614
0,63
1,1
14
12) EXEMPLO
11.2) BACKPROPAGATION - simplificado
 retropropagação do erro
 um neurônio
wi  
Erro
wi
w(n  1)  w(n)  w(n)
Regra Delta
bias
Entradas
X1
X2
.
.
.
Xn
W1
W2
Wb
pesos
sinapses
Saída
U
FU
Y
Wn
15
12) EXEMPLO
11.3) BACKPROPAGATION
 valores desejados: Ya=0,2 ; Yb=1
 retropropagação do erro
0,13
0,03
0,103
E1  Ya  Ya  0,2  0,097  0,103
'
0,24
E2  Yb  Yb  1  0,614  0,386
'
0,152
16
13) IMPLEMENTAÇÃO
PROGRAMA EM C
 rede 35 x 4 x 10
 entrada grid 5x7
 saída 10 bits
1
2
3
.
.
.
.
35
Rede
Neural
0
1
2
3
4
5
6
7
8
9
17
14) GRAFICO DO ERRO
1 PADRÃO DE ENTRADA
Erro associado
6
4
2
0
1
3
5
7
9
11
13
15
17
No. de Iterações
18
14) GRAFICO DO ERRO
2 PADRÕES DE ENTRADA
Erro associado
8
6
4
2
0
1
6
11
16
21
26
31
36
41
46
51
56
61
No. de Iterações
19
15) CONCLUSÃO
 Tentativa da modelagem do neurônio biológico para o artificial
 movida pela perfeição das redes biológicas
 Grande dificuldade no desenvolvimento e implementação das
redes artificiais
 complexidade e do enorme número de parâmetros
 Já existem resultados animadores que revelam um grande
avanço no estudo das Redes Neurais
20
16) REFERÊNCIAS BIBLIOGRÁFICAS
1)
Calôba, Luiz P. - Introdução à Computação Neuronal (CBPF)
2)
Reis, Caimi F., Albuquerque, Marcelo P., Castro, Sérgio B.
Nota Técnica – CBPF-NT-002/01, março 2001 (CBPF)
3)
Haykin, Simon – Neural Network: A Comprehensive Foundation
(CBPF)
4)
Internet
http://equipe.nce.ufrj.br/thome/grad/nn/transp/sld001.htm
http://artecno.ucs.br/textneurais.htm
http://www.ielusc.br/inst/comsocial/jornalismo/ntc/990303/redeneur.htm
http://www1.cptec.inpe.br/~anderson/apost/info/neura.htm
http://www.cesec.ufpr.br/~zanardin/Contents/Disciplines/neural/neural_network.htm
http://www.icmsc.sc.usp.br/~andre/ann_links.html
21
INTRODUÇÃO AS REDES NEURAIS
FÁBIO SILVA PIAZZI
Orientadores: Marcelo Albuquerque
Aline Gesualdi
Novembro 2001