JDSS-LAC/INPE
Aprendizagem Competitiva
•Neurônios da camada de saída da RNA competem entre si para ser o
neurônio ativado (um único neurônio é ativado) => Aprendizado
competitivo é adequado para descobrir características estatísticas
salientes, que podem ser usadas para classificar um conjunto de dados
de entrada.
•Elementos básicos para uma regra de aprendizado competitivo:
•Um conjunto de neurônios do mesmo tipo exceto por alguns
pesos sinápticos distribuídos aleatoriamente, respondem
diferentemente a um dado conjunto de padrões de entrada.
•Um limite imposto à robustez de cada neurônio.
•Um mecanismo que permite os neurônios competirem pelo direito
de responder à uma certa entrada (subconjunto). O neurônio
ganhador é o neurônio que leva tudo (winner-takes-all).
JDSS-LAC/INPE
Aprendizagem Competitiva
•Os neurônios individuais aprendem e se especializam nos conjuntos
de padrões similares => tornam-se detetores de características.
•Forma mais simples de aprendizagem competitiva consiste de uma
RNA de uma camada única com todos os neurônios totalmente
conectados às entradas.
Camada
de Saída
Camada
de entrada
x1
w12
1
x3
y1
2
y2
3
w33
w41
y3
4
y4
w13
w21
w22
x2
1
w11
2
3
w32
w42
w43
w23
w31
•O neurônio j é o ganhador se possuir o maior nível de atividade
interna vj, para um vetor de entrada. A saída yj do neurônio ganhador é
feita igual a 1. As saídas dos outros neurônios são zero.
JDSS-LAC/INPE
Aprendizagem Competitiva
wji > 0 - peso entre o neurônio j e a entrada i.
•Pesos alocados em quantidades fixas para cada neurônio:
¦w
ji
1
j
i
•Aprendizagem é o deslocamento dos pesos sinápticos dos nós
inativos para os ativos. Se o neurônio ganha uma competição cada
peso de cada entrada tem seu valor alterado de acordo com a regra de
aprendizagem competitiva padrão:
'w ji
­K ( xi w ji ), se j ganha
®
se j perde
¯ 0,
•A regra tem o efeito de mover o vetor de pesos sinápticos w do
neurônio j na direção do padrão de entrada .
JDSS-LAC/INPE
Aprendizagem Competitiva
JDSS-LAC/INPE
Tarefas de Aprendizagem
•Aproximação de função - aprendizagem supervisionada
•Associação •Autoassociação - aprendizagem não-supervisionada
•Heteroassociação - aprendizagem supervisionada
•Classificação de Padrões
•Padrões conhecidos
- aprendizagem supervisionada
•Padrões desconhecidos - aprendizagem não-supervisionada
(clusterização)
•Predição (problema de processamento de sinais temporais) aprendizagem supervisionada
•Controle - aprendizagem supervisionada
JDSS-LAC/INPE
Modelos de Redes - Perceptron
x1
wk1
wk2
x2
N
Neurônio K
yk
Entradas
yk
i 1
wkN
xN
Tk
1wk 0 o
Tk
W
ª wk 0 º
«w »
« k1 »
« ... »
«w »
« kN »
¼
¬
F (¦ wki xi T k )
X
ª1º
«x »
« 1»
« ... »
«x »
« N»
¬ ¼
yk
F ( wk1 x1 ... wkN x N (1) wk 0 )
N
F (¦ wki xi )
i 0
F (W T X )
JDSS-LAC/INPE
Modelos de Redes - Perceptron
•Resolve problemas de classificação de duas classes (C1 e C2)
linearmente separáveis.
•Regra de classificação:
Se W T X t 0,
X  C1
Se W T X 0,
X  C2
•Adaptação dos Pesos:
­°W (n 1) W (n) se W T (n) X (n) t 0 e X (n)  C1
1)®
°̄W (n 1) W (n) se W T (n) X (n) 0 e X (n)  C2
­°W (n 1) W (n) K(n) X (n) se W T (n) X (n) t 0 e X (n)  C2
2)®
°̄W (n 1) W (n) K(n) X (n) se W T (n) X (n) 0 e X (n)  C1
Prova de convergência - Haykin, 1994, pp. 110
JDSS-LAC/INPE
Algoritmo para aprendizagem - Perceptron:
•Passo 1. Inicializa pesos:
W (0)
0
•Passo 2. Ativa a rede - vetor de entrada e a resposta desejada: X (n)
e d (n)
F (W T (n) X (n)) - F(.) é a função sinal
•Passo 3. Calcula-se a saída:
y ( n)
•Passo 4. Atualiza os pesos:
W (n 1) W (n) K[d (n) y (n)] X (n)
d (n)
­ 1 se X (n)  C1
®
¯ 1 se X (n)  C2
•Passo 5. Incrementa n e volta para o Passo 2.
JDSS-LAC/INPE
Modelos de Redes - Perceptron
1) P = [-0.5 -0.5 +0.3 +0.0;
-0.5 +0.5 -0.5 +1.0];
T = [1 1 0 0];
Valores iniciais: W = [ 0.4258 -0.2140]; b = -0.0455
Valores Finais: W = [ -2.9742 -0.2140]; b = -0.0455
JDSS-LAC/INPE
2) P = [-1 +1 -1 +1 -1 +1 -1 +1;
-1 -1 +1 +1 -1 -1 +1 +1;
-1 -1 -1 -1 +1 +1 +1 +1];
W = [-0.9309 -0.8931 0.0594]; b = 0.3423;
W = [2.0691 -1.8931 3.0594]; b = -0.6577
Cont.
T = [0 1 0 0 1 1 0 1];
JDSS-LAC/INPE
3) P = [+0.1 +0.7 +0.8 +0.8 +1.0 +0.3 +0.0 -0.3 -0.5 -1.5; T = [1 1 1 0 0 1 1 1 0 0;
+1.2 +1.8 +1.6 +0.6 +0.8 +0.5 +0.2 +0.8 -1.5 -1.3];
0 0 0 0 0 1 1 1 1 1];
W = [-0.9339 -0.0030;
0.0689 0.9107];
W = [ -2.9339 4.0970;
-5.0311 -4.3893];
b = [0.4966;
0.1092];
b =[-0.5034
4.1092];
Erro
Cont.
JDSS-LAC/INPE
Problema: Considere um problema no qual duas características são
observadas: a cor e a forma. Deseja-se construir um sistema
automatizado utilizando um perceptron para classificar o tipo de fruta
em duas classes: classe 1 – laranja; classe 2 – maça. Fazendo-se um
levantamento de informação, extraiu-se o seguinte conhecimento
para classificação:
cor = amarela e forma = redonda fruta é uma laranja
cor = amarela e forma = ovalada fruta é maçã
cor = vermelha e forma = redonda fruta é maçã
cor = vermelha e forma = ovalada fruta é maçã
Monte um perceptron para resolver este problema considerando uma
função de ativação como:
sgn( x)
­ 1 x d 0
®
¯ 1 x ! 0
JDSS-LAC/INPE
Bibliografia:
•Hecht-Nielsen, R. Neurocomputing. Addison-Wesley Publishing
Company, 1990.
•Haykin, S. Neural Networks: A Comprehensive Foundation.
MacMillan, 1994.
•Tsoukalas, L.H.; Uhrig, R.E. Fuzzy and Neural Approaches in
Engineering. John Wiley & Sons, 1997.
•Fausett, L. Fundamentals of Neural Networks. Prentice Hall, 1994.
•Lin, Chin-Tseng; Lee, C.S.G. Neural Fuzzy Systems: A NeuralFuzzy Synergism to Intelligent Systems. Prentice Hall, 1996.
•Hagan, M.T.; Demuth, H.B.; Beale, M. Neural Network Design.
PWS Publishing Company, 1996.
JDSS-LAC/INPE
Sugestão de Leitura:
Fisiologia Humana e
Mecanismos das Doenças
Capítulo 9
Guyton e Hall, 1999
Guanabara-Koogan
Fonte:
Revista Galileu
Maio 1999
pp. 56
JDSS-LAC/INPE
JDSS-LAC/INPE
JDSS-LAC/INPE
JDSS-LAC/INPE
Fonte: Braga et ali, 1999. pp. 7