Redes de Funções de Base Radial
Radial Basis Functions (RBFs)
Germano C. Vasconcelos
Centro de Informática - UFPE
©2000 Germano Vasconcelos
Introdução
“Em uma RBF, a rede é definida do ponto de vista de
um problema de aproximação de funções”
Uma superfície F no espaço multidimensional é
definida como uma combinação linear de funções
de base radial
F  comb. linear de funções de base radial
©2000 Germano Vasconcelos
Estrutura de uma RBF
camada intermediária
camada
de entrada
x1
x2
Cj
1|X-C1|
w1
2|X-C2|
3|X-C3|
w2
camada
de saída
w3
Y=F(X)
F(X)=jwj.j|X-Cj|
wk
xn
w0
k|X-Cn|
bias
©2000 Germano Vasconcelos
Características das RBFs
• Estrutura do tipo feedforward com uma mistura de
treinamento supervisionado e não-supervisionado
• Normalmente uma camada de neurônios que
computam as funções de base radial
• Os pesos na camada intermediária representam
centroids
• Os pesos na camada de saída ponderam as saídas
da camada intermediária
©2000 Germano Vasconcelos
Características das RBFs
• São aproximadores universais de funções
• Estimam a probabilidade a posteriori do
ponto de vista Bayesiano
• Apresentam requerimentos de memória em
geral mais altos que redes do tipo MLP
©2000 Germano Vasconcelos
Características das RBFs
• Estratégias de treinamento diferentes para as
funções radiais, os centroids e os pesos da camada
de saída
• Regra de propagação = função radial
Ex: Distância Euclideana  netj = |X-C| =  (xi - ci)2
• Função de ativação = função local
Ex: Gaussiana  oj = f(netj) = exp(- netj2/cj2)
©2000 Germano Vasconcelos
Trabalhos com RBFs
•
•
•
•
Broomhead & Lowe (1988)
Moody & Darken (1989)
Poggio & Girosi (1990)
Niranjan & Fallside (1990)
E muitos outros ...
©2000 Germano Vasconcelos
Treinamento
• Três conjuntos de parâmetros a serem
estimados
• As larguras d das funções básicas
• Os centros Cj
• Os pesos Wji da camada de saída
©2000 Germano Vasconcelos
As Larguras d
• Valor definido a priori
• Técnica de gradiente descendente
• Heurística do vizinho mais próximo
©2000 Germano Vasconcelos
Os Centros Cj
• Distribuir uniformemente ou aleatoriamente
• Tomar uma amostra do conjunto de
treinamento
• Método não supervisionado de agrupamento
(clustering)
• Gradiente descendente
©2000 Germano Vasconcelos
Pesos Wji na Camada de Saída
• Processo de otimização linear
• Solução de mínimo global
Esquema de Correção
de Erros
Procedimento direto
©2000 Germano Vasconcelos
Mínimo Erro
Quadrado (LMS)
Newton-like
Method
Manipulação de
matrizes
Manipulação de Matrizes
(Pseudo-inverse method)
E[f] =  np (yp – f(xp ))2
\
f(xp) =  wj.  (|xp – cj|)
W = (GT . G +  Go )-1
onde...
©2000 Germano Vasconcelos
. GT.
Y
G=
 (|x1 – c1|)  (|x1 – c2|) ... (|x1 – c3|)
 (|x2 – c1|)  (|x2 – c2|) ... (|x2 – ck|)
 (|xp – c1|)  (|xp – c2|) ... (|xp – ck|)
Go =
 (|c1 – c1|)  (|c1 – c2|) ... (|c1 – c3|)
 (|c2 – c1|)  (|c2 – c2|) ... (|c2 – ck|)
 (|cp – c1|)  (|cp – c2|) ... (|cp – ck|)
©2000 Germano Vasconcelos
Treinamento por Gradiente
Descendente
ej = dj – F (X)
= dj -  wi.  (||xi – ti||ci)
1. Camada de saida
 E(n)/ Wi(n) = ej(n).  (||xi – ti(n)||ci)
Wi (n+1) = Wi(n) - 1  E(n)/ Wi(n) i=1,2…,M
©2000 Germano Vasconcelos
Treinamento por Gradiente
Descendente
2. Centros
 E(n)/ ti(n) = 2 Wi ej(n). ’(||xj – tj(n)||ci) -1 [xj – tj(n)]
ti (n+1) = ti(n) - 2  E(n)/ ti(n) i=1,2…,M
©2000 Germano Vasconcelos
Treinamento por Gradiente
Descendente
3. Larguras das funções
 E(n)/  -1 i(n) = -Wi ej(n). ’(||xj – tj(n)||ci) Qji(n)
Qji(n) = [xj – ti(n)] [xj – ti(n)] T
ci-1i (n+1) = -1i (n) - 3  E(n)/  -1i (n) i=1,2…,M
©2000 Germano Vasconcelos
RBFs Construtivas
• Um conjunto de modelos RBFs tem sido
desenvolvidos dentro do paradigma
construtivo...
• DDA (Dynamic Decay Adjustment)
– Berthold & Diamond (1995)
©2000 Germano Vasconcelos
Princípio de Funcionamento do
Algoritmo DDA
B
+
A
novo padrão
de entrada - classe A
Ver Berthold & Diamond - NIPS’7
©2000 Germano Vasconcelos
Funcionamento do Algoritmo DDA
Ver Berthold & Diamond - NIPS’7
©2000 Germano Vasconcelos
Aplicações
•
•
•
•
•
•
•
•
Reconhecimento de voz
Diagnose médica
Reconhecimento de caracteres
Análise de crédito
Reconhecimento de alvos
Classificação de fonemas
Análise de crédito
Previsão e controle
©2000 Germano Vasconcelos
Um Problema Potencial com uma RBF
Considere a figura abaixo:
Mostre que é possível para uma RBF
com duas entradas, duas unidades
intermediárias e duas saídas definir
superfícies de decisão como
mostradas. Uma superfície fechada é
definida para uma das classes; para a
outra classe a superfície é aberta.
©2000 Germano Vasconcelos