UPE – Caruaru – Sistemas de Informação
Disciplina: Mineração de Dados
Prof.: Paulemir G. Campos
Redes Neurais Artificiais
(Parte 2)
11/5/2015
MD - Prof. Paulemir Campos
1
Roteiro da Aula

Redes Neurais Artificiais (RNAs):


Principais Modelos Conexionistas e
Aplicações
Referências.
11/5/2015
MD - Prof. Paulemir Campos
2
Principais Modelos Conexionistas e
Aplicações
11/5/2015
MD - Prof. Paulemir Campos
3
Introdução


Há vários tipos de Redes Neurais
Artificiais (RNAs);
As principais RNAs são:






11/5/2015
MLP (Multilayer Perceptron);
RBF (Radial Basis Function);
ART (Adaptive Resonance Theory);
SOM (Self-Organizing Maps);
Redes Recorrentes;
e, Redes Fuzzy.
MD - Prof. Paulemir Campos
4
Redes MLP

As Redes MLP (Multilayer Perceptron)
geralmente são constituídas por:



11/5/2015
uma camada de entrada;
uma ou mais camadas escondidas;
e, uma camada de saída.
MD - Prof. Paulemir Campos
5
Redes MLP
Arquitetura de uma Rede MLP Direta com Duas Camadas Escondidas
11/5/2015
MD - Prof. Paulemir Campos
6
Redes MLP


Redes MLP são treinadas usando
aprendizado supervisionado;
O algoritmo back-propagation é o mais
popular utilizado no treinamento de
redes MLP;
11/5/2015
MD - Prof. Paulemir Campos
7
Redes MLP

O funcionamento do algoritmo backpropagation consiste de duas fases:


11/5/2015
a fase para frente: os pesos das conexões são
mantidos fixos e propaga-se os valores dos nodos
de entrada, camada-a-camada, para obter-se a
saída da rede;
a fase para trás: os pesos das conexões são
ajustados, da camada de saída para a camada de
entrada, de acordo com o erro (diferença entre a
saída da rede e a saída desejada) atingido pela
rede.
MD - Prof. Paulemir Campos
8
Redes MLP

Aplicações:

Redes MLP treinadas com o algoritmo
back-propagation foram aplicadas na
solução de vários problemas difíceis, como:



11/5/2015
Diagnóstico médico;
Detecção de falhas mecânicas;
Previsão de séries temporais, etc.
MD - Prof. Paulemir Campos
9
Redes RBF

Uma rede RBF (Radial Basis Function) é do
tipo direta, assim como uma MLP, e contém
três camadas com regras bem distintas:


11/5/2015
Camada de entrada: composta pelos atributos
de entrada de um conjunto de dados;
Uma única camada escondida: formada por
funções de base radial, geralmente Gaussiana,
responsáveis por efetuar uma transformação nãolinear do espaço de entrada para o espaço da
camada escondida;
MD - Prof. Paulemir Campos
10
Redes RBF

Uma rede RBF (Radial Basis Function) é do
tipo direta, assim como uma MLP, e contém
três camadas com regras bem distintas
(Cont.):

11/5/2015
E, camada de saída: fornece a resposta da rede,
resultante de uma combinação linear (somatório,
por exemplo) do produto dos valores de saída dos
nodos escondidos pelos seus respectivos pesos
com o nodo da camada de saída.
MD - Prof. Paulemir Campos
11
Redes RBF
Arquitetura de uma Rede RBF
Onde:
x é o vetor de entrada;
i são as m funções de base radial de cada nodo escondido;
e wi os pesos de cada nodo escondido com o nodo de saída.
11/5/2015
MD - Prof. Paulemir Campos
12
Redes RBF

Aplicações:


11/5/2015
As redes RBF foram primeiramente
utilizadas na solução de problemas de
interpolação multivariado;
Atualmente, a aplicação de redes RBF em
análise numérica tornou-se um significativo
campo de pesquisas.
MD - Prof. Paulemir Campos
13
Redes ART

As redes ART (Adaptive Resonance
Theory), diferentemente das redes MLP
e RBF, empregam aprendizado nãosupervisionado de forma competitiva
para gerar clusters (agrupamentos) a
partir do conjunto de dados de entrada.
11/5/2015
MD - Prof. Paulemir Campos
14
Redes ART

Aprendizado em redes ART:


11/5/2015
Em função do grau de similaridade entre
um padrão de entrada e os padrões
contidos nos clusters da rede, um cluster é
escolhido e apenas os seus pesos são
ajustados;
Caso esse grau de similaridade não supere
um certo limiar, de modo que nenhum
cluster seja ativado, um novo cluster é
criado para acomodar o padrão da entrada
da rede.
MD - Prof. Paulemir Campos
15
Redes ART
Onde:
F1-a é a camada de entrada;
F1-b é a camada de interface;
F2 é a camada de clusters
ou camada de saída;
R (reset) é um nodo para controlar
o grau de similaridade dos
padrões localizados num
mesmo cluster;
G1 e G2 são nodos conectados às
camadas F1 e F2 da rede para
prover um controle do processo
de aprendizagem
Arquitetura Básica de uma Rede ART1
11/5/2015
MD - Prof. Paulemir Campos
16
Redes ART

Aplicações de Alguns Modelos:



11/5/2015
Rede ART1: processa apenas padrões de
entrada binários;
Rede ART2: capaz de processar padrões de
entrada com valores contínuos;
Rede ARTMAP: uma rede mais sofisticada
que permite aprendizado incremental
supervisionado.
MD - Prof. Paulemir Campos
17
Redes SOM


Uma rede SOM (Self-Organizing Maps)
ou Mapas de Kohonen é identificada
pela formação de um mapa topográfico
dos padrões de entrada;
As localizações espaciais dos nodos
disparados neste mapa são um
indicativo de características estatísticas
intrínsecas contidas nos padrões de
entrada.
11/5/2015
MD - Prof. Paulemir Campos
18
Redes SOM

Semelhante às redes ART, as redes
SOM são baseadas numa aprendizagem
não-supervisionada competitiva, em
que os nodos da camada de saída
competem entre si resultando em
apenas um nodo vencedor (winner
takes all neuron).
11/5/2015
MD - Prof. Paulemir Campos
19
Redes SOM


O principal objetivo de uma rede SOM é
transformar os sinais de um padrão de
entrada de dimensão arbitrária num
mapa discreto uni ou bidimensional;
Por esta razão, as redes SOM também
são denominadas mapas de
características.
11/5/2015
MD - Prof. Paulemir Campos
20
Redes SOM
Arquitetura de uma Rede SOM Bidimensional
11/5/2015
MD - Prof. Paulemir Campos
21
Redes SOM

Aplicações:

As redes SOM foram bem aplicadas na
solução de problemas como:




11/5/2015
geração de música por computador;
reconhecimento de caracteres;
seleção de características;
e, no bem conhecido problema do caixeiro
viajante (traveling salesman problem).
MD - Prof. Paulemir Campos
22
Redes Recorrentes


São RNAs com um ou mais caminhos de
realimentação (feedback loops);
Por exemplo, considerando-se uma rede
MLP, várias arquiteturas de redes
recorrentes podem ser obtidas
construindo-se caminhos de
realimentação dos nodos de saída e/ou
dos nodos escondidos para os nodos de
entrada.
11/5/2015
MD - Prof. Paulemir Campos
23
Redes Recorrentes

Os caminhos de realimentação
habilitam as redes recorrentes a
registrarem temporariamente estados
definidos pelos espaços de entrada e
saída da rede.
11/5/2015
MD - Prof. Paulemir Campos
24
Redes Recorrentes

Redes Recorrentes são utilizadas
basicamente com duas finalidades:

Memórias Associativas:



Redes de Mapeamento Entrada-Saída:




11/5/2015
Redes de Hopfield;
e, BAM (Bidirectional Associative Memory).
Redes NARX;
Rede de Elman;
MLP Recorrente;
e, Rede Recorrente de Segunda Ordem.
MD - Prof. Paulemir Campos
25
Redes Recorrentes

Aplicações:

Redes Recorrentes são bastante úteis em
diversas aplicações, como:




11/5/2015
modelagem e predição não-linear;
equalização adaptativa de canais de
comunicação;
processamento de voz;
e, diagnóstico de motores automotivos.
MD - Prof. Paulemir Campos
26
Redes Fuzzy


Compreende todas as redes neurais que
empregam conceitos da lógica fuzzy em
sua concepção;
Usualmente, redes fuzzy apresentam a
topologia de uma rede MLP direta com
pesos, propagação e funções de
ativação diferentes de redes comuns ou
não-fuzzy.
11/5/2015
MD - Prof. Paulemir Campos
27
Redes Fuzzy

Por exemplo, a seguir é apresentada
uma rede fuzzy com três camadas
onde:



11/5/2015
suas unidades usam operadores de
conjuntos fuzzy (união ou interseção) ao
invés das funções de ativação
normalmente utilizadas por RNAs;
os pesos são conjuntos fuzzy;
e, a camada escondida representa regras
fuzzy.
MD - Prof. Paulemir Campos
28
Redes Fuzzy
Onde:
1(1), 2(1) e 3(1) representam
conjuntos fuzzy definidos
para a entrada x1
1(2), 2(2) e 3(2) representam
conjuntos fuzzy definidos
para a entrada x2
Exemplo de Rede Fuzzy
11/5/2015
MD - Prof. Paulemir Campos
29
Redes Fuzzy

Outros modelos conexionistas também
estão sendo fuzzyficados, como:


11/5/2015
Redes SOM;
e, Redes ART.
MD - Prof. Paulemir Campos
30
Redes Fuzzy

A motivação para o crescente interesse
no desenvolvimento de redes fuzzy
deve-se as seguintes vantagens sobre
as redes tradicionais:


11/5/2015
Servem como ferramentas de engenharia
do conhecimento e estatísticas;
São relativamente resistentes ao
“esquecimento catastrófico”, isto é,
tendem a não “esquecerem” o
conhecimento adquirido quando
necessitam treinarem com novos dados;
MD - Prof. Paulemir Campos
31
Redes Fuzzy

A motivação para o crescente interesse
no desenvolvimento de redes fuzzy
deve-se as seguintes vantagens sobre
as redes tradicionais (Cont.):


11/5/2015
Interpolam e extrapolam bem em regiões
onde os dados são esparsos;
E, aceitam tanto dados de entrada reais
quanto fuzzy.
MD - Prof. Paulemir Campos
32
Referências


Braga, A. P.; Ludermir, T. B. e
Carvalho, A. C. P. L. F. Redes Neurais
Artificiais: Teoria e Aplicações.
Editora LTC, 2000.
Notas de aulas da Profa. Teresa B.
Ludermir do CIn/UFPE.
11/5/2015
MD - Prof. Paulemir Campos
33
Referências


Fausett, L. V. Fundamentals of
Neural Networks: Architectures,
Algorithms, and Applications. New
Jersey, Prentice-Hall, 1994.
Haykin, S. Neural Networks, A
Comprehensive Foundation. 2nd ed.
Prentice Hall, 1999.
11/5/2015
MD - Prof. Paulemir Campos
34
Referências

Zurada, J. M. Introduction to
Artificial Neural Systems. St. PaulMN, USA, West Publishing Company
Inc., 1992.
11/5/2015
MD - Prof. Paulemir Campos
35