UPE – Caruaru – Sistemas de Informação
Disciplina: Redes Neurais
Prof.: Paulemir G. Campos
Aprendizado em
Redes Neurais
(Parte 1)
11/5/2015
RN - Prof. Paulemir Campos
1
Roteiro da Aula

Introdução;
Paradigmas.

Referências.

11/5/2015
RN - Prof. Paulemir Campos
2
Introdução ao
Aprendizado em RNA
11/5/2015
RN - Prof. Paulemir Campos
3
Aprendizado - Definições

Segundo Carbonell:

11/5/2015
Habilidade de executar novas tarefas que
não podiam ser realizadas antes, ou
executar melhor antigas tarefas
(decorrentes do processo de
aprendizagem).
RN - Prof. Paulemir Campos
4
Aprendizado - Definições

De acordo com S. Haykin (no contexto
de RNAs):

11/5/2015
Processo no qual os parâmetros livres de
uma rede neural são adaptados através de
estimulação do meio ambiente onde a rede
está inserida.
RN - Prof. Paulemir Campos
5
Aprendizado - Características

Capacidade de aprender a partir de seu
ambiente e melhorar sua performance
com o tempo;
11/5/2015
RN - Prof. Paulemir Campos
6
Aprendizado - Características

Parâmetros livres de uma RNA são
adaptados através de estímulos
fornecidos pelo ambiente:


11/5/2015
Processo iterativo de ajustes aplicado a
sinapses e thresholds;
Idealmente, a RNA sabe mais sobre seu
ambiente após cada iteração.
RN - Prof. Paulemir Campos
7
Aprendizado - Características


A RNA deve produzir para cada
conjunto de entradas apresentado o
conjunto de saídas desejado.
Ajuste dos parâmetros livres (pesos):
wij(t  1)  wij(t )  wij(t )
11/5/2015
RN - Prof. Paulemir Campos
8
Aprendizado - Características

Mecanismos de aprendizado:



11/5/2015
Modificação de pesos (Δwij(t)) associados
às conexões;
Armazenamento de novos valores em
conteúdos de memória;
Acréscimo e/ou eliminação de
conexões/neurônios.
RN - Prof. Paulemir Campos
9
Aprendizado - Tarefas

Principais tarefas:



11/5/2015
Associação de padrões: auto-associação,
hetero-associação;
Reconhecimento de padrões: classificação,
agrupamento;
Aproximação de funções: interpolação,
regressão;
RN - Prof. Paulemir Campos
10
Aprendizado - Tarefas

Principais tarefas (Continuação):


11/5/2015
Controle de processos: identificação e
controle;
Filtragem de sinais: filtragem, suavização,
predição.
RN - Prof. Paulemir Campos
11
Aprendizado - Técnica

Escolha do algoritmo de aprendizado é
influenciada pela tarefa a ser realizada
pela rede.
11/5/2015
RN - Prof. Paulemir Campos
12
Aprendizado - Adaptação

Dimensões do processo de aprendizado



Espaço;
Tempo.
Ambientes de operação


11/5/2015
Estacionário;
Não estacionário.
RN - Prof. Paulemir Campos
13
Aprendizado:
Ambientes de Operação

Estacionário: Características estatísticas
não mudam com o tempo


11/5/2015
Parâmetros da rede são congelados após
treinamento;
Sistema de aprendizado utiliza memória
para lembrar e explorar experiências
passadas.
RN - Prof. Paulemir Campos
14
Aprendizado:
Ambientes de Operação

Não estacionário: Características
estatísticas mudam com o tempo



11/5/2015
Rede deve adaptar seus parâmetros em
tempo real;
Sistema adaptativo responde a toda
entrada diferente como a uma nova
entrada;
Performance depende diretamente da
capacidade adaptativa do sistema.
RN - Prof. Paulemir Campos
15
Aprendizado:
Ambientes de Operação

Aprendizado de estrutura temporal


11/5/2015
Treinamento contínuo com exemplos
ordenados pelo tempo (previsão);
Extensão de métodos tradicionais de
aprendizado supervisionado.
RN - Prof. Paulemir Campos
16
Paradigmas de
Aprendizado em RNA
11/5/2015
RN - Prof. Paulemir Campos
17
Introdução

Tipos de Aprendizado



11/5/2015
Supervisionado;
Por Reforço;
Não Supervisionado.
RN - Prof. Paulemir Campos
18
Introdução

Paradigmas de aprendizado

11/5/2015
Diferem na forma como a RNA se relaciona
com seu ambiente.
RN - Prof. Paulemir Campos
19
Aprendizado Supervisionado

Professor externo

Possui conhecimento sobre o ambiente




11/5/2015
Representado por conjunto de pares (x, d)
Geralmente, a rede não possui informações
prévias sobre o ambiente.
Parâmetros da rede são ajustados
por (x, d);
Rede procura emular professor.
RN - Prof. Paulemir Campos
20
Aprendizado Supervisionado

Problema de atribuição de crédito

11/5/2015
Atribuir crédito ou culpa pelo resultado à
cada uma das decisões internas que
contribuíram para ele.
RN - Prof. Paulemir Campos
21
Aprendizado Supervisionado

Para rede melhorar desempenho, o
custo deve mover para ponto de
mínimo na superfície de erro


11/5/2015
Utiliza informação sobre gradiente da
superfície para os parâmetros atuais da
rede
Gradiente: vetor que aponta na direção da
descida mais íngreme.
RN - Prof. Paulemir Campos
22
Aprendizado Supervisionado

Formas de aprendizado supervisionado

Offline (estático)



Online (dinâmico)



Módulo externo para aprendizado;
Rede é congelada após o treinamento.
Rede nunca para de ser treinada;
Aprendizado auto-contido.
Desvantagem

11/5/2015
Dependência do professor
RN - Prof. Paulemir Campos
23
Aprendizado Por Reforço

Crítico externo



Processo de tentativa e erro;
Procura maximizar sinal de reforço.
Lei de Thorndike

11/5/2015
Se ação tomada por sistema é seguida por
estado satisfatório, sistema é fortalecido,
caso contrário, sistema é enfraquecido.
RN - Prof. Paulemir Campos
24
Aprendizado Por Reforço

Tipos de reforço



11/5/2015
Positivo (recompensa);
Negativo (punição);
Nulo.
RN - Prof. Paulemir Campos
25
Aprendizado Por Reforço

Formas de aprendizado por reforço

Não associativo



Associativo


11/5/2015
Sistema deve selecionar ação ótima;
Reforço é única referência recebida.
Aprender mapeamento estímulo-ação;
Informação adicional é fornecida.
RN - Prof. Paulemir Campos
26
Aprendizado Por Reforço

Conflito identificação-controle



11/5/2015
Desejo de utilizar conhecimento disponível
sobre mérito de ações tomadas pelo
sistema;
Desejo de adquirir mais conhecimento
sobre conseqüências de ações para
selecionar melhor no futuro.
Quando parar?
RN - Prof. Paulemir Campos
27
Aprendizado
Não Supervisionado


Não tem crítico ou professor externo
Extração de características
estatisticamente relevantes

11/5/2015
Cria classes automaticamente
RN - Prof. Paulemir Campos
28
Referências


Braga, A. P.; Ludermir, T. B. e
Carvalho, A. C. P. L. F. Redes Neurais
Artificiais: Teoria e Aplicações.
Editora LTC, 2000.
Notas de aulas da Profa. Teresa B.
Ludermir e do Prof. Aluízio Araújo,
ambos do CIn/UFPE.
11/5/2015
RN - Prof. Paulemir Campos
29