Regularização
Uma introdução à abordagem
conexionista em Aprendizagem Máquina
Christopher Bishop, Pattern Recognition and Machine Learning,
Springer, 2006 – Sections 3.1, 3,2, 5.1
Sumário
„
„
Regularização
Regressão linear regularizada
‰
Equação normal
„
Regressão logística regularizada
„
Uma introdução à abordagem conexionista à
Aprendizagem Máquina
‰
‰
‰
‰
26-Jul-13
Assunções fundamentais
O sistema nervoso
Neurónios artificial e biológicos
A regra de Hebb
http://w3.ualg.pt/~jvo/ml
1
Regressão linear revisitada
Subespecialização
(underfit; high bias)
Superespecialização
(overfit; high variance)
Regressão logística revisitada
x2
x2
x1
(
x2
x1
x1
= sigmoide)
2
Algumas abordagens ao supertreino
1. Reduzir o número de características
― Seleção manual das características a manter;
― Algoritmos de seleção de modelos
2. Regularização
― Manter todas as características mas forçar a
redução dos parâmetros
Regularização, empiricamente
3
Regressão linear regularizada e o gradiente
Repetir
Equação normal regularizada
Equação normal:
Equação norma regularizada:
4
Regressão logística, não regularizada
x2
x1
Check point: Regressão logística regularizada?
Repetir {
5
Recapitulando
„
„
Regularização
Regressão linear regularizada
‰
„
Equação normal
Regressão logística regularizada
26-Jul-13
http://w3.ualg.pt/~jvo/ml
An Introduction to the Machine
Learning connectionistic approach
Christopher Bishop, Pattern Recognition and Machine
Learning, Springer, 2006 – Sections, Chapter. 5
6
Pigeons as art experts
Watanabe, S., Sakamoto, J., & Wakita, M. (1995). “Pigeon’s discrimination
of paintings by Monet and Picasso”. Journal of the Experimental Analysis
of Behavior, 63, 165–174.
Watanabe, S., (2001) “Van Gogh, Chagall and pigeons: picture
discrimination in pigeons and humans”, Anim Cogn 4 :147–151
Pigeons as art experts (Watanabe, 2001)
„
Pigeons were able to discriminate between Chagal and Van
Gogh with 95% accuracy (when presented with pictures they
had been trained on)
„
Discrimination is still 85% successful for previously unseen
paintings of the artists
„
„
Pigeons do not simply memorise the pictures
They can extract and recognise patterns (the ‘style’)
They generalise from the already seen to make predictions
„
This is what neural networks are good at.
„
26-Jul-13
http://w3.ualg.pt/~jvo/ml
7
Basic assumptions of the connectionistic approach
„
Animals are able to react adaptively to changes
in their environment, using their nervous
systems
„
A suitable model/simulation of the nervous
system should be able to produce similar
responses and behaviours in artificial systems
„
The nervous system is build by relatively simple
units, the neurons
26-Jul-13
http://w3.ualg.pt/~jvo/ml
Types of neurons
Types of Neurons
Sensory
Motor
Interneurons
26-Jul-13
8
Bio and artificial neurons
synapse
axon
nucleus
cell body
dendrites
x
1
x
w
w
1
2
2
w
x
ix
n
26-Jul-13
+
o
iw
n
http://w3.ualg.pt/~jvo/ml
Synapses
„
The synapse resistance to the incoming signal can be
changed during a "learning" process (Hebb,1949)
Hebb’s Rule:
If an input of a neuron is repeatedly and persistently
causing the neuron to fire, a metabolic change
happens in the synapse of that particular input to
reduce its resistance
26-Jul-13
http://w3.ualg.pt/~jvo/ml
9
The connectionistic approach
„
Information processing paradigm inspired by
biological nervous systems.
„
Main characteristics:
‰ Massive parallelism
‰ Universal approximators
‰ Tolerance to noisy and incomplete data
‰ Fault tolerance
‰ Learn by examples
26-Jul-13
http://w3.ualg.pt/~jvo/ml
Redes neuronais artificiais
26-Jul-13
http://w3.ualg.pt/~jvo/ml
10
Redes neuronais
26-Jul-13
http://w3.ualg.pt/~jvo/ml
Recapitulando
„
„
Regularização
Regressão linear regularizada
‰
Equação normal
„
Regressão logística regularizada
„
Uma introdução à abordagem conexionista à
Aprendizagem Máquina
‰
‰
‰
‰
26-Jul-13
Assunções fundamentais
O sistema nervoso
Neurónios artificial e biológicos
A regra de Hebb
http://w3.ualg.pt/~jvo/ml
11