9.641 Redes Neurais
Conjunto de Problema 5: PCA e redes lineares
1. Análise do componente principal (PCA) usando dados MNIST.
(a) Use o comando cov para calcular a diferença comum entre todos os “dois” em mnistabridged.mat. Em seguida,
use o comando eig para encontrar os eigenvetores e os eigenvalores. Exiba os dez eigenvetores correspondentes aos
dez maiores eigenvalores. Estes são os principais componentes e devem ser exibidos como imagens.
(b) Usar o comando eig não é eficaz, porque ele busca todos os eigenvetores em vez apenas dos que você quer.
Mostre que repetir
Cx
x :=
|Cx|
converge no eigenvetor principal de quase todas as condições iniciais. Simule-o numericamente e verifique que
o resultado é o mesmo que o eigenvetor principal obteve usando eig.
2. Considere as duas redes lineares de neurônio
dx1
+ x1
τ
dt
dx2
+ x2
τ
dt
com
=
b1 + W11 x1 + W12 x2
(1)
=
b2 + W21 x1 + W22 x2
(2)
W =
�
�
−1/4 1
1/2 1/4
(3)
(a) Calcule a reação do estado estacionário de b1 = 1 e b2 = 2 resolvendo a equação linear (I − W )x = b para
x.
(b) Ache os eigenvalores de W . Quais são os ganhos dos eigenmodos correspondentes?
(c) Ache os eigenvetores esquerdos e direitos de W . Por W não ser simétrico, os eigenvetores esquerdo e direito
são diferentes um do outro. Você observará modos comuns e diferenciais, mas eles não são tão simples quanto
os que deduzimos em aula para um par reciprocamente inibitório.
(d) Use os eigenvetores e os eigenvalores para fatorar W como SΛS −1 .
(e) Agora, calcule a reação do estado estacionário nas três etapas a seguir. Você deve receber a mesma resposta
que recebeu ao resolver (I − W )x = b, porque (I − W ) −1 = S(I − Λ)−1 S −1 .
i. Expresse b como uma combinação linear de eigenvetores direitos.
ii. Multiplique os coeficientes desta combinação linear pelos ganhos apropriados.
iii. Use estes resultados para reunir os eigenvetores direitos, produzindo a reação do estado estacionário x.
3. Considere a rede linear constante de neurônios N através da rotação
τ
N
�
dxi
+ xi = bi +
Wij xj
dt
j=1
onde W é uma matriz circulante

w0
 w1

W =
 .
 .
wN −1
wN −1
w0
w1
.
wN −2
1
dx
+ x = b + Wx
dt
ou
τ
.
.
.
.
.
w1
wN −1
w0
.
.

w1

w2 

. 
wN −1 
w0
(4)
(5)
Esta fórmula significa que a força da interação entre dois neurônios depende somente de sua separação, se você imaginar
que os neurônios são organizados de forma seqüencial em volta de u m a n e l . O vetor b consiste em entradas N para os
neurônios, e o vetor x consiste em atividades neurais N. Vamos seguir a convenção que indica executar de 0 a
N − 1, de forma que x 0 , . . . , xN −1 sejam as atividades neurais etc.
(a) Defina N th da raiz da unidade z = exp(2πi/N ) e a matriz de Fourier Fmn = z mn . Os modos de Fourier
são definidos como vetores da coluna F . Mostre que os modos de Fourier são eigenvetores de W e ache os
eigenvalores desses modos em função do registro na matriz circulante.
(b) Considere o exemplo do acoplamento vizinho mais próximo. Neste exemplo especial, w1 = wN −1 = c enquanto o
resto da matriz circulante é zero. Para quais valores de c a rede é estável? Nas perguntas a seguir, restrinja c
a estes valores.
(c) Limite-se ao exemplo inibitório c < 0.
i. Resolva o estado estacionário x = (I − W )−1 b quando houver uma entrada simples e todo o resto for zero
(reação ao impulso). Descreva de forma verbal e esboce graficamente as características qualitativas da solução.
ii. Represente graficamente os eigenvalores da matriz de ganho (I − W ) −1 como uma função do índice do modo
de Fourier (número de ondas). Quais modos são ampliados e quais são atenuados?
(d) Limite-se ao exemplo excitatório c > 0.
i. Resolva o estado estacionário x = (I − W )−1 b quando houver uma entrada simples e todo o resto for zero
(reação ao impulso). Descreva de forma verbal e esboce graficamente as características qualitativas da solução.
ii. Represente graficamente os eigenvalores da matriz de ganho (I − W ) −1 como uma função do índice do modo
de Fourier (número de ondas). Quais modos são ampliados e quais são atenuados?
2