Universidade Federal do Rio Grande do Norte
Programa de pós-graduação em Engenharia Elétrica e de
Computação
Defesa de Mestrado
Aluno: Nielsen Castelo Damasceno
Orientador: Allan de Medeiros Martins
Co-Orientador: Adrião Duarte Dória Neto
AGENDA








Introdução
Análise de Componentes Independentes
Separação de fontes usando Negentropia
Algoritmo Genéticos
RBF
Método proposto
Resultados experimentais
Considerações finais
INTRODUÇÃO





Surgimento de novas técnicas de separação de sinais;
Algoritmos ICA que utilizam medida de Independência:
estatística de ordem superior e teoria da informação;
Contribuições de Alfred Rényi;
Na década de 90 deram os passos iniciais para utilização
da entropia de Rényi;
Algoritmos que utilizam entropia de Rényi com kernel
gaussiano e janelamento de Parzen.
OBJETIVO
Separações cega de fontes para o caso de misturas lineares
e não-lineares. Utilizando RBF , Algoritmos Genéticos e a
Negentropia de Rényi.

Encontrar um matriz de separação W.

Encontrar uma função G não linear.
ANÁLISE DE COMPONENTES INDEPENDENTES
Dado um problema de resolução de um sistema de equação linear
Solução: atribuir algumas propriedades estáticas sobre os sinais.
ANÁLISE DE COMPONENTES INDEPENDENTES

Motivado pelo problema do Cocktail-party
Fonte: s
Coeficientes: A
Misturas: x
ANÁLISE DE COMPONENTES INDEPENDENTES

Definição de ICA: A ICA de um vetor aleatório 𝒙 =
𝑥1 𝑥2 ⋯ 𝑥𝑀
𝑡
consiste
na
determinação
de
uma
transformação linear.
𝒚 = 𝑊𝒙

𝒚 = 𝑦1 𝑦2 ⋯ 𝑦𝑁
𝑡
minimize uma função custo 𝜓(𝒚) ,
chamada de função contraste,
ANÁLISE DE COMPONENTES INDEPENDENTES

Considere os sinais de misturas 𝒙, sendo formados por um
modelo de misturas instantâneo não linear dado por:
𝒙=𝐹 𝒔

A proposta é estimar a inversa da transformação 𝐺 (sistema
separador), tal que:
𝒚=𝐺 𝒙


Varios métodos NLICA impõe restrições ao modelo de mistura
Mapeamentos não-linear que preserva a Independência é
chamada de trivial.
SEPARAÇÃO DE FONTES USANDO NEGENTROPIA

NEGENTROPIA
 Conceito base: Entropia
 Teoria da informação: Uma variável gaussiana tem o maior valor da entropia

Medida de não-gaussianidade
𝐽 𝑥 = 𝐻 𝑥𝑔𝑎𝑢𝑠𝑠 − 𝐻 𝑥

Método clássico
1
𝐽 𝑥 ≈
𝐸 𝑦3
12

2
1
+ 𝐾 𝑦
48
𝐽 𝑥 ≈
𝑘𝑖 𝐸 𝐺𝑖 (𝑥) − 𝐸 𝐺𝑖 (𝑥𝑔 )
𝑖=1
𝐺1 𝑦 =
1
𝑙𝑜𝑔(cosh(𝑎1 𝑦))
𝑎1
𝑦2
𝐺2 𝑦 = 𝑒𝑥𝑝 −
2
Substituir momentos polinomiais
𝑛
2
2
𝑦4
𝐺3 𝑦 =
4
ALGORITMOS GENÉTICOS

Baseado nos mecanismo de seleção e evolução natural;

Problemas de otimização
Inicio
Representação
Cromossômica
Inicialização
População
(Geração = 1)
Avaliação
Atendeu
Condição de
Parada?
Sim
Fim
Reprodução
(Geração = Geração +1)
Não
Seleção
ALGORITMOS GENÉTICOS

Representação
0

0
0
0
0
0
0
0
0
Inicialização da população
𝑔11
𝑐𝑟𝑜𝑚1
𝑔21
𝑐𝑟𝑜𝑚2
𝑝𝑜𝑝𝑢𝑙𝑎çã𝑜 =
=
⋮
⋮
𝑔𝑁1
𝑐𝑟𝑜𝑚𝑁

0
Avaliação
 Negentropia de Rényi
𝑔12
𝑔22
⋮
𝑔𝑁2
⋯ 𝑔1𝑀
⋯ 𝑔2𝑀
⋱
⋮
⋯ 𝑔𝑁𝑀
ALGORITMOS GENÉTICOS

Seleção
16%
Cromossomo
D
24%
Cromossomo A
28%
Cromossomo C
32%
Cromossomo B

Reprodução
Pai A 1
0
0
1
1
0
1
0
Pai B 0
0
1
0
1
1
0
0
a) Ponto do corte
1
0
1
0
1
0
1
0
0
0
0
1
1
1
0
0
b) Resultado da recombinação
Pai
1
0
0
1
1
0
1
0
Filho 1
0
0
0
1
0
1
0
REDES NEURAIS ARTIFICIAIS

Neurônio artificial;

Arquiteturas: Recorrentes e Multicamadas
RBF (Radial Basis Functions)
𝜉2
𝜑 𝜉 = 𝑒𝑥𝑝 − 2
2𝜎
MÉTODO PROPOSTO

Modelo geral estratégia linear
s
A
x
W
Parâmetros desconhecidos
AG(W,x,y)
A= 𝑟𝑎𝑛𝑑(3)
Armazenando essas matrizes 𝑾 que resultou na maior
independência 𝐼 ∙ .
y
MÉTODO PROPOSTO

Modelo geral estratégia não linear
s
𝒔−𝑪
𝑾𝑒𝑥𝑝 −
2𝜎 2
2
x
𝒙−𝑪
𝑾𝑒𝑥𝑝 −
2𝜎 2
2
y
Parâmetros desconhecidos
AG(W,C,x,y)
Gera novamente outro 𝐺 ∙ e assim armazenar o 𝐺 ∙ que deu maior independência.
MÉTODO PROPOSTO
Entropia de Rényi para um v.a. X :
1
𝐻𝛼 =
𝑙𝑜𝑔
1−𝛼
∞
1
𝐻𝛼 =
𝑙𝑜𝑔
1−𝛼
(𝑘𝑒 −0,5(𝑥−𝜇)
𝑡 Σ−1 (𝑥−𝜇)
∞
𝑝(𝑥)𝛼 𝑑𝑥
−∞
)𝛼 𝑑𝑥
−∞
1
𝐻𝛼 =
𝑙𝑜𝑔 𝑘 𝛼
1−𝛼
1
𝐻𝛼 =
𝑙𝑜𝑔 𝑘 𝛼
1−𝛼
1
𝐻𝛼 =
𝑙𝑜𝑔 𝑘 𝛼
1−𝛼
∞
𝑘=
−1
𝛼
− 2 (𝑦)𝑡 𝛼 Σq
(𝑦)
𝑒
𝑑𝑦
𝑦 =𝑥−𝜇
−∞
∞
1
𝛼
− (𝑦)𝑡 Σ−1 (𝑦)
𝑒 2
𝑑𝑦
(2𝜋)𝑑 Σ
−∞
∞
1
−2(𝑦)𝑡 Σ−1
q (𝑦)
𝑒
𝑑𝑦
−∞
1
𝐻𝛼 =
log(𝑘 𝛼 (2𝜋)𝑑 Σ𝑞 )
1−𝛼
Σ = 𝛼 Σq
MÉTODO PROPOSTO
𝐻𝛼 =
𝐻𝛼 =
1
log(𝑘 𝛼 (2𝜋)𝑑 𝛼 −𝑑 Σ )
1−𝛼
1
1
log (
)𝛼 (2𝜋)𝑑 𝛼 −𝑑 Σ
1−𝛼
(2𝜋)𝑑 Σ
1
𝐻𝛼 =
log
1−𝛼
(2𝜋)𝑑 𝛼 −𝑑 Σ
(2𝜋)𝑑
Σ
𝛼
2
1
0,5 1−𝛼
𝐻𝛼 =
log (𝛼 −𝑑 (2𝜋)𝑑 Σ
1−𝛼
1
𝐻𝛼 = 0,5
−d log 𝛼 + 1 − 𝛼 𝑑 𝑙𝑜𝑔 2𝜋 + 1 − 𝛼 log( Σ )
1−𝛼
log 𝛼
𝐻𝛼 = 0,5 −d
+ 𝑑 𝑙𝑜𝑔 2𝜋 + log( Σ )
1−𝛼
𝐻2 𝑋𝑔 = 0,5(𝑑 𝑙𝑜𝑔 4𝜋 + 𝑙𝑜𝑔 ∑ )
Σ≈
1
𝑁
𝑠𝑖 − 𝑠
𝑖
𝑡
𝑠𝑖 − 𝑠
MÉTODO PROPOSTO

Entropia quadrática de Rényi
𝐺 𝑥, 𝜎
2
1
=
2𝜋𝜎𝑁 𝑖=1
1
𝑓 𝑥 =
𝑁
𝑥 − 𝑥𝑖
𝑒𝑥𝑝 −
2𝜎 2
𝑁
𝐺 𝑥 − 𝑥𝑖 , 𝜎 2
𝑖=1
∞
𝑉 = −log(
𝑁
𝑓𝑋 (𝑥)2 𝑑𝑥)
−∞
2
MÉTODO PROPOSTO
∞
𝑉 = −log(
𝑓𝑋 (𝑥)2 𝑑𝑥)
−∞
∞
𝑉 = −log(
−∞
1
𝑉 = −log( 2
𝑁
1
𝑉 = −log( 2
𝑁
1
𝑁
𝑁
𝑁
𝐺 𝑥 − 𝑥𝑖 , 𝜎 2
𝑖=1
𝑁
∞
1
𝑁
𝑁
𝐺 𝑥 − 𝑥𝑗 , 𝜎 2
𝑑𝑥)
𝑗=1
𝐺 𝑥 − 𝑥𝑖 , 𝜎 2 𝐺 𝑥 − 𝑥𝑗 , 𝜎 2 𝑑𝑥)
𝑖=1 𝑗=1 −∞
𝑁 𝑁
𝐺 𝑥𝑖 − 𝑥𝑗, 2𝜎 2 )
𝑖=1 𝑗=1
Negentropia de Rényi
1
𝐽 𝑥 = 𝑑 log 4𝜋 + 𝑙𝑜𝑔 Σ
2
𝐺 𝑥𝑖 − 𝑥𝑗 , 2𝜎 2
− 𝑙𝑜𝑔
𝑖
𝑗
RESULTADOS EXPERIMENTAIS

Separação cega de fontes lineares

65536 amostras

População com 16 bits para cada gene

População com 144 bits
RESULTADOS EXPERIMENTAIS
RESULTADOS EXPERIMENTAIS
-3
5
Fonte 1
x 10
Mistura 1
0.01
0
-5
0
0
5
10
15
20
25
30
35
40
45
-0.01
50
Fonte 2
15
20
25
30
35
40
45
50
30
35
40
45
50
30
35
40
45
50
0
0
5
10
15
20
-3
25
30
35
40
45
-0.01
50
Fonte 3
x 10
0
5
10
15
20
25
Mistura 3
0.01
0
-5
10
0.01
0
5
5
Mistura 2
0.01
-0.01
0
0
0
5
10
15
20
25
30
35
40
45
-0.01
50
0
5
10
15
20
25
Negentropia 1
0.01
0
-0.01
0
5
10
15
-3
5
20
25
30
35
40
45
50
35
40
45
50
35
40
45
50
Negentropia 2
x 10
0
-5
0
5
10
15
-3
5
20
25
30
Negentropia 3
x 10
0
-5
0
5
10
15
20
25
30
RESULTADOS EXPERIMENTAIS

Comparação entre modelo linear e outras abordagens
Experimento
Amostras/Utilizados
População
Erro AG
Erro P-ICA
Erro FastICA
1
50/50
50
5.1818e-007
4.9440e-006
9.9365e-006
2
50/50
100
1.8315e-007
2.6616e-007
1.0328e-005
3
50/50
200
1.0785e-007
8.7361e-006
4.8179e-006
4
50/50
500
2.6961e-006
1.4256e-006
1.2347e-005
5
100/100
50
7.0970e-009
4.0143e-008
4,9859e-008
6
100/100
100
3.2528e-008
1.1351e-006
2.0106e-007
7
100/100
200
2.1759e-008
1.0717e-006
1.1719e-006
8
100/100
500
6.6869e-009
5.9524e-007
1.0514e-007
9
1000/100
50
9.0989e-013
6.8629e-010
2.8732e-010
10
1000/100
100
9.6552e-013
7.0855e-010
8.9876e-010
11
1000/67
200
1.2564e-011
6.4485e-010
4.1369e-010
12
1000/34
500
4.6911e-012
6.9532e-010
7.7314e-010
13
1000/20
500
2.6968e-011
1.5474e-011
9.0227e-010
RESULTADOS EXPERIMENTAIS
Separação cega de fontes não lineares

Fonte 1
0.2
1
0.5
0
-0.2
-3
Fonte 2
0
0
20
40
60
-0.5
Mistura 1
20
40
0.5
0
0
-0.5
-0.5
60
0
50
-3
Mistura 2
4
1
0.5
-1
0
1
4
-3
Mistura 1
x 10
100
150
200
-1
0
50
-4
Negentropia 1
x 10
Mistura 2
x 10
5
100
150
200
150
200
Negentropia 2
x 10
0.5
3
0
3
0
-0.5
2
0
20
40
60
2
-1
0
Negentropia 1
20
40
60
50
-4
Negentropia 2
0.5
0
5
0.2
x 10
100
150
200
-5
0
50
-3
Negentropia e Fonte 1
1
x 10
100
Negentropia e Fonte 2
0.5
0
0
0
0
-0.5
-0.5
0
20
40
60
-0.2
-5
0
20
40
60
0

População com 16 bits para cada gene

População com 640 bits
50
100
150
200
-1
0
50
100
𝒙−𝑪
𝒚 = 𝑾𝑒𝑥𝑝 −
2𝜎 2
150
2
200
RESULTADOS EXPERIMENTAIS

65536 amostras

População com 16 bits para
cada gene

População com 640 bits
𝒙−𝑪
𝒚 = 𝑾𝑒𝑥𝑝 −
2𝜎 2
2
RESULTADOS EXPERIMENTAIS
-5
2
x 10
-5
Fonte 1
2
x 10
Fonte 2
1

População com 16 bits para
cada gene
0
0
-2
0
1000
-5


120 genes
População de 1920 bits
2
x 10
2000
3000
4000
5000
2
1000
x 10
2000
3000
4000
5000
4000
5000
4000
5000
Mistura 2
0
0
1000
-5
2
0
-5
MIstura 1
0
-2
-1
x 10
2000
3000
4000
5000
-2
0
1000
-5
Negentropia 1
2
x 10
2000
3000
Negentropia 2
1
0
0
-2
0
1000
2000
3000
4000
5000
-1
0
1000
2000
3000
RESULTADOS EXPERIMENTAIS
Nº de
centros e
pesos
Sigma base
radial
Experimento
Amostras
População
1
3500
50
10
0,5
0,5
1,7854e-005
2
80
100
10
0,5
1
3.0396e-006
3
3500
200
10
0,5
0,5
5,7138e-004
4
16384
200
10
0,5
0,5
3,7154e-017
5
200
100
10
0,5
0,5
1,3490e-007
6
334
100
10
0,5
5
8,2305e-012
7
65536
100
10
0,5
0,5
4.0027e-017
8
5000
100
30
0,5
1
6,9189e-012

Kernel
Entropia
Separação cega de fontes com adição de ruído
𝑟(𝑛)
𝒔(𝑛)
A
Σ
W
𝒚(𝑛)
Erro AG
RESULTADOS EXPERIMENTAIS
fonte 1
fonte 2
0.01
fonte 3
0.02
0.01
0.01
0
0
0
-0.01
0
10
20
30
-0.01
0
mistura 1
10
20
30
-0.01
0
mistura 2
0.02
10
20
30
mistura 3
0.02
0.02
0.01
0
0
0
-0.02
0
10
20
30
-0.01
0
negentropia 1
10
20
30
-0.02
negentropia 2
0.01
0.01
0
0
0
0
10
20
30
-0.01
0
10
20
10
20
30
negentropia 3
0.02
-0.02
0
30
-0.01
0
10
20
30
RESULTADOS EXPERIMENTAIS
-5
10
-5
Fonte 1
x 10
Fonte 2
x 10
4
2
5
0
0
-5
-2
100
0
-5
5
200
300
400
-5
200
300
400
300
400
300
400
Mistura 2
x 10
5
0
100
0
-5
10
100
0
Mistura 1
x 10
0
-5
-4
200
300
400
-5
-5
Negentropia 1
x 10
100
0
Negentropia 2
x 10
4
200
2
5
0
0
-5
-2
0
100
200
300
400
-4
0
𝒚=𝒙𝜎𝒓
100
200
CONSIDERAÇÕES FINAIS

Neste trabalho, propomos a aplicação GA para maximizar a Negentropia
de Rényi das misturas.

Modelo linear deve-se ajustar o parâmetro da Negentropia.

Quantidade de amostras no sinal de fontes.

No modelo não linear deve-se ajustar o parâmetro da Negentropia e da
função de base radial.

Adição de ruído gaussiano no modelo linear e não linear.

Fazer uma análise no parâmetro da Negentropia.

Testes em cenários práticos em tempo real.

Experimentos em ambientes sobre-determinados e sub-determinados.

Prova da separabilidade do modelo.
MUITO OBRIGADO!