Seleção de Atributos
Aprendizagem de Máquina
• Artur Aquino
• Gabriel Albuquerque
• Hallan Cosmo
Roteiro
• Introdução
• Metodologia
• PSO
• O Problema
• Implementação
• Resultados
• Comparação
• Conclusão
Introdução
• Atributos não relevantes podem reduzir a precisão dos
algoritmos de aprendizado supervisionado
• Algoritmos de seleção de atributos buscam selecionar
atributos não redudantes e relevantes.
• O problema aqui é: qual caminho tomar para selecionar
os atributos?
– Busca exaustiva não é uma boa estratégia
Metodologia
• Seleção de atributos
• Algoritmo: Particle Swarm Optimization – PSO
• Algoritmo supervisionado no WEKA
– WrapperSubset Eval
• Comparação
PSO
• Foi inicialmente descrito em 1995 por James Kennedy e
Russell C. Eberhart mas evoluiu muito desde então
• É uma espécie de inteligência coletiva de um enxame
baseada em principios psico-sociológicos
• Pode ser utilizado para demonstrar comportamentos
sociais ou aplicações de engenharia
PSO
• O PSO é um algoritmo de otimização estocástico e
baseado em populações
• Os atributos são abstraídos para partículas no espaço
– Posição
• Taxa de mudança
– Velocidade
PSO
• Comunicação -> Melhor posição
– Local
– Global
• Ajuste buscando o ótimo
– Posição
– Velocidade
PSO - Exemplo
• Gaivotas telepáticas (trocam informações) em posições
aleatórias buscando a melhor fonte de comida
• Como sabem qual gaivota está mais próxima alteram
velocidade e posição
• Vão mantendo o registro das melhores posições e
velocidades
• Convergem para a fonte de comida (o ótimo)
O Problema
• Temos um problema de classificação, onde devemos
determinar se um animal é Peixe ou não.
• A partir de um conjunto de atributos, em que,
eventualmente, alguns são irrelevantes e reduzem a
precisão do algoritmo.
Implementação
• PSO - Algoritmo de busca
• Classificador Naive Bayes
• Comparação
– Naive Bayes do Weka
Resultados
• Experimentamos diferentes quantidades de partículas no
espaço
Comparação
• PSO x todos os atributos x weka
– Acerto calculado no weka
– Diferença muito pequena
• Quantidade de atributos
– Weka: 20
– PSO: 6 (10000 partículas)
Conclusão
• Muitos atributos não é necessariamente vantagem
– Redundância
– Irrelevância
• PSO tende a melhorar com o aumento de partículas
inicialmente geradas
– Até certo ponto
• O algoritmo implementado foi muito básico mas, ainda
assim consegue resultados próximos ao do weka com
menos atributos
Seleção de Atributos
Aprendizagem de Máquina
• Artur Aquino
• Gabriel Albuquerque
• Hallan Cosmo