TÓPICOS AVANÇADOS EM
ENGENHARIA DE SOFTWARE
Engenharia de Computação
Professor: Rosalvo Ferreira de Oliveira Neto
O processo de descoberta do
conhecimento - KDD
Roteiro





Introdução
Definição
Etapas
Desafios
Conclusão
Introdução
KDD envolve a interseção de várias áreas de pesquisas
tais como:
-
Bancos de dados
Aprendizagem de Máquina
Reconhecimento de padrões
Estatísticas
Inteligência artificial
Banco de Dados
A teoria e ferramentas de banco de dados fornecem a
infra-estrutura necessária para armazenar, acessar
e manipular dados.
Data warehousing referencia uma coleção de dados
transacionais para analises on-line e suporte a
decisão. Uma abordagem popular para análise de
data warehouses é chamada online analytical
processing (OLAP).
Banco de Dados
As ferramentas OLAP focam em prover analises multi
dimensional que é superior a linguagem SQL no
calculo de sumarizações e quebras de várias
dimensões.
Enquanto as ferramentas OLAP tem como objetivo
analise interativa dos dados, o processo de
descoberta do conhecimento KDD propõe
automação dos componentes de descoberta do
conhecimento.
Como o KDD difere dos outros campos?
KDD foca no processo geral de descoberta do
conhecimento, incluindo como os dados estão
armazenados e acessados, como os algoritmos
podem ser escaláveis para grandes massas de
dados e ainda executar de forma eficiente e como
os resultados podem ser interpretados e
visualizados.
Definição
"The nontrivial process of identifying valid, novel,
potentially useful, and ultimately understandable
patterns in data.“Fayyad et al.
Etapas do KDD
1- Aprender o domínio da aplicação: inclui o
conhecimento prévio relevante do domínio e os
objetivos da aplicação.
2- Criação de uma base de dados alvo: inclui
selecionar uma base de dados ou focar em um
subconjunto de variáveis ou amostra de dados
para desenvolvimento do projeto.
Etapas do KDD
3- Limpeza dos dados e pré-processamento: inclui
operações básicas, tais como remover ruídos ou
outliers se for apropriado, decidir estratégias para
manipulação de missing data.
4- Redução e projeção dos dados: inclui buscar atributos
úteis para representar os dados, dependendo do
objetivo da tarefa, e usar métodos para redução da
dimensionalidade dos dados ou transformações para
reduzir o número de variáveis.
Etapas do KDD
5- Escolher a função de mineração de dados: inclui
decidir o objetivo do modelo derivado pelo
algoritmo de mineração de dados (Sumarização,
Classificação, Regressão e Agrupamento).
6- Escolher o algoritmo de mineração de dados: inclui
selecionar o método que será utilizado na busca
por padrões nos dados, quais modelos e
parâmetros são apropriados para o objetivo do
projeto.
Etapas do KDD
7- Mineração de dados: inclui a busca por padrões de
interesse em uma forma particular de representação,
incluindo regras de classificação ou árvore, regressão,
clustering entre outros.
8- Interpretação: inclui a interpretação dos padrões
descoberto e possivelmente um retorno a qualquer
etapa anterior do processo, assim como a visualização
dos padrões extraídos, remoção de padrões
redundantes ou irrelevantes, e traduzir os padrões
úteis em termos compreensíveis pelos usuários
Etapas do KDD
9- Utilização do conhecimento descoberto: inclui
incorporar esse conhecimento dentro de um
sistema de desempenho, realizar ações baseada
neste
conhecimento,
ou
simplesmente
documentá-lo e reportar para as partes
interessadas.
Etapas do KDD
Desafios
•
•
•
•
•
•
•
Grandes bases de dados e alta dimensionalidade
Interação com usuário e conhecimento a priori
Overfitting
Valores ausentes
Compreensão dos padrões
Gerenciamento de mudanças dos dados e do
conhecimento
Integração
Grandes bases de dados e alta dimensionalidade
Bases de dados com Terabyte e milhões de registros,
com um grande número de campos (atributos e
variáveis) são comuns. Esses conjuntos de dados
criam uma explosão combinatória no espaço de
busca para a indução do modelo e aumentam as
chances de que um algoritmo de mineração de
dados encontre padrões irrelevantes. As soluções
possíveis incluem algoritmos muito eficientes,
amostragem,
métodos
de
aproximação,
processamento paralelo, técnicas de redução de
dimensionalidade,
e
incorporação
de
conhecimento prévio.
Interação com usuário e conhecimento a priori
Muitos dos atuais métodos de KDD e ferramentas
não são verdadeiramente interativa e não
disponibiliza meios para incorporar o
conhecimento prévio sobre um problema,
exceto em formas simples. Uso de
conhecimento de domínio é importante em
todas as etapas do processo de KDD.
Overfitting
Quando um algoritmo busca pelos melhores
parametros para um particular modelo
utilizando um conjunto limitado de dados, ele
pode memorizar os dados, resultando em um
desempenho pobre do modelo. Soluções
possíveis incluem validação cruzada e outras
sofisticas estratégias estatísticas
Valores ausentes
Este problema é bastante comum em bancos de dados
de empresas. Atributos importantes podem estar
faltando, se o banco de dados não foi projetado
para a descoberta do conhecimento ou um erro do
operador, falhas de medição, ou a partir de uma
revisão do processo de coleta de dados ao longo
do tempo (por exemplo, novas variáveis). As
soluções possíveis incluem mais sofisticadas
estratégias
estatísticas
para
identificar
variáveis ​ocultas e dependências.
Compreensão dos padrões
Em muitas aplicações, é importante tornar os
padrões descobertos mais compreensíveis por
seres humanos. As soluções possíveis incluem
representações gráficas, estruturação de regra,
geração de linguagem natural, e técnicas de
visualização de dados e conhecimento.
Gerenciamento de mudanças dos dados e do
conhecimento
Mudança rápida dos dados podem fazer padrões
previamente descobertos inválido. Além disso,
as variáveis ​medidas numa base de dados pode
ser modificada, eliminada ou aumentada com
novas medições ao longo do tempo. As
soluções
possíveis
incluem
métodos
incrementais para atualizar os padrões.
Integração
Há uma oportunidade em potencial e um desafio
para o desenvolvimento de técnicas para
integrar as ferramentas OLAP da comunidade
de banco de dados e as ferramentas de
mineração de dados de aprendizado de
máquina e modelos estatísticos.
Conclusão
Diante do rápido crescimento, o campo de KDD
ainda está na sua infância. Existem vários
desafios para serem superados, mas muito
sucesso já foi alcançado.