MESTRADO EM REDES DE COMPUTADORES
“Utilizando estudos observacionais
para testar e aperfeiçoar um pacote
de laboratório para avaliação de
ferramentas de mineração visual de
dados”
Aluna: Josemeire Machado Dias
Orientação: Prof. Dr. Manoel Mendonça
Co-orientação: Profª MSc. Daniela Cruzes
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
MOTIVAÇÃO PARA O TRABALHO
 Muitas ferramentas de MVD desenvolvidas, mas sem
uso;
 Ferramentas precisam ser avaliadas para serem
melhoradas e comercializadas;
 Grande número de critérios definidos para avaliação
de ferramentas;
 A definição de critérios não é suficiente para garantir
a qualidade da avaliação das ferramentas;
 Nosso interesse na área de estudos empíricos.
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
FERRAMENTAS DE MINERAÇÃO VISUAL DE DADOS
Modelo de Referência para Visualização. (CARD et al. 1999)
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
PROCESSO PARA AVALIAR FERRAMENTAS DE MVD
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
PROCESSO PARA AVALIAÇÃO DE FERRAMENTAS DE MVD
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
A TÉCNICA DE AVALIAÇÃO DE FERRAMENTAS
DE MVD CRIADA NESTE PROJETO
 É baseada em inspeção e em perspectivas;
 perspectivas definidas:
 Especialista na análise de dados;
 Especialista nos dados;
 Especialista em interfaces;
 A utilização da técnica é guiada por cenários;
 Utiliza critérios para avaliação.
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
CRITÉRIOS UTILIZADOS NA TÉCNICA
 Critérios definidos por Paulo Roberto Luzzardi
 Tese de doutorado da UFRGS / Informática
 Foco dos critérios
 contemplam a representação visual estática
 contemplam os mecanismos de interação
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
CRITÉRIOS PARA A REPRESENTAÇÃO VISUAL
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
CRITÉRIOS PARA OS MECANISMOS DE INTERAÇÃO
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
FLUXO DE UTILIZAÇÃO DA TÉCNICA
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
CRIAÇÃO DO EXPERIMENTO PARA TESTAR A
TÉCNICA
Objetivos do experimento
Analisar a técnica criada (baseada em perspectivas)
e a baseada em heurísticas para avaliá-las em
relação à sua efetividade na detecção de problemas
no contexto da inspeção do ponto de vista do
especialista na análise de dados, especialista em
interfaces e especialista nos dados.
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
O PROCESSO EXPERIMENTAL TRADICIONAL
Baseado no modelo de Travassos (2002)
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
A PROPOSTA DE INSERÇÃO DA FASE DE TESTE NO
PROCESSO EXPERIMENTAL
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
DETALHAMENTO DA FASE DE TESTE
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
CRIAÇÃO DO PACOTE EXPERIMENTAL
 O pacote foi criado a partir de estudos observacionais
 Foram realizados 4 estudos observacionais e 1 Piloto
 1º Estudo = 3 Participantes
 Alunos de Mestrado da UNIFACS
 2º Estudo = 3 Participantes
 Alunos do Mestrado em Redes da UNIFACS
 3º Estudo = 5 Participantes
 Professores da UNIFACS
 4º Estudo = 22 Participantes
 Curta Duração da UNIFACS
 1º Piloto = 12 Participantes
 Mestrado e Doutorado da USP – São Carlos
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
Evolução dos estudos observacionais
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
1º ESTUDO = 3 PARTICIPANTES (Alunos de Mestrado)
Principais problemas
 O conjunto de dados era muito grande / máquinas lentas;
 O treinamento e a aplicação da técnica por ser realizado
em um único dia deixava o participante confuso e
cansado;
 Os formulários, por serem impressos diretamente da web
não traduziam segurança em relação a verdadeira
resposta do participante;
 A falta de uma visão geral da ferramenta;
 Dificuldade de manuseio dos formulários.
Ações tomadas
 Conjunto de dados reduzidos;
 Treinamento em dois dias;
 Formulários transferidos para o Word.
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
2º ESTUDO = 3 PARTICIPANTES (Alunos de Mestrado)
Principais problemas
 Dificuldade com a linguagem complexa;
 Ausência de exemplos mais próximos da realidade.
Ações Tomadas
 Inserção de alguns exemplos da web.
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
3º ESTUDO = 5 PARTICIPANTES (Professores da Unifacs)
Principais problemas
 Confusão no preenchimento dos formulários;
 Participantes ficaram impacientes com a ferramenta;
 Falso entendimento das explicações;
 Tabela de critérios se mostrou confusa;
 Treinamento e avaliação realizados no mesmo dia.
Ações tomadas
 Estabelecimento de ordem de preenchimento dos
formulários;
 Melhoria da didática para reconhecer se o treinamento foi
ou não entendido;
 Re-organização da tabela de critérios.
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
4º ESTUDO = 22 PARTICIPANTES (Alunos do Seqüencial)
Desafios
 Participantes com perfis desconhecidos dos condutores;
 Necessidade de desenvolvimento de métrica de enquadramento;
Principais problemas desta observação
 Participantes não sabiam responder aos formulários por causa
dos termos técnicos empregados;
 Ainda houve reclamação em relação à linguagem complexa;
 A participação foi motivada por promessa de certificados;
 A ferramenta Treeminer possui grande número de problemas
de usabilidade e funcionalidade.
Ações tomadas
 Inserção de definições para as perguntas;
 Troca da ferramenta Treeminer por Treemap.
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
1º Piloto = 12 PARTICIPANTES (USP – São Carlos)
Alguns detalhes
 Divisão ideal do número de participantes em cada
técnica;
 Treinamento em dois dias;
 Ferramenta utilizada foi a Treemap.
Principais problemas
 Dificuldade com a complexidade do material ainda
persiste, mas em menor grau.
Ações a serem tomadas
 Serão descritas em trabalhos futuros.
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
Resultados do Estudo Piloto I
Análise Global
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
Resultados do Estudo Piloto II
Análise Detalhada
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
CONSIDERAÇÕES FINAIS
Principais contribuições deste trabalho
 Criação da técnica para avaliação de ferramentas de
MVD baseada em três perspectivas;
 Criação do Pacote de Laboratório e seu refinamento
através dos Estudos de Caso;
 A inserção da fase de teste no processo experimental.
 Artigo completo publicado no quinto Congresso
Internacional de Engenharia de Software Experimental.
Outras contribuições foram:
 Métrica para enquadramento dos participantes nas
perspectivas de avaliação;
 Um conjunto de recomendações para avaliação de
ferramentas de MVD.
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
TRABALHOS FUTUROS
 Evoluir a técnica;
 Evoluir o processo de teste no sentido de melhorar a
sua sistemática de execução;
 Replicar os estudos feitos neste trabalho;
 Refinar os procedimentos de utilização do pacote para
que o experimento possa ser replicado por outros
pesquisadores;
 Estudar a aplicação da técnica para outros tipos de
dados que não sejam hierárquicos;
 Avaliar outras ferramentas de MVD usando as técnicas
e critérios utilizados neste trabalho.
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores
Aluna
Josemeire Machado Dias
[email protected]
Orientação
Prof. Dr. Manoel Gomes de Mendonça Neto
[email protected]
Co-orientação
Profª MSc. Daniela Soares Cruzes
[email protected]
Programa
deRedes
Pós-Graduação
em Sistemas e Computação
Mestrado
em
de Computadores