Agenda
Métodos Empíricos em
CSCW, ES e Ciência da
Computação
Cleidson de Souza
[email protected]
Faculdade de Computação
Universidade Federal do Pará
Pesquisa em Ciência da
Computação
• Abordagens [Wainer, 2007]
– Pesquisa Analítica;
• Prova matemática de teoremas, análise de algoritmos,
etc;
– Pesquisa Quantitativa; // pesquisa empírica
– Pesquisa Qualitativa; e // pesquisa empírica
– Pesquisa Bibliográfica
• Revisão Sistemática,
– Coleta todos, não alguns, os artigos publicados que
reportam um experimento e resume os vários resultados.
• Meta-Análise
– Usa técnicas estatísticas avançadas para agregar os
vários resultados dos experimentos em um único valor.
• Introdução
– Pesquisa em Ciência da Computação
– Empiricismo
• [McGrath, 2000]
– Quadrantes
– Fatores
• Métodos de Coleta e Análise de Dados
– Métodos Quantitativos
• Definição
• Exemplos
– Métodos Qualitativos
• Definição
• Exemplos
Empiricismo
• Evidência empírica refere-se a
observações que as pessoas
experimentam através dos sentidos:
tato, visão, audição, paladar e olfato.
• O objetivo é confirmar teorias
existentes ou gerar novas teorias.
Exemplo:
– Engenharia de software empírica é baseada
em evidências (dados) de projetos de
desenvolvimento de software reais. Leis da
manutenção do software;
Empiricismo
[McGrath, 2000]
• Teoria da relatividade de Einstein: energia
= massa x c2 (c=velocidade da luz)
– Descrição matemática; e
– Validação empírica; (vários e vários anos
depois)
• A evidência empírica coletada (anos
depois) visava validar a teoria de Einstein;
• Pode-se usar evidências empíricas para
gerar novas teorias.
Estratégias
Experimentais
Quadrante I -
Quadrante II -
• Estudos de Campo (field studies)
• Experimentos (de laboratório)
Estratégias de Campo
– Observações do sistema de forma
“natural” e “sem intrusão”
• Etnografias e estudos de caso
• Experimentos de Campo (field
experiments)
– Manipulam uma variável do sistema
para avaliar os efeitos da diferença
desta variável no comportamento do
sistema
• Exemplo: Hawthorne
– O pesquisador define um sistema
(ambiente, regras, etc) e induz
indivíduos ou grupos a entrarem no
sistema e agirem de acordo com as
regras;
• Simulação experimental
– Almeja o mesmo controle de
experimentos mas em uma situação
mais realística
• Ex: simuladores de avião, etc
Estratégias
de Respondentes
Quadrante III -
• Survey (questionário)
– Tenta obter evidência que lhe permitirá
estimar a distribuição de uma variável e /ou o
relacionamento desta com outras variáveis.
• Qual o melhor IDE: Eclipse ou Netbeans?
• Qual o melhor IDE para o projeto de interfaces
gráficas?
• Estudo de julgamento (judgment study)
– Tentar obter evidência sobre uma propriedade
a partir de estímulos;
• Testes psicofísicos da visão: apresenta uma
imagem e mapeia as áreas do cérebro que são
estimuladas.
Quadrante IV -
Teóricas
Estratégias
• Teoria Formal
– Não envolve a coleta de dados
empíricos, não existe interação com
participantes
• Simulação Computacional
– Similar a simulação experimental
(simulador de vôo), mas neste caso
não existe existe interação com
nenhum participante
Observações (1)
Observações (2)
• Não existe método melhor que os
outros;
• Qualquer método é limitado,
possuindo vantagens e
desvantagens;
• Desvantagens de um método podem
ser compensadas através da
utilização de outros métodos;
• Em computação, estes métodos têm
sido usados para [Wainer, 2007]:
– Avaliar programas e sistemas;
– Entendimento de práticas de trabalho e
requisitos para novos sistemas;
– Demonstrações e refutações de teorias
sobre sistemas.
Fatores [exclusivos]
[McGrath, 2000]
• Generalização da evidência em uma
população de atores
– Experimentos, Survey e teoria formal
• Precisão da medida do comportamento
que está sendo estudado (e dos fatores
que não estão sendo estudados)
– Experimentos e estudos de julgamento
• Realismo da situação ou contexto onde a
evidência foi coletada em relação a onde
a evidência se aplica;
– Estudos de Campo
Em CSCW?
Experimentos
• Abordagens mais utilizadas em
CSCW e HCI, provavelmente são:
• Pergunta: a produtividade
dos programadores aumenta com a
utilização de dois monitores?
• Projeto:
– Experimentos;
– Surveys; e
– Estudos de campo.
– 10 programadores usando 1 monitor
– 10 programadores usando 2 monitores
– Programar um problema de dificuldade média
em 1 hora
– Análise dos programas ao final do prazo
• Controle: habilidade de programação,
IDE, tarefa a ser executada, produtividade
(qualidade do código / número de erros,
etc etc etc.
Survey
Estudo de Campo
• Utilização de mensagens instantâneas no
celular
• Questionário:
• Como as pessoas
utilizam o orkut no
seu dia a dia?
–
–
–
–
–
– Para se comunicar
com os amigos?
– Para achar antigos
amigos?
– É sinal de status ter
muitos amigos no
orkut?
– O que significa estar
no orkut?
Quantas mensagens você manda por dia?
Quantas mensagens você envia por dia?
Quantas pessoas você telefona por dia?
Quantas pessoas te telefonam por dia?
Quantas pessoas você tem cadastradas na
agenda do seu celular?
• Análise:
– Pessoas que fazem mais ligações mandam
mais mensagens?
– Pessoas com uma agenda maior mandam
mais mensagens?
Métodos para Coleta e
Análise de Dados
• Duas abordagens principais:
– Métodos quantitativos
• Os dados coletados se encontram na
forma de números;
• Tradição das ciências naturais;
– Métodos qualitativos
• Os dados coletados encontram-se na
forma de palavras e / ou figuras;
• Tradição das ciências sociais;
• Observar as
pessoas utilizando
o orkut no dia a dia
delas.
Coleta de Dados:
Métodos Quantitativos
•
Os dados coletados se encontram na forma de números:
– Experimentos
• Qual a técnica mais efetiva para inspeção de software: leitura
baseada em checklist ou leitura baseada em xxxx?
• Qual a interface com usuário mais apropriada para pessoas
aprendendo a utilizar a internet? Internet Explorer ou Mozilla;
– “Surveys”
• O papel de mecanismos formais e informais de coordenação no
sucesso de projetos de desenvolvimento de software
• Aspectos culturais que influenciam autores de blogs;
– Análise de Conteúdo (Content Analysis)
• Técnica para examinar informações ou o conteúdo escrito ou
simbólico de um determinado material
• Contar o número de vezes que uma certa palavra ocorre em
conversas de chat entre adolescentes.
– Estatísticas existentes (Existing Statistics)
Coleta de Dados:
Análise de Dados:
• Adotada por pesquisadores positivistas
• Importante fundamentação matemática
Métodos Quantitativos
– Baseada na mesma abordagem e tradição
das ciências naturais como física e química
– “they favor ‘objective’ research, attempt to
measure precisely things about people, and
test hypotheses by carefully analyzing
numbers from the measures”. (favorecem a
pesquisa “objetiva”, tentando medir
precisamente aspectos das pessoas e testar
hipóteses através da análise cuidadosa dos
números obtidos a partir da coleta de dados.)
– O objetivo é encontrar modelos ou padrões
que descrevem um determinado fenômeno: a
lei da gravidade, etc.
Métodos Quantitativos
– Diversos testes estatísticos podem ser
utilizados para avaliar as hipóteses de
interesse;
– Estatisticamente significante: a probabilidade
que o resultado de um estudo seja devido ao
acaso;
– Geralmente, adota-se um limite de .05 (p<.05),
ou seja, a probabilidade de rejeitar a hipótese é
de 1 em 20. Não é uma regra;
– Quanto maior a probabilidade de rejeitar a
hipótese, maiores são as chances do resultado
não se dar por acaso;
Coleta e Análise de Dados:
Coleta e Análise de Dados:
• Exemplos de artigos:
• Os dados coletados encontram-se na
forma de palavras e / ou figuras.
• Exemplos:
Métodos Quantitativos
– Experimentos
• Thelin, T.; Runeson, P.; Wohlin, C.; Olsson, T.;
Andersson, C. How much information is needed for
usage-based reading? A series of experiments.
Proceedings of the Empirical Symposium in
Software engineering, pages: 127- 138, 2002.
– Surveys
• Kraut, R. and Streeter, L. Coordination in software
development. In Communications of the ACM,
volume 38(3), pages: 69-81, Mar. 1995.
• Conferências:
– ESEM (antigo ISESE) - Intl. Symposium in Empirical
Software Engineering and Measurement
– CHI - computer human interaction
Métodos Qualitativos
– Pesquisa de campo (Field Research)
• Estudos “in loco” que normalmente ocorrem durante
um período longo de tempo;
• Estudos de Caso e Etnografias;
– Pesquisa-Ação (Action-Research)
• Busca modificar o ambiente estudado através da
ação do pesquisador;
• Tradicional na Psicologia e Ciências Sociais;
Coleta e Análise de Dados:
Métodos Qualitativos
– Pesquisa histórico-comparativa
(Historical-Comparative Research)
• Examina aspectos da vida social em um
período histórico ou através de diferentes
culturas. Pesquisadores podem focar em
um ou mais períodos, comparar uma ou
mais culturas, ou combinar períodos e
culturas.
Coleta de Dados:
Métodos Qualitativos
• Técnicas geralmente utilizadas com
métodos qualitativos:
– Entrevistas não-estruturadas ou semiestruturadas;
– Filmagem dos informantes;
– Notas de campo (field notes) baseadas em
observação participativa ou não-participativa
(participant or non-participant observation)
que em inglês também é conhecido como
“shadowing”; e
– Coleta de documentos.
Coleta de Dados:
Análise de Dados:
• Adotada por pesquisadores interpretativos
(interpretive researchers):
• Análise tão rigorosa quanto nos métodos
quantitativos, mas feita de maneira
diferente;
• Geralmente, emprega períodos
intercalados de coleta e análise de dados;
• Exemplos de abordagem: estudo de caso,
etnografia, etc.
Métodos Qualitativos
– Ação não tem significado que possa ser diretamente
observado. Ela adquire significado entre as pessoas
que compartilham o mesmo conhecimento sobre o
domínio, o que permite que eles interpretem a ação
como algo relevante naquele contexto social;
– Um mundo social não está “lá fora” esperando pra ser
descoberto independentemente da consciência dos
atores, como nas abordagens das ciências naturais;
– “The world is empirically integrated, not logically
modeled... whether the researcher likes it or not”
[Glaser 1998, p. 189]. (o mundo é integrado
empiricamente … queira o pesquisador goste ou não)
Métodos Qualitativos
– Estudo de caso vs. Etnografia, na etnografia o
pesquisador tem um papel mais participante,
do que de observador.
Coleta e Análise de Dados:
Métodos Qualitativos
•
Exemplos de artigos:
– Rebecca E. Grinter, Using a configuration management tool to
coordinate software development, Proceedings of conference
on Organizational computing systems, p.168-177, August 1316, 1995, Milpitas, California, United States.
– Smolander, K. Four Metaphors of Architecture in Software
Organizations: Finding Out the Meaning of Architecture in
Practice, Proceedings of the Empirical Symposium in
Software engineering, pages: 211- 221, 2002.
• Conferências:
– CSCW - computer supporter cooperative work
– ECSCW - european CSCW
Que abordagem utilizar?
• Não existe método mais correto ou mais
apropriado, tudo depende do problema a ser
resolvido e do contexto.
• A utilização de um método não exclui a utilização
de outro. Pode-se usar mais de um método para
coleta de dados, o que é chamado de
triangulação:
– Utilizar diversos métodos de coleta de dados para
averiguar a autenticidade dos resultados;
– Adotar uma variedade de abordagens na pesquisa de
um problema, como se você enxergasse o mesmo
problema de diversos ângulos. Através destes
diferentes métodos, diferentes resultados serão
obtidos. Estes resultados deverão ser similares e
formar um triângulo. Dentro deste triângulo, a “verdade”
se encontra.
Leituras da Aula de Hoje
Próximo Item
• McGrath, J. E. (1994). Methodology
Matters: Doing Research in the Behavioral
and Social Sciences
• Wainer, J. (2007). Métodos de Pesquisa
Quantitativa e Qualitativa para a Ciência
da Computação. Jornadas de Atualização
em Informática, SBC.
• Etnografia…
– Método quantitativo de benchmarks;
– Para uma breve discussão filosófica se
ciência da computação é uma ciência;