METODOLOGIA DE RECOLHA DE DADOS Survey e Análise Estatística Mestrado em Educação - TIC e Educação - à distância Metodologia de Investigação I Ana Duarte Anabela Lobato Dina Cordeiro Lina Afonso Rodrigues INTRODUÇÃO “Construir um instrumento de pesquisa é uma arte em si.” TEMAS A ABORDAR • O que é o survey Conceito Vantagens e desvantagens • Tipos de Survey De objetivo único De objetivo múltiplo • Pesquisa por survey Questionário Vantagens e desvantagens • Como construir o survey Tipos de questões Conteúdo das questões Que tipo de linguagem usar Tipo de resposta Ordem das questões • Como selecionar o método de survey População Amostragem Assuntos a tratar • Análise Estatística Conceito Amostra Estatística Descritiva e Indutiva Estudos paramétricos e não paramétricos SURVEY Visa a obtenção de respostas expressas pelos participantes no estudo; Deve ser implementado com o recurso a entrevistas ou a questionários. QUESTIONÁRIO VS. ENTREVISTA O Inquérito (questioning) é o processo que visa a obtenção de respostas expressas pelos participantes no estudo (Wiersma, 1995; Ghiglione & Matalon, 1997; citado por Coutinho, 2011) e pode ser implementado com o recurso a entrevistas ou a questionários. (Eisman, 1992; Charles, 1998; citado por Coutinho, 2011). QUESTIONÁRIO VS. ENTREVISTA Há quem ache que uma entrevista pode ser entendida como um tipo de questionário. A figura ao lado mostra que apesar das semelhanças são duas técnicas muito distinta. Vantagens SURVEY • Permite a recolha de dados junto de grande numero de participantes; • Podem ser enviados pelo correio ou entregues em mão; • Podem ser aplicados em várias situações e contextos de investigação diferenciados; • Podem ser usados para estudar atitudes, valores, crenças e comportamentos; • Estão relativamente livres de vários tipos de erros. • São relativamente fáceis de ministrar; • Apenas as questões de interesse para o pesquisador são colocadas, gravadas, codificadas e analisadas; • Evita enviesamentos da parte do investigador. Desvantagens SURVEY • Não existem certezas de obtenção de 100% de índice de retorno; • Eles dependem da motivação dos sujeitos, sua honestidade, memória e capacidade de resposta; • Inquéritos não são apropriados para estudar fenómenos sociais complexos; • Os inquéritos não dão um conhecimento completo dos processos socias e a sua análise parece superficial. • Os inquéritos são estruturados. • As amostras de inquéritos são normalmente autoescolhidas. TIPOS DE SURVEY Objetivo único Objetivos múltiplos Descritivo Transversal • descobrir a incidência e distribuição de determinados atributos de uma dada população. • descrever uma população estabelecendo relações entre traços/variáveis. Explicativo Longitudinal • determinar relações entre as variáveis. • detetar e explicar mudanças ocorridas ao longo do tempo. Exploratório • obter pistas para estudos futuros. COMO CONSTRUIR O SURVEY? Esquema de um inquérito ou survey - Coutinho (2011), adaptado de Wiersma, 1995, p. 178 Planear Constituição da Amostra Recolha de Dados Organização dos Dados Análise dos Dados Conclusões / Relatório COMO CONSTRUIR O SURVEY: FASES PARA ELABORAÇÃO DO INSTRUMENTO 1) Elaboração inicial do questionário 2) Exame da versão inicial por outros especialistas 3) Estudo – piloto 4) Realização de pré-teste 5) Elaboração da versão final 6) Aplicação da versão final 7) Interpretação de resultados 8) Resposta às questões colocadas no inicio do estudo 9) Avaliação das qualidades do instrumento COMO CONSTRUIR O SURVEY Que cuidados ter? aspetos relacionados com a população; aspetos relacionados com a língua; aspetos relacionados com a amostra; aspetos relacionados com as perguntas; aspetos relacionados com o assunto; aspetos relacionados como as palavras utilizadas nas questões; aspetos relacionados com a ordem de colocação das perguntas; aspetos relacionados com a exequibilidade da pesquisa. PASSOS NA CONSTRUÇÃO DO INQUÉRITO ESTUDOS PRELIMINARES Existem dois tipos de estudos preliminares utilizados com intuitos diferentes: 1. auxiliar na elaboração de um questionário novo 1.1. Estudo preliminar para confirmar uma investigação na literatura 1.2. Estudo preliminar para estender uma investigação apresentada na literatura 2. testar um questionário existente 2.1. Estudo preliminar aplicado a um novo universo PLANO DO QUESTIONÁRIO Segundo Hill & Hill (2008): 1. 2. 3. 4. 5. listar todas as variáveis da investigação, incluído as características dos inquiridos; especificar o número de questões para cada variável. escrever uma versão inicial de cada questão; pensar na natureza da hipótese geral e nas variáveis e perguntas iniciais associadas, concluindo qual a hipótese geral com que se fica. Existem dois tipos de hipóteses: – aquelas que tratam das diferenças entre grupos de inquiridos (grau académico das mulheres e dos homens); – as que tratam das relações entre variáveis (O género está relacionado com o grau académico); consoante o tipo de hipótese geral, decidir quais as técnicas estatísticas adequadas para testar a hipótese; PLANO DO QUESTIONÁRIO (CONT.) Segundo Hill & Hill (2008): 6. decidir com base na informação do passo 5, o tipo de resposta desejável para cada pergunta sendo que existem 4 tipos de resposta possíveis: – Qualitativa descrita por palavras do respondente (aberta); – Qualitativa escolhida num conjunto de respostas alternativas (fechada); – Quantitativa o respondente escreve um número (aberta); – Quantitativa escolhida pelo respondente a partir de um conjunto de alternativas apresentadas. 7. com base nos passos 4, 5 e 6 escrever a hipótese operacional; 8. considerar as perguntas iniciais e se necessário poli-las; 9. verificar se a versão final das questões e respostas estão adequadas à hipótese; 10. repetir os passos 3 – 9 para outras hipóteses gerais; 11. escrever as instruções associadas com as perguntas para informar o respondente como deve responder; 12. planear as secções do questionário (dividi-lo em secções/temas). ELABORAR UM INQUÉRITO Para tomar boas decisões num estudo deste tipo o investigador precisa de um bom planeamento tendo em conta: O Conteúdo das questões • Esta pergunta é essencial? • São necessárias várias questões acerca do mesmo assunto? • É espectável que os inquiridos tenham conhecimento sobre o assunto? • O inquirido precisa de consultar dados? • A questão deve ser muito específica ou suficientemente generalista? • Como lidar com assuntos mais tendenciosos? • Pode evitar-se que seja a pessoa errada a responder ELABORAR UM INQUÉRITO (CONT.) As Palavras Usadas • Pode entender-se de forma errada a questão? • Quais são as pressuposições da pergunta? • A moldura temporal está devidamente especificada? • A questão está formulada de uma forma muito pessoal? • A questão está formulada de uma forma demasiado direta? • A pergunta contém terminologias difíceis ou pouco claras? • Cada hipótese está devidamente explicitada? A ordem das perguntas • A resposta é influenciada por questões prévias? • A questão vem muito cedo/tarde para despertar interesse? • A questão recebe a atenção devida? CONCLUINDO Assim sendo devemos: • colocar questões simples no início; • colocar questões mais difíceis no fim; • nunca começar um questionário a enviar pelo correio por uma questão aberta; • para um historial demográfico siga uma ordem cronológica • um tópico de cada vez; • quando muda de tópico utilize uma pergunta de transição; • o conjunto de respostas. • Para questões de filtragem ou contingência faça um flow chart (normalmente composto por setas e caixas de texto). QUE QUESTÕES USAR? • Que questões podemos colocar • Que tipo de questões é mais adequado utilizar? • Como reduzir a complexidade das questões? (Quando o assunto é complexo, o ideal fazer questões e subquestões associadas ao mesmo tema, mas nunca devemos ter mais do que três níveis por questão). • Se o assunto for complexo deverá obrigatoriamente colocar-se questões longas? • Como selecionar as questões? • Por exemplo, não se coloca questões sobre um programa de computador a alguém que não domina informática. Podemos colocar questões de filtragem que permitam saber logo à partida se o inquirido está qualificado a responder a determinada questão. • Pode controlar-se a sequência das questões? (Pode construir-se uma sequência de perguntas, ou faz-se um estudo inicial exploratório onde vai haver questões follow up?) TIPOS DE QUESTÕES (Tuckman,2000), apresenta algumas ideias relativas à formulação das questões de um inquérito. • Utilização de questões diretas é preferencial às questões indiretas. Exemplos de questões diretas e indiretas: Diretas – “Gosta ou não do seu trabalho?” Indiretas - “O que pensa do seu trabalho?” TIPOS DE QUESTÕES Utilização de questões de índole mais específica ou baseadas em factos concretos: Exemplos de questões específicas e não específicas: Específicas – “Gosta de processar texto no Word?” Não específica – “Gosta de preparar o trabalho no computador ou prefere fazê-lo manualmente?” TIPOS DE QUESTÕES Exemplos de questões baseadas em factos e baseadas em opiniões: Factos - “Que computador possui?” Opiniões – “Tem preferência por um Tsunami ou Packard Bell?” TIPOS DE QUESTÕES • Questões baseadas em afirmações ou em questões propriamente ditas. Exemplos de questões baseadas em questões e em afirmações: Questões – “Pensa que o dia escolar devia ser mais extenso?” R: “Sim” ou “não” Afirmação – “O dia escolar deveria ser diminuído?” R: “Concordo” ou “Não concordo” TIPOS DE QUESTÕES • Incluir questões de resposta pré-determinada e questões de resposta chave. Exemplo de questão com resposta pré-determinada: “Complete cada um dos itens…” Exemplos de questões de resposta-chave: “Se considera que domina as novas tecnologias, deve avançar para a questão…” O PROCESSO DE RESPOSTA É essencial que o investigador que pretende elaborar um conjunto de itens defina com clareza qual a tarefa que irá pedir ao respondente e o tipo de resposta que pretende. Tipos de Resposta Respostas não estruturadas (resposta aberta) Espaços a preencher Respostas por tabela Respostas por escala Respostas ordenadas Respostas por listagem Respostas por categoria COMO APLICAR O SURVEY Aplicar em grupo ou individualmente? Vantagens da aplicação em grupo um grupo responde em simultâneo a um mesmo grupo de questões; a pessoa responsável está presente; é possível esclarecer dúvidas com o responsável pelo questionário; é fácil de realizar em contexto de trabalho numa empresa, sem qualquer dificuldade logística. COMO APLICAR O SURVEY Aplicar em grupo ou individualmente? Vantagens da aplicação Individual (Questionário entregue ao domicílio (household drop-off)) entregue diretamente; devolve via correio ou pessoalmente; permite a existência de contacto direto com o investigador; pode responder em privado quando lhe for mais conveniente; há contacto entre as duas partes (investigador e entrevistado). COMO OBTER UM SURVEY DE QUALIDADE Critérios Constituir amostras representativas da população; Utilizar questionários e entrevistas bem concebidos e válidos para os objetivos de estudo; Criar formas de obter índices de retorno maiores e mais válidos. COMO OBTER UM SURVEY DE QUALIDADE Como conseguir aumentar os índices retorno? Procedimentos de recolha de dados; Investigar as causas das “não respostas” ; É importante realizar um ESTUDO PILOTO : SURVEY Técnicas de recolha de dados: Telefone Correio Inquéritos online Inquérito pessoal em casa Inquérito por interceção de passantes TÉCNICAS DE RECOLHA DE DADOS COM O OBJETIVO DE AUMENTAR A TAXA DE RESPOSTA. • Usar inquéritos curtos e de resposta simples; • Se necessário usar incentivos financeiros ou de outra índole; • Fazer uma notificação preliminar para incentivar a colaboração; • Usar técnicas de pequenos passos; • Fazer pedidos individualizados. TÉCNICAS DE RECOLHA DE DADOS COM O OBJETIVO DE AUMENTAR A TAXA DE RESPOSTA. • Incentivar à participação referindo uma ligação com uma instituição acreditada (universidades, institutos de pesquisa ou caridades). • Fazer apelos emocionais. • Fazer ofertas de simpatia. • Usar procedimentos de follow-up. PRÉ TESTE A UM QUESTIONÁRIO Trata-se de um ESTUDO PILOTO que consiste em aplicar uma versão quase definitiva do questionário a um grupo alvo com características semelhantes à da amostra da população. Importância do estudo piloto: • Aferir da funcionalidade do questionário; • Alertar o investigador para erros de lógica e de raciocínio. COMO AVALIAR OS RESULTADOS Critérios a ter em conta na avaliação da qualidade científica de uma investigação de tipo inquérito: prestar atenção ao tipo de conclusões do estudo; observar se a amostra e o instrumento estão descritos com a suficiente precisão e detalhe; ver se se trata de uma amostra de conveniência ou de uma amostra representativa da população; as representações gráficas devem respeitar a proporcionalidade dos resultados obtidos para evitar distorções que não representem os números. QUE ERROS PODEMOS COMETER? Os erros que ocorrem com maior frequência são: formulação de objetivos pouco claros e pouco específicos; um fraco relacionamento entre os dados recolhidos e os objetivos do estudo; o tipo de amostragem ser pouco aleatório; haver uma análise superficial das relações entre as variáveis e as mudanças no tempo; utilização do inquérito para estudar problemas que poderiam ser estudados melhor com outros métodos de pesquisa social; prestar pouca atenção ao desenvolvimento do questionário; a falta de um estudo piloto; excesso de perguntas. CONCLUSÕES Com tantos aspetos a ponderar é possível deduzir que não há métodos certos, Terá de se ponderar as vantagens e desvantagens de cada decisão. Cada investigador poderá ter uma abordagem diferente, mas deve dar sempre muita atenção às Golden Rules: 1234567- Faça aos seus inquiridos aquilo que gostaria que lhe fizessem a si; Agradeça no início a oportunidade; Seja o mais breve possível; Seja sensível às necessidades dos inquiridos; Esteja atento aos sinais de desconforto; Agradeça no fim; Assegure ao inquirido que irá receber uma cópia com os resultados no fim. ANÁLISE ESTATÍSTICA “Tarefa auxiliar para profissionais e pesquisadores das mais variadas áreas na recolha, organização, resumo e validação de dados utilizando técnicas e softwares estatísticos em nível básico a avançado.” In http://aulasdematematica.com.br/analiseestatistica.php SURVEY Constituição do grupo alvo População Amostragem A AMOSTRA A escolha da amostra consiste em “escolher um grupo de indivíduos, de tal forma que as observações que dele fizermos possam ser generalizadas à totalidade da população” (FODDY, 2002, citador por Coutinho, 2011). A AMOSTRA Uma amostra bem definida tem em conta: • o procedimento usado para a selecionar; • as características da amostra escolhida; • escolha dos indivíduos, com base em determinados pressupostos. Como fazer uma boa escolha de amostra? • Identificação da população e da amostra: representativa ou não; • Determinação do tamanho da amostra (depende do tipo de estudo); • Seleção da amostra (amostra probabilística ou não probabilística). TIPOS DE AMOSTRA Probabilística Não probabilística Criterial Por conveniência Por quotas Criterial Acidental Por quotas Bola de neve Acidental Por conveniência TAMANHO DA AMOSTRA O tamanho da amostra, depende do tipo de problema que se está a investigar. Tipo de plano Tamanho da amostra recomendado Correlacional Cerca de 30 observações Regressão múltipla Pelo menos 15 observações por variável Survey 100 observações em cada grupo grande 20-50 para subgrupos menores Ex post facto; experimental; quase experimental Cerca de 15 observações por grupo Turmas inteiras: 5 por cada tratamento experimental Etnográfico Aproximadamente 30-50 entrevistas Estudo de caso Um caso ou vários Fenomenológico 6 participantes Teoria fundamentada 30-50 entrevistas Estudo de grupos (Focus group) 7-10 por grupo; 4 grupos em cada audiência Tabela retirada do livro de Coutinho (2011) ESTATÍSTICA Descritiva Indutiva Organizar e descrever dados de forma clara Organizar e descrever dados de forma clara Identificar o que é típico e atípico numa população/amostra Identificar o que é típico e atípico numa população/amostra Trazer à luz diferenças, relações e/ou padrões Trazer à luz diferenças, relações e/ou padrões Encontrar resposta para o problema, ou seja, testar as minhas hipóteses VARIÁVEIS ESTATÍSTICAS Dados qualitativos Dados quantitativos • Escala nominal • Escala ordinal • Escala por intervalos • Discretas • Continuas • Escalas por rácios ABORDAGEM ESTATÍSTICA Nesta abordagem temos dois tipos de estudos distintos: Estudos paramétricos - Aplicam-se a todas as variáveis do tipo contínuas, de rácio e ordinais. Estudos não paramétricos - Aplicam-se a todas as variáveis do tipo nominal. Ana Duarte Anabela Lobato Dina Cordeiro Lina Afonso Rodrigues