1/39 Variáveis Preditoras de Evasão em Cursos a Distância Amanda Moura-Walter¹ Orientação: Profª. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq ¹Integrante do PRONEX - Treinamento e Comportamento no Trabalho 2/39 Resumo Geral Organização Estudada e Metodologia MSD; Coleta de Dados via web; Dois Cursos a distância; Análises Fatoriais e de Regressão Logística. Objetivos Validar Escala de Comportamentos e Atitudes do Alunos em relação a cursos a distância; Revalidar a Escala de Valor Instrumental do Treinamento no âmbito da EaD; Analisar relacionamento entre variáveis de características da clientela, características do curso, comportamentos e atitudes dos alunos em relação a cursos a distância e evasão. Principais Resultados Escalas válidas e confiáveis; Alunos que fizeram cursos a distância anteriormente e que responderam mais favoravelmente com relação aos fatores intrínsecos e extrínsecos positivos relacionados a cursos a distância foram os que menos evadiram. Em oposição, os indivíduos que responderam mais favoravelmente aos fatores intrínsecos e extrínsecos negativos relacionados a cursos a distância foram os que mais evadiram. 3/39 Apresentação Contextualização Revisão de Literatura Pontos principais Objetivos e componentes dos modelos Método Resultados e Discussão Considerações Finais Limitações e Contribuições da pesquisa Agenda 4/39 Cenário Atual Trabalhos Complexos Mundo do Trabalho Inovações Tecnológicas (NTICs) Competitividade Incertezas e Mudanças Organizações Indivíduos Vantagem Competitiva Ações de TD&E Competências múltiplas e mais sofisticadas Contextualização Revisão de Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 5/39 Discussão Conceitual Educação Desenvolvimento Treinamento Instrução Informação Todas as ações visam promover e acelerar o processo de aprendizagem nas organizações Ações complementares e com limites sutis (Vargas & Abbad, 2006) Contextualização Revisão de Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 6/39 Educação a Distância (EaD) Ferramenta estratégica e elemento fundamental no âmbito da educação (Belloni, EaD 2003); Forma de atender necessidades educacionais que dificilmente seriam supridas pelas formas mais tradicionais de ensino (Laaser, 1997). Principais Características da EaD: Separação física entre professor e aluno; Gerenciamento da aprendizagem pelo aluno; Mediação da relação professor-aluno por algum recurso tecnológico; Flexibilidade de conteúdos. Contextualização Revisão de Literatura Objetivos e Modelo Método Resultados E Discussão Considerações Finais Educação a Distância (EaD) 7/39 EaD demanda nova forma de pensar no processo de educação novas formas de interação; Interação: abrange relacionamentos recíprocos entre pessoas e entre pessoas e máquinas/material pedagógico. Estudante-Estudante Estudante Estudante-Conteúdo Conteúdo Aprendizagem profunda e significativa Estudante-Professor Professor Conteúdo Professor Conteúdo-Conteúdo Professor-Professor Fonte: Anderson & Garrison (1996), citado por Anderson (2003) Contextualização Revisão de Literatura Objetivos e Modelo Método Resultados E Discussão Considerações Finais Modelos de Avaliação de Treinamento 8/39 Diferenças entre Treinamentos a Distância e Presencial Mudanças nos Modelos de Avaliação de Treinamentos e nos Instrumentos de Coleta de Dados Modelos Referência no Brasil: MAIS (Borges-Andrade, 1982) Impact (Abbad, 1999) Avaliação de Cursos a Distância: Poucos modelos Poucos estudos sobre evasão (Abbad, Carvalho & Zerbini, 2006; Sallorenzo, Abbad, Botelho & Silva, 2004). Contextualização Revisão de Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 9/39 Características da Clientela Necessidade de estudos sobre quais características da clientela influenciam os níveis de evasão em ações educacionais a distância (Parker, 1995); Idade e gênero, como preditores de evasão, tem ainda resultados limitados e inconclusivos (Parker, 1999; Whittington, 1995); Poucos estudos analisando a fonte de pagamento do curso e evasão (Parker, 1999) Cursos a distância completados previamente e evasão: poucos estudos, mas com correlação positiva (Parker, 1999; Eisenberg & Dowsett, 1990; Ehrman, 1990 citado por Parker, 1999). Contextualização Revisão de Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 10/39 Características da Clientela (Cont.) Variáveis motivacionais resultados de treinamento maior poder preditivo de (Salas & Cannon-Bowers, 2001; Colquitt, LePine & Noe, 2000 e Warr & Bunce, 1995) Valor Instrumental do Treinamento:valência (importância) e instrumentalidade (utilidade) (Pilati, 2004; Lacerda, 2002 e Brauer, 2005) Contextualização Revisão de Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 11/39 Características do Treinamento Poucas pesquisas sobre Características do Treinamento (Salas & Cannon-Bowers, 2001; Borges-Andrade & Abbad, 1996; Abbad, Pantoja & Pilati, 2001; Abbad, Carvalho & Zerbini, 2006) Nível de participação do aluno em atividades presenciais face a face estava associado ao nível de abandono do curso (Shin & Kim, 1999). Concluintes Contextualização Revisão de Literatura Objetivos e Modelo Mais participaram Método Resultados e Discussão Considerações Finais 12/39 Evasão Altas taxas de evasão (Shin e Kim, 1999; Xenos et al., 2002). Estudos inconclusivos e de difícil generalização em função de incosistência teórica e confusão conceitual (Whittingon, 1995; Tresman, 2002) Ensino Superior Literatura Nacional e Internacional Organizações Objetivos, resultados, necessidades do alunos, nível de envolvimento social e intelectual distintos Esferas acadêmicas, funcional e pessoal se complementam (Vargas, 2004; Brauer, 2005; Abbad, Carvalho e Zerbini, 2006, Henke e Hussum, 2000) Contextualização Revisão de Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 13/39 Evasão Múltiplos fatores referentes tanto ao características do curso e contexto de estudo indivíduo, (Xenos, Pierrakeas e Pintelas, 2002; Wang, Foucar-Szocki, Griffin, O’Connor e Sceiford, 2003; Shin e Kim, 1999; Amidani, 2004; Cookson, 1990; Yukselturk e Inan, 2006; Parker, 1995, 1999; Ngoma, Simwanza e Makunka, 2004; Abbad, Carvalho e Zerbini, 2006; Coelho, 2003; Pierrakeas, Xenos, Panagiatakopoulos e Verdigis, 2004) Necessidade de desenvolvimento de pesquisas que investiguem variáveis preditoras de evasão e desenvolvimento de modelos teóricos válidos para a explicação do fenômeno. Contextualização Revisão de Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 14/39 Objetivos Estudo 1 - Construir e validar estatísticamente a Escala de Comportamentos e Atitudes do Aluno em Relação a Cursos a Distância; Estudo 2 - Revalidar estatísticamente a Escala de Valor Instrumental do Treinamento, no âmbito da EaD; Estudo 3 – Analisar o relacionamento entre as variáveis: Características da Clientela (idade, gênero, participação anterior em curso a distância, pagamento do curso pelo aluno e valor instrumental do treinamento) Características do curso (totalmente a distância ou semipresencial) Comportamento e atitudes do aluno em relação a cursos a distância Variável Critério Contextualização Literatura Objetivos e Modelo Evasão Método Resultados e Discussão Considerações Finais 15/39 Modelo de Pesquisa Variáveis Preditoras (VIs) Variável Critério (VD) 1. Características da Clientela Gênero Idade Participação anterior em curso a distância Pagamento do curso pelo aluno Valor Instrumental do Treinamento 2. Características do Curso 4. Evasão Curso totalmente a distância X Curso semi-presencial 3. Comportamentos e Atitudes do Aluno em Relação a Cursos a Distância Contextualização Contextualização Literatura Objetivos Objetivos ee Modelo Modelo Método Resultados Resultados e Discussão Discussão e Considerações Considerações Finais Finais Definição dos Componentes do Modelo 16/39 Características da Clientela Dados demográficos e pessoais: idade, gênero, participação anterior do aluno em curso a distância e pagamento do curso pelo aluno; Valor Instrumental do Treinamento: entendido em termos de valência e instrumentalidade e diz respeito à importância/valorização dada pelo indivíduo às conseqüências/resultados que obterá por meio de sua participação no curso (valência) e o quanto fazer o curso ajudará o indivíduo a obter conseqüências/resultados que deseja (instrumentalidade). Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais Definição dos Componentes do Modelo 17/39 Características do Curso Refere-se à modalidade do curso: totalmente a distância ou a distância com encontros presenciais (semi-presencial). Comportamentos e Atitudes do Aluno em Relação a Cursos a Distância Refere-se a fatores facilitadores e dificultadores que podem ser encontrados por alunos que realizam cursos nessa modalidade e a forma como as pessoas se comportam e reagem diante desses fatores. Evasão Refere-se ao abandono dos alunos que se matricularam nos cursos analisados, que não cumpriram todos os requisitos e, portanto, não concluíram os cursos dentro do prazo previsto Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 18/39 Organização: MSD Tecnologia Educacional Atende todo o Brasil; Cursos técnicos (com certificação pelo MEC) e cursos corporativos a distância; Equipe de desenvolvimento composta por 30 profissionais de diferentes áreas: criação e roteiro, artes visuais, webdesign, comunicação, informática, pedagogia e psicologia (www.msd.com.br). Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 19/39 Cursos Analisados Cursos corporativos, oferecidos em parceria com a MSD e a Confederação das Associações Comerciais e Empresarias do Brasil (CACB) Mediação e Arbitragem Público-alvo Modalidade Carga horária Interação Formação de Consultores Empresários, estudantes e profissionais da área de métodos extrajudicias de solução de controvérsias Semipresencial 80hs distância/32hs presencial Literatura 60 hs Tutoria on-line , fóruns e chats E-mail CD-ROM , livros, ambiente Material do Curso virtual Contextualização Consultores do Projeto Empreender, profisisionas das associações comerciais e outros profissionais que desejem conhecer a metodologia Distância Objetivos e Modelo CD-ROM , livros, ambiente virtual Método Resultados e Discussão Considerações Finais 20/39 Amostras dos Estudos 1, 2 e 3 Estudo 1 Estudo 2 Estudo 3 Gênero 50,0% Homens 49,5% Mulheres 50,0% Homens 47,8% Mulheres 51,0% Homens 49,0% Mulheres Estado Civil 33,4% Solteiro 35,7% Casado 32,6% Solteiro 34,8% Casado 33,1% Solteiro 35,6% Casado 29-30 anos - 24% 29-30 anos 23,2% 29-30 anos 23,7% Idade Média 36,9 (DP 10,6) Média 38,5 (DP 11,7) Média 37,1 (DP 10,8) Evadidos 23,2% 22,1% 22,5% N* 479 448 435 * Tamanho da amostra Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 21/39 Construção do Instrumento 1ª Etapa: Construção do Instrumento de Comportamentos e Atitudes do Aluno com Relação a Cursos a Distância Grupo focal: 06 participantes - coordenadores e tutores da MSD e CACB, 16 Entrevistas semi-estruturadas com alunos evadidos e concluintes, por telefone Revisão de literatura na área de Evasão 3 oficinas de trabalho com o Grupo de Pesquisa Impacto 2ª Etapa: Validação Semântica Entrevistas com 10 pessoas com escolaridade igual ou superior ao segundo grau completo. Análise do questionários por 2 funcionários da MSD e CACB Instrumento Final Contextualização 22 itens Escala tipo likert 0 – Discordo totalmente a 10 – Concordo totalmente Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 22/39 Instrumentos e Medidas Instrumento Descrição do Instrumento Roteiro de Análise do Material Didático Tabela de Objetivos instrucionais Estratégias instrucionais Exercícios Planejamento de atividades Seqüência do ensino Fontes de informação Informações gerais sobre o curso Comportamentos e Atitudes do Aluno em Relação a Cursos a Distância Comportamentos e atitudes de alunos diante de fatores facilitadores e dificultadores que podem ser encontrados por alunos que realizam cursos a distância. Valor Instrumental do Treinamento Importância dada pelo treinando às conseqüências/ resultados que obterá por meio da sua participação no curso e utilidade do curso para o alcance desses resultados. Contextualização Literatura Objetivos e Modelo Método Número de Itens 39 itens fechados 1 item aberto (observações) 22 itens 11 itens relacionados a características demográficas. Resultados e Discussão 14 itens de importância 14 itens de utilidade Considerações Finais Procedimentos de Coleta de Dados 23/39 Fevereiro a Abril de 2006; Dados pessoais – MSD; Análise qualitativa do material didático; Coleta totalmente via internet: envio de e-mail e instrumentos digitalizados, hospedados em página HTML Instrumento Número de emails enviados Comportamentos e Atitudes do Aluno em Relação a Cursos a Distância Curso 1 Curso 2 1040 454 Valor Instrumental do Treinamento Retorno % Curso 1 334 Curso 2 183 Curso 1 32,1 Curso 2 40,3 314 169 30,2 37,2 Curso 1 - Mediação e Arbitragem Curso 2 - Formação de Consultores Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais Procedimentos de Análise de Dados 24/39 Análises exploratórias - verificar inconsistências ou falhas na importação dos dados, casos omissos, distribuição das variáveis e tamanho da amostra. Estudo 1 e 2 - Validação Estatística de Instrumentos Análise dos Componentes Principais (PC) - identificar o número de fatores, a presença de multicolinearidade e fatorabilidade da matriz de dados- KMO. Foram analisados: matriz de correlações, valores próprios, scree plot e significância teórica. Análise paralela de Horn – auxílio na determinação do número de fatores; Análises dos eixos principais (PAF) - investigar as estruturas fatoriais dos instrumentos. Alpha de Cronbach. Estudo 3 - Análise do relacionamento entre variáveis Análises não paramétricas (qui-quadrado e Teste t) Análises de regressão logística, método enter. Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 25/39 Estudo 1 - Validação da Escala de Comportamentos e Atitudes do Aluno em Relação a Cursos a Distância Fatores Fatores Intrínsecos e Extrínsecos Positivos Relacionados a Cursos a Distância Fatores Intrínsecos e Extrínsecos Negativos Relacionados a Cursos a Distância Número total de itens Variância Explicada Contextualização Nº de Itens 13 7 20 38,9% Literatura Valor Próprio 5,078 3,484 Cargas Fatoriais Item com maior carga 0,62 a 0,39 "Procurei ler os materiais que informavam sobre as características do curso, prazos e atividades previstas" 0,80 0,86 a 0,48 "Senti falta da presença física de outros alunos" 0,79 KMO = 0,78 Total de Itens Eliminados = 2 Objetivos e Modelo Método Resultados e Discussão Considerações Finais Discussão – Estudo 1 26/39 Instrumento válido e confiável; Ampliar escala para verificação da estrutura: dois itens eliminados na fatorial; Nova escala para análise da evasão: mensuração de como os treinandos se comportam e reagem diante de certas características e contextos relacionados a EaD; Grande quantidade de dados omissos: falha na definição do conceito de evasão; Aplicação em outros contextos, clientelas e amostras maiores. Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais Estudo 2 – Validação da Escala de Valor Instrumental do Treinamento – Valência e Instrumentalidade Nº de Itens Fatores 14 Valência Variância Explicada Fatores Instrumentalidade Variância Explicada Contextualização Valor Próprio 5,811 39,97% Nº de Itens 14 Item com maior carga 0,76 a 0,49 “”Sentir-me mais valorizado pelo meu grupo de trabalho” 0,90 KMO = 0,90 Valor Próprio 5,596 39,97% Literatura Cargas Fatoriais 27/39 Cargas Fatoriais Item com maior carga 0,74 a 0,52 “”Sentir-me mais valorizado pelo meu grupo de trabalho” 0,90 KMO = 0,90 Objetivos e Modelo Método Resultados e Discussão Considerações Finais Discussão – Estudo 2 28/39 Instrumentos válidos e confiáveis, com estruturas empíricas semelhantes ao encontrado em outro estudos (Pilati, 2004); Sugere-se a construção de itens relacionados a expectância, para que seja possível a análise do modelo multiplicativo denominado força motivacional, conforme proposto por Vroom (1964). Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 29/39 Estudo 3 – Modelo de Regressão Logística Variável Participação anterior em curso a distância Pagamento do Curso -1,045* Erro Padrão 0,345 0,302 0,355 0,396 1,352 Fatores Intrínsecos e Extrínsecos Positivos Relacionados a Cursos a Distância Fatores Intrínsecos e Extrínsecos Negativos Relacionados a Cursos a Distância -0,754* 0,159 0,000 0,470 0,322* 0,08 0,000 1,380 Curso -1,045 0,386 0,322 0,682 Valência -0,383 0,375 0,680 1,167 Instrumentalidade 0,155 0,364 0,652 1,178 Idade 0,164 0,175 0,865 0,971 Sexo -0,189 0,335 0,573 0,828 3,482 1,673 0,037 32,518 Constante B Sig 0,002 Exp (B) 0,352 *p<0,05 Nagelkerke R² = 0,282 Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 30/39 Discussão – Estudo 3 Idade e gênero: não foram preditoras de evasão. Não corroboram os achados de Xenos et al. (2002), Beaty (1994) citado por Whittington (1995), Riddle (1995) citado por Whittington (1995) e Wang et al. (2003) Idade e gênero como indicadores de evasão ainda apresentam resultados inconclusivos; Pagamento do curso: não foi preditor de evasão. Corroboram os achados de Parker (1999). No entanto, sugere-se a realização de mais pesquisas, com diferentes valores de curso e diferente poder aquisitivo da clientela. Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 31/39 Discussão – Estudo 3 Valor Instrumental do Treinamento: não foi explicativa de evasão. Dados encontrados não corroboram estudos que encontram variáveis motivacionais como forte preditoras de resultados de treinamento (Lacerda, 2002, Pilati, 2004, Abbad et. al, 2002; Zerbini, 2003; Salas & Cannon-Bowers, 2001). Cursos Analisados = mecanismos de atualização e aprimoramento ferramentas imprescindíveis para a realização do trabalho. Sugestão: analisar essa variável relacionada a recompensas de maior magnitude. Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 32/39 Discussão – Estudo 3 Cursos a distância realizados anteriormente: correlação negativa com evasão. Dados corroboram outros encontrados em pesquisas na área (Eisenberg & Dowsett, 1990; Ehrman, 1990 citado por Parker, 1999). Atenção especial para alunos “calouros” na modalidade de EaD. Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 33/39 Discussão – Estudo 3 Alunos que fizeram cursos a distância anteriormente e indivíduos que responderam mais favoravelmente com relação aos fatores intrínsecos e extrínsecos positivos relacionados a cursos a distância foram os que menos evadiram. Em oposição, os indivíduos que responderam mais favoravelmente aos fatores intrínsecos e extrínsecos negativos relacionados a cursos a distância foram os que mais evadiram. Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 34/39 Discussão – Estudo 3 Exemplos de itens relacionados a fatores intrísecos e extrínsecos positivos: Facilidade em realizar o curso a distância; Elaboração de plano de estudos; Sentimento de apoio pelo tutor/professor; Busca de informações sobre o curso. Exemplos de itens relacionados a fatores intrísecos e extrínsecos negativos: Falta de contato virtual; Dificuldade em utilizar os recursos eletrônicos; Falta de presença física de outros alunos. Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 35/39 Discussão – Estudo 3 Como estudar a distância? Como utilizar as ferramentas disponíveis? Como estruturar as interações? Quais serviços de apoio disponibilizar? Diminuição da Distância Transacional (Galusha, 1997; Anderson, 2003) Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 36/39 Limitações da Pesquisa Grande quantidade de dados omissos, ocasionadas, possivelmente, pela consideração inadequada de estudantes que abandonam o curso como evadidos; Número reduzido da amostra para validação da escala de Comportamentos e Atitudes do Aluno em Relação a Cursos a distância; Ausência de comparação mais detalhadas dos dados dos cursos de Mediação e Arbitragem e Formação de Consultores; Não inclusão de variáveis individuais e de suporte que poderiam aumentar a explicação dos modelos de predição de evasão, tais como, hábitos de estudo e locus de controle; Pouca ênfase atribuída aos dados qualitativos extraídos da análise dos materiais do curso nesta pesquisa; Aplicação do questionário apenas em uma empresa o que implica em restrições à generalidade dos achados. Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 37/39 Contribuições da Pesquisa Revalidação da Escala de Valor Instrumental do Treinamento; Construção e validação estatística de uma nova escala que se mostrou boa preditora de evasão em cursos a distância; A utilização de metodologia qualitativa, com as técnicas de grupo focal e entrevistas para a construção do questionário, além da análise de literatura; Dados coletados e medidas construídas diretamente na esfera organizacional, o que enriquece a possível generalização para ambientes corporativos; Ampla revisão de literatura. Contextualização Literatura Objetivos e Modelo Método Resultados e Discussão Considerações Finais 38/39 Agenda de Pesquisa Aplicar os instrumentos desta pesquisa em outros contextos, cursos e clientelas; Aprimorar a medida de Comportamentos e Atitudes do Aluno em Relação a Cursos a Distância; Aprimorar o instrumento de Valor Instrumental do Treinamento, criando-se itens para a medição da expectância e posterior cálculo da força motivacional do treinamento (Valência X Instrumentalidade X Expectância); Verificar se cursos semipresenciais e totalmente a distância estão relacionados a predição de evasão; Relacionar outras variáveis demográficas tais como locus de controle e hábitos de estudo, na predição de evasão; Combinar pesquisa resultados. Contextualização Literatura quantitativa Objetivos e Modelo e qualitativa Método na análise Resultados e Discussão dos Considerações Finais 39/39 Obrigada! [email protected]