DISSERTAÇÃO DE MESTRADO Estratégias de Aprendizagem, Reações aos Procedimentos de um Curso via Internet, Reações ao Tutor e Impacto do Treinamento no Trabalho Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED - PRONEX ¹Integrante do PRONEX/ Treinamento e Comportamento no Trabalho 1 CENÁRIO ATUAL Desenvolvimento de ações educacionais que garantam a aprendizagem nas organizações Inovações Tecnológicas Economia Instantânea Quantidade e velocidade de informações Busca por qualificação e aprimoramento Diferencial Competitivo - Aprendizagem nas Organizações Investimento em Programas de TD&E Programas de Avaliação de Treinamentos 2 PRÁTICAS VIGENTES EM TD&E No meio profissional Utilização de novas comunicação (NTICs) tecnologias de informação e Sistemas de treinamento inadequados para as reais necessidades da empresa Ausência de levantamento de necessidade criterioso Ausência de avaliação dos resultados obtidos No meio acadêmico Há muitas pesquisas sobre sistemas de treinamento, mas poucas relativas a treinamentos oferecidos a distância por meio da Internet (TBWs) 3 Vantagens das NTICs e TBWs Flexibilidade para a realização de mudanças contínuas nos conteúdos dos treinamentos Diminuição de custos a médio e longo prazo Aumento do número de cursos oferecidos aos funcionários Maior alcance de pessoas ao mesmo tempo Conhecimento constantemente compartilhado e atualizado 4 Relação entre Conceitos Desenvolvimento Educação Treinamento Instrução Informação 5 Educação a Distância (EaD) Mudanças no mercado de trabalho Mudanças na maneira de educar os indivíduos Características Separação física de professor e aluno durante a maior parte do processo instrucional Separação de professor e aluno no tempo Uso de tecnologias avançadas Contribuição da Psicologia Instrucional - Modularização do ensino - Controle de aprendizagem pelo aluno 6 Treinamento a Distância (TaD) Conjunto de ações educacionais, sistematicamente planejadas, desenvolvidas na maior parte do tempo no contexto de flexibilidade espacial e temporal entre professor e aluno, de interação e interatividade e de abertura dos espaços físicos Utiliza meios tecnológicos que facilitam o aperfeiçoamento e a aquisição de CHAs por meio do auto-gerenciamento da aprendizagem do indivíduo Desenvolvimento de Carreiras (Currículos e Trilhas Profissionais) Educação Continuada Universidades Corporativas 7 SISTEMA DE TREINAMENTO AVALIAÇÃO DE NECESSIDADES DE TREINAMENTO CONTEXTO ORGANIZACIONAL PLANEJAMENTO E EXECUÇÃO DO TREINAMENTO AVALIAÇÃO DO TREINAMENTO 8 AVALIAÇÃO DE TREINAMENTO Avanços metodológicos nas pesquisas brasileiras Pesquisas brasileiras e estrangeiras estudam, predominantemente, treinamentos presenciais Diferenças entre Treinamentos a Distância e Presencial Mudanças nos Modelos de Avaliação de Treinamentos e nos Instrumentos de Coleta de Dados 9 Modelo Clássico - Hamblin (1978) Reação Satisfação c/ o treinamento Aprendizagem Alcance Objetivos Instrucionais Comportamento Impacto no Desempenho Resultados Eficiência da Organização Valor Final Eficácia da Organização 10 Modelo Base - MAIS (1982) AMBIENTE APOIO PROCESSO AVALIAÇÃO DE NECESSIDADES INSUMOS PROCEDIMENTOS RESULTADOS RESULTADOS A LONGO PRAZO PROCESSO DISSEMINAÇÃO 11 Modelo Base - Modelo IMPACT (1999) 6.Suporte à Transferência 1. Suporte prétreinamento 4. Reações 7. Impacto 2. Curso 3. Clientela 5. Aprendizagem 12 Avaliação de Treinamento a Distância Maioria dos estudos conceituais de EaD selecionados relata características 9 trabalhos entre mais de 100 artigos e teses selecionados Apenas Warr e Bunce (1995) apresentam modelo de avaliação de treinamento similar aos utilizados em T&D e apresenta resultados no nível de comportamento no trabalho Trabalhos selecionados - instrumentos construídos no nível de reação. Poucos tiveram a preocupação em realizar validações estatísticas dos instrumentos de medida (Warr e Bunce, 1995; Cheung, 1998 e 2000; Dean e Webster, 2000) 13 LITERATURA – Características da Clientela Estuda o relacionamento entre características individuais da clientela e a eficácia de treinamento Necessidade de investigar características da clientela, tais como auto-eficácia, locus de controle, e outras variáveis advindas da Psicologia Social - Borges-Andrade e Abbad (1996) Variáveis individuais apresentam menor poder de explicação, quando comparadas a suporte - Abbad, Pantoja e Pilati (2001) Estratégias de Aprendizagem: pode contribuir para compreender como ocorre a aprendizagem em adultos (Warr e Downing, 2000) 14 LITERATURA – Estratégias de Aprendizagem Novos recursos dos TBWs - novas estratégias Pesquisas: maioria em contextos escolares e universitários Warr e Allan (1998): Hábitos de Estudo; Aprendizagem; Estratégias de Aprendizagem Estilos de Investigar estilos de aprendizagem é tão importante quanto estudar estratégias 3 grandes categorias (Warr e Allan): Cognitivas: Repetição; Organização e Elaboração Comportamentais: Busca de Ajuda Interpessoal; Busca de Ajuda no Material Escrito e Aplicação Prática Auto-regulatórias: Controle da Emoção; Controle da Motivação e Monitoramento da Compreensão 15 LITERATURA – Estratégias de Aprendizagem Warr e Allan (1998) - Resultados ambíguos e inconsistentes Sugestões dos autores: realizar estudos em outros contextos; examinar combinações de aprendizagem; relacionar estilos com estratégias de aprendizagem; relacionar estratégias com comportamento no trabalho; aplicação de pré e pós-teste. Warr e Downing (2000) – EEA: 45 itens; 8 fatores (Organização e Elaboração Reflexão Ativa) 2 amostras (Treinamento de mecânica de veículos, =0,85 e Universitários, =0,79) 16 LITERATURA – Características do Treinamento Similaridade da situação de treinamento à realidade de trabalho e características do planejamento instrucional - Abbad, Pantoja e Pilati (2001) Últimos quatro anos: poucos pesquisadores estudaram a influência de características instrucionais no impacto de treinamento no trabalho Necessidade de mais estudos, principalmente, em TaD (Borges-Andrade e Abbad, 1996 e Abbad, Pantoja e Pilati, 2001) 1. Procedimentos Instrucionais 2. Desempenho do Tutor 17 LITERATURA - Reações Opinião dos participantes dos treinamentos quanto aos aspectos instrucionais e administrativos (Borges-Andrade, 2000) Modelo MAIS – conjunto de variáveis que abrange diversos aspectos do treinamento Instrumentos de avaliação no nível de reação: Alliger e cols (1997); Alves, Pasquali e Pereira (1999); e Abbad, Gama e Borges-Andrade (2000) Relacionamento entre reação ao curso e impacto do treinamento nos trabalhos: Warr e Bunce (1995), Alliger e cols; Abbad (1999), Sallorenzo (2000) Avaliação de reação aos procedimentos do curso e ao desempenho do tutor: Walker (1998) e Vargas (2000) 18 LITERATURA – Suporte e Restrições à Transferência Suporte parece ser condição necessária, embora não suficiente à transferência de treinamento Análise da literatura nacional e estrangeira - suporte à transferência é forte preditor de impacto do treinamento no trabalho (Roullier e Goldstein, 1993; Abbad, 1999; Salas & Cannon-Bowers, 2001; entre outros) Influência de restrições situacionais indivíduos (Peters e O’Connor, 1980) no desempenho dos Resultados das pesquisas nacionais mais recentes corroboram esses achados 19 LITERATURA – Impacto do Treinamento no Trabalho Corresponde ao terceiro nível de avaliação proposto por Kirkpatrick (1976) e Hamblin (1978) Impacto de treinamento no trabalho - profundidade e amplitude Impacto em profundidade mede os efeitos diretos e específicos da aprendizagem dos objetivos do treinamento sobre o desempenho do indivíduo em atividades es situações similares às ensinadas no curso. Impacto em largura ou amplitude mede efeitos mais gerais do treinamento sobre o desempenho global ou motivação do indivíduo em e para atividades e situações não necessariamente similares às aprendidas no curso. 20 Delimitação do Problema Poucos estudos na área de treinamento a distância (Salas & Cannon-Bowers, 2001) Necessidade de analisar TaD, verificando as variáveis explicativas dos resultados - Abbad, Pantoja e Pilati (2001) Poucos achados nesta área - lacunas e falhas na construção de instrumentos; ausência de modelos de avaliação para cursos a distância Propõe-se um modelo reduzido de avaliação de treinamentos a distância, adaptado dos modelos IMPACT (Abbad, 1999) e MAIS (Borges-Andrade, 1982) 21 MODELO DE INVESTIGAÇÃO PROPOSTO Estudo 2 1.Características da Clientela Variáveis demográficas Estratégias de Aprendizagem Hábitos de Estudo 2. Reações Desempenho do Tutor Procedimentos Instrucionais 4. Impacto do Treinamento no Trabalho 3. Falta de Suporte à Transferência de Treinamento Estudo 1 22 COMPONENTES Características da Clientela: Dados Demográficos dos Participantes, Estratégias de Aprendizagem e Hábitos de Estudo. Estratégias de Aprendizagem: envolve capacidades cognitivas e habilidades comportamentais, utilizadas pelo aprendiz para controlar os próprios processos psicológicos de aprendizagem. A definição dessa variável não inclui as estratégias de auto-controle emocional, propostas por Warr e Allan (1998) e Warr e Downing (2000). Hábitos de Estudo: preferências do aprendiz quanto a aspectos contextuais do ambiente de estudo e as maneiras de estudar. Esta definição corresponde, em parte, à de Warr e Allan (1998) para estilos de aprendizagem. 23 COMPONENTES (cont.) Reações ao Treinamento: satisfação dos participantes com características instrucionais do curso. Refere-se, ainda, à percepção do treinando sobre a qualidade da interação do tutor com os alunos, domínio do conteúdo e uso de estratégias de ensino. Falta de Suporte à Transferência: opinião dos participantes acerca do nível com que variáveis do contexto familiar, social e/ou governamental podem prejudicar o negócio ou a aplicação das habilidades aprendidas no curso. Impacto do Treinamento no Trabalho: efeitos específicos do treinamento sobre o desempenho do participante em atividades diretamente relacionadas aos CHAs desenvolvidos no treinamento. Trata-se de uma medida de avaliação de Impacto em Profundidade, tal como sugerida por Hamblin (1978) 24 Características da Organização e do Treinamento Analisado Organização: SEBRAE Objetivo - promover o desenvolvimento sustentável do Brasil por meio do apoio às micro e pequenas empresas 4.500 funcionários nos 27 estados da Federação e DF Curso avaliado: IPGN Objetivo principal: ensinar a elaborar um Plano de Negócio Público-alvo: pessoas que desejam desenvolver habilidades de empreendedorismo 100% a distância via internet / Gratuito 40 horas / 60 dias / 5 módulos seqüenciais - de 2 a 5 capítulos Tutoria (200 alunos por tutor) e Recursos de interação 25 PERFIL DEMOGRÁFICO DA POPULAÇÃO DE INSCRITOS Número Total: 21. 920 alunos Concluinte: sim (52,9%) Gênero: masculino (65,7%) Idade: 33 anos (DP=9,29) Região Geográfica: Sudeste (54,1%) Dúvidas no tira-dúvidas: 0 (54,1%) Mensagens para a lista de discussão: de 1 a 6 (44,9%) Participação em chats: 0 (60,6%) Acesso ao mural de notícias: até 30 vezes (76,5%) Acesso ao ambiente do curso: de 1 a 12 vezes (63,5%) 26 PERFIL DEMOGRÁFICO DAS AMOSTRAS Número Total: EEA – 1860/ ERPI – 1896/ ERDT – 1060/ EFS – 1080/ EIPGN – 1575/ Modelo 1 – 194/ Modelo 2 - 356 Concluinte: sim Gênero: masculino Idade: 34 - 35 anos/ (DP=9,77 – 10,27) Região Geográfica: Sudeste Dúvidas no tira-dúvidas: 0 Mensagens para a lista de discussão: de 1 a 6 Participação em chats: 0 Acesso ao mural de notícias: até 30 vezes Acesso ao ambiente do curso: entre 7 e 24 vezes 27 PERFIL DEMOGRÁFICO DAS AMOSTRAS EEA: Correção preferida: tutor (55,4%) Prefere estudar: sozinho (84,4%) Quantidade de leitura: todo o material (80,9%) Horário preferido: 18h à meia-noite (49,1%) Modelos de Regressão: Possui negócio: não (66%/ 71,1%) Área de interesse: serviços (56,7%/ 54,5%) Motivo da inscrição: aprender a elaborar plano de negócios (52,1%/ 51,7%) Experiência na internet: experiente (52,1%/ 53,1%) Ocupação atual: funcionário de empresa privada (20,1%/ 21,3%) Participação em cursos a distância: não (59,3%/ 52,2%) 28 INSTRUMENTOS DE MEDIDAS Instrumento Seções do instrumento No. de Itens Roteiro de Análise do Material Didático Objetivos instrucionais Estratégias instrucionais Planejamento de atividades Seqüência do ensino Fontes de informação Informações gerais sobre o curso 39 Dados demográficos e profissionais 11 Dados Pessoais Estratégias de Aprendizagem –EEA Hábitos de Estudo Estratégias de aprendizagem 6 24 29 INSTRUMENTOS DE MEDIDAS Instrumento Reação aos Procedimentos Instrucionais – ERPI Seções do instrumento No. de Itens Aspectos Instrucionais do Treinamento 19 Interação com os Participantes 17 Reação ao Desempenho do Tutor - ERDT Domínio do Conteúdo 4 Uso de Estratégias de Ensino 22 Falta de Suporte à Transferência de TreinamentoEFS Apoio familiar, governamental e social 15 Impacto do Treinamento no Trabalho - EIPGN Impacto em Profundidade 25 30 COLETA DE DADOS Momento 1: Último Dia de Treinamento Dados demográficos e profissionais Estratégias de Aprendizagem Hábitos de Estudo Reação aos Procedimentos Instrucionais Reação ao Desempenho do Tutor Momento 2 - 42 a 105 Dias Após o Treinamento Impacto do Treinamento no Trabalho Falta de Suporte à Transferência do Treinamento 31 Coleta de Dados Coleta por e-mail (Julho - Dezembro) Instrumentos digitalizados, hospedados na internet 110 turmas de, aproximadamente, 200 alunos cada Grupo A (Maio – 37 turmas)/ Grupo B (Junho – 3 turmas/ Grupo C (Agosto – 70 turmas) Índice de retorno baixo - 24% (Momento 1) e 8,5% (Momento 2) Preparação dos arquivos de dados (9 arquivos), para melhor aproveitamento dos casos válidos 32 ANÁLISE DOS DADOS Análises Exploratórias e Descritivas ESTUDO 1 • Análise dos Componentes Principais (PC) • Análise de Fatoração dos Eixos Principais (PAF) ESTUDO 2 • Análise de Regressão Múltipla Padrão • Análise de Regressão Múltipla Stepwise 33 RESULTADOS ESTUDO 1 Escalas Obtidas KMO EST1 Busca de Ajuda Interpessoal No. Itens Valor % Var Próprio Alfa Cargas Item fatoriais <.30 mín. máx. 8 4,20 17,5 0,85 0,44 0,76 2 5 2,93 12,2 0,75 0,38 0,83 - EST3 Repetição, Organização e Ajuda do Material 7 3,03 12,65 0,78 -0,33 0,69 2 PROC1 Procedimentos Tradicionais 9 7,18 37,82 0,91 0,44 0,90 - PROC2 Recursos da Web 7 5,87 30,92 0,89 0,40 0,93 - 3 5,67 29,84 0,85 -0,58 0,82 - 19 8,41 44,26 0,93 0,56 0,77 - EST2 Elaboração e Aplicação Prática PROC3 Atividades e Exercícios PROCG Procedimentos Instrucionais 0,83 0,93 34 RESULTADOS ESTUDO 1 (cont.) Cargas fatoriais mín máx No. Itens Valor Próprio % Var Alfa 27 23,02 52,31 0,98 0,40 0,93 - 12 18,65 42,38 0,95 0,49 0,98 - 5 9,84 22,36 0,92 0,41 0,52 - 44 25,07 57,0 0,98 0,59 0,83 - 8 5,18 34,5 0,87 0,34 0,85 - 7 5,23 34,87 0,88 -0,44 -0,91 - SUPG Falta de Suporte à Transferência 15 6,14 40,93 0,91 0,30 0,75 - IMP1 Administração do Negócio 12 10,87 45,29 0,92 0,32 0,83 - 7 10,31 42,95 0,95 -0,54 -0,94 - IMP3 Análise do Mercado 5 9,20 38,33 0,90 -0,31 -0,89 - IMPG Impacto do Treinamento no Trabalho 24 12,48 52,01 0,96 0,41 35 0,79 - Escalas Obtidas KMO TUT1 Desempenho Didático e Domínio do Conteúdo TUT2 Uso de Estratégias Motivacionais 0,98 TUT3 Respeito aos Participantes TUT Desempenho do Tutor SUP1 Contexto do Empreendimento SUP2 Aspectos Financeiros IMP2 Planejamento Financeiro 0,91 0,97 Item <.30 RESULTADOS ESTUDO 2 Modelo 1 R² = 0,38, R²(ajustado) = 0,35 e R = 0,62 1. Características da Clientela EST2 – Elaboração e Aplicação Prática 2. Falta de Suporte à Transferência 3. Elaboração de Plano de Negócio Beta = 0,27 Beta = 0,30 Impacto do treinamento no trabalho Beta = -0,32 Agrupadas, as 8 variáveis antecedentes explicaram 38% (35% ajustado) da variabilidade de impacto do treinamento no trabalho. As 3 variáveis que contribuem significativamente para a explicação de impacto do treinamento no trabalho explicaram 23% da variabilidade total das respostas. 36 RESULTADOS ESTUDO 2 Modelo 2 R² = 0,25, R²(ajustado) = 0,24 e R = 0,50 1. Reação Procedimentos Instrucionais 2. Falta de Suporte à Transferência 3. Elaboração de Plano de Negócio Beta = 0,32 Beta = 0,25 Impacto do treinamento no trabalho Beta = -0,24 Agrupadas, as 3 variáveis antecedentes explicaram 25% (24% ajustado) da variabilidade de impacto do treinamento no trabalho e contribuíram significativamente para a explicação da variável critério. 37 DISCUSSÃO – Estudo 1 Estudo 1 EEA – corroboraram, em parte, as estruturas empíricas encontradas por Warr e Downing (2000). ERPI – não foram encontradas escalas similares na literatura. Abbad (1999); Cheung (1998); Dean e Webster (2000) desenvolveram instrumentos de reação ao curso. ERDT – corroboram, em parte, os achados de Abbad (1999) EFS - não foram encontradas escalas similares na literatura. Diversos autores desenvolveram instrumentos relativos à suporte e restrições situacionais. EIPGN – validação deste tipo de instrumento é rara na literatura da área. 38 DISCUSSÃO – Estudo 2 Modelo 1 Elaboração de um Plano de Negócios: falha metodológica Falta de Suporte: corrobora, em parte, os achados de diversos autores porcentagem de explicação menor direção do relacionamento avaliações desfavoráveis relacionam-se positivamente com impacto resultado não é surpreendente Elaboração e Aplicação Prática: Warr e Bunce (1995) não encontraram relacionamento direto entre estratégias de aprendizagem e impacto Outras variáveis não entraram como explicativas de impacto 39 DISCUSSÃO – Estudo 2 Modelo 2 Reação aos Procedimentos do Curso: - corrobora os achados de Abbad, 1999 e Sallorenzo, 2000 - Pantoja, 1999 e Lima e cols, 1989 encontraram que características do curso prediz impacto de treinamento no trabalho Elaboração de um Plano de Negócios Falta de Suporte 40 Considerações Finais Escalas psicometricamente válidas e confiáveis EEA e EFS devem ser aprimoradas Baixos coeficientes de determinação de regressão múltipla Características da clientela podem assumir maior relevância na explicação de impacto Mais itens relacionados ao suporte familiar devem ser incluídos nas próximas versões do EFS É necessária a aplicação de pré e pós-teste de aprendizagem As escalas devem ser aplicadas em outras organizações, cursos com mídias diferentes 41 LIMITAÇÕES Enorme perda de dados - falhas de programação dos questionários e quedas de conexão dos computadores dos participantes com a internet, durante o preenchimento das escalas Baixo índice de devolução dos questionários, principalmente daqueles aplicados após o curso Inexistência de pré-testes de conhecimentos Falta de informações válidas sobre aprendizagem Não realização de análises inferenciais comparativas dos perfis de participantes concluintes e não concluintes do curso IPGN Falhas ou lacunas da pesquisa impossibilitaram o teste do modelo completo proposto, dificultaram a avaliação do quanto o curso foi capaz de desenvolver as competências descritas nos objetivos, e dificultaram a avaliação da generalidade dos resultados 42 CONTRIBUIÇÕES Construção e validação de cinco novas escalas de avaliação de treinamentos a distância, que possibilitaram o teste dos modelos reduzidos de avaliação de treinamento Validações estatísticas da Escala de Impacto do Treinamento no Trabalho, medido em profundidade Revisão da literatura de Avaliação de Treinamento a Distância 43 AGENDA Analisar o relacionamento entre variáveis de Reação aos Procedimentos e ao Tutor com os índices de evasão Analisar o relacionamento entre variáveis de Estratégias de Aprendizagem com índices de evasão. Examinar o relacionamento entre os três níveis de avaliação Reações, Aprendizagem e Impacto de treinamentos a distância no trabalho Analisar o relacionamento entre Características da Clientela e de Suporte à Transferência com os níveis de Reação, Aprendizagem e Impacto Avaliar quais destas variáveis treinamentos a distância - TaD explicam evasão em 44 AGENDA Avaliar quais variáveis explicam retenção e generalização de competências em TaD Verificar a necessidade de adaptar os instrumentos de avaliação propostos neste estudo - inserir variáveis de resultados de treinamentos a distância, provenientes de outras áreas que trabalham com NTICs Revalidar os instrumentos de valor instrumental, auto-eficácia e locus controle, mencionados anteriormente, utilizando dados de participantes de TaD Revisar os conceitos de impacto e aprendizagem à luz da abordagem multinível de Kozlowski e cols (2000), como sugerido por Abbad, Pantoja e Pilati (2001) 45 DECISÕES PRELIMINARES Estudo 1 Tratamento pairwise (ausentes<5%) para casos omissos Rotação oblíqua Casos extremos uni e multivariados mantidos nos arquivo de dados Valores próprios > 1 Análise da distribuição dos valores próprios (scree plot) Porcentagem mínima de 3% de variância explicada Cargas fatoriais superiores a 0,30 Análise dos índices de consistência interna dos itens Interpretabilidade das soluções propostas 46 DECISÕES PRELIMINARES Estudo 2 Tratamento pairwise para casos omissos (ausentes < 5%) Casos extremos multivariados foram excluídos Modelo 1 – 6 casos Modelo 2 – 2 casos 47 Busca de Ajuda Interpessoal – similar à escala de Warr e Downing (2000) Elaboração e Aplicação Prática do Conteúdo e Repetição, Organização e Ajuda do Material – na escala dos autores, estratégias comportamentais e cognitivas separaram-se em fatores distintos: Amostras diferentes Conteúdos práticos e teóricos bem delimitados Não exige aplicação prática Impressão do material não incentivada e optativa Não utilização de estratégias auto-regulatórias Pré e pós-teste – Variáveis de Processo Borges-Andrade (1982) 48 ERDT Itens superiores a 0,80 na matriz de correlações Estrutura fatorial com itens retirados: 33 itens, = 0,98 49 Procedimentos Instrucionais “Operações necessárias para facilitar ou produzir os resultados instrucionais” (Borges-Andrade, 1982) Formulação de objetivos de ensino: Mager (1976) Taxonomia de objetivos educacionais: Bloom e cols (1972) e Rodrigues Jr. (1997) Aspectos gerais do planejamento (1981) e Laaser (1997) instrucional: Fontanive Processo de aprendizagem e eventos/estratégias instrucionais: Borges-Andrade (1982) e Gagné (1980) Planejamento e execução dos cursos e impacto do treinamento no trabalho Lima, Borges-Andrade e Vieira (1989), Paula (1992), Pantoja (1999) e Abbad (1999) Revisão de métodos de treinamento: Vargas (1996) 50 Desempenho do Tutor Maggio (2001) e Belloni (1999): Devem adquirir novas habilidades para desenvolver seu trabalho Tutores e professores presenciais comprometidos com o bom ensino devem estar Administrar tempo, oportunidades e risco Malvestiti (2002): tutores devem ser alunos de curso a distância; observar outros docentes atuando e ter formação específica Abbad (1999) e Sallorenzo (2000): desempenho do instrutor e impacto de treinamento no trabalho 51