ESCOLA SUPERIOR DE TECNOLOGIA E GESTÃO GABINETE DE AVALIAÇÃO E QUALIDADE AVALIAÇÃO DO FUNCIONAMENTO DA ESTG / IPG INQUÉRITO AOS ALUNOS FUNCIONAMENTO DAS DISCIPLINAS (1º SEMESTRE) ANO LECTIVO 2004-2005 ABRIL DE 2005 ESCOLA SUPERIOR DE TECNOLOGIA E GESTÃO GABINETE DE AVALIAÇÃO E QUALIDADE AVALIAÇÃO DO FUNCIONAMENTO DA ESTG / IPG INQUÉRITO AOS ALUNOS FUNCIONAMENTO DAS DISCIPLINAS ANO LECTIVO 2004-2005 1º SEMESTRE ÍNDICE 1. INTRODUÇÃO 3 2. METODOLOGIA 3 3. ANÁLISE DE RESULTADOS 4 3.1. DEFINIÇÃO DA POPULAÇÃO E DA AMOSTRA 4 3.2. REPRESENTATIVIDADE DA AMOSTRA 5 4. TRATAMENTO DOS RESULTADOS 6 5. ANÁLISE DOS RESULTADOS 8 5.1. ANÁLISE DETALHADA 8 ANEXOS ENGENHARIA TOPOGRÁFICA 9 AVALIAÇÃO DO FUNCIONAMENTO DA ESTG E DO IPG INQUÉRITO AOS ALUNOS – FUNCIONAMENTO DAS DISCIPLINAS Ano lectivo 2004/2005 – 1º SEMESTRE 1. INTRODUÇÃO Na sequência da criação do Gabinete de Avaliação e Qualidade com o objectivo de apoiar os órgãos de gestão da ESTG e as equipas responsáveis pelo processo de auto-avaliação dos diversos cursos, nomeadamente através da elaboração de relatórios periódicos de avaliação e pela recolha de toda a informação de base que sirva de suporte à elaboração dos relatórios de auto-avaliação, à semelhança do que aconteceu no ano lectivo anterior foi distribuído aos alunos no 1º semestre do ano lectivo 2004/2005 um inquérito relativo ao funcionamento das disciplinas. O principal objectivo do inquérito consiste em obter um melhor conhecimento do funcionamento das disciplinas dos diversos cursos, quer no que diz respeito à disciplina em si quer aos docentes responsáveis pela sua leccionação. Pretende-se com isto melhorar o conhecimento da própria instituição, optimizar o desempenho global dos docentes, definir de uma forma mais adequada programas lectivos, caracterizar o posicionamento dos alunos no seio da sociedade, etc. Em última análise pretende-se dotar a escola de capacidades que em tempo oportuno lhe permitam encarar novos desafios resultantes de uma rápida evolução das sociedades actuais. De referir que todos os resultados apresentados são fruto da amostragem efectuada, podendo em alguns casos divergir ligeiramente de dados obtidos por contagem directa. 2. METODOLOGIA O inquérito a que se refere a presente análise foi desenvolvido no Gabinete de Avaliação e Qualidade (GAQ) da ESTG com base na experiência do ano lectivo passado e em elementos recolhidos para o efeito, após consulta a gabinetes similares de outras escolas de ensino superior. De referir ainda que a primeira versão dos inquéritos foi enviada para a direcção da escola e para o Conselho Pedagógico com vista à obtenção de sugestões que permitissem melhorar e enriquecer o seu conteúdo. Após se terem reunido todas as sugestões, foi finalmente elaborada e processada a versão final do inquérito para os alunos através do programa informático TELEform Designer, compatível com o programa SPSS para Windows. Por decisão do GAQ ficou definido que os inquéritos seriam distribuídos aos alunos para preenchimento entre os dias 2 a 16 de Dezembro, tendo sido dado prévio conhecimento a todos os docentes directamente envolvidos. Como critério para a distribuição e recolha dos inquéritos adoptaram-se os seguintes procedimentos: Selecção de uma ou mais disciplinas por ano lectivo e por curso em que fosse mais provável obter um número mais elevado de respostas para todas as disciplinas desse curso e ano lectivo (tendo em conta a informação do departamento ou a experiência obtida com os inquéritos do ano lectivo anterior. Distribuição dos inquéritos por elementos do Gabinete de Avaliação e Qualidade durante o período lectivo, dentro do horário lectivo das disciplinas pré-seleccionadas. Resposta aos inquéritos pelos alunos. Na resposta ao inquérito das disciplinas apenas foram consideradas respostas para os alunos presentes que frequentam as disciplinas desse curso. Recolha de forma conjunta dos inquéritos por elementos do Gabinete de Avaliação e Qualidade após a sua resposta. Depois de se ter procedido à recolha dos inquéritos procedeu-se à sua leitura de forma automática através de um leitor óptico (scanner) FUJITSU Duplex e dos programas informáticos TELEform Reader e TELEform Verifier e posteriormente ao seu tratamento estatístico através do recurso ao programa informático SPSS para Windows. Após um tratamento prévio de toda a informação, detectaram-se algumas imprecisões, tendo-se optado por corrigir campos de resposta óbvia e não questionável (p.ex. ano da primeira matrícula, código da disciplina, correspondência entre disciplinas e cursos, etc.) e por eliminar registos em que não é possível identificar os aspectos fundamentais com vista ao seu tratamento (p.ex. cursos e código das disciplinas). Após a obtenção dos ficheiros finais procedeu-se à análise e tratamento da informação disponível. Com base nos dados recolhidos, foi possível elaborar um fascículo por disciplina contendo uma síntese de todos os dados relativos ao funcionamento da disciplina e desempenho do docente, o qual foi distribuído directamente aos docentes responsáveis pelas disciplinas em causa. 3. ANÁLISE DE RESULTADOS 3.1. DEFINIÇÃO DA POPULAÇÃO E DA AMOSTRA Unidade Inquirida: Alunos da Escola Superior de Tecnologia e Gestão Dimensão da população: 1651 indivíduos. Método de recolha: Amostra Tipo de recolha: Directa Amostra: O inquérito foi distribuído aos alunos que estavam presentes nas aulas, entre os dias 2 e 16 de Dezembro de 2004 para todos os cursos. Dimensão da amostra: 2806 inquéritos. O número de inquéritos obtido para os diversos inquéritos é apresentado no quadro seguinte, onde também se indica o número de alunos matriculados. TABELA 1 DIMENSÕES DA POPULAÇÃO E AMOSTRA CURSO Contabilidade e Auditoria (diurno) - CAd Engenharia do Ambiente – EA Engenharia Civil – EC Engenharia Informática – EI Engenharia Mecânica – EM Engenharia Topográfica – ET Gestão - G Marketing – MK Secretariado e Assessoria de Direcção – SAD TOTAL: Nº de inquéritos respondidos (IR) Nº de alunos matriculados no curso (AM) 354 190 317 459 205 164 271 242 604 140 46 279 302 113 70 268 126 225 2806 1569 Nº de inq. Nº alunos respond. matric. (IR) (AM) CURSO Contabilidade e Auditoria (diurno) - CAd Engenharia do Ambiente – EA Engenharia Civil – EC Engenharia Informática – EI Engenharia Mecânica – EM Engenharia Topográfica – ET Gestão - G Marketing – MK Secretariado e Assessoria de Direcção – SAD 354 190 317 459 205 164 271 242 604 TOTAL: 2806 140 46 279 302 113 70 268 126 225 Assid. Média (*) (A) Nº médio de inq. por aluno (IR/AM)/A 0.55 4,2 1569 * Media da Frequência média por anos lectivos do curso 3.2 Representatividade da amostra Tendo em conta o contexto em que se realizou este inquérito, a validação dos resultados obtidos assentou basicamente na verificação das seguintes condições para cada disciplina. Assim, foram consideradas três condições para validação dos resultados dos inquéritos para as diversas disciplinas em funcionamento no primeiro semestre do ano lectivo 2004-2005. As condições de validação consideradas são: Nº de alunos inquiridos (Inp) ≥ 4 (Pelo menos quatro inquéritos por disciplina) Nº de alunos inquiridos (Inp) /Nº médio de alunos que frequentam (Freq) ≥ 0,40 (Pelo menos 40% dos alunos que frequentam as aulas) Nº de alunos inquiridos (Inp) /Nº de alunos inscritos (Freq) ≥ 0,10 (Pelo menos 10% dos alunos inscritos) Qualquer disciplina que não verifique pelo menos uma das condições atrás referidas será retirada dos gráficos de análise, indicando-se de uma forma explícita para cada um dos cursos os motivos pela qual se verificou a exclusão das referidas disciplinas. 4. TRATAMENTO DOS RESULTADOS O tratamento dos resultados obtidos após a correcção ou eliminação dos registos incongruentes em termos de informação, consistiu basicamente nas seguintes fases • Determinação para cada registo validado dos valores médios simples ou ponderados com base nas indicações seguintes. ANÁLISE DO FUNCIONAMENTO DAS DISCIPLINAS Média Simples – Média simples das respostas às questões 3 a 8 e questões 10 e 11 Média Simples = (V3 + V4 + V5 + V6 + V7 + V8 + V10 + V11) ÷ 8 Média Ponderada – Média ponderada de acordo com a fórmula seguinte, onde se reforçou a pontuação das questões consideradas mais importantes tendo em conta o objectivo principal do inquérito. Média Ponderada = [V5 + V8 + V11 + 2 × (V3 + V4 + V7 )] ÷ 6 9 Média Total (Global) – Média simples da resposta à questão 12 com os dois valores anteriores. Média Total = (V12 + Média Simples + Média Ponderada ) ÷ 3 V# - Valor da resposta ao ponto # do grupo 1 ANÁLISE DO DESEMPENHO DOS DOCENTES Média Simples – Média simples das respostas às questões 1 a 10 Média Simples = (V1 + V2 + V3 + V4 + V5 + V6 + V7 + V8 + V 9 + V10 ) ÷ 10 Média Ponderada – Média ponderada de acordo com a fórmula seguinte, onde se reforçou a pontuação das questões consideradas mais importantes tendo em conta o objectivo principal do inquérito. Média Ponderada = [(V1 + V3 + V5 + V8 + V9 ) + 2 × (V2 + V4 + V6 + V7 + V10 )] ÷ 10 15 Média Total (Global) – Média simples da resposta à questão 12 com os dois valores anteriores. Média Total = (V11 + Média Simples + Média Ponderada ) ÷ 3 V# - Valor da resposta ao ponto # do grupo 2 • Análise conjunta do funcionamento da disciplina e do desempenho do docente o Determinação por cursos da média e desvio padrão da opinião dos alunos (resposta à questão 12 do Grupo 1), média simples, média ponderada e média total. o Determinação por anos lectivos e por cursos da média e desvio padrão da opinião dos alunos (resposta à questão 12 do Grupo 1) e da média total. o Determinação para cada disciplina dos rácios seguintes: Nº de inquéritos/Nº de alunos inscritos Nº de inquéritos/Nº médio de alunos que frequentam o Avaliação por disciplina da representatividade da amostra considerando os rácios anteriores e o número de inquéritos respondidos, tendo por base as condições de validação referidas no ponto 3.2. o Enumeração das disciplinas que não foram objecto de análise atendendo às condições de validação da amostra. o Traçado de um gráfico por cursos para análise comparativa entre a opinião dos alunos e a média total ponderada baseada nas respostas emitidas relativamente ao funcionamento das disciplinas. o Traçado de um gráfico por cursos para análise comparativa relativamente a quatro aspectos contemplados nas questões colocadas aos alunos no Grupo 1 do inquérito (funcionamento da disciplina) e que foram considerados na fórmula do cálculo da média ponderada. O interesse dos alunos pelos temas abordados A adequação da disciplina ao contexto do curso Articulação da disciplina com conhecimentos anteriores Coordenação entre aulas Acesso a elementos e bibliografia Definição das regras de avaliação da disciplina. Traçado de um gráfico por cursos para análise comparativa entre a opinião dos alunos e a média total ponderada baseada nas respostas emitidas relativamente ao desempenho dos docentes. No presente relatório este gráfico não foi apresentado a fim de garantir o sigilo relativamente aos aspectos directamente relacionados com a avaliação dos docente. o Determinação para cada disciplina dos seguintes parâmetros estatísticos relativos a cada uma das questões do Grupo 1 do inquérito – Apreciação geral do funcionamento da disciplina: Valor máximo Valor mínimo Média Mediana Moda o Determinação das disciplinas com uma percentagem superior a 20% de respostas inferiores a 4 (Situação correspondente ao Fraco) para a média total. o Identificação com base numa análise conjunta dos parâmetros estatísticos das disciplinas com uma percentagem superior a 20% de respostas inferiores a 4 que deveriam ser objecto de uma reflexão e de quais os principais pontos a analisar. o Identificação das disciplinas com base numa análise conjunta do funcionamento das disciplinas e do desempenho dos docentes tendo por base os critérios referidos nos dois pontos anteriores. 5. ANÁLISE DOS RESULTADOS 5.1 ANÁLISE DETALHADA • Apresentação dos resultados o Elaboração por cursos de uma síntese da análise efectuada (ANEXOS). o Estabelecimento de resultados finais, reservando para os departamentos ou secções autónomas uma análise mais especializada. ENGENHARIA TOPOGRÁFICA AVALIAÇÃO DAS DISCIPLINAS 1º SEMESTRE 2004/2005 DISCIPLINAS AVALIADAS ET111 ET112 ET113 ET114 ET115 ET116 1º ANO Matemática I Álgebra Geometria cotada Fotogrametria I Geomorfologia Informática** NI 50 53 15 a) 20 14 Frq 14 15 7 8 10 9 Inq 16 21 4 5 6 5 Aval 21 12 11 3 16 9 Frq/NI 0,28 0,28 0,47 a) 0,50 0,64 0,81 Inq/NI 0,32 0,40 0,27 a) 0,30 0,36 0,55 Inq/Frq 1,14 1,40 0,57 0,63 0,60 0,56 0,82 ET211 ET212 ET213 ET214 ET215 2º ANO Fotogrametria II Comp. de Matemática* Hidráulica Geral Cartografia II Topografia I NI 14 24 31 7 16 Frq 5 7 9 4 7 Inq 5 13 12 7 10 Aval 7 10 9 4 11 Frq/NI 0,36 0,29 0,29 0,57 0,44 0,39 Inq/NI 0,36 0,54 0,39 1,00 0,63 0,58 Inq/Frq 1,00 1,86 1,33 1,75 1,43 1,47 ET311 ET312 ET313 ET314 ET315 ET316 3º ANO Cartografia Matemática Geodesia Cadastro e Legislação Compensação de Observaçõ Topografia III Economia e Gestão de Empr NI 24 15 12 13 21 20 Frq 9 8 6 8 9 7 Inq 11 10 9 10 11 9 Aval 10 13 11 11 12 8 Frq/NI 0,38 0,53 0,50 0,62 0,43 0,35 0,47 Inq/NI 0,46 0,67 0,75 0,77 0,52 0,45 0,60 Inq/Frq 1,22 1,25 1,50 1,25 1,22 1,29 1,29 NI – Nº de alunos Inscritos; Freq – Frequência média no semestre; Inq – Nº de inquéritos respondidos; Aval – Nº de alunos avaliados * A assiduidade refere-se a dois docentes; ** A assiduidade refere-se a dois cursos; a) Dado não fornecido MÉDIA E DESVIO PADRÃO DOS RESULTADOS OBTIDOS PARA CADA DISCIPLINA Opinião dos alunos Média total Código da Disciplina Média Desvio Padrão Média Desvio Padrão ET111 ET112 ET113 ET114 ET115 ET116 ET211 ET212 ET213 ET214 ET215 ET311 ET312 ET313 ET314 ET315 6,47 5,38 4,75 7,00 6,17 5,40 6,60 5,77 6,83 7,71 6,80 5,18 6,00 6,44 7,30 6,55 2,47 2,22 1,26 3,39 3,37 2,70 2,07 1,69 1,95 0,76 1,87 1,94 1,56 1,42 1,34 1,51 6,28 5,29 4,73 6,52 6,09 5,14 6,72 5,64 6,56 7,29 6,98 5,36 6,14 6,02 7,16 6,97 2,39 2,31 2,46 3,12 3,10 2,69 1,51 1,38 2,18 1,07 1,45 2,07 1,41 1,81 1,31 1,39 ET316 3,89 1,96 3,65 2,02 ANÁLISE COMPARATIVA ENTRE A OPINIÃO DIRECTA DOS ALUNOS E A MÉDIA TOTAL PONDERADA BASEADA NAS RESPOSTAS EMITIDAS RELATIVAMENTE AO FUNCIONAMENTO DAS DISCIPLINAS 9 8 7 6 5 Opinião dos alunos Média total 4 Média 3 2 Código das Disciplinas RESPOSTAS POSSÍVEIS E PONTUAÇÃO ATRIBUÍDA : 1 – Muito Mau ; ………. ; 9 – Muito Bom ET316 ET315 ET314 ET313 ET312 ET311 ET215 ET214 ET213 ET212 ET211 ET116 ET115 ET114 ET113 ET112 ET111 1 ANÁLISE COMPARATIVA ENTRE SEIS ASPECTOS CONTEMPLADOS NAS QUESTÕES LEVANTADAS AOS ALUNOS RELATIVAMENTE AO FUNCIONAMENTO DAS DISCIPLINAS 9 8 7 6 Interesse Adequação Código da Disciplina QUESTÕES FORMULADAS AOS ALUNOS Interesse – Interesse pelos temas abordados na disciplina Adequação – Adequação da disciplina ao curso A articulação da disciplina com conhecimentos anteriores Articulação – Coordenação – Coordenação entre aulas teóricas/práticas/teórico-práticas Acesso a elementos de estudo e bibliografia Bibliografia Avaliação Definição das regras de avaliação e funcionamento da disciplina RESPOSTAS POSSÍVEIS E PONTUAÇÃO ATRIBUÍDA: 1 – Muito Mau ; ………. ; 9 – Muito Bom ET316 ET315 ET314 ET313 ET312 ET311 ET215 ET214 ET213 Avaliação ET212 1 ET211 Bibliografia ET116 2 ET115 Coordenação ET114 3 ET113 Articulação ET112 4 ET111 Média 5