Promovendo a qualidade na
ESE
Bianor Valente, Carlos Pires,
Cristina Loureiro, Nuno Melo, Ana Caseiro
Alexandra Barros, Ana Cartaxo
11 dezembro 2013
Promovendo a qualidade na ESE
1. Apresentação
2. GGQ-ESE
3. Resultados
4. Melhoria
Melhoria
Resultados
GGQ-ESELx
Apresentação
— Clarificar o conhecimento do Sistema de Garantia da Qualidade do IPL e
reforçar o envolvimento dos professores para a implementação deste
sistema.
— Sensibilizar os professores para o seu papel junto dos alunos no que
respeita à implementação deste sistema.
— Apresentar o relatório de aplicação dos questionários relativo a 2012-13.
— Apresentar alguns dados resultantes do trabalho de melhoria do sistema
que o GGQ está a realizar.
Melhoria
Resultados
GGQ-ESELx
Apresentação
Lei 38/2007 – novo sistema de avaliação das instituições e dos ciclos de
estudo
a) Proporcionar a melhoria da qualidade das IES;
b) Prestar informação fundamentada à sociedade sobre o desempenho das
instituições de ensino superior;
c) Desenvolver uma cultura institucional interna de garantia de qualidade.
Decreto Lei 369/2007 – criação do organismo destinado à coordenação do
novo sistema de avaliação (A3ES)
“exigência de concretização, pelas instituições de ensino superior, de sistemas
próprios de garantia da qualidade, passíveis de certificação”
Melhoria
Sistema Interno da Garantia da Qualidade do IPL
Resultados
Gabinete de Gestão da
Qualidade do IPL (GGQ-IPL)
Apresentação
GGQ-ESELx
Departamento de Gestão da
Qualidade (DGQ-IPL)
Conselho de Gestão da
Qualidade do IPL (CGQ-IPL)
Gabinete de Gestão da
Qualidade das UO (GGQ-UO)
Gabinete de Gestão da
Qualidade da ESELx
Melhoria
Sistema Interno da Garantia da Qualidade do IPL
Resultados
Gabinete de Gestão da
Qualidade da ESELx
GGQ-ESELx
Órgão executivo
Presidente da ESE
4 docentes
Apresentação
Ana Caseiro, Bianor Valente, Carlos
Pires, Nuno Melo
2 funcionários
Alexandra Barros, Ana Cartaxo
Órgão consultivo
Presidente da ESE
Presidente do CR, CTC e CP
Diretora de serviços
2 representantes dos alunos
1 parceiro externo
2009 - 10
Avaliação
Interna
(ESE)
Avaliação
Interna
(IPL)
Avaliação
Externa
(A3Es)
1º
Relatório
Criação do
GGQ-IPL
2010 - 11
2011 - 12
2012 - 13
Criação do
GGQ-ESE
1º
Aplicação
on-line de
Visitas às
UOs
Processo de
Acreditação
de todos os
Cursos (16)
Regulamento
ESE
Questionários
1º Relatório
Global
2014 - 15
2015 - 16
Avaliação de
2
Licenciaturas
7
Mestrados
Avaliação de
1
Mestrados
Melhoria do
SIGQ-ESE
Acreditação
do SIGQ-IPL
1º
Regulamento
IPL
Avaliação do
curso de ASC
2013 - 14
Melhoria do
SIGQ-IPL
Avaliação
dos 4 cursos
de Educação
2009 - 10
Avaliação
Interna
(ESE)
Avaliação
Interna
(IPL)
Avaliação
Externa
(A3Es)
1º
Relatório
Criação do
GGQ-IPL
2010 - 11
Criação do
GGQ-ESE
Visitas às
UOs
Processo de
Acreditação
de todos os
Cursos(16)
2011 - 12
1º
Regulamento
ESE
2012 - 13
2014 - 15
2015 - 16
Avaliação de
2
Licenciaturas
7
Mestrados
Avaliação de
1
Mestrados
Aplicação
on-line de
Questionário
s
Melhoria do
SIGQ-ESE
1º Relatório
Global
Acreditação
do SIGQ-IPL
1º
Regulamento
IPL
Avaliação do
curso de ASC
2013 - 14
Melhoria do
SIGQ-IPL
Avaliação
dos 4 cursos
de Educação
Melhoria
Relatório de aplicação dos questionários relativo a 2010-13
Resultados
• Avaliação individual enviada aos professores
em Outubro 2013
• Avaliação dos cursos e das UCs
GGQ-ESELx
A investigação — CTC
Os cursos — CP
Apresentação
Relatório global relativo a 2010-13
Funcionamento
A relação com a comunidade
Internacionalização
Melhoria
Resultados
GGQ-ESELx
Apresentação
Objetivos
Estudo de natureza qualitativa que visa:
- Caracterizar a experiência dos estudantes na avaliação da
ESELx
- Contribuir para a melhoria dos questionários (Ucs e
docentes) que se pretendem conceptual e empiricamente
mais consistentes
Melhoria
Resultados
GGQ-ESELx
Apresentação
Recolha de dados | Participantes
- Focus group (guião semi-estruturado):
- Avaliação global da experiência dos estudantes
- Análise do questionário sobre as Ucs
- Análise do questionário sobre os docentes
- Sete delegados de turma da Licenciatura em Educação Básica
e do Mestrado em Educação Pré-escolar
- Análise de conteúdo (Nvivo)
Melhoria
Resultados
Envolvimento dos estudantes na avaliação
Na perspetiva dos estudantes o seu envolvimento na avaliação
ocorre durante:
- o preenchimento dos questionários sobre o grau de satisfação
Apresentação
GGQ-ESELx
dos estudantes relativamente às Ucs e docentes;
-
as reuniões com a coordenação de curso;
-
o balanço final da Uc com o docente que a leciona.
Melhoria
Resultados
GGQ-ESELx
Apresentação
Envolvimento dos estudantes na avaliação
Ausência de divulgação dos resultados da avaliação
“teríamos mais interesse em responder algo se depois soubéssemos
quando é que ia ser divulgado e tínhamos interesse de ir ver para saber
se também estava de acordo com com aquilo que pensávamos e tudo
o mais, se calhar essa divulgação ia ajudar um bocadinho” (P3, LEB)
“nós nunca tivemos acesso a nenhuma avaliação, nós estamos a avaliar
o professor e queremos saber se foi só a minha opinião, se é só a
minha turma, e se é a nível geral porque é que não é feito nada para
ser modificado, essa divulgação nunca chegou” (P5, MEPE)
Melhoria
Resultados
GGQ-ESELx
Apresentação
Impacto da avaliação
- Alterações ao nível do curso
“pelos menos as alterações todas que foram feitas ao plano de
estudos, quem esteve nas reuniões todas, percebia que foram
feitas essas alterações porque outros alunos falaram” (P5, MEPE)
“antes nós fizemos o estágio mesmo no fim, havia trabalhos
durante o estágio, no 3º ano da licenciatura nós já não passámos
por isso” (P5, MEPE)
- As alterações são mais visíveis quando a avaliação é
reportada à coordenação de curso ou diretamente ao
professor da UC
Melhoria
Resultados
GGQ-ESELx
Apresentação
Impacto da avaliação
- Reduzidas alterações relativamente ao comportamento de
alguns professores
“há professores que durante todos os anos as queixas são as
mesmas e nós não entendemos como é que isso é possível e, lá
está” (P4, LEB)
Questionário da Uc
MS
S
Ind
Ins
MI
Ns/Na
-Carga horária presencial da Uc

 



- Relação entre o nº total de ECTS e o nº de
horas de trabalho exigido pela Uc

 



-Dimensão da turma para esta Uc

 



-Ligação com outras Ucs do curso

 



-Qualidade e interesse da matéria lecionada

 



- Qualidade do material de apoio

 



- Coordenação entre a componente T/P/L

 



Itens pouco informativos ao nível da interpretação dos resultados
“posso dizer que estou muito insatisfeito com a carga presencial mas
depois ninguém vai saber se eu estou insatisfeita pois é muita ou
pouca” (P3, LEB)
Questionário da Uc
MS
S
Ind
Ins
MI
Ns/Na
-Carga horária presencial da Uc

 



- Relação entre o nº total de ECTS e o nº de
horas de trabalho exigido pela Uc

 



-Dimensão da turma para esta Uc

 



-Ligação com outras Ucs do curso

 



-Qualidade e interesse da matéria lecionada

 



- Qualidade do material de apoio

 



- Coordenação entre a componente T/P/L

 



Dificuldades em compreender o conceito de ECTS
“ou altera-se a pergunta (…) ou a ESE tem que tentar fazer uma
sensibilização maior aos alunos sobre o que é que é isto dos créditos, nós
chegamos à faculdade e passamos a ter créditos mas na verdade não
percebemos” (P3, LEB)
Questionário da Uc
MS
S
Ind
Ins
MI
Ns/Na
-Carga horária presencial da Uc

 



- Relação entre o nº total de ECTS e o nº de
horas de trabalho exigido pela Uc

 



-Dimensão da turma para esta Uc

 



-Ligação com outras Ucs do curso

 



-Qualidade e interesse da matéria lecionada

 



- Qualidade do material de apoio

 



- Coordenação entre a componente T/P/L

 



Pouca “utilidade” dos ECTS
“de que é que nos serve estar a avaliar, se fosse por créditos, porque a
média não foi avaliada por créditos, no final” (P1, LEB)
Questionário da Uc
MS
S
Ind
Ins
MI
Ns/Na
-Carga horária presencial da Uc

 



- Relação entre o nº total de ECTS e o nº de
horas de trabalho exigido pela Uc

 



-Dimensão da turma para esta Uc

 



-Ligação com outras Ucs do curso

 



-Qualidade e interesse da matéria lecionada

 



- Qualidade do material de apoio

 



- Coordenação entre a componente T/P/L

 



Reduzido nº de Ucs abrangidas por este item
“a parte prática e laboratorial é mais para as ciências” (P1, LEB)
Questionário da Uc
MS
S
Ind
Ins
MI
Ns/Na
-Carga horária presencial da Uc

 



- Relação entre o nº total de ECTS e o nº de
horas de trabalho exigido pela Uc

 



-Dimensão da turma para esta Uc

 



-Ligação com outras Ucs do curso

 



-Qualidade e interesse da matéria lecionada

 



- Qualidade do material de apoio

 



- Coordenação entre a componente T/P/L

 



- Métodos de avaliação da Uc

 



Questionário docente
MS
- Grau de exigência do docente
Ind
Ins
MI

 



- Assiduidade e pontualidade do docente

 



- Capacidade do docente relacionar a Uc
com os objetivos do curso

 



- Explicitação das regras de avaliação

 



- Clareza de exposição

 



- Preparação científica manifestada

 



- Disponibilidade e apoio do docente fora
das aulas

 



- Relação do docente com os seus alunos

 



- Qualidade geral da atuação do docente

 



Itens pouco informativos ao nível da interpretação
S
Ns/Na
Questionário docente
MS
- Grau de exigência do docente
S
Ind
Ins
MI
Ns/Na

 



- Assiduidade e pontualidade do docente

 



- Capacidade do docente relacionar a Uc
com os objetivos do curso

 



- Explicitação das regras de avaliação

 



- Clareza de exposição

 



- Preparação científica manifestada

 



- Disponibilidade e apoio do docente fora
das aulas

 



- Relação do docente com os seus alunos

 



- Qualidade geral da atuação do docente

 



Desconhecimento dos objetivos do curso
“a este nível eu gostava de referir que os objetivos do curso por vezes
não são conhecidos pelos alunos e nem pelos professores” (P3, LEB)
Questionário docente
MS
- Grau de exigência do docente
S
Ind
Ins
MI

 



- Assiduidade e pontualidade do docente

 



- Capacidade do docente relacionar a Uc
com os objetivos do curso

 



- Explicitação das regras de avaliação

 



- Clareza de exposição

 



- Preparação científica manifestada

 



- Disponibilidade e apoio do docente fora
das aulas

 



- Relação do docente com os seus alunos

 



- Qualidade geral da atuação do docente

 



Dificuldade (revelada por alguns estudantes) em avaliar este item
Ns/Na
Questionário docente
MS
- Grau de exigência do docente
S
Ind
Ins
MI
Ns/Na

 



- Assiduidade e pontualidade do docente

 



- Capacidade do docente relacionar a Uc
com os objetivos do curso

 



- Explicitação das regras de avaliação

 



- Clareza de exposição

 



- Preparação científica manifestada

 



- Disponibilidade e apoio do docente fora
das aulas

 



- Relação do docente com os seus alunos

 



- Qualidade geral da atuação do docente

 



-Estratégias e metodologias adotadas

 



Melhoria
Impacto da avaliação
Apresentação
GGQ-ESELx
Resultados
- Existem áreas onde o impacto da avaliação é mais reconhecido
pelos estudantes (curso versus docentes)
- As estratégias que se baseiam numa interação “face-a-face” são
mais geradoras desse impacto
Melhoria
Resultados
GGQ-ESELx
Apresentação
Envolvimento dos estudantes
- Reduzido conhecimento quanto aos momentos e processos
em que os estudantes se podem envolver na avaliação da
instituição.
- Forte associação entre o reduzido envolvimento dos
estudantes e a fraca divulgação dos resultados da avaliação
(em especial nos questionários).
Divulgar de forma sistemática os resultados
Fomentar uma cultura de avaliação através da
sensibilização de docentes e estudantes sobre a
importância e propósitos da avaliação
(In)formar os estudantes sobre os momentos e
processos de implementação da avaliação
Melhoria
Resultados
GGQ-ESELx
Questionários
- Pouca clarificação de alguns conceitos presentes nos itens
- Limitação quanto à interpretação de alguns dados obtidos
- Existem áreas relevantes que não são contempladas
Complementar os questionários com formas alternativas
de recolha de informação (quando se diagnosticam
situações relevantes)
Apresentação
Definir estratégias para informar os estudantes sobre os
conceitos mais “problemáticos”
Reformular os questionários
Apresentação
GGQ-ESELx
Resultados
Obrigados
Melhoria
2009 - 10
• Questionários já elaborados centralmente
• Questionários aplicados relativamente a 2008-09
• Relatório relativo aos questionários elaborado na ESE e apresentado em CTC
2010 - 11
• Aplicação de questionários relativos a 2009-10 (outubro 2010)
• 1ª Visita Externa da Comissão do IPL (3 dezembro 2010), relatório
recebido em janeiro 2011 (apresentado em CTC)
• Relatório relativo aos questionários elaborado e apresentado em abril 2011
2011 - 12
• 2º Relatório de Avaliação da Comissão de Avaliação Externa do IPL, relativo a
2010-11, apresentado em CTC
• Regulamento da Qualidade do IPL
• Nova Organização do GGQ-ESE
• Aplicação de questionários relativos a 2010-11, ainda em papel
2012 - 13
• Relatório relativo aos questionários elaborado e apresentado em janeiro 2013
• Aplicação de questionários on-line
• Decisão de acreditação do SIGQ-IPL
2013 - 14
• Relatório relativo aos questionários elaborado
• 1º Relatório da UO, conforme previsto no regulamento (CTC, CP, Diretor de
Serviços
e Presidente da UO)
• Apresentação do relatório relativo aos questionários (dezembro 2013)
• Processo de acreditação do SIGQ