SINAES
AVALIAÇÃO DAS “DIMENSÕES”
1. Organização Institucional
2. Corpo SociaL
3. Infra-estrutura física e logística
1. Organização Institucional
-
-
-
PDI
-
PPI
GESTÃO
METODOLOGIA DE AVALIAÇÃO
2. Corpo Social
-
-
Corpo Docente
-
Corpo Discente
Corpo Técnico Administrativo
3. Infra-estrutura física e
logística
- Instalações Gerais
- Biblioteca
- Laboratórios e Instalações
Específicas
Organização dos trabalhos
Coordenação da
Avaliação
Reitoria
Consultoria
UNICAMP
CPA
Sub-comissões
Equipe para
desenvolvimento
da metodologia
(DIS)
OBJETIVOS
Desenvolver, aplicar e difundir para a
UNIFESP – Universidade Federal de São
Paulo - um sistema de avaliação
institucional integrado das atividades
de ensino, pesquisa e relações com a
sociedade
(GERAÇÃO DE INSTRUMENTO DE AVALIAÇÃO
+RELATÓRIO DE AVALIAÇÃO PARA O SINAES)
Universidade é locus do conhecimento
Objeto de avaliação é a produção de conhecimentos
Qual conhecimento é relevante?
TODO
VALORAR TODAS AS FORMAS
DE CONHECIMENTO
Incorporado
nas pessoas
Docência
Aprendizagem
(títulos, carreiras,
hierarquias, etc.)
Incorporado na
produção de
C&T&I
Artigos,Tecnologias
Patentes,Licenças,etc.
(Cientometria,
Bibliometria)
Incorporado
nos fazeres
Organização e
Gestão da
Pesquisa e
Relacionamentos
com a sociedade
(Laboratórios,
Hospitais, inserção no
sistema de saúde, etc.)
Plataforma de Avaliação Institucional:
Parâmetros
CARÁTER
NATUREZA
DINÂMICA
CARÁTER
Qualitativo
Dedicação à
docência
Capacidade de
captação de recursos
Eficiência da gestão
(laboratório,
hospital, projetos)
ETC
Quantitativo
Produção
acadêmica em
C&T&I (artigos,
congressos, cursos,
orientações, etc)
Trabalho de
assistência à saúde
ETC
NATUREZA
CONHECIMENTOS
CONHECIMENTOS
INCORPORADOS
EM PROCESSO
EM PRODUTOS
FORMALIZADOS,
MENSURÁVEiS
Projetos e programas de
pesquisa
Instalações ou equipamentos
Método de gestão
ETC
TÁCITOS,
DE DIFÍCIL
MENSURAÇÃO
Desenvolvimento de
técnicas de pesquisa ainda
não consolidadas
Nível de interação inter
departamental
ETC
DINÂMICA
Fluxo
Capacidade de
Formação de RH em
saúde
Estoque
Capacidade de
assistência à saúde
Índice de circulação
de conhecimentos
Incorporação de
métodos de gestão
institucional
Fluxo dos RH para
outras regiões
Produção
Acadêmica
Geração de RH
Instrumento metodológico de avaliação
Hipótese de trabalho
Uma metodologia que integre várias dimensões da
interface ciência, tecnologia e sociedade, deve ser
construída de maneira a considerar dois elementos
fundamentais:
a) ser participativa, incluindo no processo de avaliação
os atores envolvidos nos programas
b) considerar as especificidades das diferentes
dimensões de avaliação, de forma a preservar suas
características essenciais quando da tomada de decisão.
Instrumento metodológico de avaliação
Desafios
• divergência quanto aos critérios que devem ser
empregados, sendo muitos deles conflitantes
• opiniões com graus variados de divergência,
decorrentes tanto de viéses técnicos
diferenciados como de distintos interesses
• disponibilidade assimétrica de dados e
informações
• dificuldades de precisar eficiência, eficácia e
efetividade das atividades institucionais
O instrumento metodológico capaz de suportar
o sistema de avaliação deve:
•SER MULTI-CRITÉRIO
•SER MULTI-ATRIBUTO
•INCORPORAR A DIMENSÃO TEMPORAL
•TORNAR TANGÍVEIS MUITOS ASPECTOS
INTANGÍVEIS DAS ATIVIDADES DE ENSINO,
PESQUISA E ASSISTÊNCIA À SAÚDE
•PERMITIR UMA AVALIAÇÃO SISTÊMICA,
DINÂMICA, INTEGRATIVA E COMPREENSIVA
Continuação...
•SER GERADO ENDOGENAMENTE
•SER INSTRUMENTO DE RESPONSABILIZAÇÃO E
NÃO DE COBRANÇA
•SERVIR COMO INSTRUMENTO DE GESTÃO E
FORMULAÇÃO DE POLÍTICAS INSTITUCIONAIS
capaz de democratizar as tomadas de decisão, tornandoas transparentes
•SERVIR COMO INSTRUMENTO DE NEGOCIAÇÃO
JUNTO AOS ÓRGÃOS PÚBLICOS DE FORMULAÇÃO
DE POLÍTICAS PÚBLICAS EM EDUCAÇÃO E
PESQUISA
Continuação...
•SER PONTO DE PARTIDA, E NÃO DE
CHEGADA (GERAR INDICADORES...)
•SER CONSTRUÍDO SOB REGRAS DE RIGOR
CIENTÍFICO, APRESENTAR FORTE BASE
TEÓRICO-CONCEITUAL APOIADA EM
LITERATURA NACIONAL E INTERNACIONAL
DE POLÍTICAS PÚBLICAS E DE CIÊNCIA E
TECNOLOGIA, ASSIM COMO EM
EXPERIÊNCIAS REAIS DE AVALIAÇÃO
Continuação...
•SER ACEITO E INTERNALIZADO PELA
COMUNIDADE
•SER DE SIMPLES UTILIZAÇÃO
•REVELAR-SE COMO INSTRUMENTO DE
APRENDIZAGEM INSTITUCIONAL, DE MODO
QUE SEU AGENTES POSSAM EXTRAVASAR
ESTA EXPERIÊNCIA PARA OUTRAS ESFERAS
DO ESTADO
REPRESENTAR
UMA FERRAMENTA
DE POLÍTICA
PÚBLICA QUE PERMITA A GESTÃO
ESTRATÉGICA DA UNIFESP
(MÉDIO E LONGO PRAZOS)
Passos para a construção do Modelo
Multicritério e Multi-atributo
I. Construir árvore/famílias de critérios
II. Verificar interações
III. Verificar independência
IV. Verificar axiomas (utilidade esperada)
V. Atribuir pesos (probabilísticos ou
intencionais)
VI. Validar o modelo e os pesos
VII. Medir indicadores no campo
Passos para a construção do Modelo
Multicritério e Multi-atributo
O modelo deve apresentar:
Adequação cognitiva - passos I, V e VI
Adequação formal - passos II, III e IV
Para atingir uma situação satisfatoriamente
adequada utilizar um procedimento interativo,
refazendo os passos imediatamente anteriores
sempre que for detectada possibilidade de
melhorar a descrição do problema e o
entendimento das implicações dos critérios
Sobre as famílias de critérios...
- devem ser exaustivas: a família deve ser
completa
- devem ser mínimas: o modelo deve ser
funcional
- os critérios não devem ser redundantes
- a família deve poder ser decomposta:
avaliações parciais
- distinguir critérios/objetivos fundamentais das
proxies
- indicadores e escalas devem ser operacionais
no campo
TRÊS GRANDES DIMENSÕES DA
AVALIAÇÃO
(ensaio sobre uma árvore de critérios)
Organização
Institucional
Corpo Social
Corpo
Docente
Corpo
Discente
Produção
C&T&I
Indicadores
Cientométricos
Infra-estrutura
física e logística
Corpo
Técnico
Administrativo
Dedicação
Docência
Indicadores
Bibliométricos
(autoria, co-autoria,etc)
ETC
Nível dos indicadores institucionais
Métrica e sistema de agregação