Avaliação da Gestão de Meios
da Universidade de Brasília
Comissão de Reestruturação e
Modernização da UnB
FORPLAD - RECIFE
24 a 26 de Março de 2010
Introdução
A
Reitoria da Universidade de Brasília
definiu como uma de suas prioridades a
reestruturação e a modernização da
UnB e para coordenar as atividades
relacionadas a esta proposta criou a
Comissão de Reestruturação e
Modernização, por meio da Resolução
da Reitoria no 20, de 5/3/09.
Grupo de Pesquisa
Necessidade de realização de amplo
diagnóstico sobre a gestão de meios da
UnB.
 Criação de grupo de suporte vinculado ao
CEAG para o desenvolvimento do projeto,
contando com a participação de
consultores de outras IFES.


Apoio institucional da SPO-MEC, FACE,
CESPE e CDT.
Objetivos do Grupo de Pesquisa
 Apoiar
as atividades da Comissão de
Reestruturação e Modernização da
Universidade de Brasília com o
propósito de subsidiar o processo de
tomada de decisão relativo a
aspectos pertinentes à avaliação da
gestão de meios.
Fases da Pesquisa


Desenvolvimento do processo de avaliação da gestão
de meios da UnB, tendo como referência inicial os
estudos já realizados no âmbito do FORPLAD.
Aspectos a serem analisados:
 gestão de pessoas,
 gestão de planejamento, orçamento contabilidade e
finanças,
 gestão da informação,
 gestão de contratos e convênios,
 gestão de infra-estrutura
 gestão institucional
Metodologia





Seleção dos itens a avaliar a partir do
trabalho desenvolvido no FORPLAD;
Elaboração dos questionários – baseado no
MCDA (focos, dimensões, critérios, escalas);
Ajuste e validação dos questionários com a
participação dos gestores das áreas
correspondentes;
Elaboração dos questionários eletrônicos
(CESPE);
Seleção e capacitação de entrevistadores;
Metodologia
(continuação)





Coleta de dados envolvendo as 66 Unidades
integrantes do Sistema de Planejamento da
UnB;
Tratamento dos dados (tabulação e análise
estatística; aplicação do MCDA);
Validação do modelo;
Elaboração e apresentação de relatório
diagnóstico de cada fase do projeto;
Elaboração e apresentação do relatório final.
Adequação do
Nível de
Acompanhamento Satisfação
e Avaliação do
Serviç.
Planejamento
Prestados -
Utilização e
Gestão de
Grupo
Participação
Informações
Trabalho
(Planejamento) (Planejamento) (Orc.,Contab.,
Financ.)
Planejamento
Modelo de
Alocação de
Recursos
Defin. de Atrib. e Adequação
Grupo de
Competências
Trabalho
(Planejamento)
(Planejamento
Gestão de
Gestão de
)
Recursos - Informações
Adequação
Avaliação
Normas
(Orç.,Contab
estrutura
Integração
Instrumentos
Orçamentárias . e Financ)
(Orc.,Contab.,Fin de Processos
(Planejamento)
anc.)
(Orçamento)
Resultados Esperados
 Proporcionar
informações e análises
que possam contribuir para o
aperfeiçoamento dos processos
relacionados à gestão de meios da UnB,
a partir do diagnóstico de seu estágio
atual de desenvolvimento.
Instrumento de Pesquisa


É elaborado com base na metodologia
MCDA – Apoio à Decisão de Múltiplos
Critérios
Estruturado em:
▪ focos – relativos aos grandes temas abordados
▪ dimensões – conjunto de fatores que explicam
os vários ângulos do tema abordado
▪ critérios – referem-se aos aspectos que
permitem avaliar o desempenho da Unidade em
uma dimensão estudada
Fase 1 da Pesquisa
Gestão de Pessoas
Características da Pesquisa



Universo dos respondentes: 66
Unidades integrantes do Sistema de
Planejamento da Universidade de
Brasília;
Respondentes: número de pessoas
indicadas
Questionário – 54 questões fechadas
e 7 questões abertas
Focos do Questionário (itens)
Plano de
Carreira dos
TAE (PDIC)
Gerência de
Processos e
Indicadores
de
Resultados
Programa de
Capacitação
dos
Docentes
Gestão
de
Pessoas
Programa de
Dimensionament
o das
Necessidades
Institucionais
Outros
Programas
de Apoio ao
Servidor
Programas
de Avaliação
de
Desempenho
Efetividade do PDIC
FOCO 1
Subprograma Anual de
Qualificação
Subprograma Anual de
Aperfeiçoamento e
Desenvolvimento
Plano de Carreira
dos Técnico
Administrativo em
Educação (PDIC)
Grau de vinculação do PDIC
ao PDI
Grau de vinculação do PDIC
ao Plano Anual de
Atividades
Nível de participação dos
membros das carreiras na
implantação do PDIC
Nível de comprometimento das
Unidades Acadêmicas e
Administrativas com a
apresentação de suas demandas
anuais de capacitação
FOCO 2
Efetividade do Programa de
Capacitação dos Docentes.
Programa de
Capacitação dos
Docentes
Grau de vinculação do
Programa de
Capacitação dos
Docentes ao
planejamento e
orçamento da Unidade
FOCO 3
Programa de
Dimensionamento das
Necessidades
Institucionais
Efetividade do Programa de
Dimensionamento das
Necessidades Institucionais
Efetividade da aplicação da
Matriz de alocação de
pessoal
Efetividade dos processos
de elaboração e
acompanhamento de
concursos públicos
Sistema de Gestão por
Competências
FOCO 4
Efetividade do Programa de
Avaliação de Desempenho
dos TAE
Programas de
Avaliação de
Desempenho
Efetividade do Programa de
Avaliação de Desempenho
dos Docentes
Grau de controle
Institucional relativo
aos colaboradores não
vinculados por
contrato de trabalho
FOCO 5
Outros Programas
de Apoio ao
Servidor
Cobertura de Plano
de Saúde
Programa de
Segurança no
Trabalho (nível de
aplicação)
FOCO 6
Gerência de
Processos e
Indicadores de
Resultados
Estrutura dos processos
gerenciais
Informatização dos
processos gerenciais
Sistema de aferição de
resultados
Adequação do grupo de
trabalho da área de gestão
de pessoas
Fase 2 da Pesquisa
Gestão de Planejamento,
Orçamento e Finanças
2ª Etapa da Pesquisa Focos do Questionário
Foco 1
Gestão do Planejamento
Gestão do Planejamento,
Orçamento, Contabilidade e
Finanças
Foco 2
Gestão do Orçamento,
Contabilidade e
Finanças
Foco 3
Gestão Universitária
2ª Etapa da Pesquisa Gestão do Planejamento, Orçamento,
Contabilidade e Finanças

foco 1 – Gestão do Planejamento
▪ 7 dimensões, 20 critérios objetivos e 4 critérios subjetivos
(questões abertas)


foco 2 – Gestão do Orçamento, Contabilidade e
Finanças
▪ 6 dimensões, 16 critérios objetivos e 4 critérios subjetivos
foco 3 – Gestão Universitária
▪ 1 dimensão, 6 critérios objetivos e 1 critério subjetivo
Foco 1
Instrumentos, Objetivos
e Diretrizes
do Planejamento
Abrangência e
Participação no
Planejamento
Acompanhamento e
Avaliação do Planejamento
Gestão do Planejamento
Aferição de Resultados
Adequação do Grupo de
Pessoas
Informações para o
Planejamento
Definição de Atribuições
e Competências
Foco 2
Adequação da
Estrutura Funcional
Gestão de Recursos e
Normas Orçamentárias
Modelo de Gestão de
Recursos da Unidade
Gestão Orçamentária,
Contábil e Financeira
Adequação do Grupo de
Pessoas
Gestão de Informações
para Orçamento,
Contabilidade e Finanças
Integração dos
Processos de Gestão
Orçamentário-financeira
Foco 3
Gestão Universitária
Outros Temas Relevantes
● Critério respondido apenas pelas
unidades gestoras vinculadas
diretamente à administração central da
Universidade
Exemplo - foco 1 – questão objetiva

Dimensão 2: Acompanhamento e
avaliação do planejamento (PDI e PAA)
Critério 8: Quais são as práticas de
acompanhamento adotadas pela unidade em
relação ao PDI e PAA?
a)
A Unidade acompanha a execução dos seus PDI
e PAA
b)
Apenas acompanha a execução do seu PDI
c)
Apenas acompanha a execução do seu PAA
d)
A Unidade não acompanha a execução dos
instrumentos de planejamento
Exemplo – foco 1 - questão aberta

Dimensão 7: Definição de atribuições e
competências na gestão do planejamento:
Critério 21: Cite até 3 (três) principais
características da Gestão de Planejamento na
sua Unidade.
Pense em características como: efetiva/ não
efetiva, participativa/não participativa, bem
estruturada/ desestruturada,
moderna/antiquada, bem sucedida/mal
sucedida, importante/irrelevante, útil/inútil ou
outra característica que você quiser
mencionar. Se possível, justifique sua
resposta.
Estágio Atual do Projeto





Avaliação da área de Gestão de Pessoas
concluída;
Relatório de Gestão de Pessoas concluído;
Avaliação da área de Planejamento, Orçamento,
Contabilidade e Finanças concluída;
Relatório concluído;
Modelo MCDA para Planejamento, Orçamento,
Contabilidade e Finanças validado (análise de
sensibilidade).
Perspectivas para Utilização do Modelo
como Ferramenta de Apoio à Avaliação
da Gestão de Meios das IFES






Aplicável a cada instituição individualmente
(customizado)
Aplicável a todo Sistema IFES (padrão)
Resultados podem ser apresentados por critério,
dimensão, foco e pontuação global da IFES
Resultados podem ser apresentados por área de
análise ou englobando toda a gestão de meios
Incentivo à disseminação da cultura já existente de
adoção de melhores práticas de gestão nas IFES
Possibilidade de definição de “descritores”
auditáveis para critérios, dimensões e focos
Fase 3
Aplicação do MCDA
Aplicação da Metodologia Multicritério
de Apoio à Decisão
MCDA
O objetivo dessa ferramenta é aferir o desempenho da
gestão por meio de critérios avaliativos condizentes
com
a
situação
real
do
problema
estudado
e
apresentar um conjunto de soluções numéricas que
auxilie no processo de tomada de decisão.
Aplicação da Metodologia Multicritério
de Apoio à Decisão
MCDA
O MCDA tem um caráter pioneiro e inovador, e
combina dois elementos fundamentais:
• Avaliação por meio de um conjunto de critérios
construídos
especialmente pelo grupo de
pesquisa para o diagnóstico das várias dimensões
da gestão;
• Utilização de técnicas analíticas avançadas, de
caráter quantitativo, que permitem a identificação
clara
e
objetiva
dos
hiatos
de
capacidade
existentes, assim como o acompanhamento da
Resultado Aplicação - MCDA
Tais
técnicas
metodologia
integra
e
de
têm
como
análise
retrata,
base
que
uma
processa,
gráfica
e
numericamente, a realidade captada por
um conjunto complexo de critérios.
Árvore de Critérios - MCDA
Foco
Dimensão
Questionário Gestão de Meios - Planejamento,
Orçamento, Contabilidade e Finanças
Foco 1: Gestão do Planejamento
Dimensão 1: Instrumentos de Planejamento (Plano Quinquenal-PQ, Plano de
Desenvolvimento Institucional-PDI e Plano Anual de Atividades-PAA)
Nesse primeiro bloco de perguntas, gostaríamos de conhecer um pouco sobre as práticas
de planejamento na sua Unidade e como ela faz uso dos instrumentos que compõem o
sistema de planejamento da UnB (Plano Quinquenal- PQ, Plano de Desenvolvimento
Institucional - PDI e Plano Anual de Atividades - PAA)
Critério 1
Como você avalia o Plano Quinquenal da UnB?
a
b
c
d
E
Muito bom
Bom
Nem bom nem ruim
Regular
Ruim
F
Não sabe responder ou não quer responder essa questão
Mensuração do Questionário - MCDA
Critério -1 - Como você avalia o Plano Quinquenal da UnB?
Pontuação
Assinale
Descrição
Alternativa
a
Muito bom
b
Bom
57
c
Nem bom nem ruim
29
d
Regular
0
E
Ruim
100
75
X
Ordenação da Intensidade de Preferência
Software - Macbethe
Pesos dos Focos e das Dimensões
60
%
13
%
13
%
22
%
12
% 15
%
40
%
20
%
5%
Avaliação das Unidades por Foco
Peso A B C D E F.........................L ................ ................V
Avaliação das Unidades por Dimensão
Peso A B C...........................L...........................................V
Análise de Dominância
A análise de dominância auxilia na comparação entre dois
focos ou dimensões, permitindo que se tenha uma visão geral
das unidades analisadas (administrativas e/ou acadêmicas)
que dominam ou que são dominadas. O gráfico apresenta uma
área
delimitada
pela
Fronteira
Eficiente
onde
estão
localizadas todas as unidades avaliadas. As unidades mais
próximas ou sobre a Fronteira Eficiente são as que
apresentam melhores desempenhos. Desta forma, as unidades
mais afastadas da Fronteira Eficiente são as que apresentam
desempenho inferior.
Análise de Dominância
ANÁLISE DE SENSIBILIDADE,
ESTABILIDADE E ROBUSTEZ DO MODELO
A Análise de Sensibilidade objetiva examinar a robustez dos
resultados obtidos frente à variação nos pesos atribuídos aos focos
e/ou dimensões. Esta análise afere se uma variação de 10%, para mais
ou para menos, nos pesos inicialmente atribuídos aos focos e/ou
dimensões causa uma grande variação na pontuação geral, alterando
a ordenação das Unidades. É uma fase importante na aplicação do
Modelo MCDA, contribuindo para controlar os efeitos da subjetividade
na determinação inicial dos valores dos pesos. Desta forma gera
conhecimento sobre o problema e aumenta a robustez e confiança
nos resultados obtidos.
ANÁLISE DE SENSIBILIDADE
ANÁLISE ESTATÍSTICA DA
AVALIAÇÃO DA UnB
Medidas Estatísticas
1 - Avaliação dos
Instrumento de
Planejamento
7,8 %
2 - Utilização e
Participação no
Planejamento
7,8%
3Acompanhamento e
Avaliação do
Planejamento
13,2%
Média
58,2
56,9
74,4
Erro padrão
4,7
4,7
4,0
Mediana
57
57
80
Moda
57
79
80
Desvio padrão
28,7
28,4
24,5
Variância
821,6
807,1
602,0
Curtose
-0,2
-0,3
3,5
Assimetria
-0,7
-0,6
-1,8
Equipe de Avaliadores

Coordenação
– José Carlos Figurelli (FURG)
– Mario Kobus (UFSC)

Equipe da UnB
–
–
–
–
–
–

Marcelo Quirino
Nair Miranda
Paulo Calmon (coordenador do CEAG)
Rondon de Andrade
Talita Cavalcanti
Juliana Freitas
Apoio Técnico
– CDT
– CESPE