VI Conferencia de Monitoreo y
Evaluación
Avaliação do Sistemas de Monitoramento e
Avaliação do Programa Universidade para
Todos (Prouni)
Autores:
FÁBIO HENRIQUE GRANJA E BARROS
MELCHIOR SAWAYA NETO
GUILHERME ISSAMU HIRATA
Programa Universidade para Todos (ProUni)
1.
2.
3.
4.
5.
6.
Objetivo
Metodologia
Análise de Desenho
Análise dos Controles Internos
Avaliação de Impacto
Considerações Finais
Programa Universidade para Todos (ProUni)
Objetivo do Programa
 Conceder bolsas de estudo em IES privadas, a beneficiários
pertencentes a grupos sociais com menores níveis de participação no
ensino superior, visando incrementar o acesso e a permanência,
garantindo a qualidade no ensino superior.
Objetivo do Trabalho
 Avaliar, por meio da matriz de marco-lógico do programa e de
análises estatísticas: i) as oportunidades de aperfeiçoamento do
sistema de acompanhamento e controle de resultados do Prouni; ii)
o impacto do Prouni em relação ao incremento do acesso e da
permanência de estudantes no ensino superior, bem como o
incentivo ao bom desempenho acadêmico dos beneficiários do
programa.
Programa Universidade para Todos (ProUni)
O trabalho realizou três tipos de análise:

Análise de Desenho – analisou à relevância do escopo do
programa e sua estrutura de financiamento e de geração de vagas
efetivamente preenchidas;

Análise dos Controles Internos i) avaliou a coerência do
programa com políticas setoriais mais amplas; ii) verificou os
sistemas de acompanhamento pré-existentes; iii) propôs uma
matriz de indicadores;

Análise de Resultado– avaliou o impacto do programa nos
resultados obtidos e propôs uma metodologia de avaliação de
resultados.
Programa Universidade para Todos (ProUni)
Análise do Desenho do Prouni
Programa Universidade para Todos (ProUni)
 EXISTE NO BRASIL UMA ELEVADA DESIGUALDADE DE
OPORTUNIDADE DE ACESSO AO NÍVEL SUPERIOR
GRÁFICO 1 - TAXAS DE PARTICIPAÇÃO LÍQUIDA NO ENSINO SUPERIOR PARA DIFERENTES FAIXAS DE RENDA
60,00%
50,00%
40,00%
30,00%
20,00%
10,00%
0,00%
A té 1,5 S .M .
Fonte: PNAD (2007)
Elaboração: Projeto Pitágoras/Segecex
1,5 a 3 S .M
M ais de 3 S .M .
Programa Universidade para Todos (ProUni)
TABELA 1 - TAXAS DE PARTICIPAÇÃO ENTRE AS RAÇAS
Raças
Indígena
Branca
Preta
Amarela
Parda
Fonte: PNAD (2007)
Elaboração: Projeto Pitágoras/Segecex
TX LIQUIDA
6,2
19,1
6,3
24,9
6,9
Programa Universidade para Todos (ProUni)
O
BAIXO NÚMERO DE VAGAS OFERTADAS EM IES PÚBLICAS
CONJUGADO COM A INCAPACIDADE DA MAIORIA DAS FAMÍLIAS EM
ARCAR COM CURSOS EM IES PRIVADAS É UM DOS PRINCIPAIS FATORES
QUE DETERMINA A BAIXA TAXA DE PARTICIPAÇÃO DE ESTUDANTES NO
ENSINO SUPERIOR NO BRASIL
TABELA 1 - EVOLUÇÃO DO NÚMERO DE VAGAS NAS IES NO BRASIL – 2005 A 2007
Ano
IES Federais
IES Privadas
Total
2005
127.334
2.122.619
2.435.987
2006
144.445
2.298.493
2.629.598
2007
155.040
2.494.682
2.823.942
* As IES privadas, estaduais e as municipais foram adicionadas ao total
Fonte: Sinopse Estatística do INEP/MEC
Programa Universidade para Todos (ProUni)
TABELA 1 - PERCENTUAL DE PARTICIPAÇÃO DAS INSTITUIÇÕES PÚBLICAS NOS DIFERENTES NÍVEIS DE ENSINO (EM
MILHARES)
Nível de Ensino
Instituições Públicas
Instituições Privadas
Percentual nas Públicas
1º Grau
28.900
3.941
88%
2º Grau
8.058
1.294
86%
3º Grau
1.310
4.483
22%
Fonte: PNAD (2007)
Programa Universidade para Todos (ProUni)
Programa Universidade para Todos (ProUni)
 APESAR DE A SUBFUNÇÃO NÍVEL SUPERIOR SER A QUE POSSUI MAIOR
VOLUME DE RECURSOS ORÇAMENTÁRIOS (43%) EXISTE BAIXO RETORNO
DE VAGAS OFERTADAS EM COMPARAÇÃO AO PROUNI
TABELA 1 – ORÇAMENTO DE SUBFUNÇÕES DE EDUCAÇÃO
Total das Subfunções de Educação (em R$ milhões) – 2008
361
362
363
364
365
366
367
Ensino Fundamental
Ensino Médio
Ensino Profissional
Ensino Superior
Educação Infantil
Educação de Jovens e Adultos
Educação especial
1.364
680
1.937
12.421
207
723
97
Outras Subfunções
11.629
Fonte: Site da Câmara dos Deputados
Tabela – Comparativo de Vagas Ofertadas nas IES Federais versus ProUni
Ano
IES Federais
ProUni
2005
127.334
2006
144.445
112.275
138.668
2007
155.040
163.854
Fonte: Sinopse Estatística do INEP/MEC-2007 e Sisprouni
Programa Universidade para Todos (ProUni)
 AS IES PARTICIPANTES NÃO TÊM INCENTIVOS DE PREENCHER TODAS
AS SUAS VAGAS OFERTADAS, POIS ELAS RECEBERÃO A RENÚNCIA
FISCAL TOTAL DE ALGUNS TRIBUTOS INDEPENDENTEMENTE DE TEREM
SUAS VAGAS PREENCHIDAS
TABELA - Evolução das Bolsas e do Valor de Renúncia
Bolsas Ofertadas
Bolsas Preenchidas
Valor de Renúncia Fiscal
Incremento Percentual 2005-2009
120,53%
68,80%
89,95%
Fonte: Sisprouni e Secretaria da Receita Federal (Coordenação-Geral de Política Tributária), Quadro III.
Programa Universidade para Todos (ProUni)
 O
DESENHO ATUAL NÃO PREVÊ O
SISTÊMICO DAS VAGAS OCIOSAS DO PROUNI.
Fonte: Sisprouni
ACOMPANHAMENTO
Programa Universidade para Todos (ProUni)
Análise dos Controles Internos do
Prouni
Programa Universidade para Todos (ProUni)
Análises Prévias
 Sistema de monitoramento e avaliação de resultados do
ProUni praticamente inexistente;
 Único indicador quantitativo existente nos planos setoriais e
nacionais ligados à educação é a taxa de participação líquida,
ao qual foi associada meta de alcance de 30% até 2011. Essa
meta demonstrou-se não factível;
 Prestações de contas fornecidas pela SESu ao TCU com
muitas deficiências em relação aos resultados promovidos
pelo programa;
Programa Universidade para Todos (ProUni)
Geração Conjunta de Sistema de Avaliação e Monitoramento para
o ProUni
 A finalidade e o objetivo do programa estão bem definidos?
 Existe definição clara das populações potencial e objetivo do ProUni?
 O avanço da cobertura do programa é adequado considerando sua
finalidade e seu objetivo?
 O programa afere periodicamente a boa focalização na distribuição de
bolsas para os beneficiários?
 Existem indicadores de eficácia e eficiência para operação do
programa?
 Foi identificada alguma atividade ou produto que não é realizado na
atualidade e que poderia melhorar a eficácia ou eficiência do programa?
 O programa possui mecanismos para estabelecimento de metas e
indicadores?
 O programa realizou avaliações de impacto ou resultado?
Programa Universidade para Todos (ProUni)
 Proposta de Indicadores para:
 Acessibilidade ao Ensino Superior;
 Permanência no Ensino Superior;
 Melhoria na Qualidade do Ensino Superior
(desempenho acadêmico dos beneficiários).
Programa Universidade para Todos (ProUni)
Exemplificação de Parte do Marco Lógico
OBJETIVO
1.
Aumentar o número de
estudantes cursando o
nível superior, considerando os segmentos com
menores
taxas
de
participação bem como a
qualidade do nível de
ensino.
Indicadores de Objetivo
Indicadores de Objetivo
1.
1.
Indicadores de Impacto
1.1.
1.2.
1.3.
1.4.
1.5.
1.6.
PRODUTOS
1.
2.
3.
4.
Redução do número de
vagas
ociosas
do
programa, provocando
melhor eficiência no uso
da renúncia de receita;
Aumento do grau de focalização do programa;
Aumento do grau de
cobertura do programa;
Incremento do desempenho escolar e da
participação de beneficiários em cursos e IES
de bom nível.
Impactos do Prouni
sobre acessibilidade;
Impactos do Prouni
sobre acessibilidade
(tipo
de
escola
(público ou privada),
raças, pessoas com
deficiência, regiões);
Impactos do Prouni
sobre permanência;
Impactos do Prouni
sobre
permanência
(tipo
de
escola
(público ou privada),
raças, pessoas com
deficiência, regiões);
Impactos do Prouni
sobre
desempenho
escolar;
Impactos do Prouni
sobre
desempenho
escolar
(tipo
de
escola (público ou
privada),
raças,
pessoas
com
deficiência, regiões).
Indicadores de Impacto
1.1.
1.2.
1.3.
1.4.
1.5.
1.6.
Uso
de
metodologia
de
regressão descontínua para
estimação do impacto;
Uso
de
metodologia
de
regressão descontínua para
estimação do impacto;
Uso
de
metodologia
econométrica para estimação
de parâmetros de impacto;
Uso
de
metodologia
econométrica para estimação
de parâmetros de impacto;
Metodologia a definir;
Metodologia a definir.
Obs – Para todos os indicadores
sugeridos foi desenvolvido “script” do
Stata com as fórmulas de cálculo.
Indicadores de Produção
Indicadores de Produção
1.
1.
Vagas Ociosas
1.1.
1.2.
2.
Custo unitário anual,
por
mantenedora,
das bolsas efetivamente ocupadas ;
Taxa
de
vagas
ociosas sobre vagas
totais
por
mantenedora, modalidades, IES, área e
regiões.
Grau de Focalização
2.1.
Percentagem
de
casos
com
desrespeito
de
critérios de elegibilidade sobre total de
Base de Dados e Fontes de
Informações
Vagas Ociosas
1.1.
1.2.
(renúncia fiscal total por
mantenedora/número de bolsas
efetivamente ocupadas por
mantenedora);
(n.º de vagas ociosas/vagas
totais) x 100 por mantenedora,
modalidades, IES, área e
regiões.
1.
1.
Indicadores de Impacto
1.1.
1.2.
1.3.
1.4.
1.5.
1.6.
Grau de Focalização
2.1.
2.2.
(n.º de casos com desconformidade
de
critérios
de
elegibilidade/n.º total de casos
monitorados) x 100;
(n.º de casos com desconformidade do critério de renda /n.º
Banco
de
dados
empregado nas estimações foi construído a
partir das bases de dados
do Enem e do Sisprouni;
Idem item 1.1;
Idem item 1.1;
Idem item 1.1;
Banco
de
dados
empregado construído a
partir da base de dados
do Enade;
Idem item 1.5.
2.
3.
Papel desempenhado por
outros progra-mas públicos
(Fies, Reuni, Bolsa Permanência) e ação privada das
IES.
Existência de alunos em
quantidade sufi-ciente, que
finalizem o ensino básico na
rede pública, com bom
desempenho escolar;
Existência de cursos e IES de
qualidade satisfatória e que
ofertem vagas em volume
razoável.
Obs - A formação da base de dados
e as metodologias de cálculo dos
impactos serão objeto de discussão
e
intercâmbio
entre
TCU,
SESU/MEC e INEP.
Base de Dados e Fontes de
Informações
Produção para Objetivo
1.
1.
Vagas Ociosas
1.1.
1.2.
2.
Objetivo para Finalidade
2.
Fonte: Receita Federal
do Brasil e Sisprouni.
Cálculo de linha de base:
Relatório de Auditoria
Operacional no Prouni e
no
Fies
TC013.493/2008-4;
Fonte: Sisprouni.
Grau de Focalização
2.1.
Fonte: Rais, Renavam,
Sistemas
PingIfes
e
Universidades Estaduais,
outros. Cálculo de linha
de base: Relatório de
Auditoria
Operacional
2.
Desenho do programa
adequado
para
alcançar
grupos
da
sociedade
com
menores taxas de
participação
no
ensino superior.
Comportamento de
alunos e das IES
favorável
à
qualidade
no
ensino.
Programa Universidade para Todos (ProUni)
Indicador de Acessibilidade:
Ano
Beneficiários ProUni entre18-24 anos/Estudantes
de Ensino Superior entre 18 – 24 anos
2007
…
…
…
2020
?
Programa Universidade para Todos (ProUni)
Indicador de Permanência:
Ano
Beneficiários ProUni entre18-24 anos que
Evadiram ensino superior/Estudantes de Ensino
Superior entre 18 – 24 anos
2007
…
…
…
2020
?
Programa Universidade para Todos (ProUni)
Indicador de Focalização:
Anos
Casos Descumprimento do Critério de renda/
Casos Totais (%)
2009
…
…
…
2020
?
Situação
Bolsistas com curso superior concluído
Bolsistas com rendimentos incompatíveis com o ProUni
Irregularidades constatadas
34
561
Bolsistas matriculados em universidade pública
Bolsista proprietário de veículo automotor incompatível com
o perfil socioeconômico do ProUni
Total de ocorrências de irregularidades
631
598
Bolsas encerradas
1.824 (58 bolsistas com irregularidade em mais de uma
ocorrência)
1.766
Programa Universidade para Todos (ProUni)
Indicador de Vagas Ociosas:
Anos
Vagas Ociosas/Vagas Totais (%)
2009
34,8%
…
…
2020
?
IES desvinculadas
IES com assinatura de Termo de
Saneamento de Deficiências (TSD)
Supervisão de Instituições
15
31
Programa Universidade para Todos (ProUni)
Avaliação de Impacto
Programa Universidade para Todos (ProUni)
• Acesso
O ProUni aumenta a probabilidade de ingresso
no ensino superior?
• Permanência/Evasão
O ProUni diminui a probabilidade de evasão?
• Desempenho
O ProUni melhora o desempenho do
estudante?
Programa Universidade para Todos (ProUni)
Acesso
Metodologia: Regressão Descontínua
Consiste em avaliar o impacto do ProUni na
fronteira de elegibilidade (45 pontos no Enem)
Efeito Médio de Tratamento Local
Programa Universidade para Todos (ProUni)
.1
.2
.3
.4
Acesso
44
44.5
45
Nota no Enem
Controle
45.5
Tratado
46
Programa Universidade para Todos (ProUni)
Acesso
Cotistas
Total
Mulher
Homem
Impacto
erro
(p.p)
padrão
38.5*** 0.038
39.1*** 0.026
37.7*** 0.049
Obs.
11440
3940
5814
Intervalo
44.4
50.6
41.6
46.0
43.8
52.9
Não Cotistas
Total
Mulher
Homem
28.0***
28.0***
28.7***
5061
2562
1708
43.7
44.3
42.7
0.023
0.034
0.041
46.3
46.3
45.7
Programa Universidade para Todos (ProUni)
Permanência/Evasão
Definições de Evasão
1) evasão: utilização encerrada por motivo de evasão;
não evasão: a) utilização encerrada por motivo de conclusão
de curso; b) bolsa em utilização
2) evasão: utilização encerrada por motivos de a) encerramento
da matrícula; b) esgotamento do prazo de utilização da bolsa;
c) esgotamento do prazo máximo de suspensão; d)
rendimento acadêmico insuficiente; e) solicitação do bolsista
não evasão: bolsa suspensa por motivos de a) ausência de
renovação; b) trancamento de matrícula; c) inadimplência do
bolsista parcial; e d) sobrestamento pelo usuário
Programa Universidade para Todos (ProUni)
Permanência/Evasão
Metodologia: Regressão com Reponderação por
Escore de Propensão
Efeito Médio do Tramentamento sobre os
Tratados
Programa Universidade para Todos (ProUni)
Permanência/Evasão
Definição 1
Definição 2
impacto
erro
padrão
Total
-8.2***
0.003
-8.0***
0.004
Homem
-9.6***
0.006
-9.1***
0.006
Mulher
-7.4***
0.004
-7.3***
0.005
Cotista
-10.7***
0.006
-9.8***
0.006
-6.8***
0.004
-6.9***
0.005
Não cotista
erro
impacto padrão
Programa Universidade para Todos (ProUni)
Permanência/Evasão
Definição 1
impacto
Computação
Definição 2
erro
padrão
impacto
-11.1 ***
erro padrão
-13.3 ***
0.018
Normal Superior
-8.5 ***
0.014
Direito
-9.1 ***
0.015
-16.3 ***
0.017
Ed. Física
-3.0
0.027
15.5 ***
0.031
Psicologia
-8.7 ***
0.025
-14.8 ***
0.031
1.3
0.019
0.015
Programa Universidade para Todos (ProUni)
Desempenho
Metodologia: Regressão com ponderação por
escore de propensão
Efeito médio do tratamento sobre os tratados
Programa Universidade para Todos (ProUni)
Desempenho
Concluintes
Obs.
Nota
% Média
Não Bolsista 37.379 97.6 41.89
Bolsista
Total
945
2.4 42.87
38.324 100 41.92
Ingressantes
Obs.
Nota
% Média
24.857 72.76 34.05
9.307 27.24 42.81
34.164
100 36.44
Programa Universidade para Todos (ProUni)
Desempenho
Concluintes
Ingressantes
impacto
erro
padrão
0.05
0.53
1.40 ***
0.28
Homem
-1.45
0.90
1.35 ***
0.40
Mulher
0.80
0.65
1.44 ***
0.30
Branco
0.16
1.00
1.07 ***
0.36
-0.01
0.67
1.73 ***
0.31
Total
Não Branco
impacto
erro
padrão
Programa Universidade para Todos (ProUni)
Considerações finais
A análise de desenho demonstrou que o programa, por
meio de seus critérios de elegibilidade, alcança o seu
público alvo.
Identificaram-se falhas no sistema de monitoramento e
acompanhamento do programa, dessa forma, foi
desenvolvido uma matriz de indicadores para o
programa.
Em geral, os impactos são positivos, e o programa está
cumprindo o objetivo de aumentar o acesso e a
permanência.
Programa Universidade para Todos (ProUni)
Links:
Prouni
http://siteprouni.mec.gov.br/
MEC/Prouni
http://portal.mec.gov.br/index.php?option=com_content&view=article
&id=205&Itemid=298
Inep
http://www.inep.gov.br/superior/censosuperior/sinopse/default.asp
TCU
http://portal2.tcu.gov.br/TCU
Programa Universidade para Todos (ProUni)
FIM
Obrigado pela Atenção!