Resultados da Avaliação Econômica
Jovens Urbanos 3ª edição
São Paulo
março/2010
1
Sumário
• Edições, pesquisas de campo e avaliações de impacto
• Resultados das avaliações de impacto da 3ª edição
– taxa de emprego e renda pessoal
– trajetória escolar e investimentos na formação
– indicadores culturais e problemas com a polícia
• Diferenciando os resultados de impacto da 3ª ed. em
dois tipos de tratamento: concluintes e não concluintes
do programa
2
Jovens Urbanos e a avaliação
3ª edição
(2007 – 2008)
480 jovens
participantes
(16 a 21 anos)
8 ONGs
Avaliações e
pesquisas de
campo
1ª avaliação
CURTO PRAZO:
maio/junho – 2009
589 entrevistas
válidas
Grajaú e Lajeado
Critério de renda
familiar per capita
para definição dos
participantes. Lista
espera = controle
3
Comparação jovens antes do programa nas duas edições
(2004 e 2007)
1a edição JU
controle
tratamento
idade*
20.37
19.95
renda familiar per capita (R$)
102.05
sig
sig
17.30
17.08
**
103.05
146.25
106.97
***
9.20
9.43
8.28
8.43
frequentava escola
67.2%
71.6%
51.4%
73.1%
renda pessoal (R$)
57.82
47.31
23.39
30.99
trabalhava
21.5%
15.5%
9.3%
9.4%
cor/branco
participou curso prof. ou
34.1%
31.9%
42.2%
33.9%
capacitação
16.1%
19.7%
14.3%
18.1%
4.9
5.0
4.6
5.0
escolaridade
n. pessoas na família
***
3a edição JU
lista espera tratamento
***
***
***
***
* idade de 2006 para a 1a edição
4
Impactos na taxa de emprego e
renda pessoal
5
Jovens Urbanos 3a ed.
Impacto na renda pessoal no curto prazo (2009)
Participantes X Lista de espera (controle)
R$114,4
impacto no
curto prazo
6
* Método de estimação do impacto: propensity score e regressão linear (duplo-robusto)
Jovens Urbanos 3a ed.
Impacto na taxa de emprego no curto prazo (2009)
Participantes X Lista de espera (controle)
16,9 pp
impacto no
curto prazo
7
* Método de estimação do impacto: propensity score e regressão linear (duplo-robusto)
Tipo de ocupação entre os que trabalham em 2009
(% nos grupos de tratamento e controle)
1ª edição JU
controle
1.7%
74.1%
15.5%
5.2%
0.0%
3.5%
empregador
empregado c/ carteira assinada
empregado s/ carteira assinada
conta própria
trabalho comunitário
não sabe/não respondeu
tratamento
0.5%
71.5%
16.9%
5.3%
0.5%
5.3%
Total
1.1%
72.7%
16.3%
5.3%
0.3%
4.5%
3ª edição JU
empregador
empregado c/ carteira assinada
empregado s/ carteira assinada
conta própria
Construção para uso próprio
trabalho comunitário
controle
9.5%
63.1%
26.2%
1.2%
0.0%
0.0%
tratamento
5.4%
68.1%
23.8%
1.1%
0.5%
1.1%
Total
6.7%
66.5%
24.5%
1.1%
0.4%
0.7%
8
Outros indicadores do mercado de trabalho em 2009
(% nos grupos de tratamento e controle)
1ª edição JU
ativos
emprego formal
tempo médio sem trabalhar (meses)
tempo médio que está trabalhando (meses)
horas semanais nos trab. Principal
nº trabalhos que teve no último ano
controle
85.0%
78.6%
4.1
10.6
25.8
1.1
tratamento
87.3%
76.4%
4.1
10.5
24.7
1.2
Total
86.3%
77.4%
4.1
10.5
25.2
1.2
3ª edição JU
ativos
emprego formal
tempo médio sem trabalhar (meses)
tempo médio que está trabalhando (meses)
horas semanais nos trab. Principal
nº trabalhos que teve no último ano
controle
78.8%
72.6%
4.8
4.6
19.1
1.0
tratamento
82.8%
74.7%
4.2
4.0
20.4
1.0
Total
81.4%
74.1%
4.4
4.2
19.9
1.0
9
Síntese (i)
• Resultados da avaliação de impacto da 3ª ed. JU no
curto prazo > impactos positivos e maiores na renda e
na probabilidade de emprego
• Outros indicadores do mercado de trabalho > não foram
encontrados impactos estatisticamente significativos nas
duas edições
10
Impactos na trajetória escolar e
investimentos na formação
11
Jovens Urbanos 3a ed.
Impacto na trajetória escolar dos jovens no curto prazo (2009)
• Impactos médios estatisticamente não significativos nas variáveis
de trajetória escolar formal
Participantes JU x controle (lista de espera)
Y=
% frequenta escola 2009 (pp)
Conclusão ensino médio (pp)
Anos de estudo
% freq. escolar entre os que concluíram ensino médio
% freq. escolar entre os que não concluíram ensino médio
% que não freq. escola e não concluiu ensino médio
% jovens que participa curso profissional ou capacitação (pp)
% participa ONG ou movimento social
% jovens que participa outro programa social além do JU (pp)
impacto (ATT)
-9.20
2.00
0.04
-5.25
-7.55
3.66
6.70
8.04
-5.81
significância
estatística
*
***
Não houve impacto na trajetória do ensino formal do jovem,
mas aumentou a participação em outros cursos e
movimentos ligados a sua formação geral.
* Método de estimação: propensity score e regressão linear (duplo-robusto)
*10% de significância; **5% de significância; ***1% de significância / pp = unidade em pontos percentuais
12
Jovens Urbanos 3a ed.
Características médias escolares ou formação geral de 2009
Participantes JU x lista de espera
% frequenta escola 2009 (pp)
Conclusão ensino médio (pp)
Anos de estudo
% freq. escolar entre os que concluíram ensino médio
% freq. escolar entre os que não concluíram ensino médio
% que não freq. escola e não concluiu ensino médio
% jovens que participa outro programa social além do JU (pp)
% jovens que participa curso profissional ou capacitação (pp)
% participa ONG ou movimento social
Participantes
25.8%
69.4%
10.3
9.2%
63.2%
11.3%
13.3%
14.9%
10.6%
Lista espera
22.1%
74.4%
10.4
10.9%
56.8%
11.2%
10.5%
11.6%
1.8%
13
Jovens Urbanos 3a ed.
Motivos de não frequentar escola (para quem não completou o médio)
• Situação dos participantes do programa em 2009: Entre os que não
completaram o ensino médio, 37% não frequentam escola
atualmente
• Motivos apontados:
trabalho
não conseguiu vaga
não teve interesse
não gosta de estudar
concluiu curso desejado
repetência
escola ruim
problemas pessoais
gravidez
Total
Freq.
16
7
4
2
2
2
1
1
1
36
%
44.4
19.4
11.1
5.6
5.6
5.6
2.8
2.8
2.8
100.0
Entre os participantes do JU, 11%
dos jovens têm filhos:
- 15,5% entre as mulheres
- 6,5% entre os homens
14
Jovens Urbanos 3a ed.
Motivos de não frequentar faculdade (ensino superior)
(para quem completou o médio)
• Situação dos participantes do programa em 2009: Entre os que
completaram o ensino médio, 91% não frequentam faculdade
atualmente (percentual pouco menor no grupo de controle = 87%)
• Motivos apontados:
problemas financeiros
trabalho
gravidez
não teve interesse
dificuldade de acompanhar conteúdo
não passou no vestibular
afazeres domésticos
concluiu curso desejado
preparando para o vestibular
distância
falta documentação
prioridade curso idioma
Total
Freq.
155
13
6
3
3
2
2
2
2
1
1
1
191
%
81.2
6.8
3.1
1.6
1.6
1.0
1.0
1.0
1.0
0.5
0.5
0.5
100.0
Entre os que frequentaram
o programa JU, 97%
responderam que acham
importante realizar um
curso superior
15
Impactos na trajetória escolar e
investimentos na formação
(diferenças entre os concluintes e não concluintes do
programa JU)
16
Jovens Urbanos 3a ed.
Impactos diferenciados por tipo de frequência ao programa
• Não concluintes do programa JU (evadidos) >> proporção de
jovens que não frequentou escola e não completou o ensino médio
é maior que no grupo de controle (9,9 pp *) – resultado não
encontrado entre os concluintes do programa.
• Concluintes do programa JU >> proporção de jovens que
frequentou curso profissionalizante ou de capacitação é maior 11,9
pp (***) do que no grupo de controle – resultado não significativo
entre os evadidos.
• Outras variáveis: a significância e sentido do impacto foram
semelhantes nos dois grupos na comparação com o grupo de
controle formado a partir da lista de espera.
17
Síntese (ii)
• O programa não provocou impacto positivo na frequência escolar,
conclusão do ensino médio e anos de estudos dos jovens (3ª
edição).
 3e edição:
• Jovens participantes apresentaram aumento na participação em
cursos profissionalizantes e capacitação profissional, assim como
maior participação em movimentos sociais ou ONGs.
• Diferenças nas estimativas de impacto considerando grupo de
concluintes e não concluintes do programa JU:
> entre os não concluintes, a proporção de jovens que não concluiu o ensino
médio e não frequenta escola é maior.
> maior participação em cursos profissionalizantes está entre os concluintes.
18
Impactos em indicadores culturais e
problemas com a polícia
19
Jovens Urbanos 3a ed.
Participantes x Lista de espera
• Curto prazo (2009)
– Impacto estatisticamente significativo no indicador de hábito de leitura
impacto (ATT)
Y=
% teve problemas com a polícia (pp)
-1.30
nº vezes foi ao cinema teatro (30 dias)
0.01
nº vezes leu jornal/revista/livro (30 dias)
7.77
significância
estatística
***
* Método de estimação: propensity score e regressão linear (duplo-robusto)
*10% de significância; **5% de significância; ***1% de significância
pp = unidade em pontos percentuais
Considerando separadamente os participantes concluintes e os não
concluintes do programa, o impacto positivo no hábito de leitura se
mantém nos dois grupos quando comparados ao grupo de controle
(lista de espera).
20
Lidando com a evasão durante o
programa
(diferenças na intensidade de participação)
21
Medida de evasão do programa
• Resposta do jovem: “Você concluiu o programa?”
101 - não
evadidos = 28%
38 - sim, mas não participei do projeto desenvolvido na comunidade
concluintes
217 - sim e participei do projeto desenvolvido na comunidade
10 - não responderam a questão
______________
366
jovens do grupo de tratamento (frequentaram o programa)
22
Medida de evasão do programa
• “Por que você deixou o programa?”
% dos casos
válidos
Freq.
Atraso da bolsa
Necessidades de trabalho
Afazeres domésticos
Não gostou do programa
Recebia bolsa/benefício público
outros
NR
Total
Total casos válidos
5
50
4
4
2
25
49 139
90
5,6
55,6
4,4
4,4
2,2
27,8
100
• Tempo médio (meses) de frequência ao programa dos jovens:
 Concluintes = 12 meses (144 respostas)
 Concluintes s/ projeto = 12 meses (21 respostas)
 Evadidos = 7 meses (35 respostas)
23
Lidando com a evasão: tratamentos heterogêneos
Controle
Tratamento
lista espera
185
participantes do programa
(independente da intensidade)
366
lista espera
185
participantes evadidos
101
impacto por grupo lista espera
185
participantes concluintes
255
101
participantes concluintes
255
impacto médio
participantes evadidos
24
Resultados das estimativas de impacto: diferenças na
participação
• Participantes Concluintes x Não Concluintes
Y=
renda pessoal mensal (R$)
prob. de trabalho (pp)
prob. ativos (trabalha ou proc. Emprego) (pp)
prob. Emprego formal (pp)
tempo (meses) que está trabalhando
% frequenta escola 2009 (pp)
Conclusão ensino médio (pp)
Anos de estudo
% teve problemas com a polícia (pp)
nº vezes foi ao cinema teatro (30 dias)
nº vezes leu jornal/revista/livro (30 dias)
% Jovens que acha que estudar é importante (pp)
% Jovens que acha que fazer ensino superior é importante (pp)
% jovens que participa outro programa social além do JU (pp)
% jovens que participa curso prof. ou capacitação (pp)
* Método de estimação: propensity score e regressão linear (duplo-robusto)
*10% de significância; **5% de significância; ***1% de significância
pp = unidade em pontos percentuais
impacto (ATT)
-21,94
3,00
8,20
-14,23
0,049
1,15
-0,10
0,032
0,300
0,158
2,19
0,40
2,11
1,28
13,32
significância
estatística
*
**
***
25
Resultados das estimativas de impacto: participante não
concluinte
• Participantes não concluinte (101) x Lista de espera (185)
Y=
renda pessoal mensal (R$)
prob. de trabalho (pp)
prob. ativos (trabalha ou proc. Emprego) (pp)
prob. Emprego formal (pp)
tempo (meses) que está trabalhando
% frequenta escola 2009 (pp)
Conclusão ensino médio (pp)
Anos de estudo
% teve problemas com a polícia (pp)
nº vezes foi ao cinema teatro (30 dias)
nº vezes leu jornal/revista/livro (30 dias)
% Jovens que acha que estudar é importante (pp)
% Jovens que acha que fazer ensino superior é importante (pp)
% jovens que participa outro programa social além do JU (pp)
% jovens que participa curso prof. ou capacitação (pp)
* Método de estimação: propensity score e regressão linear (duplo-robusto)
*10% de significância; **5% de significância; ***1% de significância
pp = unidade em pontos percentuais
impacto (ATT)
182,83
32,90
1,30
-13,10
2,84
-25,70
-4,00
0,15
-0,50
-0,27
3,15
-0,30
-0,90
-0,30
2,10
significância
estatística
***
***
**
***
*
26
Resultados das estimativas de impacto: participante concluinte
• Participantes Concluintes (255) x Lista de espera (185)
Y=
renda pessoal mensal (R$)
prob. de trabalho (pp)
prob. ativos (trabalha ou proc. Emprego) (pp)
prob. Emprego formal (pp)
tempo (meses) que está trabalhando
% frequenta escola 2009 (pp)
Conclusão ensino médio (pp)
Anos de estudo
% teve problemas com a polícia (pp)
nº vezes foi ao cinema teatro (30 dias)
nº vezes leu jornal/revista/livro (30 dias)
% Jovens que acha que estudar é importante (pp)
% Jovens que acha que fazer ensino superior é importante (pp)
% jovens que participa outro programa social além do JU (pp)
% jovens que participa curso prof. ou capacitação (pp)
* Método de estimação: propensity score e regressão linear (duplo-robusto)
*10% de significância; **5% de significância; ***1% de significância
pp = unidade em pontos percentuais
impacto (ATT)
138,77
26,0
-1,70
4,41
1,35
-17,84
1,44
0,10
-0,22
0,47
7,97
0,35
1,12
4,50
11,87
significância
estatística
***
***
**
***
***
27
Síntese (iii)
• Impactos positivos e significativos tanto entre os jovens
concluintes e como entre os não concluintes do
programa em:
– Renda
– Emprego
– Hábito de leitura
• Não há diferenças significativas entre os dois grupos de
tratamento
28
Anexo
29
Cadastro e regras de consistência
Cadastro Cenpec - inicial
Lista de espera
Tratamento
Evadidos (rotatividade)
Total
cadastro
Cenpec
Lista de espera
Tratamento
Total
Freq.
269
480
209
958
(-) 4 jovens participantes 4ª ed
(-) 192 jovens não entrevistados (20%)
(-) evadidos período rotatividade
(=) 598 casos válidos
resposta do jovem: frequentou o programa
não
sim
não respondeu
155
31
26
48
324
14
203
355
40
Controle (lista de espera)
Tratamento = composto pelas regras
Tratamento
de consistência de informação
total
Total
212
386
598
185
366
551
30
Regras de consistência
Problema
I
II
Regra de consistência
- caso de resposta para 'inscricao' + 'rec_bolsa' + 'ativid_1|2|3' >> resposta jovem
11
tratados
- caso de resposta para para 'rec_bolsa' + motivo que deixou o programa ou devolutiva de
consistência do cenpec >> considera resposta Cenpec (tratados e evadidos)
17
tratados e
evadidos
- 'inscricao' + 'rec_bolsa' + 'frequentou' = 0 >> resposta do jovem
4
controles
26
controles
14
tratados e
evadidos
III
- >> considera informaçao do Cenpec
casos
desconsiderados
47
31
Jovens Urbanos 3a ed.
Participação em programas sociais
•
Entre os participantes do programa 13% = 48 jovens responderam que
participam de algum programa social no último ano além do JU/Ação
Jovem
Agente Jovem
VAI
Ação Jovem
Criar
não lembra o nome projeto
Bolsa Família
Capacita Sampa
Peti
Prouni
Ação Nossa Sra. Fátima
Associação Moradores
AVIB
AVIL
CJ Recreativo Diversas
Fundação Jovem
Grupo Social Dom Bosco
OZEM
Projeto Carmin
Trilhas Urbanas
total
nº jovens
15
9
5
5
3
2
2
1
1
1
1
1
1
1
1
1
1
1
1
53
32