OUTROS TEMAS
IMPACTO DO
PROJETO JOVEM
DE FUTURO
RICARDO BARROS, MIRELA DE CARVALHO, SAMUEL
FRANCO, ANDREZZA ROSALÉM
RESUMO
Na última década ocorreram progressos significativos em todos os níveis
educacionais, sendo particularmente importantes os do ensino médio. O
Projeto Jovem de Futuro propõe inovar na forma como os serviços vêm
sendo ofertados para que a juventude atual possa se beneficiar de uma
educação de mais alta qualidade. O projeto garante recursos às escolas
atendidas, que exercem seu poder discricionário, a fim de superar as limitações mais prementes, e também oferece acesso a tecnologias/metodologias úteis para promover e estimular o aprendizado. Com a criação de um
amplo sistema de avaliação de impacto do projeto sobre o aprendizado dos
alunos foi possível obter vários resultados importantes, como por exemplo:
i) nas escolas beneficiadas os alunos aprenderam quase 60% mais que
os correspondentes alunos nas escolas de controle; ii) os resultados
obtidos revelaram uma relação custo-benefício extremamente favorável; e
iii) observou-se uma relação positiva entre o desempenho dos alunos e os
investimentos em práticas voltadas para aumentar o índice de frequência
dos professores.
PALAVRAS CHAVE:
ENSINO MÉDIO • RENDIMENTO ESCOLAR •
AVALIAÇÃO DA EDUCAÇÃO • PROJETO JOVEM DE FUTURO.
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
214
RESUMEN
En la última década ocurrieron progresos significativos en todos los niveles
educativos, siendo particularmente importantes los de la enseñanza
media. El Proyecto Joven del Futuro propone innovar en la forma como
los servicios vienen siendo ofrecidos para que la juventud actual pueda
beneficiarse con una educación de más alta calidad. El proyecto garantiza
recursos a las escuelas atendidas que ejercen su poder discrecional con el
fin de superar las limitaciones más apremiantes y también ofrece el acceso
a tecnologías/metodologías útiles para promover y estimular el aprendizaje. Con la creación de un amplio sistema de evaluación de impacto del
proyecto sobre el aprendizaje de los alumnos se obtuvieron varios resultados importantes, como por ejemplo: i) en las escuelas beneficiadas los
alumnos aprendieron casi un 60% más que los alumnos de las escuelas de
control; ii) los resultados obtenidos revelaron una relación costo-beneficio
extremadamente favorable; y iii) se observó una relación positiva entre el
desempeño de los alumnos y la inversión en prácticas para aumentar la
asistencia de los profesores.
PALABRAS CLAVE: ENSEÑANZA
MEDIA • RENDIMIENTO
ESCOLAR • EVALUACIÓN DE LA EDUCACIÓN • PROYECTO
JOVEN DEL FUTURO.
ABSTRACT
In the last decade significant progress has been made on all educational
levels, and of particular relevance are those concerning high school. The
Future Youth Project proposes to innovate in the way services are being
offered so that today’s youth can benefit from the highest quality education
possible. The project provides resources to those schools addressed, which
exercise their discretionary power to overcome their most pressing limitations, and also provides access to useful technologies/methodologies to
promote and encourage learning. By creating a comprehensive evaluation
system of the project’s impact on student learning, it was possible to obtain
several important results, such as: i) at the schools addressed students
learned almost 60% more than the corresponding students in control
schools; ii) the results revealed an extremely favorable cost-benefit ratio;
and iii) there seems to be a positive relation between student performance
and investment in increasing the attendance rate of teachers.
KEYWORDS: HIGH
SCHOOL • LEARNING ACHIEVEMENT •
EDUCATIONAL ASSESSMENT • FUTURE YOUTH PROJECT.
215
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
O PROGRESSO RECENTE
!
%
)
$
"
'
)
$
0
!
)
'
#
$
$
$
*
)
$
+
)
0
.
+
$
$
)
*
*
/
$
*
&
)
)
(
$
'
,
*
-
&
$
)
#
&
"
%
1
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
216
2
3
:
4
;
5
5
6
J
7
=
:
M
:
4
:
U
U
;
E
4
5
>
7
6
D
9
;
3
J
=
9
:
3
>
9
3
8
:
;
=
4
:
=
>
5
>
O
@
4
6
4
J
=
4
4
5
?
5
@
=
;
7
4
F
L
:
4
D
9
3
7
=
8
Y
;
5
3
D
=
;
J
6
:
A
4
8
>
;
8
3
3
9
6
4
B
D
3
=
R
4
t
5
4
4
3
9
;
p
A
@
p
L
F
v
N
;
>
D
6
:
9
9
;
F
;
O
>
5
F
>
8
?
4
3
>
8
=
4
;
8
?
3
3
3
=
;
;
=
9
:
>
4
5
D
J
;
;
5
:
9
>
;
9
:
9
5
J
;
?
4
W
4
=
=
K
F
A
>
3
8
5
9
;
4
>
5
;
O
r
4
4
F
5
7
:
b
F
4
9
;
6
9
F
;
>
W
>
9
9
P
4
>
;
>
9
E
:
=
8
=
=
W
9
=
J
4
J
9
8
:
5
4
J
=
7
9
4
>
:
3
9
=
N
4
3
8
>
4
>
6
5
3
F
F
5
:
J
5
4
;
>
;
4
4
7
8
>
4
D
8
F
s
>
5
5
=
P
4
:
=
;
4
I
8
F
9
8
?
o
4
W
L
;
m
9
;
>
4
=
>
5
;
=
n
M
:
9
:
;
>
4
4
;
4
=
L
;
J
_
>
;
8
5
6
9
5
>
J
F
:
>
m
9
;
9
;
9
l
7
9
>
8
8
8
8
=
W
4
;
4
L
@
5
:
>
7
9
:
7
5
9
9
5
4
3
9
?
4
J
P
J
3
k
F
3
>
;
4
5
9
3
9
j
9
;
F
F
J
5
;
8
F
9
;
O
A
>
7
5
5
7
P
4
8
4
5
4
4
9
9
;
i
5
:
;
4
;
h
4
F
4
F
g
Q
;
3
9
f
:
D
>
9
9
9
4
8
4
=
9
9
7
>
I
:
J
<
D
5
4
4
O
E
D
=
9
>
6
F
7
;
F
5
e
c
:
N
4
M
4
L
4
;
:
5
u
4
8
d
=
=
@
9
9
F
=
>
>
3
6
=
3
4
9
;
3
;
8
6
3
D
4
P
:
;
J
5
=
>
?
4
4
9
9
:
9
7
;
5
H
>
6
9
4
:
4
J
J
3
F
:
>
Y
>
8
G
T
:
3
=
>
=
6
9
8
J
;
;
S
3
5
J
@
:
4
L
;
4
9
J
;
7
3
;
;
J
6
K
>
5
3
<
:
=
4
F
F
4
<
=
F
6
4
J
:
F
;
8
>
9
9
4
F
>
9
;
:
4
O
5
=
:
@
>
;
7
8
;
:
T
D
4
J
>
G
;
3
3
>
6
A
>
=
T
N
9
u
;
;
=
7
9
9
4
J
9
;
J
=
>
=
4
R
5
:
E
3
9
=
4
;
6
4
=
?
9
=
:
9
F
5
9
Q
F
;
;
3
4
;
4
Z
F
:
9
J
=
6
=
3
E
>
6
=
;
4
Y
9
5
F
F
4
<
P
=
3
;
3
9
=
:
4
D
F
>
3
:
:
>
3
4
4
>
7
;
D
5
4
D
5
3
9
6
5
=
E
9
;
9
D
8
>
@
?
O
6
5
D
;
D
3
;
9
:
F
K
=
7
5
9
;
4
;
8
8
9
=
3
3
5
>
F
S
9
F
^
;
3
9
]
P
5
4
S
;
3
;
;
9
>
K
4
4
E
D
F
A
t
=
:
4
3
6
>
6
;
9
;
N
9
8
9
8
J
4
:
:
9
4
9
8
P
V
3
>
:
:
=
4
<
5
5
;
3
T
7
8
A
4
R
D
4
F
c
=
K
D
>
9
L
F
;
B
>
>
8
4
4
F
;
=
D
F
>
;
K
4
5
7
4
9
R
D
4
=
3
D
9
8
5
\
B
9
3
>
>
L
;
:
:
K
6
9
R
4
4
;
7
=
R
;
>
5
;
>
:
3
9
D
4
:
9
4
E
;
;
5
4
;
A
9
4
E
;
5
7
4
9
:
4
4
9
4
F
4
;
8
E
9
4
3
:
5
O
K
T
>
J
9
8
;
:
V
X
;
7
R
8
7
9
8
;
3
q
9
=
E
3
>
=
5
L
5
3
J
4
>
6
9
=
7
4
6
9
7
9
4
4
9
O
P
:
6
9
>
9
9
=
>
;
N
Q
6
;
:
>
9
=
4
9
3
8
J
A
9
9
9
4
F
8
N
>
6
:
F
3
V
@
6
9
;
6
9
F
>
Y
=
F
9
9
3
6
:
D
:
8
4
>
;
9
5
E
5
4
4
=
E
P
4
X
3
;
?
4
6
:
5
4
8
@
>
;
F
;
9
;
3
>
4
5
;
8
9
4
R
4
3
=
L
3
>
F
:
7
D
7
9
;
4
9
A
D
3
J
8
5
F
;
6
P
3
6
;
;
N
;
9
4
@
3
4
5
5
3
>
5
F
F
9
8
;
9
4
8
>
K
>
F
@
4
R
8
6
3
4
:
3
=
>
9
:
D
7
8
;
^
5
F
F
]
4
9
>
D
9
;
4
J
A
6
>
:
4
p
3
9
9
;
F
F
9
>
4
9
4
J
4
;
3
V
:
4
7
=
9
;
F
J
3
C
J
9
>
9
;
;
;
=
>
A
;
4
E
F
G
a
3
;
B
F
:
5
K
L
P
F
O
6
9
:
3
=
>
<
:
9
F
5
9
;
9
5
;
4
5
N
>
J
;
;
\
=
J
=
7
K
4
8
;
:
9
3
A
:
B
>
9
>
?
E
Q
5
4
9
F
6
F
4
3
P
9
;
<
;
8
F
=
J
;
;
8
3
9
9
9
;
4
P
7
A
K
D
>
>
>
4
J
;
4
J
=
?
=
4
;
5
:
F
?
8
4
>
9
J
4
>
5
?
4
F
4
5
6
4
F
;
F
Y
@
J
;
3
3
5
5
>
4
>
4
4
8
9
7
4
:
J
8
O
`
8
9
9
;
>
3
4
3
5
6
9
;
;
:
@
:
=
K
9
?
>
<
4
:
7
=
9
>
=
;
J
9
9
5
S
W
>
5
9
5
4
=
4
3
=
[
5
;
>
3
<
:
;
4
?
>
K
5
O
E
5
;
:
;
7
;
F
:
9
4
5
4
9
4
F
;
N
8
5
=
B
;
]
A
^
L
O PROJETO “JOVEM DE FUTURO”
a
;
P
3
9
@
5
4
8
4
;
?
5
=
R
4
3
217
5
6
5
6
8
4
T
9
:
6
5
4
4
5
9
>
5
=
K
J
=
7
9
>
:
;
<
;
4
E
3
9
=
8
9
R
5
9
9
5
5
4
:
2
3
8
9
a
E
3
9
R
U
4
9
>
;
z
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
x
>
;
5
8
4
F
;
3
5
:
<
6
=
4
7
8
9
4
6
6
8
6
9
6
9
;
=
=
;
9
D
4
9
:
5
7
8
6
9
;
3
>
5
3
9
>
8
:
;
V
4
9
7
D
=
:
4
;
3
3
J
=
:
F
;
E
6
@
;
7
J
4
9
8
9
9
>
J
y
E
:
J
E
9
F
;
4
A
U
=
:
9
;
3
9
F
K
9
<
8
9
F
4
5
:
4
9
E
>
=
6
4
5
=
8
@
:
4
;
5
4
9
;
w
8
3
F
;
7
K
R
4
4
F
a
9
;
:
;
;
L
J
;
F
=
J
6
>
4
:
;
<
=
8
?
:
4
L
;
F
=
;
F
;
4
O
7
:
9
8
:
w
5
7
4
>
F
5
9
E
;
6
Q
P
Y
D
4
4
4
9
>
5
>
:
4
3
4
4
5
3
;
=
8
3
6
;
4
;
9
@
5
:
F
N
7
:
9
R
T
3
<
;
9
8
9
4
8
:
J
4
>
>
9
6
:
4
F
J
N
4
:
3
F
P
F
E
F
8
4
9
4
>
5
5
:
4
9
4
=
9
F
4
E
Q
>
;
8
6
4
5
<
;
>
U
6
D
4
9
9
@
E
6
7
4
4
A
3
w
W
4
{
~
}
}
~
|
~
}
|
}
~
~
~
|
~
~
~
~
|
~
~
}
~
}
}
~
~
~
~
~
~
~
~
~
~
}
|
~
~
~
}
|
¢
~
¤
~
~
~
~
}
}
~
~
}
~
~
}
}
|
~
}
~
~
}
|
~
~
~
}
~
}
|
}
~
}
~
|
~
~
}
|
}
~
}
|
}
~
}
}
|
}
}
~
}
|
}
|
}
|
}
~
}
~
~
~
|
¡
~
~
~
|
|
~
}
|
~
~
}
}
~
|
}
~
~
~
}
}
~
~
}
}
~
}
~
}
£
~
}
}
}
}
~
}
~
~
~
|
~
~
}
}
~
}
}
~
}
~
|
¢
~
~
~
~
~
}
~
}
~
~
~
}
~
}
~
~
}
}
~
~
~
~
{
}
~
}
~
~
|
}
}
|
~
|
}
~
|
}
~
~
}
~
|
~
~
~
}
~
~
~
~
~
}
~
}
|
~
~
~
~
~
|
}
}
~
~
|
|
}
¡
}
}
|
|
}
~
}
~
}
~
}
}
|
|
}
|
~
~
~
}
~
}
|
}
|
|
~
~
~
~
~
~
~
|
~
}
~
~
~
~
}
|
}
~
}
|
~
|
}
}
~
}
~
~
~
{
~
|
|
|
}
}
}
~
}
~
~
~
}
~
}
}
|
~
~
}
~
|
~
}
~
~
|
~
~
~
}
~
~
}
~
~
|
}
}
~
}
~
}
}
~
~
}
~
}
|
}
|
~
}
}
~
~
~
}
~
}
~
|
RESULTADOS DA AVALIAÇÃO DE IMPACTO DO PROGRAMA
¥
~
|
~
~
{
~
~
~
|
~
|
|
}
}
|
|
|
}
¡
~
}
|
~
|
~
~
|
~
}
~
~
}
}
~
}
|
~
~
}
~
}
|
~
}
|
|
~
~
}
}
~
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
~
218
¦
§
¨
©
ª
¦
«
«
¬
©
¶
¬
ª
·
ª
«
²
®
¦
ª
§
¦
«
³
¯
©
®
¨
§
¬
¨
°
¸
°
¬
¦
ª
«
©
©
¬
«
«
«
±
²
¦
¦
·
²
¦
¦
«
¬
³
©
±
¬
²
¬
«
«
¬
¬
´
¦
²
±
³
®
³
´
¦
²
µ
¹
º
©
¬
«
±
ª
®
ª
°
¦
®
ª
§
«
©
¾
¶
¦
¦
¨
±
«
¬
®
Á
±
«
³
§
³
®
³
³
ª
·
©
¬
®
®
¬
¦
«
²
«
©
»
¬
¦
¬
¼
§
³
´
«
«
¦
ª
¦
¬
°
³
§
²
¦
«
¦
¬
±
»
°
±
²
ª
¬
ª
±
µ
«
°
·
¦
±
«
¬
«
´
®
¬
¨
¦
¬
¦
©
¯
¦
°
´
¦
«
³
¬
´
¦
®
³
©
®
·
®
³
¶
²
¬
³
´
³
±
¦
²
¦
¬
±
³
·
«
²
ª
¬
¬
Á
©
¦
°
°
¦
³
²
±
²
»
«
¦
³
¦
ª
°
§
¬
«
³
²
¦
²
³
Â
°
±
¬
³
´
¬
«
«
§
¬
ª
«
¬
¦
¶
¦
²
¦
²
¦
ª
©
´
¦
°
ª
¬
¦
²
½
·
²
ª
¬
±
¦
¦
®
«
¬
¦
¦
§
´
³
«
ª
¦
²
¦
¬
¹
°
«
©
µ
¿
¬
¶
¦
¾
«
«
¬
±
²
¦
ª
²
¦
³
¦
ª
¦
³
²
³
µ
°
¦
¦
¾
²
ª
´
¦
ª
ª
»
³
²
©
²
©
®
¦
³
´
¬
±
´
±
ª
´
´
®
©
¦
©
©
À
¦
±
«
¬
«
¹
º
©
±
²
Å
°
¬
±
¬
³
±
¦
®
Ã
©
±
¦
Ç
®
ª
ª
¦
µ
®
È
ª
ª
É
ª
¬
´
ª
²
©
§
±
ª
¸
¬
Á
©
«
¾
©
¬
§
¨
¦
¦
¦
¦
¬
±
´
«
®
ª
¦
¦
²
§
¼
±
¬
¨
¦
§
¾
Ê
¦
Ã
¨
¦
¬
¬
«
¼
µ
¦
¦
«
µ
¨
´
¦
´
²
´
ª
½
¬
²
·
«
³
³
®
°
ª
³
ª
²
Ä
³
©
©
«
¦
®
¦
«
³
¦
©
¬
±
ª
«
¦
«
®
ª
©
©
§
±
ª
ª
¦
¬
´
«
²
¼
¬
ª
¾
©
²
¬
¦
¦
·
±
³
®
¬
¦
³
¦
À
µ
°
Æ
¦
«
¹
º
«
³
§
«
´
Æ
«
²
Ê
¦
¨
±
ª
¦
·
¬
®
ª
°
¦
¨
²
¦
³
®
¼
³
«
µ
®
¦
³
³
¦
²
©
ª
¬
¾
Ä
¦
ª
³
²
®
ª
§
³
·
±
³
³
¬
Á
³
¦
°
¦
¦
¬
³
²
²
«
¦
¦
¦
°
°
³
´
ª
ª
±
È
©
±
²
ª
³
«
«
³
¬
³
³
³
¬
«
¬
¹
§
²
«
³
¦
¦
¬
¦
ª
ª
ª
·
³
©
¦
§
´
¬
°
²
¾
¦
È
µ
®
²
¬
¬
¬
«
¦
©
²
¬
¼
ª
¬
¦
ª
«
¦
·
§
©
®
§
©
Ì
«
ª
ª
ª
ª
ª
³
®
¿
±
±
°
«
¹
²
©
Æ
«
¦
Ë
¦
¬
´
ª
©
°
²
°
É
©
¦
¾
«
Í
Å
Á
ª
¦
¦
Ñ
¬
²
°
©
Ð
´
¦
¬
¬
«
ª
®
¦
ª
±
¦
°
·
®
°
©
ª
¬
±
¦
³
©
Å
Æ
ª
°
¬
«
©
Æ
¼
¬
Î
¦
¶
¦
«
ª
±
©
¦
ª
Ó
®
«
§
Ï
Ò
§
¦
¬
´
ª
¬
©
³
®
«
·
Æ
³
¬
ª
ª
«
ª
«
©
Î
³
¦
¦
¨
ª
Ã
®
Á
©
§
°
©
³
µ
¦
¦
Ä
±
Ã
«
°
®
¦
ª
ª
ª
³
®
°
¬
¸
«
·
¦
«
©
´
Å
Î
¦
§
¦
·
¦
°
³
®
«
¦
ª
³
Æ
¦
²
À
³
¬
º
®
ª
©
¦
®
¾
ª
²
¦
¬
¦
¬
²
²
°
´
«
¬
²
«
«
°
ª
´
§
ª
¦
¬
¦
®
·
«
¦
«
©
ª
¦
¦
°
³
¬
«
¦
ª
¼
³
©
©
¬
³
¦
§
¾
©
¸
¬
±
³
¬
·
«
¦
§
´
³
±
³
®
¦
²
©
®
³
ª
³
°
¨
©
¦
¨
°
¦
«
¦
¬
Ã
«
ª
²
°
¦
¦
«
«
¦
¦
Î
ª
©
¬
µ
«
±
§
¬
¬
Ë
Æ
¦
«
ª
²
±
¬
¹
©
®
±
ª
«
ª
ª
Å
²
³
¨
§
³
¦
®
Ì
«
«
¾
§
²
«
²
¬
¬
¬
¬
´
°
¦
§
±
¦
©
®
¸
²
¬
ª
©
¬
¬
¨
Ö
¨
¬
©
¾
¬
«
°
±
²
²
ª
¦
´
¬
§
§
¦
°
ª
§
¹
²
×
«
Ç
¬
ª
ª
±
¦
Ó
Õ
±
³
¨
ª
Â
°
¬
ª
³
¦
«
©
®
¦
´
¨
³
©
¾
²
³
Ô
®
¦
±
±
¬
¬
¦
³
¯
«
¯
ª
±
°
¦
¨
ª
¨
¬
¬
ª
´
¼
²
Æ
«
ª
À
¹
TABELA 1 – Estimativas de impacto do Projeto Jovem de Futuro
considerando a nota média das escolas nas avaliações de Língua
Portuguesa e de Matemática: Porto Alegre e Belo Horizonte, 2008 e 2009
IMPACTO
PROGRESSO
COMO
NA AUSÊNCIA
P-VALOR DO PROGRAMA PORCENTAGEM
(%)
DO
(PONTOS NA
PROGRESSO
ESCALA SAEB)
IMPACTO
(PONTOS
NA ESCALA
SAEB)
ERRO-PADRÃO
(PONTOS NA
ESCALA SAEB)
Porto Alegre
Português
Matemática
16
6
1
46
34
17
5
0
30
55
Belo Horizonte
Português
Matemática
19
2
0
21
91
17
2
0
32
52
AVALIAÇÕES
Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa
Jovem de Futuro do Instituto Unibanco aplicadas pela Cesgranrio em Porto Alegre e pelo
CAED em Belo Horizonte, 2008 e 2009.
Notas:
(1) O impacto foi definido pela diferença do progresso (Somativa - Diagnóstica) das notas
médias das escolas de Tratamento e Controle.
(2) O progresso que teria ocorrido na ausência do Programa foi definido pelo progresso
(Somativa - Diagnóstica) nas notas médias das escolas de Controle.
(3) Considerou-se como universo todos os alunos que fizeram as avaliações Diagnóstica
ou Somativa entre as escolas da amostra.
219
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
GRÁFICO 1 – Evolução da proficiência em matemática: Porto Alegre,
avaliações Diagnóstica 2008 e Somativa 2009
Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem
de Futuro do Instituto Unibanco aplicadas pela Cesgranrio em Porto Alegre, 2008 e 2009.
RELAÇÃO CUSTO-BENEFÍCIO
Ø
Ù
Ü
Ú
ê
Û
Ü
à
é
ã
Ù
Ü
Ù
Û
à
Þ
è
Û
ì
Ü
ÿ
Ù
Ü
â
ý
â
à
Ù
ã
à
Ú
ã
Ø
Ù
Ý
ÿ
ë
Û
ä
Ù
à
Ú
Ù
Ú
é
Ú
á
æ
ß
Ù
á
è
ì
Þ
ì
ã
è
ã
Ù
Û
Û
á
Ù
ñ
ñ
Ü
Ý
à
ß
ß
à
é
ñ
á
Ý
Ù
ß
ò
Þ
ì
Ú
ò
ò
ì
ê
Ú
á
á
é
á
ì
á
Ü
Û
Ü
ã
ê
Ù
Þ
Ü
Û
ç
æ
ß
è
à
Ù
Ü
æ
Ø
ì
Ú
Û
ô
á
ð
â
Ù
ê
à
á
ä
à
ñ
á
æ
ß
Ú
ò
ê
ò
á
à
Ù
ü
ø
ù
Ù
ð
è
Ú
è
Ü
Ù
à
á
Û
ð
è
á
ã
Ù
æ
ê
Ù
ð
Ü
ò
à
Ü
ß
è
Ù
é
ì
Ú
ã
Ù
û
ß
Ü
á
à
Û
á
ÿ
ß
á
á
Þ
ð
Ü
è
ö
ã
Ü
Û
Ú
ò
Ü
Ý
Ü
è
ã
Ü
Þ
Ù
á
ã
é
á
Ù
é
è
è
Ü
Û
Ú
é
Ú
å
Ù
á
á
ß
Ù
Ü
ú
à
è
ß
è
â
Ù
Ü
Ý
Û
ð
è
Ù
Ú
Ü
Ý
é
à
â
Ü
Ù
à
Ü
Ù
à
á
ú
Ü
Û
Þ
à
ã
ã
Ü
ã
à
ô
ê
é
à
Þ
è
ß
á
ä
á
á
ã
ê
á
ø
ú
ú
á
à
ü
Ü
û
Ü
Þ
ê
é
é
á
Ø
Ü
Ü
ã
é
Ù
Û
Ù
è
Ü
é
Û
ß
ã
Ù
Ù
è
Ü
Ú
Ù
á
Û
Ù
Û
Ù
è
æ
ã
à
Ù
à
á
á
Ý
è
Ù
Þ
ê
è
ß
Ü
á
è
Ü
Ü
Ü
è
ò
à
í
à
Û
Ü
á
Ü
á
Ù
ê
Ü
ï
é
ã
é
î
Ü
Ù
Ù
á
à
é
Ú
à
á
æ
Ü
á
à
á
å
à
ú
è
á
à
ò
á
ä
Û
á
Ù
Ù
ì
á
Û
ê
à
è
Ù
è
â
Ù
Þ
ã
Ü
Ú
í
á
á
à
ê
Ù
Ù
Ù
Ü
Ú
é
ã
Ú
á
á
è
ê
é
à
á
Ù
ê
Ù
á
Û
Ú
Ý
é
à
á
à
Ù
é
ã
ã
á
à
Û
â
Û
Ú
á
à
ê
á
Ù
Þ
Û
è
Ù
ã
á
à
á
ß
à
Ù
è
á
à
Ù
é
á
è
Ú
Ü
â
ì
Û
à
è
Ú
à
Ü
Ú
Ü
Û
Ù
á
Ù
æ
æ
ß
Ù
Ù
ö
ã
é
ë
Þ
Ü
Ü
Ü
Ý
Û
Þ
Ù
õ
ê
ì
ã
ß
Ü
á
Û
ê
é
è
é
Ú
ê
è
Ü
Ü
Þ
é
Ú
ß
â
Ù
ò
Ü
à
Ü
Ù
á
ß
Ü
á
Ü
ì
Ü
æ
é
Ü
à
Ý
é
é
á
Ù
ã
è
Ü
ì
á
å
ß
æ
Ü
á
ã
Ý
æ
Ü
Û
à
Û
á
Û
é
Ú
è
á
ß
ß
á
ß
Ú
é
ß
ã
Ü
æ
Ù
Û
Û
Ú
à
Ù
ß
á
á
è
à
á
Ü
Û
Ü
æ
Ù
Ü
Û
à
Ú
á
à
Ú
é
è
ç
ì
Ú
Ù
é
ÿ
á
Ú
ß
Ù
è
Ü
Ü
à
Ü
ì
Ù
Û
Ú
ß
Ü
é
Ü
á
Ú
á
è
ö
Ù
á
æ
ã
Þ
Ú
þ
ý
ç
á
é
Ü
á
ã
æ
á
ß
î
ß
Ü
ã
ã
ï
à
ù
è
ß
Ù
æ
ß
Ú
î
à
Ù
ä
ï
á
à
é
ä
î
ø
ñ
î
è
Ü
à
î
ê
Û
Þ
á
Ü
á
ã
Ú
ã
Ù
ß
Ü
ü
Þ
Ú
á
ù
Û
Ú
á
ñ
Ü
è
è
æ
á
â
á
Ü
æ
Ü
é
ö
ß
Ù
Ú
à
Û
ô
Þ
ì
á
Ù
÷
ê
à
Ü
Û
Ù
Ü
à
Ü
Ú
è
â
Ü
à
Ü
é
Ü
æ
é
ß
ì
Ø
à
é
ì
Ü
Û
ò
á
á
Û
ê
å
ã
Ù
ã
Ù
Ù
ô
Ù
á
é
Û
è
ü
ã
Ù
Ù
Ú
Ù
ó
â
ß
Ù
Û
Þ
ã
Ü
Ü
ò
Ü
á
Û
ø
Ù
Ú
Ú
Û
ã
ò
Þ
û
á
Ú
á
Ù
Ù
ß
ì
÷
æ
á
æ
ê
á
á
é
ô
Ù
å
å
æ
ò
é
Û
ä
Ú
é
Ú
ã
Ù
Ù
Ù
ó
á
à
à
è
Û
ß
á
ê
Ú
ò
Ù
ú
è
é
ß
Ú
ã
ò
ã
á
á
ã
å
Ú
Ü
Ù
ä
à
é
Ù
é
ö
á
á
ö
Ü
á
Þ
ê
ß
â
à
é
Ü
á
Ú
Ü
â
à
Ú
Ù
ø
Þ
à
Ù
á
å
à
Ù
Ü
é
Ü
î
ã
ñ
Ù
Ù
á
ê
Ü
ã
Ü
è
Þ
á
à
Û
â
ê
÷
Ü
Ü
Ú
Ü
á
ß
á
ê
Þ
Û
Ù
Ù
Ù
ì
ó
Ù
Ù
Û
Ù
á
è
ã
à
è
ã
ß
Û
á
á
Ú
Ù
æ
é
Û
Ú
Ú
á
á
é
Ü
à
ö
é
à
á
ã
è
ß
Ü
è
Ù
ã
Þ
Ú
Ù
ä
Û
Ü
Ù
ß
Ü
Ü
å
â
à
Þ
ë
é
è
é
Ü
á
Ü
ß
ñ
ã
á
Ý
è
í
à
ã
Ü
Ù
ò
ì
ã
Ù
á
Ü
Û
Ú
á
ò
î
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
220
TABELA 2 – Avaliação ex-ante do impacto mínimo necessário para
uma relação custo-benefício favorável: Porto Alegre, trabalhador
com educação média completa
TAXA DE
EMPREGO
(%)
ETNIA
GÊNERO
10
10
70
171
2.565
15
15
34
83
1.245
10
10
42
103
1.545
15
15
20
50
0.750
Homem Branco
Negra
Mulher
BENEFÍCIO
BENEFÍCIO
POR UNIDADE CONSIDERANDO
DE IMPACTO
IMPACTO DE
(R$/PONTOS 15 PONTOS NA
NA ESCALA
ESCALA SAEB
SAEB)
(R$ MIL)
VALOR
TAXA DE
PRESENTE DA
DESCONTO
RENDA DO
INTERTEMPORAL
TRABALHO
(%)
(%)
Fonte: Estimativas obtidas com base na Pesquisa Nacional por Amostra de Domicílios
(PNAD) de 2008 e no Sistema de Avaliação da Educação Básica (Saeb) de 2005.
3
4
4
!
1
2
!
!
#
)
0
'
=
221
.
%
6
7
'
.
-
#
#
'
,
%
#
"
,
%
!
-
$
/
%
#
%
-
#
!
%
.
!
*
#
%
%
;
!
"
-
!
%
#
/
%
/
/
-
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
,
#
$
#
-
#
#
"
!
.
<
"
-
)
#
#
/
4
-
#
/
#
3
)
)
#
%
%
,
'
:
7
#
!
%
%
>
-
"
!
#
%
-
!
!
-
%
-
%
!
!
(
#
!
)
!
%
6
8
,
$
,
#
!
)
%
/
4
#
!
&
#
$
$
%
%
,
%
0
#
+
(
*
"
,
#
9
'
#
#
#
#
!
4
2
5
'
"
!
#
-
/
!
,
(
)
'
#
#
.
?
R
B
O
O
B
B
I
]
B
K
L
_
A
N
J
B
@
[
B
I
L
O
C
B
]
S
@
N
D
E
@
I
L
B
B
H
J
]
@
F
R
B
I
@
W
C
G
B
F
R
N
D
B
B
B
B
O
L
H
O
I
G
N
J
@
L
A
C
A
K
F
@
N
@
I
L
R
B
G
I
@
D
\
L
B
L
D
W
M
T
N
L
@
U
L
F
N
V
A
L
B
E
I
T
\
O
L
G
`
F
I
D
O
W
a
P
I
B
L
W
A
J
I
L
A
R
F
X
@
B
L
Y
@
O
@
L
@
G
G
W
F
N
G
D
O
L
a
J
A
@
O
@
N
A
B
R
@
Z
G
P
@
L
B
W
Q
L
F
L
B
[
R
[
@
\
O
B
G
O
J
@
B
^
b
IMPACTO DISTRIBUTIVO
c
N
A
A
@
[
N
L
I
@
L
A
B
J
O
k
L
B
F
S
L
M
L
R
G
J
B
P
B
@
L
N
L
k
A
J
K
L
Q
B
W
A
R
L
B
I
I
J
B
O
L
R
@
D
W
O
O
K
B
O
A
L
L
I
R
J
B
O
W
@
W
I
@
@
B
D
d
H
F
O
]
@
@
_
M
B
B
W
O
P
C
C
A
L
J
D
D
R
B
B
@
i
O
@
J
E
G
F
B
J
J
F
L
[
G
A
I
G
O
W
R
O
N
J
I
K
L
W
B
W
A
L
G
N
A
B
L
I
@
I
F
B
@
F
A
I
R
A
@
@
B
E
K
B
F
I
Y
J
I
@
R
I
L
@
d
B
N
@
G
U
Z
@
L
A
O
J
G
K
@
h
B
O
F
@
S
Z
L
A
J
L
W
L
@
N
L
B
G
G
F
B
I
F
O
K
L
L
R
J
L
l
F
K
@
[
F
T
B
V
L
@
O
B
I
g
L
I
A
@
a
K
K
F
@
K
@
L
@
[
@
V
B
K
O
K
l
P
T
N
D
j
@
T
@
G
B
O
B
M
S
R
@
R
@
L
B
A
J
B
B
L
G
@
N
K
L
K
O
V
Q
B
J
N
@
j
B
J
J
F
R
F
@
D
@
@
J
E
W
O
A
R
L
L
@
G
@
W
O
B
L
J
F
]
B
I
K
R
B
I
P
N
F
B
L
g
J
O
J
K
G
L
K
B
N
J
W
B
B
O
B
F
B
A
D
c
L
B
J
P
F
C
b
B
@
A
B
B
@
R
M
A
N
P
W
O
F
I
L
L
B
@
F
B
E
b
F
L
O
O
B
J
J
I
@
G
D
L
A
O
O
C
W
@
J
L
e
N
F
F
@
O
I
B
b
O
@
J
L
O
J
[
B
O
F
N
F
R
J
@
L
V
E
B
J
L
G
I
j
P
L
L
@
i
O
N
I
L
f
O
B
[
K
@
@
O
O
N
R
N
O
R
@
N
@
O
B
R
W
B
M
@
I
b
m
J
I
B
O
A
[
R
X
G
I
L
B
I
F
@
J
B
G
h
@
J
F
L
B
O
D
B
J
F
I
@
O
_
L
J
@
K
@
J
D
L
K
E
R
S
N
@
W
A
@
A
L
G
L
D
E
L
O
F
A
R
I
@
[
@
J
A
A
B
I
L
F
F
n
A
[
B
B
b
@
F
G
N
@
K
@
F
L
A
B
Y
@
A
J
N
K
D
B
N
d
R
D
I
C
L
F
B
@
C
W
O
I
B
R
B
B
F
A
K
L
I
@
A
W
K
Y
@
B
N
I
L
G
G
K
B
h
L
E
F
@
A
B
L
@
N
E
@
[
I
J
J
O
D
L
D
L
@
C
\
R
J
B
O
P
B
B
I
J
Q
I
O
G
@
L
R
B
F
L
O
O
L
B
J
B
L
I
L
S
F
L
[
J
@
B
K
I
W
N
D
@
K
L
L
G
@
I
N
N
O
R
P
G
B
B
B
I
J
]
N
W
A
B
L
D
L
I
F
F
@
J
A
G
P
M
G
F
I
B
L
J
J
G
A
B
B
J
R
B
B
I
R
[
R
R
L
a
@
O
@
K
N
N
K
G
@
F
B
N
O
Y
@
E
B
O
@
B
B
B
L
A
d
D
O
O
J
B
O
L
B
W
R
Z
B
b
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
222
223
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
3
3
13
5
16
13
4
10
Erropadrão
(pontos
na escala
Saeb)
1
1
0
1
p-valor
(%)
33
24
29
42
progresso
na ausência
do
programa
(pontos
na escala
Saeb)
38
53
56
25
impacto
como
porcentagem
do progresso
4
3
19
7
14
8
11
Erropadrão
(pontos
na escala
Saeb)
19
Impacto
(pontos
na escala
Saeb)
0
103
48
18
30
44
impacto
como
porcentagem
do progresso
30
36
1
44
1
7
p-valor
(%)
progresso
na ausência
do
programa
(pontos
na escala
Saeb)
MÉDIA ENTRE OS 25% PIORES
Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco aplicadas pela Cesgranrio em Porto Alegre
e pelo CAED em Belo Horizonte, 2008 e 2009.
Notas:
(1) O impacto foi definido pela diferença do progresso (Somativa - Diagnóstica) das notas médias das escolas de Tratamento e Controle.
(2) O progresso que teria ocorrido na ausência do Programa foi definido pelo progresso (Somativa - Diagnóstica) nas notas médias das escolas de Controle.
(3) Considerou-se como universo todos os alunos que fizeram as avaliações Diagnóstica ou Somativa entre as escolas da amostra.
Belo Horizonte
Português
Matemática
Porto Alegre
Português
Matemática
Avaliações
Impacto
(pontos
na escala
Saeb)
MÉDIA ENTRE OS 25% MELHORES
TABELA 3 – Estimativas de impacto do Projeto Jovem de Futuro considerando a nota média entre os inicialmente melhores e os piores alunos
das escolas nas avaliações de Língua Portuguesa e de Matemática: Porto Alegre e Belo Horizonte, 2008 e 2009
FATORES DETERMINANTES DO IMPACTO
o
p
q
p
r
t
u
p
p
p
s
|
t
p
q
v
u
t
p
w
v
w
}
r
r
p
x
t
t
q
p
y
z
r
{
{
t
v
p
v
x
s
y
z
p
t
z
q
r
|
t
~
y
w
p
}
p
r
y
~
x
v
p
v
t
{
v
t
x
s
r
r
x
q
z
r
p
r
y
z
t
t
u
{
t
v
r
z
r
v
y
p
v
{
t
t
r
s
u
t
p
z
p
y
{
r
s
t
{
p
q
x
t
v
p
{
p
~
r
u
t
q
t
r
t
t
{
s
p
{
q
v
r
p
|
{
t
t
q
z
p
p
r
t
p
r
p
q
q
p
p
y
p
z
r
z
v
v
t
q
q
x
s
r
z
v
y
t
p
v
x
{
t
{
t
y
q
z
r
s
|
t
q
t
{
r
t
u
t
v
r
z
q
r
t
q
x
{
p
p
{
{
v
t
u
{
t
q
t
t
y
t
p
|
p
v
p
w
}
r
x
p
|
p
q
v
p
v
v
{
p
{
t
t
z
q
t
x
p
x
t
y
z
t
z
v
s
x
p
p
q
p
x
p
p
v
v
r
{
t
q
t
y
u
z
t
v
z
v
u
v
|
v
p
{
w
p
}
r
{
{
t
r
r
x
s
r
y
t
y
z
t
x
p
v
v
x
s
r
q
z
p
y
z
t
p
r
x
t
y
r
t
x
{
p
{
v
x
t
y
t
t
v
z
t
r
y
v
{
t
q
|
t
t
s
z
r
t
q
q
r
p
t
y
t
y
v
r
{
y
p
{
p
t
t
t
{
t
y
z
q
t
y
z
p
q
w
t
}
t
r
x
r
{
p
v
p
t
p
|
p
{
v
r
q
z
{
q
v
z
v
|
v
{
p
{
t
v
p
p
z
w
}
q
p
r
y
{
r
u
t
q
q
t
y
r
x
r
r
|
r
x
t
{
t
z
q
p
y
v
q
p
r
u
t
q
y
v
p
p
p
{
p
t
r
p
s
q
r
s
r
q
v
r
y
p
x
p
z
q
p
y
p
t
r
p
p
v
y
p
x
p
z
q
1 O desenho do programa nas
novas praças para onde se
expandiu (escolas na região
metropolitana de São Paulo e
na Região do Vale do Paraíba)
foi alterado. Atualmente,
o valor total de recursos
destinados a cada escola
depende do número de alunos
no ensino médio, apenas.
p
y
r
t
y
v
y
r
u
y
s
v
r
~
{
p
y
t
z
|
p
z
p
x
x
t
y
z
p
t
r
p
z
r
q
v
x
p
x
p
v
r
q
t
q
p
u
q
r
p
x
w
p
}
w
r
{
t
p
{
x
v
p
q
z
t
q
v
r
y
p
{
p
{
p
p
p
t
r
t
~
r
y
t
p
v
x
s
y
y
r
{
p
x
p
t
v
x
y
t
y
z
p
~
x
p
v
r
q
{
t
|
t
q
t
q
p
{
{
v
p
r
w
~
}
r
z
q
p
y
u
t
q
y
v
p
s
r
q
p
y
r
y
r
t
y
v
y
r
x
{
v
r
v
x
~
t
r
|
r
x
t
{
t
q
t
q
z
t
{
q
t
t
z
t
z
q
p
x
{
v
r
y
p
y
y
z
p
t
{
t
r
v
r
x
p
s
p
r
z
r
x
r
x
~
{
x
t
p
v
|
r
t
q
q
s
p
x
p
p
z
v
x
s
r
q
z
p
y
r
q
v
v
r
s
p
w
t
}
q
|
r
p
{
q
x
r
t
u
y
z
q
x
y
p
u
t
r
{
{
{
r
p
q
x
t
t
y
y
r
z
r
z
p
{
t
x
p
z
q
p
t
y
z
q
p
t
z
p
y
y
z
r
v
t
~
p
|
p
t
y
z
q
t
{
r
v
p
v
t
x
s
p
y
q
u
p
r
q
x
r
p
v
w
p
w
t
}
{
r
t
z
v
p
s
z
r
v
y
z
v
|
p
t
v
x
y
t
y
z
}
r
t
q
v
t
y
v
|
u
t
v
p
p
~
z
v
z
r
{
r
s
q
r
q
p
x
p
t
p
s
q
r
s
r
q
w
}
r
{
p
x
p
z
q
p
y
r
u
y
{
p
x
t
y
z
p
z
t
q
t
p
z
p
{
r
{
t
|
t
t
q
z
q
p
z
p
{
r
r
x
t
z
q
t
x
p
z
t
p
~
s
r
v
p
t
r
p
r
x
x
p
v
r
q
s
p
q
z
v
v
s
p
w
}
r
{
r
u
y
{
p
x
t
t
y
z
p
y
p
x
p
z
q
p
{
v
u
t
q
t
x
{
p
{
t
x
p
v
s
r
q
v
y
x
t
q
p
q
p
t
y
}
r
t
z
}
r
t
y
{
r
r
y
v
{
t
q
p
{
p
t
t
v
p
q
r
v
x
s
p
r
t
p
z
v
z
r
t
{
|
v
{
r
t
s
q
t
q
u
r
t
q
q
p
t
x
p
{
p
x
x
s
r
{
t
~
s
p
q
t
t
t
v
z
v
v
t
x
v
y
u
t
y
z
q
v
v
w
}
r
{
r
q
t
q
p
{
{
z
q
x
r
s
r
q
z
v
s
r
p
r
q
q
t
p
w
}
r
s
r
v
z
v
|
p
t
y
z
q
t
r
{
t
t
x
s
t
y
r
{
r
p
y
r
t
r
v
y
|
t
z
v
x
t
y
z
r
t
x
s
q
z
v
p
|
r
z
p
{
p
s
p
q
p
p
x
q
u
v
r
t
y
z
p
q
r
y
{
v
t
{
t
u
q
t
y
v
p
{
r
s
q
r
u
t
r
q
t
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
224
GRÁFICO 2 – Relação entre o impacto do programa e a proporção
dos recursos alocados a atividades que promovam o aumento do índice
de frequência dos professores: Língua portuguesa - Porto Alegre, 2008
Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa
Jovem de Futuro do Instituto Unibanco aplicadas pela Cesgranrio em Porto Alegre,
2008 e 2009. As informações da alocação de recursos do programa por escola foram
disponibilizadas pelo Instituto Unibanco para anos de 2008 e 2009.
Nota 1: Foi considerado como impacto a diferença na nota média no progresso (Somativa
2009 - Diagnóstica 2008) entre as escolas de Tratamento e Controle.
REFERÊNCIAS BIBLIOGRÁFICAS
¡
¢
£
O Conhecimento paga bem?
¤
¤
ª
®
±
³
¦
§
¦
©
µ
®
°
®
¶
³
¦
¬
¨
©
·
«
¤
¶
³
¦
¬
Á
©
¨
¦
·
À
°
¶
°
£
¹
¶
³
¦
¬
Á
©
¨
®
º
¸
»
¼
µ
»
¨
©
«
º
»
¥
¦
¼
»
§
¤
¨
©
¨
ª
¦
ª
«
¬
®
¯
°
¨
±
¨
²
¦
¬
«
³
«
°
ª
¨
´
«
°
±
®
¬
½
¹
«
¬
«
·
¾
®
¿
±
®
³
¦
ª
®
¹
À
°
¨
²
«
³
¬
¨
ª
¦
ª
«
ª
«
¤
¦
RICARDO BARROS
Â
Í
Ã
Ä
Å
Î
Ö
Æ
Ç
Æ
È
×
Æ
Ø
É
Ä
Ê
Ù
È
Ë
Ë
Ç
Ì
Í
Î
Â
Æ
Ç
È
Æ
É
Î
È
Ë
Î
Í
Æ
Ï
Å
Å
Ã
Ð
É
Ì
Å
Ñ
Å
É
È
Î
É
Ò
Ó
Ë
Ç
Ì
Å
Í
Î
Ô
È
Î
[email protected]
MIRELA DE CARVALHO
Ï
Ö
Å
Ë
Å
Ì
Æ
Å
Í
Å
Æ
Ì
È
Ü
Î
Î
Ñ
Ð
Æ
Å
Ë
×
È
Æ
Ç
Ë
Î
Ù
Í
Î
Â
Æ
Ç
È
Æ
É
Î
È
Ë
Î
Í
Æ
Ñ
Å
É
Î
Í
Ì
Ì
[email protected]
225
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
Í
Æ
Ñ
Í
Ã
Ç
Î
Ú
Û
Ì
Í
Ì
Æ
Å
Ë
Í
Õ
Ð
Ç
Ë
Î
SAMUEL FRANCO
Ý
Þ
ì
ß
à
ð
ß
ä
á
ã
Þ
â
ß
ì
â
ã
ä
ê
å
à
ê
ã
ä
ì
ñ
æ
ë
Þ
Ý
í
ç
è
ð
ß
ä
é
à
Þ
Þ
ä
ã
â
à
ê
ä
ê
ä
ë
æ
Þ
ß
â
ß
ç
ß
ä
ê
ì
Ý
Þ
ß
ç
ê
ä
Þ
ê
ä
í
é
à
î
à
è
ï
ä
ò
[email protected]
ANDREZZA ROSALÉM
Ý
ã
í
é
ä
à
æ
î
ä
à
ó
è
â
ï
ä
Þ
ß
ì
à
å
ð
ã
ä
ä
ã
æ
â
Þ
ì
ê
ç
è
à
ß
ê
ä
ì
é
à
ñ
à
ë
Ý
Þ
í
Þ
ð
ä
ã
â
à
ê
à
ê
ä
ë
æ
Þ
ß
â
ß
ç
ß
ä
ê
ì
Ý
Þ
ß
ç
ê
ä
Þ
ê
ä
ò
[email protected]
Recebido em: DEZEMBRO 2011
Aprovado para publicação em: JANEIRO 2012
Est. Aval. Educ., São Paulo, v. 23, n. 51, p. 214-227, jan./abr. 2012
226
Download
