O Programa Internacional de Avaliação de
Estudantes
Qual sua Contribui para a Avaliação da Educação
Brasileira?
Isabel Ortigão
Departamento de Educação
LAED / PUC-Rio
O que é o Pisa? Quem participa do PISA?
 O que é avaliado no PISA?
 Qual é o desenho de Avaliação do PISA?
 Alguns resultados
 Exemplo de itens

O que é o PISA e quem Participa
Projeto Internacional de Avaliação da
Educação, desenvolvido pela Organização
para Cooperação e Desenvolvimento
Econômico (OCDE)
 No ano de 2000 participaram 32 países: 28
países da OCDE
 Em 2003: 40 países (30 da OCDE)

Países Participantes do PISA
O que é avaliado no PISA





O PISA avalia alunos com idade entre 15 anos
e 3 meses e 16 anos e 2 meses
Aplica testes de Leitura, de Matemática e de
Ciências
2000  o foco principal foi em Leitura
2003  foco principal foi em Matemática
2006  foco principal será em Ciências


Até que ponto os alunos próximos do término da
educação obrigatória adquiriram conhecimentos e
habilidades essenciais para a participação efetiva
na sociedade?
As escolas estão preparando os alunos para
enfrentarem os desafios do futuro?



O PISA busca focalizar conhecimento em seu
contexto social de uso
Visa medir o desempenho dos alunos além do
currículo escolar nas áreas avaliadas
Nas três áreas, o termo “letramento” descreve
um amplo espectro de capacidades. As áreas
avaliadas são definidas nos seguintes termos:
o conteúdo ou estrutura de conhecimento que os
alunos precisam adquirir;
 os processos que devem ser utilizados e os contextos
nos quais o conhecimento e as habilidades são
aplicados




Leitura  Português ou Inglês ou Espanhol ou
etc.
Leitura como habilidade básica de interpretação
de textos
Diversidade Textual
O letramento em Leitura é a compreensão, o
uso e a reflexão sobre textos escritos para
alcançar objetivos pessoais, desenvolver o
conhecimento e o potencial individuais e
participar plenamente na vida em sociedade.
O letramento em Matemática é a capacidade
individual de identificar e compreender o
papel da Matemática no mundo, de fazer
julgamentos bem fundamentados e de se
envolver com a Matemática de maneira a
atender às suas necessidades atuais e
futuras como um cidadão construtivo,
consciente e reflexivo.
O letramento em Ciências é a capacidade de
usar o conhecimento científico para
identificar questões e tirar conclusões
baseadas em evidências, de modo a
compreender e a ajudar na tomada de
decisões sobre o mundo natural e as
mudanças ocasionadas pelas atividades
humanas
Exemplo Leitura
Subescala: identificação/localização de informação no texto.
Nível de Proficiência: 2
Objetivo da questão: desenvolver uma interpretação: integrar
informações do texto e do gráfico
Tipo de questão: múltipla escolha. O aluno deveria optar pela alternativa
A: "Cerca de dois metros", que corresponde à profundidade atual do Lago
Chade.
Desempenho dos alunos brasileiros neste item:
Alternativa A(correta): 25,27%
Alternativa B: 7,70%
Alternativa C: 14,20%
Alternativa D: 15,64%
Alternativa E: 29,96%
Não respondeu: 6,86%
Exemplo - Ciências
UNIDADE: DIÁRIO DE SEMMELWEIS
‘‘Julho de 1846. Na próxima semana, assumirei o cargo de médico-chefe na Ala
1 da Maternidade do Hospital Geral de Viena. Fiquei assustado quando soube
sobre a percentagem de pacientes que morrem nesta clínica. Este mês não
menos do que 36 das 208 mães morreram, todas de febre puerperal. Dar à luz
uma criança é tão perigoso quanto ter uma pneumonia aguda."
Estas linhas do diário de Ignaz
Semmelweis (1818 -1865) ilustram os
efeitos devastadores da febre
puerperal, uma doença contagiosa
que matava muitas mulheres depois
do parto. Semmelweis coletou dados
sobre o número de mortes devidas à
febre puerperal na primeira e na
segunda ala (veja o diagrama).
Critérios de Correção
Suponha que você seja Semmelweis. Cite uma razão (baseada nos dados que
Semmelweis coletou) que explique por que é improvável que a febre puerperal seja
provocada por terremotos
CRÉDITO TOTAL:
Refere-se a diferença entre o número de mortes em ambas as guerras
CRÉDITO PARCIAL:
Refere-se ao fato de que terremotos não ocorrem frequentemente ou
refere-se ao fato de que terremotos também afetam pessoas fora da guerra
ou refere-se ao fato de quando terremotos ocorrem, os homens não
contraem febre puerperal
SEM CRÉDITO:
Refere-se somente ao fato de que terremotos não causam febre ou referese à outras causas de febre
Análise Gráfica de Item
1,0
,8
,6
Semmelweis q02
Proportion
,4
full credit
no credit
,2
not reached
0,0
183
partial credit
210
286
335
378
424
472
530
629
Warm Estimate in Science
Cases weighted by W _F ST UW T
dificuldade do item: 0.946
porcentagem de acertos dos membros da OCDE: 29
Febres difíceis de curar ainda são um problema nos hospitais. Muitas
medidas rotineiras servem para controlar este problema. Dentre estas
medidas está a lavagem de lençóis em alta temperatura. Explique por que a
alta temperatura (na lavagem dos lençóis) ajuda a reduzir o risco de os
pacientes contraírem a febre.
1,0
,8
,6
Proportion
,4
Semmelweis q05
full credit
,2
no credit
0,0
183
not reached
210
286
335
378
424
472
530
629
Warm Estimate in Science
Cases weighted by W _F ST UW T
dificuldade do item: -0.900
porcentagem de acertos dos membros da OCDE: 78.9
Muitas doenças podem ser curadas utilizando-se antibióticos. Entretanto, a
eficácia de alguns antibióticos contra a febre puerperal diminuiu nesses
últimos anos. Qual é a razão disso?
1,0
,8
,6
Proportion
,4
Semmelweis q06
full credit
,2
no credit
0,0
183
not reached
210
286
335
378
424
472
530
629
Warm Estimate in Science
Cases weighted by W _F ST UW T
dificuldade do item: -0.494
porcentagem de acertos dos membros da OCDE: 62.2
Desenho da Avaliação do PISA





Focaliza alunos de determinada faixa etária
Testa alunos desta faixa a cada três anos
Cada exercício de avaliação permite
comparações de habilidades de alunos de
diferentes países
Permite um retrato das habilidades de alunos de
um país, dentro de um referencial internacional
Comparações dentro de um mesmo país ao
longo do tempo indicam tendências


Estudantes brasileiros tiveram particular
dificuldade com textos longos, textos não
contínuos e linguagem figurada.
Viés cultural dos testes internacionais ou viés dos
currículos brasileiro em relação ao que importa?
Resultado em Leitura: média geral e intervalo de confiança da média
dos diversos países
Países
Finlândia
Canadá
Holanda*
Nova Zelândia
Austrália
Irlanda
Coréia do Sul
Reino Unido
Japão
Suécia
Áustria
Bélgica
Islândia
Noruega
França
Estados Unidos
Dinamarca
Suíça
Espanha
República Checa
Itália
Alemanha
Liechtenstein
Hungria
Polônia
Grécia
Portugal
Federação Russa
Letônia
Luxemburgo
México
Brasil
Média geral
546
534
532
529
528
527
525
523
522
516
507
507
507
505
505
504
497
494
493
492
487
484
483
480
479
474
470
462
458
441
422
396
Intervalo de confiança de
95%
542 a 551
531 a 537
521 a 537
521 a 536
520 a 534
518 a 532
515 a 532
512 a 533
511 a 521
499 a 516
496 a 518
500 a 514
500 a 511
496 a 514
494 a 515
491 a 503
484 a 505
486 a 499
482 a 501
478 a 497
471 a 497
426 a 539
468 a 492
465 a 494
462 a 485
460 a 481
454 a 470
448 a 469
416 a 466
412 a 432
389 a 404
Diferentes Níveis de Proficiência em Leitura
Abaixo
do Nível 1
menor que 335
Nível 1
Entre 335
a 407
Nível 2
Entre 408
a 480
Nível 3
Entre 481
a 552
Nível 4
Entre 553
a 625
Nível 5
Maior que 626
Não atingiu
as
habilidades
básicas que o
Pisa
objetivava
mensurar.
Localizar
informações
explícitas em
um texto;
reconhecer o
tema principal
ou a proposta
do autor;
construir uma
conexão
simples entre
uma
informação
expressa em
um texto de
uso cotidiano
e outras já
conhecidas.
Localizar
informações
que podem
ser inferidas
em um texto;
reconhecer a
idéia
principal, em
um texto,
compreenden
do as
relações ou
construindo
um sentido;
construir uma
comparação
ou várias
conexões
entre o texto
e outros
conheciment
os extraídos
de
experiência
pessoal.
Localizar e
reconhecer as
relações entre
várias
informações
presentes no
texto; integrar
várias partes
de um texto
em uma ordem
para identificar
a idéia
principal,
compreenden
do uma
relação ou
construindo o
sentido de
uma palavra
ou frase;
construir
conexões,
comparações
ou explicações
ou avaliar uma
característica
do texto
Localizar e
organizar
informações
relacionadas
em um texto;
interpretar os
vários
sentidos da
linguagem em
uma parte do
texto, levando
em conta o
texto como
um todo;
empregar o
conhecimento
formal ou
público para
formular
hipóteses
sobre um
texto ou para
avaliá-lo
criticamente.
Localizar e
organizar várias
informações
contidas no
texto, inferindo
a informação;
demonstrar
uma
compreensão
global e
detalhada de
um texto com
conteúdo ou a
forma não
familiar; avaliar
criticamente ou
por hipótese
um texto,
extraindo dele
determinado
conhecimento
Proporção de alunos de diversas séries nos diferentes níveis de proficiência
Países
Abaixo de
1
%
(e.p.)*
Nível 1
Nível 2
%
(e.p.)*
%
Nível 3
(e.p.)* %
Nível 4
(e.p.)* %
Nível 5
(e.p.)*
%
(e.p.)*
Brasil_9+
10
(4)
30
(1)
35
(2)
19
(1)
5
(1)
1
(0.5)
Brasil_8
32
(2)
40
(1)
21
(2)
6
(1)
1
(0.2)
0
0
Brasil_7
57
(2)
32
(2)
10
(1)
1
(0.5)
0
0
0
0
Coréia do Sul_9+
1
(1)
5
(1)
19
(1)
39
(1)
31
(1)
6
(1)
Espanha_9+
4
(0.4)
11
(1)
26
(1)
34
(1)
21
(1)
4
(0.5)
31
(5)
41
(4)
24
(4)
3
(1)
1
(1)
0
0
5
(1)
11
(1)
21
(1)
28
(1)
22
(1)
13
(1)
EUA_8
45
(12)
22
(5)
22
(4)
8
(6)
3
(2)
0
0
México_9+
10
(1)
26
(2)
34
(1)
22
(1)
7
(1)
1
(0.5)
México_8
44
(3)
41
(2)
13
(2)
2
(1)
0
0
0
0
México_7
55
(5)
37
(5)
7
(2)
1
1 (1)
0
0
0
0
Espanha_8
EUA_9+
* e.p. é o erro padrão.
A Distribuição da Elite Econômica nos Níveis de
proficiência em Leitura do PISA
Proporção de alunos de nível socioeconômico e cultural (NSEC)
alto nos diferentes níveis de proficiência
Países
Abaixo de 1
%
Brasil
Coréia do
Sul
Espanha
EUA
Fed.
Russa
França
México
Portugal
(e.p.)*
Nível 1
Nível 2
%
(e.p.)*
%
(e.p.)*
Nível 3
%
(e.p.)*
Nível 4
%
(e.p.)*
Nível 5
%
(e.p.)*
3
(1)
14
(2)
25
(3)
37
(3)
16
(2)
5
(1)
0
1
1
(0)
(0.1)
(0.1)
1
4
5
(0.5)
(1)
(1)
10
15
14
(1)
(1)
(1)
34
35
26
(2)
(2)
(1)
45
36
29
(2)
(2)
(2)
10
10
24
(2)
(1)
(2)
2
1
2
1
(1)
(0.1)
(1)
(0.1)
7
2
7
3
(10)
(0.4)
(2)
(1)
23
11
26
13
(2)
(1)
(2)
(1)
30
29
34
34
(2)
(2)
(2)
(2)
24
38
24
37
(2)
(2)
(2)
(2)
9
19
3
11
(1)
(2)
(1)
(1)
Leitura, Matemática, Ciências e Gênero
Desempenho em leitura e indicadores econômicos
Qual o impacto das condições escolares nos
desempenhos dos estudantes?
Exemplo: Exploração sobre as diferenças na proficiência para alunos do
ensino médio de nível socioeconômico e cultural (NSEC) distintos,
freqüentando escolas com clima disciplinar degradado, médio e bom.
A variável clima disciplinar foi construída a partir de informações
coletadas sobre: a freqüência de interrupções nas aulas por questões
disciplinares, o quanto a concentração dos alunos é prejudicada por
atitudes de colegas, o respeito declarado pelos alunos a seus
professores, com que freqüência os alunos declaram ‘matar aulas’ e a
relação de alunos com álcool e drogas
425
420
415
410
NSEC baixo
405
NSEC médio
400
NSEC alto
395
390
385
Clima
Clima
Clima
disciplinar
disciplinar
disciplinar
degradado
médio
bom
Como podemos interpretar esse gráfico?
Conclusões




Situação social importa
Resultados brasileiros muito ruins, não só nas
escolas com mais dificuldades de funcionamento
Escola importa
Currículo importa