DESMISTIFICANDO
O
SARESP
PCNPE
CECILIA
E
CIRLEI
SABER, SABERES
Informação = conhecimento ?
O que se faz com a informação ?
Cultura= educação ?
O que ensinar ? Currículo
Como ensinar ? Competência/habilidade
Como avaliar ? Diversas formas. Mas
como avaliar quase 5 milhões de
alunos?
Primeiramente é necessário entender a
palavra AVALIAR . Avaliar vem do latim
e significa dar valor a algo: a+valere.
Assim, é passível de ser quantificado, ou
seja, medido. Mas... como medir o que
alguém sabe ? (abaixo...TRI)
EINSTEIN
PROVA = AVALIAÇÃO ?
A pessoa pensa assim: vamos ver se
você reteve o que eu lhe ensinei. Prove
para mim, daí a famigerada prova.
Há dois tipos de avaliação: interna e
externa. O ideal é que tiremos proveito
das duas, sabendo utilizá-las, cada
qual para a sua finalidade precípua.
O SARESP não é um bicho
de sete cabeças, é um
bicho de seis. Vamos a
elas: Sistema de Avaliação
do Rendimento Escolar do
Estado de São Paulo
SARESP
O SARESP é uma avaliação externa
baseada na teoria de aquisição do
conhecimento e consequentemente de
aprendizagem, na taxonomia de Bloom e
outros autores. E também em Piaget.
Taxonomia = do grego táksis =
classificação + nomos = lei, costumes
CONHECIMENTO
O CURRÍCULO,
PORTANTO É VISTO:
O CONHECIMENTO É
CUMULATIVO
O CURRÍCULO DE SP ESTÁ EVOLUÍDO
E CONSTRUIU-SE EM ESPIRAL
http://file.fde.sp.gov.br/saresp/saresp2013/Arquivos/Sares
p2013_MatrizRefAvaliacao_DocBasico_Completo.pdf
A indicação das habilidades a serem
avaliadas
em
cada
etapa
da
escolarização orienta a elaboração das
questões das provas para que os
instrumentos possam estar a serviço
do que realmente se quer avaliar.
No caso do SARESP, a matriz foi
elaborada a partir da nova Proposta
Curricular do Estado de São Paulo. Os
conteúdos, competências e habilidades
apontados na Proposta, para cada série
e disciplina do currículo, indicam as
bases conceituais da matriz proposta
para avaliação.
Com isso, configuram-se as referências que
possibilitam, de um lado, a construção das
provas por seus elaboradores, e de outro, a
posição (segundo níveis de desempenho)
dos alunos que as realizarem. Os indicadores
relativos a esta posição são obtidos por uma
Escala de Proficiência, por intermédio da qual
se define o quanto e o quê cada aluno ou
escola realizaram no contexto desse exame.
COMPETÊNCIAS
HABILIDADES
E
O que é competência ? Segundo o
Dicionário Priberam:
Capacidade, suficiência (fundada em
aptidão); atribuições.
O que é habilidade ?
Capacidade, inteligência, destreza, astúcia,
manha, aptidão, engenho.
COMPETÊNCIAS
HABILIDADES
E
Há quem diga que habilidades são mais
“concretas” e formam a competência,
que é mais “abstrata”, porém isto é para
fins de entendimento de conceitos que
são muito sutis.
Para melhor compreensão, vamos
comparar com uma imagem.
HABILIDADES
COMPETÊNCIA
GRUPO I: COMPETÊNCIAS PARA
OBSERVAR
O Grupo I refere-se aos esquemas presentativos
ou representativos, propostos por Jean Piaget.
Graças a eles, os alunos podem ler a prova, em
sua dupla condição: registrar perceptivamente o
que está proposto nos textos, imagens, tabelas ou
quadros e interpretar este registro como
informação que torna possível assimilar a questão
e decidir sobre a alternativa que julgam mais
correta.
HABILIDADES DO GRUPO I
•
Observar para levantar dados, descobrir informações
nos objetos, acontecimentos, situações etc. e suas
representações.
• Identificar, reconhecer, indicar, apontar, dentre diversos
objetos, aquele que corresponde a um conceito ou a
uma descrição.
• Identificar uma descrição que corresponde a um
conceito ou às características típicas de objetos, da
fala, de diferentes tipos de texto.
•
Descrever
objetos,
situações,
fenômenos,
acontecimentos etc. e interpretar as descrições
correspondentes.
•Discriminar,
estabelecer
diferenciações
entre
objetos, situações e fenômenos com diferentes
níveis de semelhança.
• Localizar um objeto, descrevendo sua posição ou
interpretando a descrição de sua localização, ou
localizar uma informação em um texto.
•Representar graficamente (por gestos, palavras,
objetos, desenhos, gráficos etc.) os objetos,
situações, sequências, fenômenos, acontecimentos
etc.
• Representar quantidades por meio de
estratégias pessoais, de números e de palavras.
•
Constatar alguma relação entre aspectos
observáveis do objeto, semelhanças e diferenças,
constâncias em situações, fenômenos, palavras,
tipos de texto etc.
GRUPO II: COMPETÊNCIAS PARA
REALIZAR
As habilidades relativas às competências do Grupo II
caracterizam-se pelas capacidades de o aluno
realizar os procedimentos necessários às suas
tomadas de decisão em relação às questões ou
tarefas propostas na prova. Ou seja, saber observar,
identificar, diferenciar e, portanto, considerar todas
as habilidades relativas às competências para
representar que, na prática, implicam traduzir estas
ações em procedimentos relativos ao conteúdo e ao
contexto de cada questão em sua singularidade.
O problema é que na prática não basta
decidir por um procedimento, mas é
necessário fazê-lo bem. As habilidades
relativas às competências do Grupo I
estão focadas nas informações ou
características das questões ou temas
propostos, ou seja, nos observáveis
relativos
aos
objetos
(conteúdos
avaliados). As habilidades relativas às
competências, no Grupo II, estão
focadas nas atividades dos alunos, no
quê e como fazem.
HABILIDADES DO GRUPO II
• Classificar – organizar (separando) objetos,
fatos, fenômenos, acontecimentos e suas
representações, de acordo com um critério
único, incluindo subclasses em classes de
maior extensão.
• Seriar – organizar objetos de acordo com
suas diferenças, incluindo as relações de
transitividade.
• Ordenar objetos, fatos, acontecimentos,
representações, de acordo com um critério.
•
Conservar algumas propriedades de
objetos, figuras etc. quando o todo se
modifica.
• Compor e decompor figuras, objetos,
palavras,
fenômenos
ou
acontecimentos em seus fatores,
elementos ou fases etc.
• Fazer antecipações sobre o resultado
de experiências, sobre a continuidade
de acontecimentos e sobre o produto
de experiências.
•
Calcular por estimativa a grandeza ou
a quantidade de objetos, o resultado de
operações aritméticas, etc.
• Medir,
utilizando
procedimentos
pessoais ou convencionais.
• Interpretar, explicar o sentido que
têm
para
nós
acontecimentos,
resultados de experiências, dados, grá
ficos, tabelas, figuras, desenhos,
mapas, textos, descrições, poemas etc.
e apreender este sentido para
utilizá-lo na solução de problemas.
•
GRUPO III: COMPETÊNCIAS PARA
COMPREENDER
Estas competências implicam o uso de esquemas
operatórios. As competências relativas a esse
Grupo III devem ser analisadas em duas
perspectivas. Primeiro, estão presentes e são
mesmo essenciais às competências cognitivas ou
às operações mentais destacadas nos Grupos I e II.
Porém, quando referidas a eles, têm um lugar de
meio ou condição, mas não de fim. Ou seja, atuam
de modo a possibilitar realizações via esquemas
procedimentais (Grupo II) ou leituras via esquemas
de representação (Grupo I).
Grupo III : estes esquemas ou competências
expressam-se de modo consciente e permitem
compreensões próprias a este nível de elaboração
cognitiva.
Por essa razão possibilitam, por suas coordenações,
planejamento e escolha de estratégias para resolver
problemas ou realizar tarefas pouco prováveis, ou
mesmo impossíveis nos níveis anteriores.
Referem-se, assim, a operações mentais mais
complexas, que envolvem pensamento proposicional
ou combinatório, graças ao qual o raciocínio pode
ser agora hipotético-dedutivo. São habilidades que
permitem inferir o domínio destas operações de nível
superior.
HABILIDADES DO GRUPO III
• Analisar objetos, fatos, acontecimentos, situações,
com base em princípios, padrões e valores.
• Aplicar relações já estabelecidas anteriormente ou
conhecimentos já construídos a contextos e
situações diferentes; aplicar fatos e princípios a
novas situações, para tomar decisões, solucionar
problemas, fazer prognósticos etc.
• Avaliar, isto é, emitir julgamentos de valor
referentes a acontecimentos, decisões, situações,
grandezas, objetos, textos etc.
•
Fazer
generalizações
(construtivas)
fundamentadas ou referentes às operações do
sujeito, com produção de novas formas e de novos
conteúdos.
•
Justificar acontecimentos, resultados de
experiências, opiniões, interpretações, decisões
etc.
• Criticar, analisar e julgar, com base em padrões e
valores, opiniões, textos, situações, resultados de
experiências, soluções para situações-problema,
diferentes posições assumidas diante de uma
situação etc.
• Explicar causas e efeitos de uma determinada
sequência de acontecimentos.
• Apresentar conclusões a respeito de ideias,
textos, acontecimentos, situações etc.
• Levantar suposições sobre as causas e efeitos de
fenômenos, acontecimentos etc.
• Fazer prognósticos com base em dados já
obtidos sobre transformações em objetos,
situações, acontecimentos, fenômenos etc.
• Fazer generalizações (indutivas) a partir de leis
ou de relações descobertas ou estabelecidas em
situações diferentes, isto é, estender de alguns para
todos os casos semelhantes.
TEORIA DA RESPOSTA
AO ITEM - TRI
QUANDO TEMOS ALGO NÃO MENSURÁVEL, O
QUE OCORRE EM QUALQUER ÁREA,
NECESSITAMOS DE ALGUM MECANISMO PARA
COLOCÁ-LO NUMA ESCALA (RÉGUA) PARA PODER
AFERIR. CHAMA-SE TRAÇO LATENTE. É UMA
MEDIDA INDIRETA.
O QUE SERIA ISTO EM EDUCAÇÃO?
A PROFICIÊNCIA, O APRENDIZADO, O SABER.
O QUE O ALUNO SABE ? COMO MEDIR ?
FAZENDO PERGUNTAS, QUESTÕES. (DESDE OS
GREGOS)
1,40
1,50
1,60
1,70
1,80
1,90
As unidades são atribuídas : 0 a 100 , 100 a 150 ...
O importante é que todos podem ser encaixados nele.
São valores referenciais, arbitrários.
QUE TIPO DE PERGUNTAS ? DICOTÔMICAS OU
POLITÔMICAS ?
Dicotômicas são aquelas do tipo sim ou não, certo ou
errado, verdadeiro ou falso.
As politômicas são as do tipo A,B,C,D,E com só uma
correta, mas acaba caindo no dicotômico também, pois
só há uma corrreta . Daí vêm os distratores (as outras
alternativas)
Há duas teorias, a clássica : TCT (dos testes) – baseada em score,
ou seja, o quanto o aluno acertou.
TRI – teoria de resposta ao item – trabalha com o índice de
dificuldade e coeficiente serial. É baseada em descritores, ou seja,
por item. Quantos itens foram feitos corretamente e quantos itens
foram respondidos incorretamente.
Os distratores são fundamentais para avaliar
as dificuldades entre as possíveis respostas.
Item bom = variação entre respostas. Item
ruim = pouca variação , necessitando
reformulação.
O importante é que o entendimento e
análise na TRI faz-se independentemente do
teste, pois ele pode ser maior ou menor,
com mais questões ou menos. O modelo é
probabilístico e depende do tipo de item. No
caso do SARESP, é politômico e segue o
modelo logístico dos três parâmetros :
-De discriminação : A se o item está diferente,
distinto dos outros.
-De dificuldade : B o grau de dificuldade do item
(relativização)
-De acerto casual : C - chute
Daí advém a curva característica do item CCI
Nunca pode ser uma reta, porque daí a proficiência não
estaria sendo medida.
No SARESP, cada item deve ser calibrado, pois as
características do item são fundamentais para a
construção das medidas o mais acuradamente
possível.
Esta metodologia é aplicada para testes em larga
escala, o que permite alta precisão.
Se um item é ruim (linha reta) é sinal que faltam
parâmetros e então é descartado, pois não foi
calibrado. Retorna ao especialista para os ajustes
necessários : conteúdo, forma.
Esta interpretação do que o indivíduo domina, é o
diferencial da TRI em comparação com a TCT
(teoria clássica dos testes). As duas são utilizadas
em conjunto.
O indivíduo que responde e o item estão na
mesma escala.
Quanto
maior
a
proficiência,
maior
a
probabilidade de acerto, “descontado” o acerto
casual.
METODOLOGIA DO SARESP
Nenhum aluno responde muitas questões. São montados
pequenos cadernos de prova, os BIB : blocos incompletos
balanceados. São 26 cadernos diferentes por área.
São itens em blocos de 8 questões, cada aluno responde 3
blocos, portanto 24 questões por aluno/área.
Temos 13 blocos diferentes por edição, com 8 itens cada,
portanto 104 itens ao todo.
A análise pode revelar dados : por série/ano, área, TCT e TRI.
É ligado ao SAEB, pois utilizou-se a escala dele para
posicionar o itens do SARESP em 2007.
De acordo com a maneira que é construído, fica inviável obterse resultados individuais, pois se assim quiséssemos, cada aluno teria
de responder muito mais itens. E sabemos que este não é o intuito.
A realidade é que não se dispõe de tantos itens assim, pois é
muito difícil construir cada questão.
Se houvesse muito mais itens, poderiam ser melhor distribuídos,
ou seja, equitativamente, com as mesmas habilidades avaliadas,
de acordo com o nível do aluno.
A isso se chama prova adaptativa, pois permitiria que o aluno
recebesse a prova suficientemente balanceada para medir a
proficiência dele. Mas... estamos longe disso ainda.
O ideal seria o item semelhante à proficiência e
“cercar” a proficiência do aluno.
PROFICI
ÊNCIA
P
I
MONTAGEM DAS PROVAS
A REAL : OS RELATÓRIOS RESULTADOS
Este instrumento de avaliação externa viabiliza, para cada
rede de ensino, a possibilidade de comparação entre os
resultados do SARESP e aqueles obtidos por meio de
avaliações
nacionais, como o Sistema Nacional de
Avaliação da Educação Básica – SAEB e a Prova Brasil.
Os resultados do SARESP, por comporem o IDESP –
Índice de Desenvolvimento da Educação do Estado de
São Paulo, constituem, para cada unidade escolar, um
importante indicador de melhoria qualitativa do ensino
oferecido.
FINALIDADES ESPECÍFICAS:
 Saber em que direção caminha a Educação Básica
paulista;
 Verificar se houve evolução em relação às
avaliações dos últimos anos;
 Localizar evidências de melhoria e as fragilidades do
ensino;
Buscar os aspectos diferenciais, os modelos bem
sucedidos e sobretudo, as diferenças entre o desejado
e o alcançado.
A escala de proficiência dos alunos do 5º, 7º, 9º
anos do EF e 3ª série EM são consideradas
nas mesmas escalas métricas do SAEB.
A escala de proficiência é pontuada em 125,
150, 175, 200, 225, 250, 275, 300, 325, 350,
375, 400, 425, onde o ponto 250 equivale a
média dos alunos de 9º ano no SAEB 2007,
em intervalos de 25 pontos (desvio padrão).
Como já vimos é um número aleatório, mas que
se tornou padrão.
NÍVEIS :
ESCALA CUMULATIVA
A lógica é que, quanto mais o aluno
caminha ao longo da escala, mais
habilidades terá desenvolvido. A
descrição de cada ponto da escala
apresenta as habilidades
que os
alunos desenvolveram, com base na
média de desempenho (pela rede,
diretoria ou escola, por ano / série).
MÉDIA DE PROFICIÊNCIA- MATEMÁTICA
NÍVEL ADEQUADO
Cálculo da defasagem (em anos):
5º ano - 7º ano - 9º ano - 3ª série EM
(225)
(250)
(300)
(350)
25 +
50 +
50
= 125
Sendo do 5º ano até a 3ª EM = 7 anos
Então: 7 anos →125 pontos
Fazendo 125 : 7 = 17,9 ou 18 pontos /ano
MÉDIA DE PROFICIÊNCIA- L. PORTUGUESA
NÍVEL ADEQUADO
Cálculo da defasagem (em anos):
5º ano - 7º ano - 9º ano - 3ª série EM
(200)
(225)
(275)
(300)
25 +
50 +
25
= 100
Sendo do 5º ano até a 3ª EM = 7 anos
Então: 7 anos →100 pontos
Fazendo 100 : 7 = 14 pontos /ano
MÉDIA DE PROFICIÊNCIA- CIÊNCIAS DA NATUREZA
NÍVEL ADEQUADO
Cálculo da defasagem (em anos):
7º ano - 9º ano - 3ª série EM
(250)
(300)
(350)
50
+
50
= 100
Sendo do 7º ano até a 3ª EM = 5 anos
Então: 5 anos →100 pontos
Fazendo-se 100 : 5 = 20 pontos /ano
MÉDIA DE PROFICIÊNCIAHISTÓRIA/ GEO – NÍVEL ADEQUADO
Cálculo da defasagem (em anos):
7º ano - 9º ano - 3ª série EM
(225)
(250)
(275)
25
+
25
= 50
Sendo do 7º ano até a 3ª EM = 5 anos
Então: 5 anos →50 pontos
Fazendo-se 50 : 5 = 10 pontos /ano
Então... para calcular a defasagem do tempo
(em anos) para cada disciplina:
MATEMÁTICA → divide-se por 18
LÍNGUA PORTUGUESA → divide-se por 14
CIÊNCIAS DA NATUREZA →divide-se por 20
HISTÓRIA/GEOGRAFIA → divide por 10
SARESP
Sugestão para um trabalho na
escola, voltado para a análise do
“Boletim da Escola” e o Relatório
do SARESP 2012
O que a escola pode focar no dia do SARESP
28,5
67 pontos
93
pontos
3,5
4,5
2 anos
anos
Comparar também
com
os
níveis
esperados para
(300
(350
(350
– 200)
–– 225)
250)
: 7:: 75 14
 18
20
pontos
pontos
pontos
/ ano
// ano
ano
Níveis esperados (adequados)
cada ano / série
5º ano
7º ano
9º ano
3ª série
LP
200
225
275
300
MAT
225
250
300
350
CCN
-
250
300
350
No que a escola pode focar no dia do
SARESP
Observar a distribuição dos alunos pelos níveis de
proficiência, em cada ano / série e relacionar com as
habilidades específicas desses níveis, que podem ser
encontradas no relatório do SARESP
ANÁLISE DO DESEMPENHO DOS ALUNOS DO
7º ANO
 48,3% DOS ALUNOS DESSA ESCOLA: Básico
NÍVEL ABAIXO DO BÁSICO: < 200
- Identificam e interpretam dados apresentados em
gráficos de colunas
NÍVEL BÁSICO: 200 a < 250
- Identificam o gráfico setorial associado aos dados
de uma tabela simples de dupla entrada;
- Resolvem problemas envolvendo a multiplicação de
inteiros por um número decimal (uma casa).
48,3% DOS ALUNOS DESSA ESCOLA:
Básico
NÍVEL ADEQUADO: 250 A < 300
-Não identificam um número de 4 algarismos, dado
o valor de um de seus algarismos.
-Não determinam a medida do ângulo de 180°
associado a um giro descrito em texto e figura.
NÍVEL AVANÇADO:  300
Não traduzem em linguagem corrente o significado
da sentença 2x – x/2 = 6.
EXEMPLO DE ITEM QUE ESSE
ALUNO FAZ:
NÍVEL ABAIXO DO BÁSICO: <200
NÍVEL BÁSICO: 200 a <250
Habilidade avaliada
H18. Identificar figuras espaciais a partir de suas planificações.
Observe a caixa representada abaixo:
Uma planificação dessa caixa é:
(A)
(B)
(C)
(D)
GAB
C
% de resposta
A
B
C
D
10
14,9
60,2
15
EXEMPLO DE ITEM QUE
ESSE ALUNO NÃO FAZ:
NÍVEL ADEQUADO: 250 a <300
NÍVEL AVANÇADO: ≥300
Habilidade avaliada
H05. Fazer cálculos envolvendo adições e subtrações de frações.
O valor simplificado da expressão
12
3 2
+
100 50 25
é:
(A)
2
100
(C)
1
10
(B)
1
50
(D)
13
100
GAB
C
% de resposta
A
B
C
D
12,2
13,7
13,3
60,8
LÍNGUA PORTUGUESA
Regras para utilização do Parque Ibirapuera
Os treinadores de corrida devem orientar seus alunos para a utilização
de percursos alternativos para trotes e treinos de baixa intensidade.
A grama não pode ser usada para corridas (exceção feita à volta da
grade) e nem para a instalação de colchonetes, plásticos, lonas, etc.
As concentrações de corredores devem ser feitas fora da via de
circulação, nas corridas.
A expressão sublinhada no texto continua com o mesmo significado
se for substituída por outra como :
a. Picadas abertas no mato
x c. trajetos diferentes
b. Caminhos mais difíceis
d. pistas mais usadas
H 4: Identificar o sentido denotado de vocábulo ou expressão
utilizados em segmento de texto , selecionando aquele que
pode substituí-lo por sinonímia no contexto em que se insere.
(GI) - significado , conhecimento prévio de vocabulário.
Exército Verde
Na tentativa de melhorar a qualidade do ar no país antes da
Olimpíada , o governo da China gastou 20 bilhões de dólares em
ações ambientais. As iniciativas incluíram a remoção de mais de
200 fábricas poluidoras para regiões afastadas de Pequim, a
extensão da malha metroviária e a substituição – por veículos
reluzentes e abastecidos com gás natural - de uma velha frota de
47000 táxis e 7000 ônibus movidos a diesel . Além disso, cada
cidadão chinês foi conclamado a semear ao menos uma árvore
em território nacional. No ano passado, 2,2 bilhões de árvores
foram plantadas, num esforço que teve a participação de 58% da
população – incluindo soldados do exército chinês. Ainda assim,
atingir o objetivo está difícil. A menos de um mês da abertura dos
Jogos, o próprio governo chinês reconhece que o índice de
poluição em Pequim estava duas vezes acima do recomendado
pela Organização Mundial de Saúde. (Veja, Edição Especial
Olimpíada-2008)
De acordo com o texto, em relação à poluição, podese dizer que :
a. A China atende às recomendações da Organização
Mundial de Saúde
b. as fábricas e os veículos automotores são os maiores
poluidores x
c. o exército Chinês está preparado para proteger o país
d. bastam 20 milhões de dólares para manter a poluição
sob controle
H8 : Inferir informação pressuposta ou subentendida
, com base na compreensão global de um texto. (GIII)
- inferência
BOM TRABALHO
A TODOS !
E-mails :
[email protected]
[email protected]