Função do Guia
Este guia busca apresentar caminhos para
facilitar a apropriação dos resultados do
Saepe 2012. Ele deve ser utilizado como um
norte para o melhor aproveitamento das
informações que professores, gestores e
profissionais envolvidos com a educação,
receberão no processo de divulgação destes
resultados, através de materiais impressos e
disponibilizados no site do programa. O
objetivo é orientar a leitura dos resultados
expostos nas revistas.
OBJETIVOS
Analisar e interpretar os resultados do
SAEPE 2012, para, assim, (re)planejar as
ações pedagógicas implementadas em
sala de aula e as ações da gestão da
escola,
a serem definidas pelos
profissionais envolvidos no processo de
avaliação.
Pontos fundamentais
É sempre importante relembrar os
principais elementos envolvidos com a
avaliação educacional em larga escala,
como é o caso do Saepe. Diante disso,
vamos revisar, brevemente, as noções de
Matriz de Referência, item, descritor,
resultados de proficiência, participação e
distribuição dos alunos por padrão de
desempenho.
Matriz de Referência para Avaliação
Elemento base de origem dos testes utilizados no SAEPE.
Garante legitimidade e transparência à avaliação.
É formada por um conjunto de descritores que, agrupados
em tópicos/temas, apresentam as habilidades consideradas
básicas e possíveis de serem aferidas por meio do
instrumento utilizado em avaliações em larga escala.
Não abarca todo currículo escolar. Por isso, não pode ser
confundida com parâmetros curriculares, Base Curricular
Comum - BCC, procedimentos ou estratégias de ensino ou
Orientações Teórico-Metodológicas - OTM, nem com o
conteúdo a ser trabalhado pelo professor em sala de aula.
Como a Matriz de Referência dá
origem aos testes?
 Constitui
um parâmetro de
orientação;
 Apresenta o objeto da avaliação;
 Caráter de universalidade;
 Orienta a elaboração de itens.
Descritores
Os descritores têm origem na associação entre os
conteúdos curriculares e as operações mentais
desenvolvidas pelo aluno que se traduzem em certas
habilidades.
Constituem uma sumária “descrição” das habilidades
esperadas ao final de cada período escolar avaliado.
Das Matrizes aos itens dos
testes de proficiência
• Agrupa as
habilidades
passíveis de
avaliação em
um teste de
proficiência.
•
Avalia apenas
uma única
habilidade.
Matriz
Tema
Tópico
Item
Descritor
• Representa uma
subdivisão de
acordo com o
conteúdo,
competências de
área e
habilidades.
•Descreve
cada uma das
habilidades da
Matriz.
O QUE É UM ITEM?
• Características:
• É uma questão do teste de larga escala.
• Avalia uma única habilidade, portanto o item é
unidimensional.
• Obtém um resultado por estudante, que permite
avaliar as hipóteses levantadas por ele.
Exemplo de um item de Língua Portuguesa
Enunciado
Suporte
Comando
Gabarito
Distratores
Estatísticas do item – apresentação nas revistas de divulgação
Análise dos resultados dos itens nas
revistas
• Características:
• É uma questão do teste de larga escala.
• Avalia uma única habilidade, portanto o item é
unidimensional.
• Obtém um resultado por estudante, que permite
avaliar as hipóteses levantadas por ele.
Considerações acerca das características de um item bem elaborado
Um bom item:

enfoca uma única situação-problema;

contém no suporte informações relevantes através de gêneros
familiares aos estudantes com textos, figuras, ou recortes de notícias e
anúncios;

apresenta o enunciado de forma clara, precisa e concisa;

utiliza vocabulário adequado ao nível de escolaridade do estudante;

é redigido de acordo com as normas da ABNT na apresentação de
textos e figuras;

apresenta exclusivamente um gabarito;

apresenta distratores plausíveis.
Considerações acerca das características de um item com problemas de
elaboração
Um item inadequado:

Contém referência discriminatória quanto a etnia, religião, gênero
ou orientação sexual;

contém imagens de produtos e marcas registradas;

se vale de “pegadinhas” e “dicas”;

utiliza termos como “sempre”, “nunca”, “todo”, “totalmente”.
Componentes da Matriz de Referência
TÓPICO OU
TEMA
DESCRITORES
Exemplo de resultados de percentual de acerto por descritor
2ª SÉRIE/3º ANO EF - Língua Portuguesa
Rede Estadual
100.0
90.0
80.0
79.3
70.0
69.8
64.8
60.0
50.0
63.8
55.1
53.8
49.4
40.0
41.9
30.0
50.3
48.6
46.2
40.6
37.9
39.7
33.6
29.3
20.0
10.0
0.0
D01
D02
D03
D04
D05
D06
D07
D08
D09
D11
D12
D13
D16
D18
D23
Média
Total
Percentual de acerto por descritor
Sobre este tipo de resultado :
Este resultado é produzido com base na Teoria Clássica
dos Testes – TCT;
Ele é produzido para cada série e cada etapa de
escolaridade;
É um resultado importante para os professores, que podem
identificar, através dos percentuais, quais são os conteúdos
que possuem itens com maiores percentuais de acerto e com
maiores percentuais de erros; isso oferece um diagnóstico
importante para alterar práticas pedagógicas, reforçando os
conteúdos nos quais os estudantes apresentaram maiores
dificuldades.
Os resultados da avaliação educacional em larga escala
Proficiência média
Participação
Distribuição do percentual de alunos por nível
de proficiência e padrão de desempenho
Os resultados da avaliação educacional
Cada um destes resultados possui sua
importância dentro do processo de avaliação
educacional. Por isso, é fundamental que todos
eles sejam observados, em conjunto. A visão
precisa ser do todo: observar as médias de
proficiência, do estado, das gerências regionais,
dos municípios, das escolas, das turmas e dos
estudantes; o mesmo deve ser feito em relação à
participação nos testes de proficiência e à
distribuição dos estudantes pelos padrões de
desempenho.
Exemplo de resultado na revista
Exemplo de resultado na revista
O modelo anteriormente apresentado está exposto
nas revistas de divulgação de resultados do Saepe
2012.
Ele envolve os três tipos de resultado dos quais
falamos anteriormente:
- Resultados de participação;
- Resultados de proficiência;
- Resultados de distribuição dos estudantes por
padrões de desempenho..
Exemplo de resultado na revista
Resultados de participação:
- A participação é muito importante para a avaliação educacional.
Tendo em vista que a avaliação é um instrumento para a garantia de
um direito fundamental do estudante, o direito de aprender, o objetivo
é que o maior número de estudantes participe da avaliação. Sendo
assim, busca-se sempre que o número de estudantes previstos para
serem avaliados seja o mesmo número de estudantes que,
efetivamente, participaram do processo de avaliação.
-Assim, nos resultados de participação, estão expostos o número de
estudantes previstos para participarem dos testes, o número de
estudantes que fizeram os testes e o percentual de participação,
conforme modelo abaixo:
Exemplo de resultado na revista
Resultados de proficiência:
-A proficiência é uma maneira de indicar a capacidade dos
estudantes de desenvolverem habilidades e competências previstas
no currículo e que dão base às Matrizes de Referência da avaliação.
Mais do que um número, a proficiência indica, através da
interpretação da Escala de Proficiência, as habilidades que os
estudantes desenvolveram e o grau em que o fizeram.
-A proficiência deve ser entendida a partir dos padrões de
desempenho. A média de proficiência indica em que padrão de
desempenho o estudante se encontra.
- Nas revistas do Saepe 2012, a média de proficiência é divulgada
para cada uma das últimas três edições do programa (2010 a 2012),
permitindo a análise da evolução da escala neste período.
Exemplo de resultado na revista
Resultados por padrões:
-O percentual de estudantes em cada padrão de desempenho oferece
um panorama geral da concentração dos estudantes nestes padrões,
permitindo observar onde está posicionada, em termos de
desempenho estudantil, a maioria dos estudantes.
- Esta informação é muito importante para corrigir desigualdades, não
observando apenas a média de proficiência, mas a concentração dos
estudantes, principalmente nos padrões mais baixos, que exigem
maior atenção do profissional que trabalha com educação.
Vale notar que a
distribuição dos
estudantes
por
padrão também é
informada para o
último triênio.
Exemplo de resultado na revista
Habilidades dos
estudantes em
cada padrão
A importância dos padrões de desempenho
Grau de realização
das ações
educacionais
Políticas públicas
voltadas à
promoção da
equidade
Caracterização do
desempenho
escolar
Estabelecimento e
monitoramento das
metas de qualidade
educacional
Padrões de
desempenho
estudantil
Identificação do
percentual de
alunos em risco
pedagógico
(evasão, reprovação
ou abandono)
O uso dos resultados da avaliação
Uso dos Resultados
1. Gestor
De Rede: Planejamento e execução de políticas públicas;
Criação de metas de qualidade e equidade
educacionais;
Implementação de medidas de responsabilização;
Políticas de incentivos diretos ou indiretos;
Ações de formação continuada de professores.
De Escola: Elaboração do projeto da escola;
Monitoramento da qualidade de ensino;
Subsídio para avaliação institucional.
O uso dos resultados da avaliação
Uso dos Resultados
2 . Professor
• Intervenção pedagógica
• Elaboração de projetos especiais
• Foco nos estudantes com dificuldades
• Ações de reforço escolar
• Planejamento das ações de sala de aula
• Visão proativa quanto ao desenvolvimento
de habilidades e competências ao longo da
educação básica
O uso dos resultados da avaliação
Uso dos Resultados
3. Estudante
• Acompanhamento individual do desempenho escolar pelos
estudantes e seus familiares
• Informações sobre a qualidade dos serviços educacionais
oferecidos
Acesso aos resultados
As revistas de divulgação de resultados
chegarão, em formato impresso, em todas
as escolas que fizeram parte do Saepe
2012. Elas estão dispostas, também, no site
do projeto.
Acesse: http://www.saepe.caedufjf.net
Lá estão expostos os resultados e as
revistas, além de outras informações sobre
o projeto.