Oficina de Apropriação de
Resultados
Saero 2013
Lilian Gomes
Colaborador externo
SAERO
Conhecendo o grupo...
Expectativas...
APRENDER A APRENDER
SAERO
O Centro de Políticas Públicas e Avaliação da Educação (CAEd),
da Universidade Federal de Juiz de Fora, é uma instituição que
operacionaliza (elabora e desenvolve) programas estaduais e
municipais destinados a mensurar o rendimento de estudantes das
escolas públicas.
A instituição também cria e promove cursos de formação,
qualificação e aprimoramento aos profissionais da Educação de
diversos estados do Brasil. O CAEd oferece ainda apoio para o
desenvolvimento de projetos educacionais promovidos por iniciativas
privadas, a exemplo de algumas ações da Fundação Roberto Marinho,
Instituto Unibanco e Fundação Oi Futuro.
SAERO
O CAEd está organizado em cinco unidades:
Pesquisa, Avaliação, Formação, Sistemas de Gestão e Administração.
O CAEd atua junto ao Governo Federal, Estados, Municípios, instituições
e fundações na realização de avaliações de larga escala com a produção
de medidas de desempenho e na investigação de fatores intra e
extraescolares associados ao desempenho.
O objetivo principal é oferecer dados e informações úteis
capazes de subsidiar as ações de melhoria da qualidade da educação e
equidade nas oportunidades educacionais.
SAERO
OBJETIVOS DA OFICINA
Objetivo geral
 Analisar e interpretar resultados do Saero para (re)planejamento das ações
pedagógicas implementadas em sala de aula, a serem definidas pelas unidades
escolares envolvidas no processo de avaliação.
Objetivos específicos
 Apresentar a Matriz de Referência, analisando os descritores que norteiam a
elaboração dos itens presentes nos testes de Matemática;
 Apresentar e interpretar a Escala de Proficiência, considerando os agrupamentos
de seus intervalos (Padrões de Desempenho Estudantil);
 Analisar e interpretar pedagogicamente os resultados da avaliação de Matemática.
SAERO
O que é avaliar?
É refletir sobre uma determinada realidade a
partir de dados e informações, e emitir um
julgamento que possibilite uma ação.
Segundo Luckesi, "...a avaliação é uma apreciação qualitativa sobre dados
relevantes do processo de ensino-aprendizagem que auxilia o professor a
tomar decisões sobre o seu trabalho”.
Em outras palavras a avaliação escolar é um componente do processo de
ensino que visa, através da verificação e qualificação dos resultados obtidos,
determinar a correspondência destes com os objetivos propostos e, daí,
orientar a tomada de decisões em relação às atividades didáticas seguintes.
AVALIAÇÃO EDUCACIONAL EM LARGA ESCALA
As avaliações em larga escala desempenham o importante papel de assegurar que
o acesso à educação de qualidade seja acompanhado da garantia do direito a uma efetiva
aprendizagem por parte dos estudantes de todos os níveis de ensino.
As avaliações em larga escala usam, como instrumentos, testes de proficiência e
questionários, que permitem avaliar o desempenho escolar e os fatores intra e
extraescolares associados a esse desempenho.
Testes de
Proficiência
Oferecer uma medida
Questionários
Contextuais
Desempenho
Escolar
AVALIAÇÃO INTERNA E EXTERNA
AVALIAÇÃO
EDUCACIONAL
Avaliação Interna/Escola
Avaliação Externa/Sistemas
Processo da aprendizagem
Desempenho dos alunos
Provas abertas
Provas objetivas
Observação/Registro
Portfólio
TEORIA CLÁSSICA
Testes de proficiência
Questionários contextuais
TEORIA DA RESPOSTA
AO ITEM
FATORES ASSOCIADOS AO DESEMPENHO ESCOLAR
Fatores Extraescolares
Fatores socioeconômicos
Fatores Intraescolares
Gestão e administração
Fatores familiares
Prática pedagógica
Fatores individuais
Condições de infraestrutura
Qualificação dos profissionais
SAERO
Sistema de Avaliação Educacional de Rondônia
SAERO
MATRIZ DE REFERÊNCIA
CARACTERÍSTICAS DA MATRIZ DE REFERÊNCIA
 Apresenta as habilidades definidas para serem avaliadas nos testes utilizados no Saero;
 Garante legitimidade e transparência à avaliação;
 A Matriz não esgota o conteúdo a ser trabalhado em sala de aula e, portanto, não pode ser
confundida com o currículo, propostas curriculares, estratégias de ensino ou diretrizes
pedagógicas;
 Apresenta habilidades que estão no currículo;
 Apresenta habilidades possíveis de aferir em um teste de múltipla escolha;
 É formada por um conjunto de tópicos ou temas;
 Cada tema apresenta um conjunto de habilidades;
 Cada habilidade é descrita por um descritor;
 Os descritores apresentam as habilidades consideradas básicas e possíveis de serem aferidas por
meio do instrumento utilizado em avaliações em larga escala.
COMPETÊNCIAS, HABILIDADES E DESCRITORES
Segundo Perrenoud (1999), competências referem-se ao domínio prático de
um tipo de tarefas e de situações. Tais domínios práticos só podem ser
alcançados se junto com eles forem desenvolvidos as habilidades dos alunos,
o que só se pode realizar a partir da compreensão do conteúdo que explica
aquele domínio.
Os descritores têm origem na associação entre os conteúdos curriculares e as
operações mentais desenvolvidas pelo aluno que se traduzem em certas
habilidades. Constituem uma sumária “descrição” das habilidades esperadas
ao final de cada período escolar avaliado
PERRENOUD, P. Avaliação: da excelência à regulação das aprendizagens, entre duas lógicas. Porto Alegre: Artmed, 1999.
SAERO
Currículo e Matriz de Referência
SAERO
Currículo e Matriz de Referência
SAERO
Currículo e Matriz de Referência
SAERO
Matriz de Referência de Avaliação de Matemática
•
•
•
•
I – Espaço e Forma
II - Grandezas e Medidas
III – Números e Operações / Álgebra e Funções
IV - Tratamento da Informação
SAERO
Atividade – Matriz de Referência
 Formação de grupos com 4 pessoas;
 Atividade de cada grupo:
• descrever e distinguir os conteúdos trabalhados em cada um dos
tópicos da disciplina (o grupo poderá relacionar conteúdos de modo
geral, para todas as etapas de escolaridade, ou limitar apenas uma
etapa avaliada pelo sistema);
• discutir com os participantes da turma, os conteúdos apontados;
SAERO
Atividade – Matriz de Referência
 Cada grupo ficará responsável por um tópico da disciplina
(possivelmente alguns tópicos serão )
 Atividade de cada grupo:
• discutir os conteúdos matemáticos do tópico selecionado;
• desenvolver uma atividade para sala de aula, com base em um dos
conteúdos apresentados;
 Entregar a Matriz de Referência.
SAERO
Atividade – Matriz de Referência
 Atividade de cada grupo:
• Associar os conteúdos das atividades com os descritores da matriz;
• Quais os conteúdos abordados na atividade?
• Quais deles estão presentes na matriz?
• Quais desses conteúdos não estão presentes na matriz?
Apresente possíveis motivos para esses conteúdos não serem
avaliados pelo sistema.
Cada grupo apresentará sua atividade, apontando os conteúdos
trabalhados e associando com o currículo e os descritores da matriz;
DA MATRIZ AOS ITENS DOS TESTES DE PROFICIÊNCIA
OBJETIVOS DOS TESTES DE PROFICIÊNCIA
 Os testes de proficiência têm como objetivo aferir
habilidades que são esperadas dos alunos em diferentes
etapas de escolarização.
 Os testes são compostos por itens.
 Cada item avalia apenas uma habilidade da Matriz.
 Essas habilidades são descritas por descritores.
 Avalia uma única habilidade, portanto o item é unidimensional.
 Obtém um resultado por estudante, que permite avaliar as
hipóteses levantadas por ele.
 Na formulação de um item, deve-se considerar:
GRAU DE DIFICULDADE
(diz respeito à adequação entre a formulação do item e a capacidade
de resposta do estudante)
DISCRIMINAÇÃO
(capacidade de o item de distinguir estudantes com diferentes níveis de habilidade)
ELEMENTOS COMPONENTES DO ITEM
Suporte
É o estímulo para que o aluno mobilize recursos
para solucionar o problema apresentado.
Dado sob a forma de complementação ou de
interrogação, deve estar atrelado à habilidade que
se pretende avaliar
Comando
Devem ser plausíveis
referindo-se a
raciocínios possíveis
Gabarito
Distratores
ANALISANDO SE O EXEMPLO É UM BOM ITEM
EXEMPLOS DE ALGUNS ITENS POR DESCRITOR
EXEMPLOS DE ALGUNS ITENS POR DESCRITOR
‘
SAERO
Atividades e Itens
• Atividades podem apresentar o desenvolvimento de diversas
habilidades;
• O item avalia apenas uma habilidade;
• Atividades são desenvolvidas com base em diversos
instrumentos e recursos didáticos.
• O item é, geralmente, desenvolvido por meio de questões de
múltipla escolha.
QUESTÃO PEDAGÓGICA
SAERO
Atividades e Itens
SAERO
Atividades e Itens
SAERO
Atividades e Itens
SAERO
Atividades e Itens
SAERO
Atividades e Itens
SAERO
Atividades e Itens
SAERO
Atividades e Itens
(5EF): Identificar diferentes representações de um mesmo número racional.
(7EF): Identificar frações equivalentes.
(9EF): Resolver problemas que envolvam porcentagem.
(3EM): Resolver problemas envolvendo o cálculo de probabilidade.
ESCALA DE PROFICIÊNCIA
Foi desenvolvida com o objetivo de traduzir medidas em
diagnósticos qualitativos do desempenho escolar. Ela orienta,
por exemplo, o trabalho do professor com relação as
competências que seus estudantes desenvolveram,
apresentando os resultados em uma espécie de régua na qual
os valores obtidos são ordenados e categorizados em
intervalos ou faixas que indicam o grau de desenvolvimento
das habilidades para os estudantes que alcançaram
determinado nível de desempenho.
SAERO
Escala de Proficiência
• Principais elementos da Escala de Proficiência
– Temas/Tópicos
– Competências
– Régua numerada: proficiência
– Níveis de proficiência
– Gradação de cores: graus de dificuldade da
competência
SAERO
Atividade – Escala de Proficiência
• Dividir a turma em grupos com 4 pessoas;
• Entregar cada bloco de competências para os grupos;
• Atividade de cada grupo:
– Discutir e associar o desenvolvimento de cada
competência;
• Apresentar o gabarito e esclarecer possíveis dúvidas;
• Entregar a escala de proficiência;
SAERO
As competências
As competências
As competências
As competências
OS PADRÕES DE DESEMPENHO
São categorias definidas a partir de cortes numéricos que agrupam os níveis da Escala de
Proficiência, com base nas metas educacionais estabelecidas pelo Saero. Esses cortes dão
origem a quatro Padrões de Desempenho – Abaixo do básico, Básico, Adequado e Avançado,
os quais apresentam o perfil de desempenho dos estudantes.
Grau de realização
das ações
educacionais
Políticas públicas
voltadas à promoção
da equidade
Caracterização do
desempenho escolar
Estabelecimento e
monitoramento das
metas de qualidade
educacional
Padrões de
desempenho
estudantil
Identificação do
percentual de alunos
em risco pedagógico
(evasão, reprovação
ou abandono)
SAERO
Cortes dos Padrões de Desempenho de Matemática
• 2º ano do Ensino Fundamental
– ABAIXO DO BÁSICO – Até 450
– BÁSICO - 450 a 600
– ADEQUADO - 600 a 700
– AVANÇADO - Acima de 700
Marcar os pontos de
corte na escala
SAERO
Cortes dos Padrões de Desempenho de Matemática
• 5º ano do Ensino Fundamental
– ABAIXO DO BÁSICO - Até 150
– BÁSICO - 150 a 200
– ADEQUADO - 200 a 250
– AVANÇADO - Acima de 250
Marcar os pontos de
corte na escala
SAERO
Cortes dos Padrões de Desempenho de Matemática
• 6º ano do Ensino Fundamental
– ABAIXO DO BÁSICO – Até 175
– BÁSICO - 175 a 225
– ADEQUADO - 225 a 275
– AVANÇADO - Acima de 275
Marcar os pontos de
corte na escala
SAERO
Cortes dos Padrões de Desempenho de Matemática
• 9º ano do Ensino Fundamental
– ABAIXO DO BÁSICO - Até 225
– BÁSICO - 225 a 275
– ADEQUADO - 275 a 325
– AVANÇADO - Acima de 325
Marcar os pontos de
corte na escala
SAERO
Cortes dos Padrões de Desempenho de Matemática
• 1º ano do Ensino Médio
– ABAIXO DO BÁSICO - Até 250
– BÁSICO - 250 a 300
– ADEQUADO - 300 a 350
– AVANÇADO - Acima de 350
Marcar os pontos de
corte na escala
SAERO
Cortes dos Padrões de Desempenho de Matemática
• 2º ano do Ensino Médio
– ABAIXO DO BÁSICO – Até 250
– BÁSICO - 250 a 300
– ADEQUADO - 300 a 350
– AVANÇADO - Acima de 350
Marcar os pontos de
corte na escala
SAERO
Cortes dos Padrões de Desempenho de Matemática
• 3º ano do Ensino Médio
– ABAIXO DO BÁSICO - Até 250
– BÁSICO - 250 a 300
– ADEQUADO - 300 a 350
– AVANÇADO - Acima de 350
Marcar os pontos de
corte na escala
SAERO
Atividade - Padrões de Desempenho
• Dividir os padrões entre os 12 grupos (dois Padrões
de Desempenho para cada grupo em uma única
etapa);
• Fazer a descrição dos padrões com base nos
intervalos de proficiência e a descrição das
competências na escala de proficiência;
• Relacionar as diferenças (desenvolvimento) das
habilidades nos dois níveis descritos pelo grupo.
RESULTADOS
SAERO
Resultados
•
•
•
•
•
Resultados por Projeto, Gerência, Escola
Proficiência média;
Participação;
Percentual de estudantes por padrão;
Resultados de proficiência média e percentual por
padrão nas avaliações de 2012 e 2013;
• Percentual de estudantes por nível de proficiência;
RESULTADOS IMPRESSOS NA REVISTA PEDAGÓGICA
SAERO
Resultados
SAERO
Resultados
2194,0
1462,3
21,05
185,3
822,25
2470,9
1900,3
1061,2
615,9
429,5
140,0
3656,3
4371,2
47,4
1679,15
1,05
SAERO
Resultados
• Entregar resultados para os grupos;
Comparar os resultados de 2012 e 2013 em uma
mesma escola.
• O que podemos notar ao observar a proficiência
média dos estudantes as avaliações desses dois
ciclos?
• E em relação ao percentual de alunos em cada
padrão de desempenho nesses dois ciclos?
Encontramos diferenças? Quais seriam?
SAERO
Resultados
Observe a participação dos estudantes na escola.
• Qual seria o percentual de participação na avaliação aplicada
na escola? Este percentual é significativo?
• Em relação à participação, o número de alunos avaliados
corresponde ao número de alunos que frequentam a escola?
• Quem são os alunos que não fizeram a avaliação?
• Como possibilitar a participação desses alunos nas próximas
avaliações?
• Como melhorar a frequência desses alunos na escola?
SAERO
Resultados
Observe a proficiência média da sua escola em cada etapa de
escolaridade;
• O que podemos observar ao associar a proficiência média aos
padrões de desempenho em cada etapa?
• Quais são as habilidades desenvolvidas pelos alunos em cada
etapa de escolaridade, considerando o resultado da
proficiência média?
• Quais seriam os conhecimentos mínimos esperados em cada
etapa de escolaridade? (quais as habilidades que os alunos
ainda não desenvolveram?)
Gestores
Professores
Estudantes
REDE
Gestores
ESCOLA
 Planejamento e execução de
políticas públicas.
 Criação de metas de qualidade
e equidade educacionais.
 Implementação de medidas de
responsabilização.
 Políticas de incentivos diretos ou
indiretos.
 Ações de formação continuada
de professores .
 Elaboração
do projeto da
escola.
 Monitoramento da qualidade de
ensino .
 Subsídio
para
avaliação
institucional.
Professores
Intervenção pedagógica.
Elaboração de projetos especiais.
Foco nos estudantes com dificuldades.
Ações de recuperação escolar.
Planejamento das ações de sala de
aula.
 Visão
proativa
quanto
ao
desenvolvimento de habilidades e
competências ao longo da educação
básica.





Estudantes
 Acompanhamento
individual
do
desempenho
escolar
pelos
estudantes e seus familiares.
 Informações sobre a qualidade dos
serviços educacionais oferecidos .
VOCÊ PODE FAZER A DIFERENÇA...
MÚSICA...UM BOM PROFESSOR...
Obrigada!!!
Lilian Gomes