Avaliação educacional em
larga escala
Contribuições e possibilidades
por Álvaro Dyogo
Tópicos da nossa apresentação
1
• Definição
2
• Classificação
3
• Histórico
4
• Processo
5
• Justificativa
6
• Importância
7
• Possibilidades
8
• Uso dos resultados
9
• Evolução
10
• Desafios
O que é avaliar?
O que é avaliar?
v.t. e v.i. Determinar o valor, o
preço, a importância de alguma
coisa / Reconhecer a grandeza,
a intensidade, a força de / Fixar
aproximadamente / Imaginar
Fonte: Dicionário Aurélio
Alguns questionamentos
- Qual é a importância que damos à educação?
- Como imaginamos que está a nossa educação?
- Como nossa educação de fato está?
O que é avaliar?
O processo de avaliação está relacionado à produção
de informações sobre determinada realidade e é algo
que está bastante presente no cotidiano escolar.
Como funciona o processo?
Coletar
Dados e
informações
sobre
determinada
realidade.
Diagnosticar
Produzir
algum
julgamento
sobre a
realidade.
Decidir
Em função
de um
objetivo que
se deseja
alcançar.
Agir
Traçar
estratégias
de uma
ação sobre
o objeto
avaliado.
O que é avaliar?
Professores
Aferição de Aprendizagem
Observações, Registros,
Provas etc.
O que precisa ser feito para que os alunos avancem?
Avaliação educacional em larga escala
Nas últimas décadas, paralelo às avaliações tradicionais,
outro procedimento de avaliação educacional tem ganhado
espaço: são as avaliações externas, geralmente em larga
escala, que têm objetivos e procedimentos diferenciados
das avaliações realizadas pelos professores nas salas de
aula.
Por que avaliamos?
Informação
Ação
Qualidade
e Equidade
O que é avaliado?
Teste
Proficiência
Questionário
Fatores
associados
Medidas de proficiência
Ferramenta
de Medida
Construção
da Medida
Interpretação
da Medida
Medidas de Proficiência
Medidas de Proficiência
Medidas de Proficiência
Importância da Avaliação
- Desempenha um papel sobre os rumos do sistema de
ensino;
- Garante a fidedignidade das informações oferecidas;
- Garante a reflexão sobre os resultados;
- Estimula o envolvimento crescente dos atores
participantes do processo, seja pelo aprimoramento de
métodos, instrumentos e logística de realização da
avaliação.
Tipos de Avaliação
Avaliação
Diagnóstica
Interna
Escola
Externa
Sistemas
Formativa
Interna
Escola
Pequena escala
Somativa
Externa
Sistemas
Interna
Escola
Larga escala
Externa
Sistemas
Tipos de Avaliação
Diagnóstica
• Definição: Ocorre no início de um processo
para obter informações sobre os
conhecimentos dos estudantes.
• Objetivo: Identificar características dos
alunos com finalidade de escolher o tipo de
trabalho mais adequado.
• Características: Aspecto preventivo;
capacidade de determinar causas de
dificuldades de aprendizagem permanentes.
• Resultados: Possibilitam planejamento de
intervenções iniciais e novos procedimentos.
Tipos de Avaliação
Formativa
• Definição: Tem foco no processo de ensino/
aprendizagem e caráter essencialmente
pedagógico.
• Objetivo: Melhorar o processo de ensino/
aprendizagem a partir das informações
coletadas pelo processo avaliativo.
• Características: Geração rápida de
informações sobre etapas vencidas; feedback
contínuo; diálogo entre professor e aluno.
• Resultados: Permitem planejamento, ajuste
e redirecionamento de práticas pedagógicas.
Tipos de Avaliação
Somativa
• Definição: Modalidade avaliativa pontual
que ocorre ao final de um processo.
• Objetivo: Fazer um balanço somatório de
uma ou várias sequências do trabalho de
formação.
• Características: Além de informar, situar e
classificar o avaliado, tendo a perspectiva
de conclusão em evidência.
• Resultados: Permitem registrar o que
parece ter sido assimilado pelos alunos ao
longo do processo.
Tipos de Avaliação
• Definição: Realizada pelo professor em sala de
aula; corresponde à verificação da aprendizagem
dos alunos.
• Objetivo: Verificar o processo de ensino e
aprendizagem, fornecendo informações sobre o
trabalho do professor.
• Características: Refletir resultados do trabalho do
professor, bem como o desempenho dos alunos.
Utiliza a teoria clássica dos testes (TCT).
• Resultados: Permitem reformular práticas
pedagógicas ou retomar alguma dificuldade
apresentada pelos alunos.
Interna
Tipos de Avaliação
• Definição: Um dos principais instrumentos para a
elaboração de políticas públicas dos sistemas de
ensino e redirecionamento das metas das unidades
escolares.
• Objetivo: Assegurar a qualidade da Educação;
diagnosticar a realidade do ensino.
• Características: Podem ser censitárias ou
amostrais. Avalia as redes ou os sistemas de
ensino, indo além da sala de aula. Utiliza a teoria
da resposta ao item (TRI)
• Resultados: Fornecem subsídios para a tomada de
decisões; permitem acompanhar o
desenvolvimento das redes e sistemas de ensino.
Externa
Linha do Tempo | Avaliações
Linha do Tempo | Avaliações
1990
• Sistema de Avaliação da
Educação Básica (Saeb)
1997
• Adoção da escala de
proficiência do Saeb
1998
• Estabelecimento das
matrizes de referência
Linha do Tempo | Avaliações
2000
• Uso das escalas de proficiência
estaduais
2005
• Prova Brasil
2007
• Índice de Desenvolvimento da
Educação Básica (Ideb) / Metas
estaduais
Linha do Tempo | Avaliações
1990-7
(Alicerces)
1997-2007
(Expansão)
2007-Hoje
(Presente)
• Ceará/Minas Gerais (1992); Mato Grosso
do Sul; São Paulo/Paraná; Rio Grande do
Sul
• Acre; Pernambuco/Espírito Santo/Rio de
Janeiro; Tocantins/Alagoas/Bahia/Goiás;
Amazonas
• Piauí; Pará; Rondônia/Paraíba (2012)
Linha do Tempo | Avaliações
SADEAM
SPAECE
SISPAE
Sistema de Av. da Educ. da Paraíba
SAEPE
SAEMI
AREAL
SAEPI
SEAPE
SALTO
SAERO
AVALIE
SAEGO
SIMAVE
AVALIA BH
PAEBES
SAEMS
ALFABETIZA RIO
SAEP
SAERS
SAERJ
SARESP
Características dos sistemas próprios de Avaliação
Vantagens dos sistemas próprios de Avaliação
Vantagens dos sistemas de próprios de Avaliação
Desenho próprio, adequado às necessidades da rede.
Alinhamento entre currículo, ensino e avaliação.
Definição da série e áreas do conhecimento.
Menor periodicidade entre os ciclos avaliados.
Etapas básicas dos programas de avaliação
1
• Determinação da população a ser avaliada
2
• Elaboração da Matriz ou utilização da Matriz de Referência do
SAEB
• Construção de itens
• Pré-testagem dos itens
• Análise estatística e pedagógica dos itens
3
• Montagem dos cadernos de testes (BIB)
• Elaboração dos testes padronizados
• Elaboração dos questionários contextuais
Etapas básicas dos programas de avaliação
4
• Aplicação dos instrumentos
• Processamento e constituição da base de dados da avaliação
5
•
•
•
•
Análise dos resultados: utilização da TCT e da TRI
Produção dos resultados
Construção e interpretação das Escalas de Proficiência
Divulgação dos resultados
O que a avaliação externa
possibilita?
Possibilidades dos Sistemas próprios de Avaliação
Monitoramento a qualidade da educação pública ofertada e a
promoção da equidade.
Diagnóstico do efeito das políticas públicas implementadas.
Utilização dos resultados, com foco na identidade escolar.
.
Estabelecimento de Padrões de Desempenho estudantis e metas
educacionais
Possibilidades dos Sistemas próprios de Avaliação
Monitoramento a qualidade da educação pública ofertada e a
promoção da equidade.
Diagnóstico do efeito das políticas públicas implementadas.
Utilização dos resultados, com foco na identidade escolar.
.
Estabelecimento de Padrões de Desempenho estudantis e metas
educacionais
Evolução da proficiência média em Matemática
Rede Estadual – Minas Gerais
300.0
275.0
274.7
250.0
246.3
225.0
200.0
2006
250.9
255.8
2007
5º ano EF
Fonte: Proeb
2006/2010
282.2
205.2
196.5
175.0
282.4
218.2
2008
9º ano EF
284.0
261.4
290.6
268.9
235.1
226.2
2009
3º ano EM
2010
Evolução da distribuição por Padrões de
Desempenho em Matemática - Rede Estadual - MG
5EF
9EF
3EM
2010
54.8%
41.1%
4.1%
2011
60.2%
36.2%
3.7%
2012
59.5%
36.7%
3.8%
2010
17.3%
2011
19.1%
2012
17.5%
2010
11.8%
2011
14.1%
2012
13.1%
Baixo
Fonte: Proeb
2010/2012
56.9%
25.8%
59.7%
21.2%
59.4%
28.8%
28.8%
27.0%
Intermediário
23.2%
59.4%
57.1%
60.0%
Recomendado
Possibilidades dos Sistemas próprios de Avaliação
Monitoramento a qualidade da educação pública ofertada e a
promoção da equidade.
Diagnóstico do efeito das políticas públicas implementadas.
Utilização dos resultados, com foco na identidade escolar.
.
Estabelecimento de Padrões de Desempenho estudantis e metas
educacionais
Mapa de Alfabetização do Estado do Ceará
SPAECE-Alfa 2007
Fonte: Spaece-Alfa
2007
Mapa de Alfabetização do Estado do Ceará
SPAECE-Alfa 2008
Fonte: Spaece-Alfa
2008
Mapa de Alfabetização do Estado do Ceará
SPAECE-Alfa 2009
Fonte: Spaece-Alfa
2009
Mapa de Alfabetização do Estado do Ceará
SPAECE-Alfa 2010
Fonte: Spaece-Alfa
2010
Mapa de Alfabetização do Estado do Ceará
SPAECE-Alfa 2011
Fonte: Spaece-Alfa
2011
Possibilidades dos Sistemas próprios de Avaliação
Monitoramento a qualidade da educação pública ofertada e a
promoção da equidade.
Diagnóstico do efeito das políticas públicas implementadas.
Utilização dos resultados, com foco na identidade escolar.
.
Estabelecimento de Padrões de Desempenho estudantis e metas
educacionais
Resultados Estaduais Transversais ou Longitudinais
Estado
Regionais
Municípios
Escola
Turma
Aluno
Resultados Estaduais Transversais ou Longitudinais
Transversais
• Coleta periódica
• Amostras representativas
de escolas e alunos
• Amostras diferentes em
cada aplicação.
• Permite comparações ao
longo do tempo no
conjunto
Longitudinais
• Coleta com período
contínuo definido
• Amostras selecionadas de
escolas e alunos
• Mesma amostra em cada
aplicação
• Permite acompanhamento
do valor agregado de cada
aluno
Possibilidades dos Sistemas próprios de Avaliação
Monitoramento a qualidade da educação pública ofertada e a
promoção da equidade.
Diagnóstico do efeito das políticas públicas implementadas.
Utilização dos resultados, com foco na identidade escolar.
.
Estabelecimento de Padrões de Desempenho estudantis e metas
educacionais
Padrões de desempenho
Identificação do
percentual de
alunos em risco
pedagógico
(evasão,
reprovação ou
abandono)
Caracterização do
desempenho
escolar
Estabelecimento e
monitoramento
das metas de
qualidade
educacional
Padrões de
desempenho
estudantil
Grau de
realização das
ações
educacionais
Políticas públicas
voltadas à
promoção da
equidade
Descrição geral dos Padrões de Desempenho
Padrões
Descrição
Abaixo do
Básico
Os alunos que apresentam este padrão de desempenho
revelam ter desenvolvido competências e habilidades muito
aquém do que seria esperado para o período de
escolarização em que se encontram. Por isso, esse grupo de
alunos necessita de uma intervenção focada de modo a
progredirem com sucesso em seu processo de
escolarização.
Básico
Os alunos que apresentam este padrão de desempenho
demonstram já terem começado um processo de
sistematização e domínio das habilidades consideradas
básicas e essenciais ao período de escolarização em que se
encontram. Para esse grupo de alunos, é importante o
investimento de esforços para que possam desenvolver
habilidades mais elaboradas.
Descrição geral dos Padrões de Desempenho
Padrões
Descrição
Adequado
Os alunos que apresentam este padrão de desempenho
demonstram ter ampliado o leque de habilidades tanto no
que diz respeito à quantidade quanto no que se refere à
complexidade dessas habilidades, as quais exigem um
maior refinamento dos processos cognitivos nelas
envolvidos.
Avançado
Os alunos que apresentam este padrão de desempenho
revelam ser capazes de realizar tarefas que exigem
habilidades mais sofisticadas. Eles desenvolveram
habilidades que superam aquelas esperadas para o período
de escolaridade em que se encontram.
Projetos de intervenção pedagógica a partir dos
Padrões de Desempenho
Abaixo do
Básico
Básico
Adequado
Avançado
Recuperação
Reforço
Aprofundamento
Desafio
Uso dos Resultados
Gestor
da Rede
•
•
•
•
•
Planejamento e execução de políticas públicas
Criação de metas de qualidade e equidade educacionais
Implementação de medidas de responsabilização
Políticas de incentivos diretos ou indiretos
Ações de formação continuada de professores
da Escola
• Elaboração do projeto da escola
• Monitoramento da qualidade de ensino
• Subsídio para avaliação institucional
Uso dos Resultados
Professor
• Projetos de intervenção pedagógica
• Elaboração de projetos especiais
• Foco nos alunos com dificuldades
• Ações de reforço escolar
• Planejamento das ações de sala de aula
• Visão proativa quanto ao desenvolvimento de habilidades e
competências ao longo da educação básica
Uso dos Resultados
Aluno e família
• Acompanhamento individual do desempenho escolar pelos alunos e
seus familiares.
• Informações sobre a qualidade dos serviços educacionais oferecidos.
Avaliação em larga escala:
Em que avançamos e quais os
desafios?
Sistemas Estaduais de Avaliação
Em que avançamos?
Maior transparência no processo de avaliação e divulgação dos
resultados
Ampliação das oportunidades educacionais e o
reconhecimento do direito de aprender
Debate sobre as responsabilidades
Atenção especial aos alunos de baixo desempenho
Canais de divulgação dos resultados
Material
Impresso
Ações de
formação
•
•
•
•
•
•
Revista do Sistema
Revista do Gestor
Revista Pedagógica
Revista Contextual
Caderno de Gestão
Caderno de Pesquisa
• Oficinas
• Vídeos
• Kits instrucionais
Canais de divulgação dos resultados
Portal da
Avaliação
Transferência
de
tecnologia
• Integração dos dados
• Resultados das escolas
• Mídias sociais
• Cursos a distância
• Curso presencial
• Acompanhamento técnico/pedagógico
Sistemas Estaduais de Avaliação
Em que avançamos?
Discussão sobre os fatores que interferem no desempenho
escolar, eficácia de práticas, programas e políticas
educacionais.
Sistemas Estaduais de Avaliação
Em que avançamos?
Discussão sobre a construção de propostas curriculares
inovadoras, bem desenhadas e de fácil compreensão por
diferentes públicos.
Sistemas Estaduais de Avaliação
Em que avançamos?
Participação dos acadêmicos e pesquisadores das
universidades, gestores e professores da educação básica no
debate sobre o direito à educação.
Fatores Associados ao Desempenho
Fatores Extraescolares
Fatores socioeconômicos
Fatores Intraescolares
Gestão e administração
Fatores familiares
Prática pedagógica
Fatores individuais
Condições de infraestrutura
Qualificação dos profissionais
Em que consiste considerar os
fatores associados ao Desempenho?
Investigação de fatores intra e extraescolares específicos de
cada sistema
Avaliação do impacto dos programas implementados pelas
Secretarias
Estudo de casos de sucesso (escolas eficazes)
Correlações entre fatores de desigualdade educacionais
Sistemas Estaduais de Avaliação
Desafios
Sistemas Estaduais de Avaliação
Desafios
Maior participação dos gestores e professores nas discussões
sobre apropriação e utilização dos resultados pelas escolas.
Sistemas Estaduais de Avaliação
Desafios
Maior participação dos gestores e professores nas discussões
sobre apropriação e utilização dos resultados pelas escolas.
Melhor alinhamento entre as propostas curriculares e avaliação e
participação dos professores na definição dos Padrões de
Desempenho.
Sistemas Estaduais de Avaliação
Desafios
Maior participação dos gestores e professores nas discussões
sobre apropriação e utilização dos resultados pelas escolas.
Melhor alinhamento entre as propostas curriculares e avaliação e
participação dos professores na definição dos Padrões de
Desempenho.
Canais de comunicação efetivos e constantes com gestores,
professores, pais, alunos e sociedade sobre a qualidade da
educação e responsabilidade de todos.
Tópicos da nossa apresentação
1
• Definição
2
• Classificação
3
• Histórico
4
• Processo
5
• Justificativa
6
• Importância
7
• Possibilidades
8
• Uso dos resultados
9
• Evolução
10
• Desafios
Obrigado!
www.caed.ufjf.br
[email protected]