Desenvolvimento do trabalho Manhã do dia 28.03 Conceitos e características da avaliação em larga escala. Principais aspectos do delineamento de uma proposta de avaliação. Desenvolvimento do trabalho Tarde do dia 28.03 Experiências de avaliação: o que podemos aprender com elas. Reflexão sobre os conceitos, características e tendências no contexto de cada Estado. Avaliação Conceitos e características A divulgação desta apresentação por Cd-Rom e no Web site do programa Educação do Instituto do Banco Mundial e feita com a autorização do autor. Fortalecimento da avaliação a partir da década de 90 Contexto: Estado formulador / supervisor Descentralização da implementação Autonomia para o implementador Foco nos resultados Maior participação da sociedade civil. Fortalecimento da avaliação Avaliação passa a ser ferramenta para garantir: Racionalização na tomada de decisão Responsabilização do implementador Transparência na implementação Prestação de contas do Estado. Tipos de avaliação mais usados Considerando-se as etapas da ação Avaliação diagnóstica (antes do T0) Avaliação de processo (T0 aT1) Avaliação de produto (T1) Tipos de avaliação mais usados Considerando-se as etapas da ação Diagnósti co T0 T1 Implemen tação Início da ação Produtos Fim da ação Linha de tempo Tipos de avaliação mais usados Considerando-se o resultado da ação Avaliação de desempenho (T1) Avaliação de impacto (T1-T0) Avaliação de efetividade {T2-(T1-T0)} T0 Início da ação T1 Fim da ação T2 Tempo depois do fim da ação Cada tipo de avaliação pressupõe um delineamento diferente, com coleta e processamento de dados específicos. Avaliação: características fundamentais Isenção Validade Confiabilidade Precisão Uso Responsável Esse movimento também ocorre na Educação. Fortalecimento da avaliação no campo da Educação a partir da década de 90 Os movimentos internacionais de educação investem em duas frentes: acesso e qualidade. A avaliação educacional deveria informar a qualidade educacional. A avaliação e a Educação Duas perguntas: O que é avaliar? O que é qualidade da Educação? Evolução do entendimento sobre Avaliação Educacional Década de 50 Medir (técnico) Década de 60 Descrever (critérios e padrões) Década de 70 Atribuir juízo de valor (juiz) Década de 90 Negociar (comunicador) Fonte: Tenório, Robinson. Avaliação de programas e projetos educacionais Avaliação “Entendemos avaliação como um juízo de qualidade sobre dados relevantes, tendo em vista uma tomada de decisão. É bem simples: são três variáveis que devem estar sempre juntas para que o ato de avaliar cumpra o seu papel.” (LUCKESI, 2000:69) Avaliação “Para que essa avaliação seja bem fundamentada, cada escola (cada sistema) deveria se pautar por um quadro referencial de critérios que permita inferências sobre qual a qualidade educacional desejada.” (DEPRESBITERES, 2001:143) Lógica da avaliação: Determinação dos fatos relevantes Definição de critérios para julgamento Coleta de informação sobre os fatos relevantes Análise das informações Aplicação dos critérios Emissão de juízo de qualidade Tomada de decisão Indicadores • O uso de indicadores sistematiza a coleta de dados sobre os fatos relevantes. • Sua definição varia com objetivos e capacidade de ação daquele que está avaliando. • Antes: ênfase dada aos insumos Hoje: ênfase nos resultados e produtos Tipos de Indicadores • • • • • • • De provisão de recursos e financiamento. Taxas de acesso / participação por nível. Custo em cada um dos níveis. Tamanho de turma / razão alunos / professor. Treinamento dos docentes. Medidas do aproveitamento dos alunos em áreas chave do currículo. Taxas de progresso do alunado. Fonte: Rowe, Ken. Indicadores do Desempenho Educacional Qualidade educacional Escolarização Ser Humano Ser cidadão Bem viver democrático, com acesso ao conhecimento e à cultura e possibilidade de trabalho Ter acesso à escola Aprender na escola Permanecer na escola Fonte: esquema proposto a partir de Luckesi, 2000. Desafio: Identificar os indicadores que informem sobre a qualidade educacional. Articular esses indicadores para que se forme o panorama sob avaliação. Avaliação de Sistema ≠ Avaliação de sala de aula Semelhanças “Os cuidados com os processos avaliativos devem ser comuns às escolas e aos sistemas educacionais”. “As perguntas conceituais norteadoras são as mesmas”. Diferenças ► Avaliação Educacional ► Avaliação Pedagógica Matriz de indicadores comum ao Estado Plano de ensino voltado para a comunidade Equipe de avaliadores Professores e coordenadores Diferenças ► Avaliação da escola ► Avaliação na escola Todos os alunos da(s) rede(s) Plano de Educação Cada aluno na sala de aula Procedimentos padronizados / larga escala Informa a sociedade Compromisso do Estado Procedimentos variados / pequena escala Projeto político-pedagógico Informa pais e comunidade Compromisso da equipe educacional Avaliação da escola + Avaliação na escola ► São complementares. É preciso haver profunda articulação entre elas. ► Gestores de sistema precisam entender que NÃO são gestores de escola. Avaliação de Sistema Série de procedimentos, previamente estabelecidos, para coleta e tratamento de dados que, analisados a partir de padrões e critérios relacionados aos objetivos desse sistema, podem ser usados para informar a tomada de decisões e favorecer o julgamento de valor. ► Avaliação não é um fim em si mesma. Implementa Implementa Planeja Avalia Avaliação e seu uso A avaliação só se justifica se for voltada para o uso. (PATTON, 1997) Características da avaliação útil, de acordo com Patton: 1 – Clareza de usos possíveis para usuários potenciais. 2- Criação e alimentação de uma cultura de teste que lastre a avaliação. 3 – Parceria entre avaliador, contratante, e “avaliando” na decisão do que avaliar e das responsabilidades sobre os resultados. 4 – Implementação reflexiva, oportuna, confiável, e integrada ao programa. 5 - Uso dos resultados de maneira transparente e responsável.