Avaliação de Políticas de Pagamento por Performance na Educação Pública:
O Caso de Nova York
Autoria: Antonio Bara Bresolin, Caio César de Medeiros Costa
RESUMO
Esse trabalho trata da avaliação de políticas educacionais, especificamente da política de
pagamento de bônus na educação pública. Analisou-se a avaliação da política implementada
na cidade de Nova York, concluída no ano de 2011. Com subsídio da literatura a respeito da
avaliação de políticas públicas traçou-se panorama sobre a avaliação de políticas de bônus
brasileiras na área da educação. E, tendo em vista a experiência avaliativa realizada em Nova
York, identificou e analisou aspectos da avaliação, entre eles o seu desenho, a sua finalidade e
a utilização das informações deste processo como subsídio para a tomada de decisão
governamental.
1. Introdução
1
Desde a promulgação da constituição federal brasileira de 1988 e principalmente ao longo das
décadas de 1990 e 2000, uma série de reformas políticas foi realizada. Durante esse período
algumas agendas que foram implementadas em contexto nacional e também em contexto
subnacional seguiram modelos adotados por outros países. Dentre elas se encontra a criação
de instrumentos de avaliação em larga escala do sistema público de educação (Schwartzman,
2013).
A realização de provas padronizadas internacionalmente, nacionalmente e
subnacionalmente, desenvolvidas como instrumento para mensurar a aprendizagem dos
alunos, tem crescido ao longo dos anos (Souza e Oliveira, 2010). A criação desse modelo de
avaliação permite que este instrumento e seus resultados orientem diferentes etapas da gestão
da política educacional como demonstra Brooke (2011) ao identificar a as seguintes
possibilidades de utilização dos resultados: 1) Avaliar e orientar a política educacional; 2)
Informar as escolas a respeito da aprendizagem dos alunos e definir estratégias de formação
continuada; 3) Informar o público sobre os progressos dos alunos; 4) Alocar recursos; 5)
Elaborar políticas de incentivos salariais; 6) Avaliar o docente e 7) Certificar alunos e escolas.
O uso destas provas como instrumento de incentivo para melhoria do desempenho de
professores ganhou força e teve sua prática ampliada principalmente na última década. O
desenho de programas de bônus para professores com desempenho diferenciado, visando
estimular a melhoria na aprendizagem dos alunos, foi adotado por diferentes governos,
incluindo sete estados brasileiro que já implantaram este tipo de política: Amazonas, Ceará,
Espírito Santo, Minas Gerais, Pernambuco, Rio de Janeiro e São Paulo (Brooke 2011).
Além das diferentes experiências iniciadas no Brasil, outros países fazem ou fizeram
uso semelhante desse tipo de instrumento como incentivo para professores na área pública.
Apesar da sua larga utilização ao redor do mundo, evidências internacionais a respeito do
impacto do bônus sobre desempenho não são conclusivas, ainda que apresentem sinais
positivos em contextos específicos (Figlio e Loeb 2011). Experiências avaliadas em países
como Índia (Muralidharan e Sundararaman, 2009), Inglaterra (Atkinson et al., 2009) e Israel
(Lavy 2009), mostram que programa de bônus para professores baseado em desempenho pode
ter resultados em provas padronizadas feitas pelos estudantes. Mas as discussões sobre o
assunto ainda estão longe de um consenso e carecem de estudos avaliativos conclusivos e
generalizáveis.
É em contextos como esses que se faz necessária a avaliação das políticas
governamentais baseadas em métodos e modelos científicos. No Brasil são raros os casos
sobre uso da avaliação na área pública como demonstra Serpa (2010) ao afirmar que existem
poucos estudos avaliativos com desdobramentos e conseqüências práticas no aprimoramento
da gestão de políticas públicas.
Não obstante das demais, a política de pagamento por bônus a professores no Brasil
segue a mesma lógica de escassez de estudos de avaliativos, que nesse caso é explicitado pela
baixa quantidade de informações e análises sobre o tema. O único trabalho publicadoi até o
momento, feito por Oshiro e Scorzafave (2011), avalia a política do Estado de São Paulo, a
respeito do efeito do pagamento de bônus aos professores sobre a proficiência escolar.
A realização da avaliação das políticas públicas é fundamental para o desenvolvimento
e adaptação das formas e instrumentos da ação pública como aponta Frei (2000), para isso a
avaliação deve subsidiar o processo de tomada de decisão com informações corretas e úteis
que permitam o aprendizado organizacional.
Como referência empírica de avaliação da política de pagamento por bônus na
educação, discute-se o caso acerca do programa realizado por Nova York. Trata-se de um
exemplo bem sucedido de avaliação, haja vista que os resultados encontrados foram utilizados
como base para que o governo decidisse novos rumos da política e o estudo abordou
2
diferentes nuances da avaliação e forneceu uma grande quantidade de informações e
propiciou a aprendizagem organizacional. Experiências como essa mostram a necessidade e a
pertinência do uso de diferentes metodologias para avaliação de políticas públicas que
permitam a utilização conseqüente dos processos avaliativos no aprimoramento das ações
desenvolvidas.
O presente trabalho representa um esforço no sentido de demonstrar a importância da
utilização de mecanismos de avaliação das políticas públicas na área da educação, com foco
específico em pagamento de bônus financeiro, cada vez mais implementadas por um grupo
crescente de Estados brasileiros, sem ser acompanhada por processos de monitoramento e
avaliação que possam sinalizar a efetiva contribuição dessa política para os objetivos aos
quais se propõem.
Dada à relevância da avaliação das políticas públicas, a baixa utilização desse
instrumento no Brasil e a necessidade de se analisar a contribuição potencial de política de
incentivo para professor baseada em desempenho, o presente estudo pretende contribuir para
reflexão teórica, assim como estimular uma mudança de prática, ao apresentar e discutir um
caso que poderá servir como referencial para concepção e realização de avaliações futuras.
O caso de Nova York se insere nesse contexto, tendo em vista o descolamento entre a
implementação da política e a sua avaliação no contexto brasileiro. Torna-se primordial
discutir a avaliação de um programa de bônus para professores, a partir de uma experiência
internacional de sucesso que conseguiu preencher tal lacuna, objetivo desse trabalho. O caso
nova yorkino certamente poderá orientar, inspirar e referenciar processos avaliativos de
diferentes políticas que estão em elaboração ou já foram implementadas nesta mesmo âmbito,
no Brasil.
Partindo de uma breve revisão da teoria a respeito da avaliação de políticas públicas, será
apresentado um panorama do contexto brasileiro em relação a avaliação de política de bônus
na área da educação, seguido por uma análise do processo avaliativo realizado sobre a política
de incentivo financeiro na área pública educacional em Nova York. Por fim, serão
apresentadas aprendizagens a respeito da avaliação de políticas desta natureza que podem
orientar e estimular processos semelhantes no Brasil, contribuindo para o aprimoramento das
políticas que estão em andamento no país.
2. Avaliação de Políticas Públicas e sua aplicação no contexto educacional
Ala-Harja e Helgason (2000:8) conceituam a avaliação de políticas públicas como uma
ação que compreende a verificação dos resultados de um programa em relação aos seus
objetivos. Os próprios autores afirmam, porém, que tal questão está longe de um consenso e
que diversas versões para esse conceito são apresentadas. Além de diferentes definições, outro
aspecto não consensual apresentado por Faria (2003) é a existência de uma Babel de
abordagens, teorização e vertentes analíticas.
Como aponta Capobiango et al., (2010) algumas definições são comumente empregadas
ao tratar o tema da avaliação destacando a de Weiss (1988:5) de que a avaliação seria “a
estimativa sistemática da operação e/ou dos resultados de um programa ou de uma política
(policy), em comparação com um conjunto de parâmetros implícitos ou explícitos, como
forma de contribuir para o aprimoramento do programa ou política”.
Na lógica apontada no parágrafo anterior a atuação do Estado e das instituições
preocupadas com a avaliação das Políticas Públicas se dá de forma ex-post. Dessa maneira ela
não é vista somente como um instrumento de gestão, mas também como uma forma de
aferição do desempenho das políticas e programas, o que permite estabelecer parâmetros para
a prestação de contas da burocracia e dos governantes como apontam Ceneviva e Farah
(2012).
3
Cohen e Franco (2007) argumentam que a avaliação não deve ser julgada como
autossuficiente, dado que faz parte de um processo de planejamento da política, que permite a
definição entre diferentes projetos tendo por base sua eficácia e eficiência. Além disso,
possibilita a verificação dos resultados alcançados por esses projetos, permite a retificação ou
não das ações e, quando necessário, reorienta a busca dos objetivos intencionados pelos
projetos.
Trabalhos como o de Silva (1999), argumentam que o motivo primaz do interesse pela
avaliação da atividade governamental é a preocupação com a efetividade das ações. O
segundo motivo ainda de acordo com o autor é entender o que leva os programas a
alcançaram os resultados apresentados, e para tanto analisa-se a dinâmica da atuação do
Estado e problemas ocorridos na implementação. São citados também como sendo
motivadores da avaliação, o aprendizado organizacional, o subsídio ao processo de tomada de
decisão e a responsabilização do Estado na sua função alocativa.
A avaliação de políticas públicas tem múltiplos objetivos e atende a uma variada
audiência; no entanto, conforme afirmam Calmon e Serpa (2009), no Brasil este debate ocorre
de forma tardia e sem uma perspectiva estratégica, predominando a existência de grupos de
acadêmicos ou de alguns gestores que reconhecem as contribuições potenciais da avaliação
para o aprimoramento das ações desenvolvidas. Na área da educação pública tal questão é
similar às demais. Poucos estudos avaliativos das políticas educacionais foram realizados,
sendo que na grande maioria as motivações desses trabalhos foram de interesse científico,
mas que pode atender também a outros objetivos apresentados no parágrafo anterior, como
mostram os exemplos apontados no parágrafo seguinte.
Alguns trabalhos podem ser citados como sendo exemplos da utilização da avaliação no
campo da educação. O estudo de Ceneviva e Farah (2012) analisa a relação entre a
responsabilização dos agentes públicos e as características do sistema de avaliação
implementado, como base para esse estudo os autores analisaram dois programas
educacionais existentes. Por sua vez o trabalho de Falsarella (2011) expõe os pressupostos
políticos, teóricos e metodológicos da avaliação de políticas públicas no campo da educação,
como enfoque dessa análise a autora explora as mudanças necessárias para os atores ligados à
política.
Em comum os dois estudos apresentados no parágrafo tem a motivação científica e a visão
restrita acerca da avaliação, há de se destacar, porém a dificuldade em se realizar um trabalho
de avaliação que analise questões amplas passando pelo impacto, processos, desenho entre
outros pontos que podem ser investigados.
Os estudos avaliativos das políticas educacionais mostra uma preocupação direcionada à
qualidade da educação e a participação dos atores envolvidos nesse processo, apresentando
assim uma tendência a responsabilização e a visão de que as políticas educacionais são arenas
nas quais cabem a atuação de múltiplos atores.
Atualmente no Brasil uma das preocupações vigentes é a melhoria dos indicadores
educacionais apresentados e oriundos de outras avaliações que subsidiam além da análise
comparada, outras políticas que são balizadas por esses indicadores, dentre elas a política de
premiação por bônus.
Parte crucial dos sistemas de premiação por desempenho, o uso de testes como
indicador de resultados de aprendizagem dos estudantes representa um aspecto bastante
controverso no processo avaliativo do programa. Por se tratar de um instrumental restrito e
passível de erros, muita reflexão e discussões foram feitas sobre esta questão, que ainda
produz discordâncias e está longe de atingir um consenso. Esses apontamentos demonstram a
grande utilidade das informações advindas dos processos de avaliação, bem como a
complexidade na utilização dessas informações, o que enfatiza mais ainda a necessidade de
informações confiáveis e de um processo e avaliação sem falhas e completo.
4
3. Panorama da avaliação de políticas brasileiras de bônus na área educacional
Diversos governos estaduais brasileiros já elaboraram projetos e leis para o
estabelecimento de programas de bônus voltados aos docentes e profissionais ligados a
educação, baseados em metas de desempenho dos alunos da rede. É conhecida a existência de
programa de bônus para servidores na área educacional nos estados brasileiros: Amazonas,
Ceará, Espírito Santo, Minas Gerais, Pernambuco, Rio de Janeiro e São Paulo (Brook 2011).
Uma Proposta de Emenda à Constituição (PEC) 188/12 está em análise pela Câmara dos
Deputados para criar o Fundo Nacional de Valorização do Professor da Educação Básica,
destinado exclusivamente ao pagamento de bônus aos docentes da rede pública que exercem o
magistério em sala de aula.
Cada Estado desenvolveu um modelo específico de bonificação, com variáveis e regras de
funcionamento diferentes. Também é sabido que cada governo elaborou um modelo próprio
de política, em períodos distintos, criou diferentes regras e variáveis para o pagamento da
recompensa financeira, e estipulou valores e formas de desembolso próprios.
As políticas de remuneração variável por desempenho em educação no Brasil apresentam
desenhos variados em relação: a formas de medir o desempenho, seja do professor ou da
escola; ao critério de desempenho dos alunos; a natureza dos indicadores escolares
considerados; a distribuição da bonificação, para o indivíduo ou para a escola, para todos da
equipe ou excluindo o pessoal de apoio; a maneira de contabilizar faltas previstas e não
previstas legalmente; forma de pagamento, anual ou mensal; ao estabelecimento do valor
pago; entre outras variáveis (Pontual 2008).
Será que esta estratégia de incentivo é adequada para estimular a melhora no desempenho
escolar dos alunos? Sob quais condições este mecanismo pode, ou não, funcionar? Existe um
modelo que seja mais efetivo ao objetivo que se pretende? Qual o desenho que gera mais
resultados?
Apesar da existência de poucos estudos brasileiros a respeito deste tema, há uma forte
tendência de proliferação de programas fundamentados neste princípio. Em função da
escassez de avaliações, não é possível saber se os programas desenhados para estimular uma
melhora no desempenho dos alunos estão trazendo de fato uma mudança nos indicadores
educacionais. É preciso compreender se a oferta de uma recompensa financeira adicional para
servidores públicos que trabalham na área da educação, condicionada a variáveis préestabelecidas, como notas dos alunos em provas padronizadas, tem contribuído para promover
realmente um desempenho diferenciado do professor a ponto dos alunos aprenderem mais.
É necessário investigar os diferentes modelos de bônus vigentes no país, avaliar a maneira
pela qual foram implementados, analisar os resultados intermediários gerado por eles, julgar
se os resultados finais almejados estão sendo atingidos e quais variáveis podem estar
correlacionadas aos resultados desejados por este tipo de política.
O único trabalho publicado no Brasil até o momento, com foco no impacto gerado por
este tipo de política, é de Oshiro e Scorzafava (2011), que avalia o programa implementado
no estado de São Paulo em 2008 para remunerar funcionários e professores da rede que
cumprem metas pré-determinadas pela Secretaria de Educação do Estado de São Paulo na 4ª
série do ensino fundamental, na 8ª séries do ensino fundamental e no 3º ano do ensino médio.
No caso desta política, as metas foram estabelecidas a partir de indicadores sobre o fluxo
escolar - taxa média de aprovação em cada ciclo da escolarização - e o desempenho dos
alunos – nota na proficiência em Matemática e Português do Sistema de Avaliação do
Rendimento Escolar do Estado de São Paulo (SARESP).
A avaliação utilizou métodos econométricos (propensity score matching e diferenças em
diferenças) para mensurar o impacto do programa sobre o desempenho dos alunos em
5
Matemática e Português na Prova Brasil na 4ª e 8ª séries do ensino fundamental. Com o
intuito de atribuir causalidade entre a política e o impacto nas notas que ela busca promover,
foi considerado como grupo de tratamento as escolas estaduais de São Paulo, submetidas à
política, enquanto o grupo de controle foi composto por escolas com características
semelhantes, mas pertencentes a outra rede (municipal paulistas e outros estados) onde
políticas desta natureza não haviam sido implementadas.
O estudo identifica um impacto positivo e estatisticamente significativo na proficiência
dos alunos da 4ª sérieii, mas não encontram impacto na proficiência dos alunos da 8ª série. Os
próprios autores reforçam a necessidade de estudos complementares para se compreender os
motivos desta diferença de impacto entre as séries, assim como a carência de se investigar
como os agentes envolvidos avaliam a política.
Elaborado em ambiente acadêmico, esta avaliação foi feita com base em dados
secundários e superou dificuldades decorrentes de não ter sido planejada antes da
implementação da política, nem em parceria com a área pública. Sua concepção e execução
não teve qualquer articulação ou interlocução com a secretaria executora da política analisada,
de tal forma que os resultados encontrados não tiveram qualquer desdobramento ou uso
prático por parte dos gestores públicos. Tal qual foi avaliada, a política segue vigente e
inalterada.
4. Método
A literatura mostra a importância das avaliações de políticas públicas (Ceneviva e
Farah, 2012), os possíveis usos deste instrumento em um contexto de institucionalização dos
processos avaliativos na esfera governamental (Calmon e Serpa, 2012), destaca que a
avaliação atende a diferentes objetivos e audiência (Silva, 1999), assim como pode apresentar
diversas motivações e utilizações (Calmon e Serpa, 2009), devendo ser realizada sob
múltiplas perspectivas metodológicas (Marsh et al., 2011).
O presente trabalho faz uma análise descritiva e crítica do processo de avaliação da
política de pagamento de bônus por desempenho em Nova York, ressaltando os diversos
critérios considerados e a relevância deste tipo de análise. O quadro a seguir apresenta as
principais variáveis relacionadas ao processo de avaliação e sintetiza as características do caso
analisado.
Realizou-se aqui uma análise de documentos governamentais, relatórios de avaliação e
artigos científicos que abordaram tal temática. A pesquisa pode ser classificada como
documental, no sentido de que se pauta em trabalhos já publicados. Uma série de aspectos
deve ser tratado de forma cautelosa ao se realizar pesquisas desse tipo, os documentos são
sempre específicos ao contexto no qual foram elaborados Na análise, além da compreensão
das questões e métodos de pesquisa social e do conhecimento do referencial teórico, é muitas
vezes necessário coletar dados a partir de uma ampla gama de fontes, já que precisam ser
situado dentro de um quadro teórico de referência, a fim de que seu conteúdo seja
compreendido. (Autor Desconhecido, sd)
Quadro 1 – Sistematização sobre a avaliação do Programa de Bônus de Nova York
6
Aspecto
Desenho da política
atores envolvidos
tempo dedicado
I mplementação
Escala
critério de seleção
período proposto
formato
Avaliação
Planejamento
Etapas consideradas
Responsável
Atores envolvidos
M etodologia
Situação
Prefeitura, Secretaria de educação, Sindicato
longo, 3 anos
amostral
voluntário e aleatório
2 anos (prorrogado para 3)
piloto
feito junto com o desenho da política
implementação, resultados intermediários, resultado final
avaliador externo
governo, academia e beneficiários (diretores e professores)
qualitativa – grupo focal, estudos de caso, pesquisa de opinião
quantitativa – aplicação de questionários, análise de dados
secundários
Utilização da avaliação
motivação
gestão e aprimoramento
Fonte: Elaborado pelos autores
O quadro anterior elenca as principais variáveis a serem consideradas em um processo
de avaliação de política pública desta natureza, ilustrando a exemplaridade do caso, ao ter
sido realizado sob perspectivas múltiplas e complementares.
5. Análise sobre a avaliação da política de bônus por performance escolar em Nova
York
5.1 O Programa de Bônus por Performance Escolar
A Reforma Educacional de Nova York, chamada “Children First”, foi estruturada com
o intuito de superar diversos obstáculos em relação ao aprimoramento do ensino e da
aprendizagem em instituições educacionais públicas, após décadas de tentativas inócuas no
sentido de reverter uma cultura de fracasso nas escolas da cidade. Esta reestruturação,
liderada pelo prefeito de Nova York, Michael Bloomberg, e pelo secretário de Educação, Joel
Klein, foi iniciada em 2002. Entre os diferentes temas abarcados no processo da reforma
educacional, que produziu mudanças na rede pública de ensino da cidade, foram incluídos a
descentralização e autonomia escolar; o monitoramento dos processos de aprendizagem e a
responsabilização pelos resultados; o processo de formação e apoio aos professores em sala de
aula; a aproximação entre a escola e a família; entre outros (Gall e Guedes, 2009).
Após debates que se estenderam por um longo período, a Secretaria de Educação de
Nova York (NYCDOE) e a Federação Unida de Professores (UFT)| implantaram
conjuntamente o Programa de Bônus por Performance Escolar (SPBP) no ano escolar de
2007-2008.O desenho do projeto contemplou a elaboração, a implementação e a avaliação de
uma política de incentivos por desempenho aos profissionais do setor, com duração inicial
prevista para dois anos, 2007-2008 e 2008-2009, que acabou sendo prolongado por mais um
período, de 2009-2010, como resultado de negociações adicionais posteriores entre as duas
instituições.
7
Concebido para escolas extremamente carentes e vulneráveis, com baixo nível de
proficiência dos alunos, indicadores elevados de pobreza e situações sócio-demográficas
preocupantes, o Programa de Bônus foi implantado como uma iniciativa piloto, em pequena
escala, de modo a possibilitar a avaliação da pertinência de sua expansão, em um segundo
momento, para toda a cidade de Nova York (Lasagna, 2010).
O bônus foi idealizado como uma recompensa e um incentivo para motivar
comportamentos desejados dos professores. Criava-se, assim, um instrumento supostamente
poderoso que permitia relacionar performance e pagamento. Inédito e multifacetado, Lasagna
(2010) ressalta que o Programa teve como objetivos prioritários:
- Aumentar a aprendizagem dos alunos, por meio da criação de incentivos e
recompensas para professores de escolas em situação de elevada vulnerabilidade e
baixa performance
- Instituir um sistema de recompensa profissional para os professores
- Criar um clima de colaboração entre os docentes e estimular uma mudança de
comportamento nas práticas de ensino
- Atrair e reter educadores melhor qualificados
O foco central foi dado à melhora da aprendizagem dos estudantes. O sucesso da política
seria mensurado de maneira objetiva, considerando as notas obtidas pelos estudantes em
provas padronizadas de matemática e língua inglesa, o nível de freqüência às aulas e a
adequação do ambiente escolar à aprendizagem. Conseqüentemente, objetivos intermediários
também seriam atingidos: a retenção de professores altamente qualificados, o aumento de
colaboração e cooperação entre os funcionários da escola e a melhora do nível motivacional
dos professores.
A adesão ao programa era feita de forma voluntária pela unidade escolariii desde que pelo
menos 55% dos seus representantes na UFT escolhesse participar. No primeiro ano, 427
escolas que apresentavam as condições para elegibilidade ao programa se inscreveram e
aproximadamente metade foi selecionada aleatoriamente para participar. Após desistências e
ajustes nesta seleção, o programa foi implantado com a participação de 205 escolas. No
decorrer do tempo, este numero caiu para 198 escolas no segundo ano e para 196 no terceiro.
Como contra partida, cada escola selecionada para participação criou um Comitê de
Compensação (CC), com a atribuição de determinar a maneira como o valor total de
bonificação recebido pela instituição seria distribuído entre os participantes. O Comitê era
composto pelo diretor da escola, um integrante indicado pelo diretor e outros dois
participantes eleitos pela equipe escolar que fossem representantes da UFT, e teria autonomia
completa para a definição do critério de divisão do bônus recebido pela escola. A única
restrição imposta foi não usar critério de senioridade para a distribuição.
Fundamentado em medidas fixas de performance, o bônus foi concedido a partir do
estabelecimento de níveis referenciais – metas - para desempenho da escola no Boletim de
Progresso Escolariv (School Progress Reports - RP) da Secretaria de Educação, elaborado
para cada distrito escolar. O índice criado para a medida do desempenho foi composto pela
performance e progresso dos estudantes, pelo ambiente escolar e por um critério de pontuação
adicional por exemplaridade. O cálculo final da pontuação no RP foi baseado na pontuação
total da escola em relação a todas as outras instituições com população estudantil semelhante.
Conforme Marsh et al. (2011), o número de escolas que receberam o bônus cresceu
substancialmente entre os dois primeiros anos, passando de 62% das instituições participantes
sendo contempladas com bônus integral ou parcial, para 84%. Já no último ano, como
resultado de uma recalibragem das metas nos testes de proficiência dos alunos, as notas das
escolas caíram generalizadamente, provocando uma redução para 13% no percentual de
participantes que receberam o bônus no terceiro ano. Em termos monetários, as transferências
representaram um total de U$20,806 milhões no primeiro ano, pagos por entidades privadas
8
que apoiaram o governo, U$30,629 milhões no segundo ano e apenas U$4,158 milhões no
terceiro, financiados diretamente pelo governo.
5.2 A avaliação – desenho geral e principais resultados encontrados
Em 2009, o Fundo da Cidade de Nova York para Escolas Públicas contratou a RAND
Corporation para, em parceria com a Universidade Vanderbilt e com o Centro Nacional de
Incentivo em Performance (NCPI), avaliar de maneira independente a implementação e a
efetividade do SPBP.
Com este propósito, diversos procedimentos metodológicos foram adotados para a
coleta de informações: revisão de documentos relacionados ao programa; análise de dados
administrativos da secretaria municipal de educação; pesquisas com os integrantes dos CC,
com os professores das escolas participantes do programa (grupo de tratamento) e de escolas
inscritas mas não contempladas pelo sorteio (grupo de controle) e também com membros do
NYCDOE e líderes da UFT; e ainda entrevistas em 14 escolas escolhidas para representarem
estudos de caso.
A avaliação dos efeitos do programa no desempenho escolar dos alunos foi feita a
partir de inúmeras análises e estimativas dos dados do PR, incluindo os resultados acadêmicos
dos estudantes e dados demográficos dos dois grupos de escola desde o ano escolar 20062007 até 2009-2010.
O relatório final da avaliação do programa, intitulado “A Big Apple for Educators New York City’s Experiment with Schoolwide Performance Bonuses” foi publicado em julho
de 2011 (Marsh et al., 2011). Utilizando uma combinação de métodos quantitativos e
qualitativos, a avaliação foi dividida em três grandes blocos temáticos, conforme
detalhamento a seguir:
5.2.1 Como foi feita a implementação do programa?
O sucesso de programas cuja natureza é motivacional pode ser fortemente
influenciado por diferentes variáveis relacionadas a sua implementação, que impactam na
efetividade dos resultados alcançados e do programa de uma maneira global. Por meio de
questionários desenvolvidos para o processo avaliativo da implementação, foi possível
identificar o nível de conhecimento, suporte e atitudes relacionados ao programa, assim como
o grau de legitimidade e funcionamento do CC.
Entre os diversos atores envolvidos - líderes da NYCDOE e UFT, professores e
integrantes do CC – o nível de entendimento e a postura perante ao programa foram variados.
De maneira geral, o público ao qual o SPBP foi destinado demonstrou conhecimento sobre o
mesmo e sobre os princípios do seu funcionamento, mas a avaliação identificou que o
programa não foi o ponto de atenção central das equipes envolvidasv.
O suporte geral oferecido para o programa foi avaliado como suficiente, problemas de
comunicação foram sendo corrigidos com o tempo, mas alguns pontos de desentendimento
sobre o programa e a sua duração permaneceram ao longo dos três anos. Resultados não
conclusivos indicam que os integrantes do CC reportaram baixa compreensão por parte dos
professores em relação ao PR, contribuindo para os níveis de resultados atingidos, mas a
maioria dos professores se posicionou como compreendendo bem o relatório.
A postura das equipes em relação ao bônus financeiro também apresentou resultados
ambíguos. Apesar de a maioria relatar um forte desejo de ganhar o bônus, muitos informaram
que a quantia oferecida era insignificante, não chegando a representar um incentivo para
mudança de comportamento.
9
A avaliação indicou que na maioria das escolas o processo foi implementado sem conflitos e
de maneira justa, as orientações a respeito da composição e atribuições do CC foram seguidas.
Na visão de seus integrantes, o processo de tomada de decisões foi justo, inclusivo e
consensual, ainda que alguns professores tenham reportado problemas neste processo e
considerado suas preferências como não contempladas na elaboração do plano de distribuição.
As conclusões a respeito da implementação do programa indicam tanto aspectos
promissores quanto problemas incidentes. Alguns fatores importantes para o sucesso de um
programa de pagamento por performance não foram devidamente encontrados em todas as
escolas participantes, em decorrência de problemas relacionados à implementação que podem
ter enfraquecido o efeito do bônus e do programa em geral, reduzindo o estímulo
motivacional esperado. Entre os principais itens, foram ressaltados o entendimento
equivocado a respeito do programa - especialmente no que diz respeito ao desentendimento
sobre a mensuração dos resultados - a incerteza com relação à capacidade dos professores em
modificarem suas práticas profissionais ou atuarem de maneira a aumentar as chances de
atingirem as metas propostas, questionamentos a respeito dos processos decisórios,
preocupação com os tempos de implementação e duração do programa.
5.2.2. Quais os resultados intermediários atingidos?
A concepção do programa previu alguns resultados intermediários, principalmente em
relação a atitudes e comportamento dos professores no sentido de desenvolverem trabalhos
em equipe para a implementação de estratégias que pudessem contribuir para uma evolução
no desempenho dos estudantes, no médio prazo, a ponto de receberem o bônus.
A partir da avaliação pautada na auto percepção dos professores com relação a estes
aspectos e aos efeitos do SPBP na melhora escolar dos alunos, as possíveis mudanças
desejáveis referentes aos resultados intermediários esperados são contraditórias, apresentam
efeitos mistos e opiniões variadas a respeito da participação no programa.
Professores demonstraram haver percebido poucos efeitos nos seus próprios
comportamentos e afirmaram não se sentirem pessoalmente motivados a mudarem suas
atitudes. As respostas dos integrantes dos CC revelam que suas interpretações sobre os efeitos
do programa na melhora das estratégias de ensino também não foram consensuais. As
percepções dos professores e dos membros do Comitê ficaram divididas em relação a seus
entendimentos sobre como o SPBP afetou os estudantes - metade acreditou que a
performance dos alunos não mudou e metade acreditou que foi modificada para melhor.
Há, porém, consenso entre os membros deste grupo quando se referem a outros
resultados da participação no programa tais como: maior colaboração entre os professores,
aumento do trabalho em equipe e maior foco na aprendizagem dos alunos.
Pesquisas com professores de escolas do grupo de tratamento e do grupo controle
permitiram comparar atitudes e comportamentos por meio de testes sobre os possíveis efeitos
da intervenção, que criaram escalas de resposta para a utilização da metodologia de intenção
de tratamento na mensuração do impacto. Não foram identificadas diferenças entre os dois
grupos no que diz respeito a atitudes relatadas, percepções ou comportamentos, condições do
ambiente escolar, nem tão pouco na porcentagem de professores que relataram a intenção de
permanecer na mesma escola durante o próximo ano letivo. Neste sentido, o programa não
produziu os efeitos esperados.
A única diferenciação constatada foi com relação ao fato de os professores
participantes do programa terem reportado dedicação um pouco menor para ensino focado nos
testes padronizados. Esse dado contradiz a hipótese de que o incentivo monetário faria
aumentar a ênfase no ensino sabidamente reconhecido como indutor da melhora do
desempenho dos alunos nos indicadores componentes da mensuração do bônus.
10
5.2.3. Como o programa influenciou a aprendizagem dos alunos?vi
O objetivo principal do SPBP era modificar a produtividade educacional por meio de
uma recompensa aos professores e outros membros da UFT que conseguissem promover uma
melhora no desempenho dos estudantes, mensurada pelos resultados apresentados no PR. A
avaliação deste aspecto foi feita utilizando a metodologia de intenção de tratamento, a partir
de uma rigorosa comparação da performance dos alunos das escolas de tratamento com a os
das escolas de controle, considerando todos os componentes do RP e as provas padronizadas
ao longo dos três anos de programa.
Foi constatado que o SPBP não gerou efeitos estatisticamente significativos na
pontuação dos alunos no RP ao longo dos anos e nem em qualquer um dos seus componentes
– ambiente escolar, performance, progresso e melhoria exemplar.
A ausência de impacto foi confirmada para os diferentes níveis escolares, não havendo
melhoria dos alunos no desempenho das provas de matemática e língua inglesa para os três
anos do projeto no ensino elementar e primário, nem para os dois primeiros anos no nível
ensino médio. Foram testados os impactos da participação no programa a cada ano, e a
relação entre a performance dos estudantes com o tipo de plano de distribuição do bônus, mas
nenhum efeito foi encontrado. Diversos testes de robustez para as análises estatísticas foram
feitos para avaliar se as estimativas dos possíveis efeitos do programa eram sensíveis a
determinadas variáveis e especificações, mas nenhuma hipótese verificada apresentou
resultado estatisticamente significativo.
5.3 Aprendizagens sobre o processo avaliativo e a utilização dos resultados em Nova
York
A avaliação do programa, documentada no estudo de Marsh et al. (2011), foi realizada
por uma instituição externa, contratada para conduzir este processo. Constatou-se a ausência
dos efeitos inicialmente esperados tanto para variáveis intermediárias, relacionadas ao
comportamento dos professores, quanto para a meta principal, referente à performance
acadêmica dos estudantes.
Melhorias no processo de implementação do programa poderiam sem realizadas, mas
isso não garantiria um resultado mais efetivo. Motivar indivíduos, mais especificamente no
ambiente escolar público, com recompensa financeira, é um desafio complexo, por haver uma
resistência natural ao reconhecimento do estímulo e pela possível ausência motivacional
gerada por um instrumento parcial e imperfeito.
Em termos de efeitos intermediários, identificados pelos próprios participantes em seus
comportamentos, a avaliação constatou que o programa não os afetou pessoalmente, nem
modificou suas performances profissionais, nível de conhecimentos, motivações, maneira de
se relacionarem com os outros profissionais envolvidos. O bônus não foi compreendido como
uma variável capaz de influenciar tais aspectos.
Diferentes demandas por informações públicas a respeito do trabalho nas escolas têm
contribuindo para que os gestores, professores e outros integrantes da equipe escolar sejam
colocados como co-responsáveis pelo nível do desempenho educacional dos estudantes. Uma
forte cobrança gerada por diversas iniciativas governamentais pode ter se sobreposto ao
programa de bônus no caos de Nova York, reduzindo a sua importância, pois resultados
parecidos podem decorrer de outras formas de estímulos e pressões políticas, também
presentes nas escolas de controle. É provável que algumas percepções sobre mudança
motivacional possam ter sido equivocadamente atribuídas ao programa por decorrerem de
outros estímulos e não devido bônus. Atingir uma pontuação elevada no PR, por exemplo,
11
pode ser uma variável motivacional em si, também presente nas escolas não participantes.
É possível que mudanças nas práticas de professores levem mais do que três anos para
produzirem melhoria no desempenho dos alunos. No entanto, a ausência de impacto
significativo no comportamento dos professores, concebida como etapa intermediária deste
efeito final almejado, reduz a plausibilidade deste argumento. Sendo assim, as evidências
encontradas a partir de uma avaliação estruturada não suportaram a continuidade do programa
de bônus por performance que não atingiu os objetivos a que se propunha.
Tomando como referência as principais conclusões e recomendações feitas a partir deste
processo avaliativo, foi anunciado em julho de 2011 que o programa seria descontinuado.
(CARVALHO, 2011)
6. Considerações finais
Tem sido cada vez mais consensual a legitimidade em reconhecer, prestigiar e premiar
profissionais que apresentam resultados positivamente diferenciados, assim como a
necessidade se apoiar quem não consegue avançar, ainda que se esforce neste sentido, ou
punir os que não têm motivação e não se esforçam para aprimorar. Porém, é preciso encontrar
a melhor maneira de se fazer isto, não tendo sido criada ainda uma fórmula generalizada que
aumente a probabilidade de se atingir estes objetivos.
É fundamental que diversas questões avaliativas sejam formuladas, medidas, planejadas,
acompanhadas, mensuradas e analisadas para se chegar a uma conclusão a respeito dos
resultados atingidos e dos impactos gerados por um programa de incentivo financeiro na área
da educação pública.
A experiência sobre política de bônus como a promovida em Nova York mostra diversos
aspectos relacionados a avaliação de políticas públicas desta área temática. Neste caso, o
programa já começou com uma articulação política diferenciada, tendo sido estabelecido em
parceria pela secretaria municipal de educação e pelo sindicato de professores, de tal forma
que esta parceria em si já representa uma situação diferenciada, dada as inúmeras dificuldades
e a baixa freqüência deste tipo de colaboração entre governo e sindicato.
Esta experiência contribui para reforçar a importância de projetos pilotos menores, de
caráter experimental, associados ao processo de desenho, implementação, monitoramento e
avaliação sistemáticos que possam permitir correções de rumo durante o processo e uma
rigorosa análise dos resultados antes de se disseminar generalizadamente uma inovação, cujos
resultados sejam desconhecidos, em larga escala.
As escolhas metodológicas feitas para a condução do processo avaliativo possibilitaram a
análise de inúmeros aspectos referentes à implementação do programa e a seus efeitos
intermediários na motivação e no comportamento dos professores e ao objetivo prioritário de
melhoria na proficiência dos alunos.
A combinação de diferentes processos e metodologias, com a devida ponderação a
respeito das dificuldades e limitações enfrentadas, gerou resultados relevantes para a gestão
do programa. Apesar de também não haver consenso nem fórmulas pré-estabelecidas a
respeito da maneira ideal de se avaliar políticas de incentivo por performance, o caso do
SPBP apresenta pontos de reflexão relevantes.
No Brasil temos vivenciado uma proliferação de política de bônus implementadas por
diversas secretarias estaduais de educação. A maneira pela qual tais programas foram
desenhados não demonstra qualquer preocupação com um processo de monitoramento e
avaliação. Raras são as experiências avaliativas que, quando existem, utilizam métodos
específicos, com interpretações limitadas, e não foram demandadas pelos gestores, de tal
forma que os resultados encontrados não proporcionam qualquer uso para aprimoramento ou
reflexão a respeito da política vigente.
12
É passada a hora dos governantes brasileiros incluírem a avaliação das políticas na
agenda, para que esta ferramenta possa efetivamente contribuir com o aprimoramento das
ações desenvolvidas.
7. Bibliografia
ALA-HARJA, Marjukka; HELGASON, Sigurdur. Em direção às melhores práticas de
avaliação. Revista do Serviço Público, Brasília, v. 51, n. 4, p. 5-59, 2000.
ATKINSON, A., BURGESS, S., CROXSON. B., GREGG, P., PROPPER, C., SLATER, H.;
WILSON, D. Evaluating the impact of performance-related pay for teachers in England.
Labour Economics v.16, n.3, p.251-261, jun. 2009.
BROOK, N. A Avaliação Externa como Instrumento da Gestão Educacional nos Estados.
São Paulo, Fundação Victor Civita, ago. 2011.
CALMON, P.C. du P.; CERPA, S. M. H. C. Afinal de contas, Por que Avaliar? Resgatando o
debate sobre utilização na avaliação de programas governamentais. In: 33o Encontro da
Associação Nacional de Pós Graduação e Pesquisa em Administração- EnANPAD, 2009, São
Paulo...Anais 33 Encontro da Associação Nacional de Pós Graduação e Pesquisa em
Administração, 2009.
______________. Um referencial teórico para análise da institucionalização dos sistemas de
avaliação no Brasil. 35o Encontro da Associação Nacional de Pós Graduação e Pesquisa em
Administração- EnANPAD, 2012, Rio de Janeiro...Anais 35 Encontro da Associação
Nacional de Pós Graduação e Pesquisa em Administração, 2012.
CAPOBIANGO, R. P.; SILVEIRA, S. F. R. ; ZERBATO, C. ; MENDES, A. C. A. . Análise
das Redes de Cooperação Científica através do estudo das coautorias dos artigos publicados
em evento da ANPAD sobre avaliação de políticas públicas. In: EnAPG, 2010, VitóriaES...Anais do EnAPG 2010. p. 1-15.
CARVALHO, R. Política. Carta Capital. http://www.cartacapital.com.br/politica/copia-fiel/
acessado em: 12 de março de 2013
CENEVIVA.R, FARAH, M.F.S. Avaliação, informação e responsabilização no setor público.
Revista de Administração Pública - RAP, v. 46, n. 4 p. 993-1016,2012
COHEN, E.; FRANCO, R. Avaliação de Projetos Sociais. 7 ed. Petrópolis, RJ:Vozes, 2007.
FALSARELLA, A. M. Avaliação das políticas públicas educacionais no Âmbito escolar. In:
25o Simpósio Nacional da Associação Nacional de Política e Administração na EducaçãoANPAE, 2011, ...Anais 25 Simpósio Nacional da Associação Nacional de Política e
Administração na Educação 2011
FARIA, C.A.P. Idéias, conhecimento e políticas públicas: um inventário sucinto das
principais vertentes analíticas recentes. Revista Brasileira de Ciências Sociais, São Paulo, v.
18, n. 51, p. 21-29, fev. 2003.
FIGLIO, D.; LOEB, S. School Accountability. In Eric A. Hanushek, Stephen Machin, and
Ludger Woessmann, (edt): Handbooks in Economics, Vol. 3, The Netherlands: NorthHolland, 2011, pp. 383-421.
FREY, K. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise
de políticas públicas no Brasil. Planejamento e Políticas Públicas, Brasília, n. 21, p. 211-259,
jun. 2000.
13
GALL, N.; GUEDES, P. A reforma educacional de Nova York: possibilidades para o
Brasil. São Paulo, Instituto Fernand Braudel. 2009. Disponível em:
http://ww2.itau.com.br/itausocial2/pdf/reforma_educacional_ny.pdf . Acesso em: 10 de
março de 2013
LASAGNA, M. New York City’s School-Wide Performance Bonus Program. Center for
Educator Compensation Reform. U.S. Department of Education, Office of Elementary and
Secondary Education, Washington, D.C. 2011.
LAVY,V. Performance Pay and Teacher’s Effort, Productivity, and Grading Ethics,
American Economic Review, v.99.n.5.p.1979-2011, set. 2009.
MARSH, J., SPRINGER, M., McCAFFREY, D., YUAN, K., EPSTEIN, S., KOPPICH, J.,
KALRA, N.; DiMARTINO, C. A Big Apple for Educators: New York City's Experiment
with Schoolwide Performance Bonuses: Final Evaluation Report. Santa Monica, CA:
RAND Corporation, 2011.
MURALIDHARAN, K; SUNDARARAMAN, V. Teacher performance pay: Experimental
evidence from India. National Bureau of Economic Research, v. 15323, 2009
OSHIRO, C.; SCORZAFAVE, L. Efeito do pagamento de bônus ao professores sobre a
proficiência escolar no estado de São Paulo. In: 39o Encontro Nacional de Economia, 2011,
Foz do Iguaçu...Anais 39 Encontro Nacional de Economia, 2011.
PONTUAL, T. Remuneração por mérito, desafio para a educação. Fundação Lemann,
Nov. 2008
SCHWARTZMAN, S. Uses and abuses of education assessment in Brasil, IETS, 2013.
SERPA, S.M.H.C. Para que Avaliar?Identificando a Tipologia, os Propósitos e a Utilização
das Avaliações de Programas Governamentais no Brasil. 2010. 191f. Dissertação de Mestrado
em Administração. Universidade de Brasília. Brasília. 2010
SILVA, P. L. B. (coord.) Modelo de Avaliação de Programas Sociais Prioritários: relatório
final. Programa de Apoio à Gestão Social no Brasil. Campinas, NEPP-UNICAMP, 1999.
SOUZA, S. Z.; OLIVEIRA, R. P. de. Sistemas estaduais de avaliação: uso dos resultados,
implicações e tendências. Cadernos de Pesquisa, v. 40 n.141, p.793-822. 2010
THOENIG, Jean-Claude. A avaliação como conhecimento utilizável para reformas de gestão
pública. Revista do Serviço Público, Brasília, v. 51, n. 2, p. 54-70, abr./jun. 2000.
i
Estão em andamento dois estudos que buscam avaliar programas da mesma natureza. Estes trabalhos já foram
apresentados preliminarmente em seminários, mas ainda não foram concluídos. Um deles investiga os efeitos do
Bônus por desempenho escolar em Pernambuco (Bruns e Ferraz) e o outro compara os impactos das políticas de
São Paulo e Pernambuco (Foguel e Guerra).
ii
6,4 pontos na escala SAEB em Matemática e 3,7 em Português
iii
Para os níveis pré-escolar (alunos de 4 a 6 anos), elementar (alunos de 6 a 11 anos), primário (alunos de 11 a
14 anos) e ensino médio (alunos de 14 a 18 anos).
iv
Mais informações sobre o Boletim de Progresso Escolar (School Progress Reports - PR) pode ser encontrada
em Gall eGuedes (2009)
v
Diferentes ações foram desenvolvidas para todas as escolas da rede municipal, independente de fazerem ou não
parte do programa de bônus, e isto criou um sistema generalizado de forte cobrança por melhoria de
desempenho, que incluía severas consequências, tais como: o fechamento de escolas, caso não consigam atingir
o nível de progresso esperado; a responsabilização das equipes de órgãos regionais e central pelo desempenho de
escolas sob sua responsabilidade; entre outros.
vi
Todos as estimativas podem ser encontrados no apêndice D do relatório final da avaliação do programa,
disponível em: www.rand.org
14