VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
Avaliação de políticas públicas : experiências brasileiras :
procedimentos metodológicos
Waldyr Viegas
1 ARCABOUÇO CONCEITUAL DA AVALIAÇÃO
Do ponto de vista metodológico, a avaliação de políticas públicas não há que diferir substancialmente
dos processos análogos empregados em outras atividades humanas, desde que os contextos específicos
de cada qual estejam orientando os procedimentos.
Processos de avaliação se apóiam em quatro categorias de pilares, esquematicamente definidos como
procedimentos, orientação, conteúdo e técnicas. Os dois primeiros conferem um cunho qualitativo da
avaliação, e os dois últimos são de natureza predominantemente quantitativa. O processo de avaliação,
porém, não subsiste se faltar alguma dessas colunas.
a) Procedimentos constituem a maneira peculiar de conduzir os pensamentos no sentido de se conseguir
obter uma imagem mental do objeto de tal forma clara e distinguível que, se não elimina todas as
dúvidas, ao menos, procura minimizar as possibilidades de dúvida sobre ele. Muito eficaz, nesse
aspecto, é a fuga à precipitação, que leva a interpretar fatos e objetos pelas impressões iniciais que
provocam no observador ou pela superficialidade dos fenômenos e sintomas, isto é, aquilo que aparece
à tona do fato. Além da devida acuidade no julgamento, é preciso, também, eliminar qualquer
preconceito ou pré-julgamento, que induz a observar os fatos à luz de posições ideológicas ou de
percepções pessoais do analista. O esplendor da verdade, mesmo subjetiva, há que se sobrepor à
nebulosidade dos fenômenos parcialmente esclarecidos e de contorno nebulosos.
Iluminado pela evidência, o avaliador há de prosseguir pela decomposição de seu objeto, distinguindo,
desde o início, as partes constitutivas, vale dizer, aquelas sem as quais se mudaria natureza do objeto, e
as partes integrantes, ou seja, tudo aquilo que, mesmo concorrendo para a completitude do objeto, tanto
nos aspectos funcionais quanto ao tocante aos aspectos estéticos, se ausente, não alteraria a essência do
objeto. Suficientemente analisadas, as partes tornam-se compreensíveis em si. Isso, porém, não é
suficiente para uma apreciação adequada de um objeto, pois, as partes, mesmo exaustivamente
elencadas, não permitem o conhecimento do todo. Para se chegar a esse conhecimento, mister se faz
uma operação adicional, chamada de síntese, que consiste no ordenamento das partes de modo a se
conhecer as relações que as une. Unindo uma por uma, buscando relacionar as partes, cuidando para
que nenhuma delas passe despercebida aos seus olhos, o avaliador terá garantido uma imagem tão
próxima da realidade quanto sua capacidade de análise lhe permita.
Essa forma de proceder, preconizada, desde muito, pelo racionalismo cartesiano, tem-se mostrado
muito útil nos processos de avaliação. Todavia, o exercício mecânico e formal desses procedimentos,
limita a visão do analista a uma estreita parcela do objeto, pois a análise cartesiana se dá a partir do
objeto e se restringe ao interior de suas fronteiras. É a razão pela qual, aos procedimentos de análise e
síntese do objeto, se deve ajuntar uma orientação peculiar que leve a considerar o objeto como um
todo, em si, e cada parte em particular como o componente de um todo maior, segundo uma visão
sistêmica. Isso é função da orientação dos procedimentos
b) Orientação, em termos de metodologia, é forma de perceber o objeto pesquisado. Pela visão
sistêmica, o objeto pode ser visto em si, mas através do seu relacionamento em termos de espaço e
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
tempo, ou seja, nas suas relações dinâmicas com o ambiente. A visão sistêmica de um objeto se orienta
por quatro paradigmas: pertinência, globalismo, teleologia e agregatividade.
O paradigma da pertinência entende que nenhum objeto é inteligível a não ser razão das intenções do
sujeito sobre ele. É possível avaliar projetos e programas de políticas públicas coincidentes na sua
materialidade. Todavia, serão distintos quando se descobrem fundamentos ideológicos e filosóficos que
os determinaram.
O globalismo entende que qualquer objeto pode ser visto como fazendo parte de um todo maior onde
ele naturalmente se insere ou pode ser inserido por quem o observa ou analisa. Uma política de
informatização de escolas no ensino fundamental tanto pode significar a disponibilização de mais um
recurso didático quanto pode ser vista como um fator de redução da exclusão digital. Na primeira
situação, o ambiente se restringe aos muros da escola: na segunda, ele os ultrapassa para atingir a
sociedade e o meio.
O parâmetro da teleologia ensina que nenhum objeto pode ser julgado ou interpretado por ele mesmo,
senão pelo seu comportamento em razão das intenções do sujeito sobre ele. Na avaliação do ProInfo foi
observado como o uso político do programa definia seja a escola onde o programa seria instalado,
sejam os recursos alocados, seja o tipo de uso que seria feito dos laboratórios.
O princípio da agregatividade adotado pela visão sistêmica entende que não há conhecimento exaustivo
de um objeto. Conhecer um objeto é, quando muito, criar um modelo que o explique, pressupondo-se
que o modelo é uma representação simplificada da realidade. Algumas ciências, a Economia, por
exemplo, emprega modelos com muita freqüência. Consciente da impossibilidade de captar todas as
variáveis concorrentes para um dado fenômeno, ela simplesmente isola duas dessas variáveis e
considera as demais como constantes (cœteris paribus). A Física adota a mesma estratégia quando
introduz nas suas leis a ressalva do CNTP (“ condições normais de temperatura e pressão”). Ocorre
que, no mundo real, nem variáveis se tornam constantes, nem fenômenos ocorrem em condições
normais. Vez que condições normais são apenas um conceito.
c) O conteúdo da avaliação é o elemento mais palpável e perceptível, pois se trata de um dado
quantitativo e mensurável. Trata-se de buscar conhecer o objeto pela descrição de física do sujeito e do
objeto, através de suas circunstâncias de lugar, tempo, modo e quantidade. Esquematicamente, esses
elementos já foram definidos, desde muito, em antigo hexâmetro latino (Quis, quid, ubi, quibus
auxiliis, cur, quomodo, quando) e, hoje, mais conhecido pela fórmula 5W 1H, a qual, por sua vez,
remete aos versos de Kipling em The Elephant’s Child: ”I keep six honest serving-men (They taught
me all I knew); Their names are What and Why and When and How and Where and Who”.
d) As técnicas de levantamento são ainda mais perceptíveis que o conteúdo, pois seu uso implica ações
e atividades várias claramente definidas e observáveis.. Por isso, na linguagem corrente, são, com
freqüência, confundidas com a própria metodologia. Um erro de percepção, pois a metodologia é o
processo de chegar ao conhecimento de um objeto, a realização de um produto ou a maneira de prestar
um serviço, ao passo que as técnicas de levantamento são apenas instrumentos postos à disposição do
analista para recolher dados sobre o objeto, os quais, uma vez depurados, interpretados e analisados,
produzem o conhecimento sobre o objeto. Quando esse objeto é uma avaliação, as técnicas permitem
ao avaliador acessar o objeto para que possa ser enfocado sob o parâmetro da pertinência e da
teleologia. Existem muitas classificações de técnicas de levantamento. Todavia, elas podem ser
agrupadas em quatro categorias, segundo os graus de envolvimento do objeto a ser investigado. Dessa
forma, as técnicas podem ser agrupadas em: pesquisa bibliográfica e documental, observação,
2
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
questionários e entrevistas.
Apoiado nesses quatro pilares − procedimentos, orientação, conteúdo e técnicas − os processos de
avaliação de políticas públicas, além de lograrem uma base metodológica consistente, aumentarão as
chances de um processo eficaz e potencialmente orientador de decisões conscientes.
2 O PROCESSO DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS
A aplicação consciente dessa fundamentação teórica à avaliações práticas de políticas publicas, tanto
surgem preocupações operacionais quanto se esclarecem dúvidas relativas aos caminhos a seguir. Com
efeito, avaliações de políticas públicas devem ter, entre outros requisitos, a neutralidade de
procedimentos a confiabilidade técnica dos dados, e a segurança na interpretação. Isso exige cuidados
específicos que são analisados a seguir.
Em primeiro lugar, políticas públicas, pela própria natureza, carregam componentes ideológicos muito
fortes e sensíveis. Poucas coisas políticas públicas são evidentes, salvo a consciência de que é um
mundo eivado de ideologias, as quais, por definição, não são verificáveis nem mensuráveis. Daí a
necessidade, maior do que áreas técnicas, de isenção de ânimo, busca de neutralidade e liberação de
juízos pré-concebidos. Tais pré-requisitos dificilmente são encontrados no grupo formulador, executor
ou receptor das políticas. Não se trata de questionar, genericamente e a priori, a isenção científica e ou
competência técnica das pessoas envolvidas. Trata-se unicamente de reconhecer a natureza e os
componentes do fenômeno político.
Isso posto, ressalta, logo de início, que avaliações de políticas públicas devem ser feitas, de preferência,
por avaliadores externos ao processo. Em outras palavras, na medida do possível, quem avalia deve
estar fora do objeto da avaliação. Nem deve ser do corpo funcional do órgão ou do setor que formula
ou executa política, pois, dificilmente se manterão neutros em relação a uma atividade na qual estão
intimamente envolvidos, ou se libertarão com facilidade dos comprometimentos pessoais e funcionais
assumidos, nem convém, da mesma forma, que sejam da área técnica sob análise, salvo como
consultoria técnica, pois avaliações por pessoas da mesma área tendem a ser carregar vieses
decorrentes da supervalorização do objeto, o que impede a serenidade do julgamento e a objetividade
das análises. Em suma, para a seleção dos avaliadores, há que se reconhecer que avaliação é uma
atividade específica e autônoma, com suas características e exigências. Uma dessas exigências é ter
consciência da orientação a ser seguida na avaliação.
Efetivamente, a avaliação pode ser orientada em, pelo menos, por três vertentes: a vertente jurídica, a
vertente política e a vertente economico-gerencial. Cada uma dessas vertentes se movimenta no próprio
campo de ação, as suas perspectivas e formas de ação.
A orientação jurídica da avaliação atua no âmbito da lei, contenta-se com a conformação formal dos
atos com a norma que o rege. É mais punitiva do que formativa. Visa, antes de qualquer coisa, os
procedimentos, sendo-lhe estranha as preocupações com os resultados. É um controle do indivíduo. Seu
universo são pessoas que praticam ações, e não ações que são praticadas. De maneira geral, pode-se
dizer que é uma avaliação voltada para a eficiência.
A vertente política é, sobretudo, a busca da eficácia, ou o deslumbramento pelos resultados, vistos, sob
esta ótica, como a coesão do grupo detentor do poder. Dessa forma, a avaliação política, em última
análise, tem um caráter excludente, pois é a coesão interna é o pressuposto do controle social. A
avaliação não busca nem punir, nem alterar, mas excluir. Cortar tudo o que coloque em perigo a
3
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
situação vigente. O objeto final da avaliação não é o indivíduo, como na vertente jurídica, mas o grupo.
A orientação gerencial da avaliação visa essencialmente à ação. Seu papel é verificar se as ações se
orientam para os objetivos estabelecidos. O caráter da vertente administrativa é, sobretudo, includente.
Com efeito, punição ou exclusão, para o administrador, significa perda de recurso. O que ela busca é a
reorientação da ação, quando observam desvios dos objetivos. A avaliação gerencial assume, portanto,
o caráter de monitoramento. Daí se poder dizer que a avaliação gerencial, na essência, busca a
efetividade.
Fica patente, portanto, que, por definição, a avaliação de políticas públicas tem caráter e orientação
gerencial. Não se nega que aspectos jurídico-legais ou vinculações políticas devam ser desconsiderados
ou depreciados. Não se ignora sua importância e validade. Pelo contrário. Mas é da perspectiva
gerencial da avaliação de políticas públicas que trata este trabalho.
Estabelecido o caráter gerencial da avaliação, os parâmetros da visão sistêmica passam a ser definidos.
Os parâmetros da pertinência e da teleologia conduzem a indagação quanto a inserção de uma dada
política no seu contexto geográfico, social e cultural e histórico, bem como sobre os objetivos
implícitos e explícitos, sem os quais nenhuma política se torna inteligível. Nesse contexto, é
conveniente lembrar que objetivos são definidos como os parâmetros de eficácia de uma política. Só
em função desses parâmetros que a política passa a ser avaliada. Só a partir dessas definições podem
ser emitidos juízos de valor sobre determinada política.
Igualmente, só após terem sido identificados os contextos onde se exerce uma política e os reais
objetivos para que foram estabelecidas é que se pode definir os limites do sistema onde ela passa a
atual. Feito isso, é possível selecionar suas variáveis essenciais que constituirão o modelo para sua
análise.
Identificados os parâmetros constitutivos de uma política, suas variáveis essenciais, seus limites e, por
via de conseqüência, suas interfaces, estarão postas as condições para o avaliador definir os conteúdos
de sua análise e, a partir daí, passar para a aplicação de técnicas de levantamento.
A seleção e a aplicação de técnicas de levantamento são fases particularmente espinhosas no processo
de avaliação, pois a confiabilidade técnica do processo depende muito delas. Dado o caráter
operacional dessas fases, as restrições orçamentárias e técnicas se tornam mais visíveis nesse ponto.
São decisões cruciais quanto às técnicas mais adequadas, quando essas devem ser sopesadas em termos
de viabilidade econômica, exeqüibilidade técnica e validação social, a serem avaliadas para cada
situação. Salvo alguns princípios metodológicos gerais, cabe à perspicácia da coordenação do processo
a seleção dos melhores caminhos. Faz-se mister, a esta altura, o recurso a assessoria especializada de
metodologia e de estatística. Há que se selecionar metodologias complementares e alternativas,
identificar as variáveis mais significativas para o modelo, projetar instrumentos e, enfim, realizar o
levantamento dos dados.
3 AVALIAÇÃO EXTERNA DO ProInfo
3.1 Princípios orientadores da avaliação do ProInfo
O Programa Nacional de Informática em Educação (ProInfo) vem sendo implementado pelo Ministério
da Educação desde 1997, através da Secretaria de Educação a Distância − SEED, em parceria com os
governos estaduais e alguns municipais, visa à introdução da telemática na escola pública, como
4
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
ferramenta de apoio ao processo de ensino-aprendizagem. É, portanto, como essência e concepção um
programa de educação, antes que um projeto de modernização tecnológica.
São objetivos organizacionais estratégicos do ProInfo:
a) melhorar a qualidade do processo de ensino-aprendizagem;
b) possibilitar a criação de uma ecologia cognitiva nos ambientes escolares, mediante incorporação
adequada de novas tecnologias de informação pelas escolas;
c) propiciar uma educação voltada para o progresso científico e tecnológico, preparando o aluno para
o exercício da cidadania numa sociedade tecnologicamente desenvolvida.
Em síntese, o Programa visa a melhorar a qualidade e a eqüidade do sistema de ensino do país.
Qualidade no sentido do aumento e diversificação dos espaços e metodologias do processo de
construção e transmissão do conhecimento. Equidade pela ampliação das oportunidades de acesso às
tecnologias da telemática, como instrumento para coleta e tratamento de informações, reduzindo aquilo
que se tem convencionado chamar de exclusão digital.
A concepção do Programa foi orientada pelos seguintes princípios:
a) Articulação entre os diferentes níveis de governo, com a formulação de diretrizes através do
Conselho Nacional de Secretários Estaduais de Educação – CONSED e operacionalização dos
projetos pelos Governos estaduais;
b) Adesão dos Estados e Escolas envolvidos, mediante compromissos explicitados nos Planos
Estaduais de Informática na Educação e nos projetos de aplicação pedagógica da tecnologia de cada
Escola beneficiada, que também assume a responsabilidade pela preparação das instalações físicas e
pela capacitação de professores;
c) Descentralização da execução, a cargo dos Estados, com o apoio da Coordenação Estadual do
ProInfo e do sistema dos Núcleos de Tecnologia Educacional - NTE.
d) parceria, incentivando-se a mobilização da cooperação da comunidade, de instituições de ensino,
como Universidades e Escolas Técnicas, de fabricantes e fornecedores de hardaware, produtores e
editores de softwares educativos, de operadores de telecomunicações, de empresas públicas e
privadas;
e) Transparência, pelo intenso debate das diretrizes do programa e pela ampla divulgação dos seus
objetivos e metas (textos e estudos, folders, página da Internet, entre outros recursos de divulgação);
f) Planejamento integrado, procurando antecipar todos os requisitos considerados essenciais para o
sucesso do projeto, compreendendo infra-estrutura física e tecnológica, capacitação, apoio pedagógico
e suporte técnico.
Foi prevista a implantação de um sistema de acompanhamento e de avaliação com a definição de
indicadores de desempenho que permitissem aferir resultados e impactos em termos de melhoria da
qualidade, eficiência e eqüidade do ensino de 1º e 2º graus. tinham sido previstos desde o plano inicial
do ProInfo, por duas razões principais: em primeiro lugar, o vulto dos investimentos programados
estavam a exigir um acompanhamento mais apurado e detalhado do que o normal de outros programas
congêneres, e, segundo, a complexidade inerente a um processo de introdução de tecnologias de ponta
em sistemas tradicionais de ensino.
Tecnicamente, a avaliação de programas públicos encontra resistência no jogo de poder inerente a toda
organização, quando as tentativas de avaliação frustram-se em interconexões conflitantes de
concepções filosóficas divergentes na teia organizacional.
Sob o ponto de vista metodológico, o processo confronta-se com os múltiplos níveis e as complexas
abordagens dos programas públicos. Dentre esses aspectos, há que se destacar as formas de avaliação,
5
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
as quais podem ser permanentes ou continuadas. É a chamada avaliação concomitante, de natureza
interna, como atividade normal e rotineira do administrador. A esta se ajunta avaliação ad hoc feita
forma pontual, singular, isolada ou num determinado ponto do tempo.
a) Avaliação permanente
Nesse nível, o conceito de avaliação do ProInfo é definido como o processo formativo e participativo
que tem o propósito de “verificar se está acontecendo o que foi previsto” e “medir as conseqüências do
que está acontecendo”.
A avaliação continuada ou permanente está prevista no documento de Diretrizes do ProInfo (julho de
1997) para ser operacionalizada pela Secretaria de Avaliação e Informação Educacional do MEC.
b) Avaliação ad hoc
Complementarmente aos seus processos de avaliação permanente, o Ministério da Educação, através da
Secretaria de Educação à Distância (SEED), julgou conveniente patrocinar uma avaliação ad hoc do
ProInfo, ao final da primeira etapa de execução do ProInfo, viisando a colher subsídios para aperfeiçoar
o planejamento desenvolver mecanismos de implementação para a eventual reformulação de objetivos
e estratégias.
No caso da avaliação do ProInfo, a Coordenação Nacional definiu os Termos de Referência para a
execução do trabalho que implicam a consideração das seguintes aspectos e variáveis:
a) aspectos finalísticos do Programa: intensidade e tipo de uso dos recursos
b) eficiência e qualidade dos cursos de formação;
c) eficiência dos atores e dos processo (multiplicadores, técnicos, suporte pedagógico, coordenação);
d) eficiência e qualidade dos professores;
e) eficiência e efetividade do uso das tecnologias de informação e comunicação (TIC) nas escolas,
efeitos e impactos perceptíveis nas instituições e nos alunos.
f) Eficiência e qualidade dos professores formados nos NTE;
g) Eficiência e efetividade do uso das TIC nas escolas e impactos perceptíveis sobre as sobre as
instituições de ensino (organização e funcionamento) e os alunos.
Note-se que os itens b, c e d dizem respeito a objetivos instrumentais ou insumos para a obtenção dos
objetivos finalísticos a que se refere o item a e se relaciona com a intensidade do uso da infra-estrutura
e dos demais recursos fornecidos à escola. O item e trata dos objetivos finalísticos, ou, no entender de
alguns, da avaliação propriamente dita.
Em síntese, o objetivo dessa avaliação externa é responder a três questões estreitamente interligadas:
1.Qual a situação da infra-estrutura que foi montada?
2. Como ela está sendo utilizada?
3. Que resultados ou impactos produziu?
6
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
3.2 Determinação dos conteúdos
Como era natural, a abordagem sistêmica orientou a definição dos conteúdos a serem pesquisados.
Segundo essa abordagem, o ProInfo é visto como um conjunto de elementos interagentes de maneira a
constituir um todo orgânico, no qual os elementos constitutivos podem ser agrupados em insumos,
processos e saídas. Para efeito de avaliação, são considerados insumos, ou entradas: o projeto
pedagógico, a infra-estrutura física e os recursos humanos, considerados sob o aspecto da adequação
aos objetivos e propostas do programa. O processamento se dá com as ações gerenciais, considerada do
ponto de vista do desempenho dos atores. As saídas são os efeitos e impactos na escola, aqui
materializados na sala de aula, na comunidade escolar, que compreende professores e alunos, e na
comunidade externa.
Esquematicamente, essa estrutura pode ser visualizada na figura abaixo.
Entrada
Processamento
Adequação
Projeto Infra-estrutura
humanos
Saída
Desempenho
Recursos
Gerenciamento
Efeitos e impactos
Escola
Professores
alunos
Comunidade
local
Com base nas diretrizes do MEC, foram identificados os seguintes fatores de sucesso:
a) Fatores estratégicos, que envolvem os princípios básicos que nortearam o programa em termos de :
• adesão que tem em vista a interação sinérgica entre governo federal e governos estaduais e
municipais, de um lado, e entre escola NTE e comunidade, de outro;
• participação e transparência, que contempla a adoção de formas democráticas de tomada de
decisão no âmbito da escola;
• descentralização, que privilegia as iniciativas locais, assegurando ampla liberdade na adoção dos
projetos pedagógicos voltados para a informática na educação;
• articulação, que diz respeito à capacidade de institucionalização do programa e de promoção da
autonomia dos laboratórios de informática, visando à sua sustentabilidade;
• parcerias que incentiva a interação sinérgica com a comunidade e com outras organizações
públicas ou privadas
a) Fatores de infra-estrutura física e tecnológica, que dizem respeito aos recursos físicos e
tecnológicos postos à disposição da escola pelo ProInfo;
b) Fatores de recursos humanos, que estão relacionados com a capacitação de professores e dirigentes
da escola para obtenção dos conhecimentos, habilidades e competências necessárias ao sucesso do
programa;
c) Fatores administrativos e operacionais, que estão relacionados, de um lado, com a forma e
7
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
intensidade com que está sendo utilizada a infra-estrutura proporcionada pelo ProInfo e com os
fatores técnicos que condicionam essa utilização, e, de outro, com os efeitos (curto prazo) e
impactos (longo prazo) que estão sendo gerados como resultado do programa;
d) Fatores pedagógicos, que caracterizam a utilização da informática como um instrumento para a
melhoria do processo ensino-aprendizagem.
A partir desse modelo conceitual, foram definidas as questões para compor os conteúdo a serem
levantadas e definidas as fontes dos dados. Essas foram distribuídas em sete categorias de informantes,
três nos Núcleos de Tecnologia de Educação (NTE) e quatro nas escolas.
Dos NTE seriam pesquisados: 1) coordenadores. 2) técnicos do laboratório de informática e 3)
professores multiplicadores. Nas escolas, seriam entrevistados: 1) diretores ou coordenadores
pedagógicos, 2) coordenadores do laboratório, 3) professores e 4) alunos
Para cada categoria, foram elaborados questionários. Esses instrumentos visariam identificar fatores de
sucesso, como considerados, a partir das diretrizes do MEC para e o programa e a responder a questões
substantivas de avaliação.
3.3 Técnicas de levantamento: censo, amostragem e estudo de casos
O levantamento dos dados deveria atender aos requisitos de confiabilidade, superando erros de
tendências ou vieses da amostra e erros de amostragem. Dada a distribuição desigual de escolas do
ProInfo nos Estados e o quantitativo dos NTE, foi estabelecido duplo tratamento do universo a
pesquisar: um censitário e um amostral. O tratamento censitário seria dado aos NTE e das escolas
situadas em unidades da Federação com menos de 30 escolas beneficiadas pelo ProInfo. O tratamento
amostral foi reservado para as d
À vista desses parâmetros, e considerada a situação de julho de 2001, resultou o mapa geral de pontos
de pesquisa que é mostrado na Tabela 1.emais unidades federativas.
Como parâmetros estatísticos de amostragem, foram estabelecidos nível de confiança de 95% e erro de
estimativa de 5%.
Levantamentos censitários e amostrais através de questionários (survey) garantem um conhecimento
bastante amplo do campo de estudo. Todavia, trata-se de uma visão horizontal e global,
predominantemente quantitativa do tema. Para um conhecimento mais profundo e individualizado e
qualitativo há que se usar a técnica do estudo de casos. Estudo de casos é uma pesquisa empírica que
utiliza múltiplas fontes de informações (o que se define como triangulação) e uma variedade de
processos de investigação (pesquisa documental, entrevistas formais e informais etc.) com o objetivo
de identificar a estrutura e a dinâmica de um sistema complexo cujas fronteiras e elementos integrantes
não estão perfeitamente definidos. Ele implica uma visão holística e busca identificar as inter-relações
entre fatores técnicos, organizacionais, humanos e culturais que explicam o funcionamento do sistema.
Dessa forma, tenta captar informações que nem sempre podem ser coletadas através de metodologias
quantitativas.
Na concepção de Yin, o estudo de caso tem por objetivo “investigar um fenômeno contemporâneo, no
contexto da vida real, especialmente quando as fronteiras entre o fenômeno e o contexto não estão
perfeitamente delimitadas”. Nos estudos de casos são tratadas questões contemporâneas e não há
controle sobre os eventos. Assim, ele se diferencia da história (que trata de fenômenos passados), do
experimento (quando há controle sobre os eventos) e do “survey” (que raramente pode levar em conta o
contexto).
8
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
O estudo de caso permite uma análise abrangente e em profundidade, ao invés de limitar-se a aspectos
muito restritos ou selecionados, como ocorre com avaliações quantitativas. Um conjunto de estudos de
casos permite estabelecer padrões de similaridades e diferenças que propiciam um entendimento mais
profundo dos fenômenos observados
Na avaliação externa do ProInfo, foi estabelecido que seriam 40 casos as serem estudados. Todavia,
eles só seriam definidos a partir da tabulação e da análise dos dados do survey, quando se poderia
individualizar as situações que se mostrassem particularmente promissoras para um conhecimento mais
profundo com maior precisão das causas tanto de sucesso como de insucesso do Programa.
Os estudos de casos foram feitos a partir de setembro de 2002. Compreendem 40 casos, sendo 20 do
ProInfo e 20 relativos a 10 escolas do Projeto Integrar, um programa governamental objetivando a
integração entre a informática e televisão nas escolas. Os casos do Projeto Integrar se realizaram em
duas etapas: uma avaliação ex ante, para mapear a situação da escola, e uma avaliação ex post, para
analisar as transformações ocorridas, em função de iniciativas da própria escola ou como resultado de
intervenções do Ministério da Educação e das Secretarias Estaduais de Educação com o objetivo
integrar as tecnologias de informação e comunicação.
Para proceder ao trabalho de avaliação foram contratados os serviços especializados da Universidade
de Brasília (UnB) em função da sua comprovada experiência e capacidade para mobilizar e estruturar
equipes multidisciplinares voltadas para trabalhos de pesquisa, planejamento e avaliação de programas
e projetos, nos diferentes campos das ciências sociais e das modernas tecnologias.
Foram vinculados ao projeto administradores, educadores, estatísticos e especialistas em informática
educativa que fazem parte do quadro permanente da UnB e que estão credenciados para conceber e
implementar o modelo de avaliação e coordenar a sua aplicação ao ProInfo, tanto do ponto de vista
técnico como operacional.
Na fase da pesquisa de campo de natureza amostral a equipe contou com a colaboração do Centro de
Seleção e Promoção de Eventos (CESPE), unidade especializada da UnB que dispõe de vasta
experiência no planejamento e execução de levantamentos de campo, envolvendo sistemas de coleta e
tratamento de dados computadorizados para um grandes volumes de dados.
O survey foi realizado nos últimos dois meses de 2001. Na pesquisa foram aplicados questionários em
233 NTE e 526 escolas, levantados 1.179 tipos distintos de dados e entrevistadas 11.237 pessoas,
conforme mostra a Tabela 2.
BIBLIOGRAFIA
DESCARTES, René. Discours de la méthode. Paris: Garnier-Flammarion, 1966.
MINISTÉRIO DA EDUCAÇÃO – Secretaria de Educação a Distância. ProInfo: perspectivas e
desafios. Relatório de Pesquisa. Brasília: Ministério da Educação/Universidade de Brasília, 2003.
MOIGNE, Jean-Louis. La théorie du système général: théorie de la modélisation. Paris, PUF, 1977.
VIEGAS, Waldyr. Fundamentos de metodologia científica. 2. ed. Brasília, Edtora Universidade de
Brasília, 1999.
YIN, Robert R Case Study Research – Designs and Methods, 2. Ed. Thousand Oaks: Sage Publications,
1994
9
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
RESENHA BIOGRÁFICA
WALDYR VIEGAS é doutor em Administração pela Universidade de Grenoble (França) e professor
do Departamento de Administração da Universidade de Brasília, na área de Metodologia, Organização
e Sistemas. Autor de Fundamentos de metodologia científica. Escreveu diversos artigos sobre teoria
das organizações e funções administrativas. Foi auditor-fiscal da Secretaria da Receita Federal e
representou o Brasil em organizações multilaterais, como Banco Interamericano de Desenvolvimento e
no Fundo Internacional para o Desenvolvimento Agrícola (FIDA), da ONU, em Roma.
Endereço: SQS 316 – E – 203 / 70.387-05 – Brasília – DF – Brasil
Telefones: (061) 345-2402
E-mail: [email protected]
Tabela 1
PONTOS DE COLETA DE DADOS PARA AVALIAÇÃO DO ProInfo
Por Unidade federada e critérios de seleção - julho de 2001
Unidade federada
NTE
Total de pontos
Pesquisa
de pesquisa
Censitária
Amostral
AC
2
6
8
AL
2
18
20
AM
3
25
28
AP
2
16
18
BA
16
17
33
CE
18
19
37
DF
3
23
26
ES
4
6
10
GO
9
9
18
MA
9
8
17
MG
17
34
51
MS
5
28
33
MT
5
4
9
PA
9
10
19
PB
4
6
10
PE
15
12
27
PI
5
4
9
PR
13
18
31
RJ
12
30
42
RN
3
20
23
RO
2
20
22
RR
2
8
10
RS
11
14
25
SC
14
39
53
SE
2
16
18
SP
42
103
145
TO
4
13
17
BRASIL
233
193
347
759
10
VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003
Tabela 2
QUANTIDADE DE QUESTIONÁRIOS APLICADOS
por tipo de instrumento
Entrevistado
Quantidade
Diretor de Escola
551
Coordenador de Informática
476
Professor multiplicador – NTE
844
Técnico de laboratório de informática – NTE
213
Coordenador do NTE
246
Professor
3.541
Aluno
5.366
11