AVALIANDO A EFICIÊNCIA EM UNIDADES DE ENSINO
FUNDAMENTAL DE FORTALEZA USANDO TÉCNICAS
DE ANÁLISE ENVOLTÓRIA DE DADOS (DEA)
Reinaldo Richard Portela Reinaldo
Universidade Federal de Santa Catarina
Professor do Colégio Lourenço Filho
Prof. Osmar Possamai
Universidade Federal de Santa Catarina
Prof. Antonio Clecio Fontelles Thomaz
Faculdade Lourenço Filho- Fortaleza
Resumo: Em conseqüência da escassez de mecanismos de avaliação científica aplicada ao setor
educacional brasileiro é que se faz necessário buscar uma metodologia adequada a este fim. Visando, pois,
preencher esta lacuna o presente trabalho propõe a utilização da metodologia DEA (Data Envelopment
Analysis), com o objetivo de avaliar a eficiência técnica relativa de escolas da Rede Municipal de Ensino
de Fortaleza. Sendo DEA uma metodologia que utiliza a programação linear, o núcleo das estruturas
analíticas que a constitui é formado pelo modelo original CCR (Charnes, Cooper e Rhodes), juntamente
com o modelo BCC (Banker, Charnes e Cooper) que aplicados às DMUs (Decision Makering Units)
determinam quais as que figuram sobre a fronteira de eficiência e as que são ineficientes. Na aplicação do
algoritmo DEA foi utilizado o software DEA Solver, de fácil manuseio e que oferece análises estatísticas
bem completas. Aplicando os conceitos da metodologia DEA e com o uso do referido software foi
possível determinar a fronteira de eficiência das unidades em análise usando os dois modelos DEA
distintos: BCC e CCR. Para cada modelo foram aplicadas abordagens inp ut e output. Foi usado como
output destas unidades o número de alunos aprovados, já que foi identificado como principal produto.
Nesta pesquisa foram analisadas 12 escolas e utilizadas três variáveis de input e uma de output
relacionadas ao comportamento dos discentes. Ao final da aferição dos resultados constatou-se que
cerca de 33,33% das escolas mostraram-se eficientes.
Palavras-chaves: 1. Análise Envoltória de Dados (DEA). 2. Educação. 3. Engenharia de Produção.
1 Introdução:
“As discussões sob re a avaliação têm-se intensificado sobremaneira, no meio educacional
brasileiro, nos últimos dez anos” (BARRETO, 1996, p. 98). Portanto, otimizar a eficiência da Gestão Escolar
tem-se tornado imprescindível, visto que é um tema amplamente discutido. Este comentário está presente
nas revistas educacionais, nos livros da área, entre educadores, nos cursos ministrados, enfim, não há
quem não dedique uma preocupação para esse tema.
Percebe-se nessas discussões que as teorias pedagógicas têm-se fundamentado nos mesmos
pressupostos das administrativas, ou seja, na mesma concepção de homem, sociedade e organização,
estabelecendo-se um paralelismo entre a administração e a pedagogia.
Portanto, os pressupostos teóricos da administração têm servido para nortear a administração da
educação, devido à “complexidade alcançada pela escola, exigindo cada vez mais unidade de objetivos e
racionalização do seu funcionamento” (RIBEIRO, 1978, p. 95), além de “evidente preocupação com os
aspectos econômicos do funcionamento institucional” (REZENDE, 1979, p. 26).
Atravessa-se um período em que cada vez mais esta sociedade exige eficiência dos serviços a ela
ofertados, o que vem a justificar a necessidade de uma análise da eficiência escolar.
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
1
A avaliação só pode concretizar-se se tiver acesso a informações claras, precisas e acessíveis
sobre todos os itens que têm algum reflexo na análise da eficiência. É necessário, portanto, ter muito
cuidado com os dados que dão suporte ao processo de avaliação. E como dizem Tenner e DeToro (1992, p.
127): “Em Deus confia-se; de todos os outros, exigem-se dados”.
Diante deste panorama e considerando-se a atual política de contenção de gastos públicos no
Brasil, com reflexos imediatos nas Escolas Públicas, o objetivo primordial deste trabalho é propor uma
sistemática para medir a eficiência relativa de escolas municipais de Ensino Fundamental, no que se refere
ao aspecto ensino e que estão participando do Plano de Desenvolvimento da Escola – PDE, Programa do
Ministério da Educação – MEC, que busca trabalhar os fatores considerados críticos na escola, visando a
atingir a efetividade do processo de ensino-aprendizagem, tendo como pano de fundo a gestão
participativa.
Pretende-se, ainda, fazer um paralelo entre escolas participantes do PDE e outras escolas,
escolhidas aleatoriamente e que não estão participando do referido programa, para verificar a validade de
que uma maior distribuição de recursos, acrescida de um planejamento participativo contribui para um
desempenho escolar mais eficiente.
Ab el (2000, p. 04) afirma que:a implantação de um processo de avaliação da Instituição de Ensino
Superior pode contribuir de imediato para o uso mais eficiente dos recursos já existentes. Além disso,
contribui para a melhoria da imagem pública do sistema se não pela qualidade e/ou produtividade revelada,
mas também pela demonstração do interesse em manter ou elevar o nível do ensino superior.
Considera-se a afirmativa de Abel bastante pertinente e análoga à realidade das Escolas de
Ensino Fundamental, ora analisadas, uma vez que nesta modalidade também existe carência de recursos e
necessidade de melhoria da imagem junto à sociedade.
A medição desta eficiência se processará através da aplicação da metodologia DEA (Data
Envelopment Analysis), visto que se apre senta como uma ferramenta eficaz no cálculo dos níveis de
eficiência técnica.
Portanto, a principal meta destetrabalho é avaliar a eficiência técnica relativa de 12 unidades de
Ensino Fundamental, da Rede Municipal de Fortaleza, escolhidas aleatoriamente, tendo como critério,
apenas, o fato de terem sido selecionadas 2 escolas por região administrativa.
2 Justificativa
Tendo em vista a escassez de pesquisas sobre a eficiência relativa das escolas brasileiras,
particularmente sobre as que oferecem o Ensino Fundamental, é que se pretende desenvolver esta
pesquisa, esperando que sirva de embasamento técnico, no sentido de melhorar o desempenho das
escolas, uma vez que se pretende colocar à disposição dos gestores escolares subsídios que venham a
contribuir para melhorar a eficiência da escola pública.
O ensino fundamental, por abranger um universo considerável de alunos e por conseguinte
requerer a alocação de uma grande quantidade de profissionais, instalações e equipamentos, é uma
atividade que acarreta custo elevado que onera o poder público.
As políticas públicas educacionais que orientam este ensino fundamental estão provocando
mudanças em seu funcionamento. As reformas que aconteceram, até a presente data, a nível de MEC, têm
por finalidade privilegiar o seu papel normativo, reforçar a sua função redistributiva e delimitar a
responsabilidade executiva à tarefa de avaliação externa. Estados como Minas Gerais, Santa Catarina, Rio
Grande do Sul e Paraná são pioneiros na busca de melhorar a eficiência do ensino, através de medidas em
prol da autonomia da escola.
O Brasil convive, de um lado com indicadores educacionais que dão conta de uma situação
insustentável para um país que pretende crescer e reduzir os índices de pobreza e de desigualdade social e,
de outro, com movimentos de reforma educacional, quase todos frustrados.
2
.2002
R. Cient. Fac. Lour. Filho - v.2,n.1,
Enfrenta, ainda, um problema crucial com relação à evasão e desempenho escolar, pois segundo Holanda
(1993, p. 7):
Dados levantados pelo Instituto de Pesquisas Educacionais – INEP, pelo Instituto de Pesquisas
Econômicas Aplicadas – IPEA e pelo Instituto Brasileiro de Geografia e Estatística – IBGE, apontam
para um quadro de falência educacional, altamente preocupante. Segundo essas fontes:
a evasão escolar no 1o Grau é da ordem de 80%; de cada 1000 alunos que entram no 1o Grau, apenas 63
concluem o 2o Grau, 48 entram na universidade e 8 terminam o curso superior; um alto índice de repetência
é observado; o rendimento escolar é péssimo; os professores são mal remunerados, mal preparados e
pouco valorizados; as instalações físicas são precárias; observa-se um corporativismo exagerado; as
políticas educacionais são demagógicas e inconsistentes.
Para tentar modificar este quadro é que se faz necessário proceder à avaliação da eficiência
relativa das escolas, procurando detectar os pontos fracos e trabalhando-os posteriormente, tendo como
objetivo primordial melhorar o seu desempenho, contribuindo, assim, para a melhor aplicabilidade dos
recursos, destinados às unidades escolares.
Os resultados do modelo DEA poderão contribuir para a diminuição dos índices de evasão e
repetência, à medida que, de posse destes dados, as autoridades redimensionem as políticas educacionais,
no sentido de oferecer às escolas melhores condições de trabalho através da capacitação dos gestores, da
formação continuada dos professores, treinamento dos membros do Conselho Escolar, em suma da
comunidade escolar de forma geral.
As autoridades educacionais, tomando conhecimento das escolas que têm melhor desempenho,
poderão, caso exista vontade política, criar condições para orientar o trabalho realizado nas outras escolas
procurando, assim, corrigir as distorções. Os dados permitem fazer correções nas escolas ineficientes para
que elas se tornem eficientes. E uma escola eficiente é a que consegue que os alunos que a ela tiveram
acesso, nela permaneçam e no final do tempo estabelecido atinjam êxito na aprovação.
Neste contexto é que se deve perceber que a avaliação não é um fim em si mesma e sim um
instrumento que deve ser utilizado para corrigir rumos e pensar o futuro. Parece ser muito importante
assegurar que juntamente com as informações que a avaliação fornece sejam criados e utilizados
instrumentos que viabilizem a superação dos problemas diagnosticados, ou a reafirmação das medidas e
práticas bem-sucedidas (PESTANA, 1997, p. 20).
É preciso fazer a ligação entre a avaliação e a ação. Ou seja, não basta informar ou iniciar um
processo de reflexão na escola sobre os problemas ou deficiências pelas quais ela passa sem colocar à sua
disposição os recursos de que precisa para superar suas dificuldades, pois neste caso a avaliação tende a
exercer somente o papel cruel, inútil e vazio de testemunha, e não de agente transformador e pró-ativo
(PESTANA, 1997, p. 20).
Serem informadas, portanto, é condição necessária, mas não suficiente, para que as escolas
utilizem dados de avaliações. À informação deve-se somar o conhecimento e a capacidade técnica para
lidar com estas informações, a autonomia para decidir e os recursos para implementar as decisões tomadas.
Caso estes três elementos não existam na escola, a informação da avaliação será abandonada, na melhor
das hipóteses.
“Os três pilares desta autonomia são a eleição de diretores, o órgão colegiado e os repasses
financeiros movimentados pelo Conselho Escolar” (SOUZA E COSTA, 1997, p. 24). A importância desta
autonomia está na substituição de controles burocráticos formais, geralmente inoperantes ou
desnecessários e que focalizam aspectos relacionados com os insumos escolares, por um processo
decisório mais transparente, cujos atores conhecem melhor as necessidades da escola e têm um interesse
maior em seus resultados.
Nesta visão, é importante ressaltar que a participação democrática da comunidade nas decisões a
serem tomadas pela escola é fundamental.
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
3
Daí a importância de que a escola preveja, em sua estrutura, a instalação de mecanismos institucionais que
estimulem a participação em sua gestão não só de educadores e funcionários, mas, também, dos usuários,
pais e pessoal escolar; processos eletivos de escolha dos dirigentes, processos coletivos de avaliação
continuada dos serviços escolares. (PARO, 1995, p. 1)
Outra política comum a muitos Estados é a de municipalizar o ensino fundamental, especialmente
o seu primeiro segmento. Tem como razão principal a necessidade de os estados deslocarem recursos para
o ensino médio e, portanto, de reduzirem progressivamente as matrículas estaduais no ensino fundamental.
Os dois movimentos, da autonomia e da municipalização, têm em comum o fato de poderem captar
melhor a preferência dos pais e dos alunos, revelada pela pressão da comunidade por um ensino melhor.
Dessa forma, poderem atacar um vício, o da falta de retroalimentação, responsável por muitas falhas
comuns ao ensino público.
Reafirma-se, então, a necessidade de um constante acompanhamento avaliativo das ações
desenvolvidas pela escola, uma vez que “a avaliação que tenha um sentido emancipatório precisa ser
incluída como parte essencial do projeto escola (...) deve envolver a comunidade interna (alunos e
professores), a comunidade externa (pais, comunidade) e o poder público” (GADOTT, 1992, p. 66).
Neste sentido, espera -se com esta pesquisa contribuir para aprimoramento das escolas, ora
analisadas, fornecendo-lhes subsídios qu e permitam medir o seu nível de eficiência, para então poder
resolver os problemas que por ventura venham a ser detectados, que a priori, pode-se inferir que sejam:
• baixo índice de aprendizagem;
• desmotivação para aprender;
• baixo nível de auto-estima, tanto de professores como de alunos;
• despreparo intelectual dos professores;
• autoritarismo no gerenciamento da escola.
3 Objetivos
O objetivo deste trabalho é avaliar a eficiência técnica relativa de unidades de Ensino
Fundamental, evidenciando oportunidades de melhoria no sentido de:
•
•
•
Determinar critérios para escolha dos fatores de entrada (input) e saída (output);
Estabelecer critérios para a escolha das unidades a serem analisadas.
Estabelecer critérios para seleção de oportunidades de melhoria das escolas.
Para a coleta de dados necessários ao desenvolvimento da pesquisa, procedeu-se à aplicação de
um questionário às 12 (doze) escolas pertencentes à rede municipal de ensino. Com relação à obtenção
destes dados, foi necessária a superação de algumas dificuldades enumerando-se as seguintes:
dados inexistentes e/ou incompletos em algumas escolas; as escolas estão repletas de avaliações
informais;
esta pesquisa está limitada à avaliação da produtividade da escola, no que se refere ao número de alunos
aprovados, embora a metodologia proposta tenha alcance mais geral, podendo ser aplicadas a outros
aspectos e às demais escolas municipais; pouca disposição dos gestores escolares para participar da
pesquisa.
Estas dificuldades, tão relevantes para a realização do trabalho, podem ser superadas, o que
permitirá fazer um diagnóstico confiável de cada escola.
4 Metodologia
4
.2002
R. Cient. Fac. Lour. Filho - v.2,n.1,
A opção feita pelo uso do DEA deve-se ao fato de que ela permite “comparar um certo número de
Unidades Tomadoras de Decisão (Decision Marking Units, DMUs) que realizam tarefas similares e
somente se diferenciam nas quantidades de inputs que consomem e nas quantidades de outputs que
produzem” (LINS, 2000, p. 111).
Visando a detectar os fatores que influenciam no rendimento escolar dos alunos, inicialmente,
proceder-se-á à aplicação de questionários, distribuídos às escolas, no intuito de obter um conjunto de
fatores insumos, determinantes do produto escolhido.
Os questionários serão respondidos por diretores, professores e alunos das escolas da Rede
Municipal de Ensino. Para a seleção da amostra referente aos professores e alunos, procedeu-se de forma
probabilística casual estratificada, tomando como estratos a seriação, para se ter uma representação de
professores e alunos provenientes da 5a a 8a Série do Ensino Fundamental. Com relação aos diretores, o
instrumental será aplicado a todos. Será feita, ainda, uma análise de correlação dos dados coletados, com a
finalidade de eliminar fatores que têm pouca influência no processo de aprendizagem dos alunos.
Infere -se, em princípio, que o produto determinante dessa aprendizagem seja o índice de
aprovação dos alunos.
5 Análise de Eficiência
A evolução da tecnologia, que contribuiu para acelerar o processo de produção e a globalização
da economia produziram um cenário por demais competitivo, que levou os países e, conseqüentemente, as
empresas a promoverem mudanças significativas na organização de suas estruturas, visando a atender às
novas exigências do mercado. Isso exige dos empresários uma constante busca de informações precisas,
que sirvam de embasamento técnico às suas tomadas de decisões. Este processo de mudanças, que atinge
tanto a esfera mundial como a nacional, ocasiona impactos não apenas econômico-financeiros, mas
influenciam principalmente as áreas políticas, sociais e culturais. Segundo Castro (1997, p. 9),
O Brasil atravessa um período de profundas mudanças sociais, políticas e econômicas, que
configuram um novo modelo de desenvolvimento. No plano político-institucional, o país avançou na
consolidação da democracia, superando instabilidades que marcaram o longo período do regime
autoritário. No campo econômico, vem aplicando desde 1994 um rigoroso plano de estabilização monetário,
com resultados notáveis no combate à inflação e com repercussões bastante positivas sobre a distribuição
de renda.
Na área educacional, existe uma preocupação generalizada entre os educadores no sentido de
conhecer novas tecnologias que conduzam a ampliação do horizonte, permitindo, assim, que haja uma
modernização do modelo de gestão administrativa, que conduza a racionalização dos recursos, utilizando
melhor os bens de consumo e, conseqüentemente, aprimorando a prestação de serviços à sociedade. No
que concerne a esse aprimoramento da prestação de serviços, faz-se necessária a constante avaliação das
atividades desenvolvidas nas escolas, como bem destaca Werthein (1997, p. 13): “O tema da avaliação
educacional não é novo. Longe disso, muito se tem falado, escrito e praticado neste campo. Mas, a recente
emergência da questão da qualidade colocou a avaliação em um novo patamar, do qual surgem novas
configurações e desafios”.
Vale ressaltar que, mesmo aquelas instituições escolares que já procuraram pautar suas ações no
aprimoramento da eficiência de seus serviços, ainda não alcançaram pleno êxito, visto que estão em
processo de elaboração e busca de identidade.
Financeiros ou não, toda empresa ou organização estabelece objetivos que constituem a razão de
sua própria existência. Independente da natureza das metas que se pretende alcançar, é condição
fundamental para o bom desenvolvimento delas a monitoração sistemática de suas respectivas
produtividades. Em outras palavras, é necessário estar alerta para possíveis fatores que estejam agindo
contra a organização no processo de obtenção desses objetivos.
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
5
Segundo Abel (2000, p. 16) “analisar a eficiência destas organizações é um assunto que sempre
despertou o interesse de pesquisadores, haja vista as dificuldades relativas encontradas para medir o
desempenho das mesmas”. Uma análise da eficiência é imprescindível no sentido de identificar e extinguir,
senão amenizar, os fatores negativos e implementar de maneira mais consciente os fatores positivos
identificados na análise. Desse modo, procura-se obter uma produtividade ideal, otimizando-se, insumos e
produtos.
Para melhor entendimento do que seja eficiência, faz-se necessário conceituar: eficiência técnica,
alocativa e dinâmica. A análise da medida de eficiência na produção originou-se com o trabalho de ParetoKoopmans e Debreu (1951). Pareto-Koopmans definiu eficiência técnica como um vetor
input- output que é tecnicamente eficiente se, e só se:
i)
ii)
nenhum dos outputs pode ser aumentado sem que algum outro output seja reduzido ou
algum input necessite ser aumentado.
nenhum dos inputs possa ser reduzido sem que algum outro input seja aumentado ou
algum output seja reduzido (LINS, 2000, p. 1).
Charnes e Cooper (Apud Lins, 2000, p. 2) alertam para o fato de ver esta definição como um
conceito relativo:
A eficiência de 100% é atingida por uma unidade quando comparações com outras unidades
relevantes não provêem evidência de ineficiência no uso de qualquer input ou output. Este conceito nos
permite diferenciar entre estados de produção eficientes e ineficientes, mas não permite medir o grau de
ineficiência de um vetor ou identificar um vetor ou uma combinação de vetores eficientes com os quais
comparar um vetor eficiente. De forma mais objetiva o tutorial Steering Committee for the Review of
Coommonnwealth/State Service Provision. SCRCSSP (1997, p. 15) conceitua eficiência técnica como:
Uma conversão de insumos físicos, tais como mão-de-obra e matérias-primas ou materiais semiacabados em produtos. Eficiência técnica é determinada pela diferença entre a proporção observada de
quantidades combinadas de um produto de uma empresa com o insumo e a proporção alcançada pela
melhor prática. (...) A eficiência técnica é afetada pelo tamanho das operações (eficiência de escala) e pelas
práticas gerenciais (eficiência técnica sem escala). Isto é definido independente dos preços e dos custos.
Com relação à eficiência alocativa, Lins (2000, p. 2) afirma que Farrel (1957) estendeu o trabalho de
Koopmens e Debreu de forma a incluir um componente capaz de refletir a habilidade dos produtores em
selecionar o vetor input -output eficiente considerando os respectivos preços. Este componente foi
denominado por eficiência alocativa.
O tutorial Steering Committee for the Review of Commonwealth/State Service Provision.
SCRCSSP (1997, p. 13) apresenta a seguinte definição para eficiência alocativa: “Para qualquer nível de
produção, os insumos são usados na proporção que minimiza o custo da produção, partindo de certos
preços de insumos”.
Percebe-se, pela definição, que a eficiência alocativa está relacionada com o lucro obtido com a
produção de determinado bem ou serviço.
Além da eficiência técnica e da eficiência alocativa, existe ainda uma terceira medida de eficiência,
que é denominada de eficiência dinâmica, a qual o Tutorial DEA (1997, p. 13) define como “o sucesso com
o qual os produtores alteram tecnologia e produtos seguindo mudanças na preferência dos consumidores
e nas oportunidades produtivas”.
Saber qual técnica de análise de eficiência é mais adequada para cada situação é fundamental para
uma avaliação mais detalhada e confiável.
Há dois métodos que tratam a respeito da mensuração da eficiência na utilização de recursos.
Um dos métodos, o paramétrico, utiliza técnicas econométricas para estimar funções de produção
“médias”. Os métodos mais utilizados são os modelos de máxima verossimilhança, mínimos quadrados
6
.2002
R. Cient. Fac. Lour. Filho - v.2,n.1,
ordinários corrigidos e mínimos quadrados ordinários deslocados (LOVELL, 1993).
Também requer especificações explícitas da forma funcional e suposições acerca da distribuição
do erro, podendo confundir erros de especificação com ineficiência (LOVELL, 1993; DAY, 1995). Dada sua
dificuldade em acomodar múltiplos produtos, geralmente expressam a produção por um índice (valor da
produção, por exemplo), defrontando-se com o problema da ponderação. Ao utilizar um índice como
medida de produto, importantes informações no espaço dos produtos são perdidas com o uso destes
métodos econométricos.
O outro método, não-paramétrico, baseia-se na programação matemática e é concebido para
cumprir dois objetivos principais: construir fronteiras de produção a partir de dados empíricos e computar
uma medida de produtividade relacionando dados de observações com as fronteiras de produção.
A partir de pontos observados (combinação de insumos e produtos de um conjunto de
unidades), estabelece-se como medida de eficiência à distância de um ponto à sua projeção na função
fronteira. Esta função é chamada função de produção eficiente e é usada como referência para comparar a
eficiência (ineficiência) das várias unidades relativamente a esta fronteira (SENGUPTA, 1989).
O método mais conhecido de abordagem não-paramétrica é a Análise Envoltória de Dados (Data
Envelopment Analysis – DEA) desenvolvida por Charnes, Cooper e Rhodes (1978). Esse método
generaliza as medidas de Farrel (1957) e procura medir a eficiência produtiva de unidades de produção
multi-insumos e multi-produtos. Concebida para avaliar o desempenho de unidades em que os preços de
mercado dos insumos e produtos não são disponíveis, chamadas genericamente de unidades de tomada
de decisão (Decision Making Units – DMUs) , o método calcula uma medida máxima de performance para
cada DMU relativa a todas as demais, com a restrição de que todas as unidades se encontrem sobre a
fronteira ou abaixo dela. Toda observação que se encontre abaixo da fronteira tem sua eficiência medida
em relação a uma DMU ou combinação de DMUs com as melhores práticas observadas e que compõem a
faceta de fronteira mais próxima.
Devido à flexibilidade e à aplicabilidade na análise da eficiência em organizações não voltadas ao
mercado, um grande número de aplicações de DEA em instituições públicas e privadas se seguiu à
divulgação do modelo pioneiro de Charnes, Cooper e Rhodes (1978). Segundo Charnes et al (1984), o
grande interesse pelo método se deve a algumas características, como por exemplo: caracterização de cada
DMU por um escore único; para cada DMU são feitas projeções de melhoria sobre referências
observáveis, revelando aquelas de “melhor prática”.
6 Análise da Eficiência Escolar
Com o apoio de associações e organismos internacionais, têm prosperado diversos projetos que
promovem a avaliação da qualidade da educação numa perspectiva comparada. É o que ocorre com a
pesquisa em andamento do Laboratório Latino-Americano de Qualidade em Educação (Orealc/Unesco),
que abrange 15 países, entre os quais o Brasil. Outra iniciativa relevante é o Programa de Avaliação da
Qualidade da Educação, mantido pela Organização dos Estados Ibero-Americano (OEI). É necessário
ressaltar, ainda, por constituir-se uma das principais referências internacionais, o TIMSS (IEA) que está
sendo desenvolvido com a participação do Brasil.
A desenvoltura com que o Brasil tem assumido estes compromissos, especialmente de participar
de pesquisa para comparação internacional dos resultados de aprendizagem dos alunos, revela a
disposição do país em enfrentar o desafio de melhorar a eficiência de seu sistema de ensino.
Percebe-se, portanto, que o destaque atribuído pelo Ministério de Educação e do Desporto
(MEC) ao desenvolvimento de sistemas nacionais de avaliação encontra importantes referenciais nas
experiências de diversos países.
Pode-se ressaltar, entre os tipos de avaliação existentes no Brasil, o Sistema Nacional de
Avaliação da Educação Básica (SAEB), o Exame Nacional de Cursos (ENC) e o Exame Nacional do Ensino
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
7
Médio (ENEM), que classificam o País para uma participação mais ativa no debate internacional. Embora
sejam ainda bastante recentes, sobretudo quando comparadas com a larga tradição de outros países, as
iniciativas brasileiras são inovadoras em vários aspectos, tanto metodológicos quanto institucionais. Por
isso, já atraem a curiosidade de especialistas e organismos internacionais, que reconhecem os passos
importantes dados nos últimos anos e apontam o Brasil como referência na América Latina.
A avaliação é um instrumento a serviço de um novo estilo de política de educação e na operação
de sistemas educacionais. Tomando-se por base esta perspectiva, inicialmente pretende-se fazer algumas
considerações sobre a abrangência de Third International Mathematics and Science Study (TIMSS) que
está, no momento, sendo realizado sob os auspícios da Associação Internacional para Avaliação do
Desenvolvimento em Educação (IEA). Em seguida será feita uma explanação sobre o Sistema Nacional de
Avaliação da Educação Básica (SAEB) desenvolvido pelo Ministério da Educação e do Desporto (MEC),
visto que estes dois tipos de avaliação estão diretamente relacionados ao Ensino Fundamental. Tencionase, ainda, fazer uma explanação sobre o ENEM, fechando, assim, o ciclo da avaliação da Educação Básica
no Brasil.
O TIMSS é o mais extenso e o mais ambicioso estudo do desempenho educacional
comparativo, visto que seus testes de desempenho nas áreas de Matemática e de Ciências incluem:
− 45 países;
a
a
a
a
− cinco séries (3 , 4 , 7 , 8 e o último ano da escola secundária);
−
−
−
−
−
mais de meio milhão de alunos;
testes aplicados em mais de 30 idiomas diferentes;
mais de 15.000 escolas participantes;
quase 1.000 questões dissertativas, que geraram milhões de respostas dos alunos;
avaliação de desempenho;
- questionários de alunos, professores e diretores de escolas, contendo em torno de
1.500; questões ;
- milhares de indivíduos, para aplicação dos testes e para o processamento de dado.
(PLOMP, 1997, p. 41).
A qualidade foi o foco central que conduziu todo o processo de avaliação do TIMSS. Para a
tradução dos testes, foram aplicados princípios rigorosos, sendo oferecidas numerosas sessões de
treinamento, com relação aos procedimentos empregados para a coleta de dados e para a pontuação,
sendo todas acompanhadas por observadores de controle de qualidade.
Agora, far-se-á uma breve descrição do desenvolvimento do Sistema Nacional de Avaliação da
Educação Básica - SAEB, que tem como objetivo monitorar as políticas voltadas para a melhoria da
qualidade, da eqüidade e da eficiência do sistema educacional brasileiro.
Criado em 1988, e tendo realizado 5 levantamentos, o SAEB vem sendo aperfeiçoado, a cada
aplicação, tanto do ponto de vista metodológico, como nos procedimentos, operacionalização e
abrangência.
O SAEB é aplicado de dois em dois anos. A primeira avaliação foi realizada em 1990; a segunda,
em 1993; a terceira, em 1995; a quarta em 1997, e a quinta em 1999.
No SAEB, parte-se do princípio que o desempenho do aluno sofre mú ltiplos condicionamentos,
os quais devem ser considerados pela avaliação. Deve somar-se ao desempenho do aluno pelo menos
mais três dimensões, quais sejam: a determinação de contextos onde ocorrem o ensino e a aprendizagem; a
identificação de processos de ensino e aprendizagem e, por fim, o dimensionamento dos insumos
utilizados.
A inclusão dessas dimensões é fundamental para determinar a eqüidade na oferta educacional.
Segundo Pestana (1997, p. 16) esta eqüidade é alcançada “quando os insumos estão bem distribuídos e as
escolas têm o mesmo padrão semelhante, pode-se afirmar que a população está tendo as mesmas
oportunidades educacionais”.
8
.2002
R. Cient. Fac. Lour. Filho - v.2,n.1,
Continua o autor: “a dimensão produto é examinada por meio da aplicação de provas que medem
o nível de competência e/ou habilidades que os alunos brasileiros apresentam ou demonstram possuir”. a
seguir, apresenta-se o arcabouço do SAEB:
Enfoque
Dimensão
Atendimento
Acesso ao
Ensino
Básico
Eficiência
Indicador/Variável
•
•
•
•
•
•
Produto
•
•
•
Qualidade,
Eficiência
,
Eqüidade
do
sistema de
ensino
básico
Contexto
Processo
•
•
•
•
•
•
•
•
•
Insumo
Instrumento
Taxas de acesso
•
Taxas de escolarização
Taxas de produtividade
Taxas de produção
Questionários do
Censo E scolar do
SEEC/INEP/MEC
Taxas de eficiência interna
Desempenho do aluno, em termos de:
⇒ aprendizagem de conteúdos;
⇒ desenvolvimento de habilidade e
competências.
•
Questões de pro-
vas
Nível socioeconômico dos alunos.
Hábitos de estudo dos alunos.
Perfil e condições de trabalho dos docentes e
dos diretores.
Tipo de escola.
•
Questionários
para:
⇒ alunos;
⇒ professores;
⇒ diretores.
Grau de autonomia da escola.
Matriz organizacional da escola.
Planejamento do ensino e da escola.
Projeto pedagógico.
Relação entre conteúdos pro postos/ensinados e conteúdos ensinados/aprendidos.
Utilização do tempo pedagógico.
Estratégias e técnicas de ensino uti-lizadas.
Infra-estrutura
(adequação),
manutenção
conservação):
⇒ espaço físico e instalações;
⇒ equipamentos;
⇒ recursos e materiais didáticos.
e
•
Questionário
sobre condições da
escola.
Figura 2: Representação esquemática do SAEB. PESTANA (1997, p. 17)
O SAEB abrange a participação das 27 unidades da Federação, 3 mil escolas de todas as redes de
ensino (federal, estadual, municipal e particular) e uma amostra de alunos que atualmente atinge 220 mil
alunos do Ensino Básico (da 4a e 8a Séries do Ensino Fundamental e da 3a Série do Ensino Médio), 3 mil
diretores e aproximadamente 25 mil professores.
A avaliação abrange as áreas de Língua Portuguesa, Matemática, Ciências, Geografia e História,
sendo que, na 3a Série do Ensino Médio, a área de Ciências compreende as disciplinas Física, Química e
Biologia.
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
9
Em síntese, o SAEB tem proporcionado elementos que permitem identificar as significativas
diferenças que existem entre o que a sociedade deseja como resultado do processo escolar, o que é
possível dele esperar e o que efetivamente dele resulta em termos de desenvolvimento, nos alunos, com
relação às competências básicas, capacidade de pensar e qualidades pessoais, enfim, a contribuição da
escola para o desenvolvimento da cidadania.
O Exame Nacional do Ensino Médio – ENEM foi instituído pelo Instituto Nacional de Estudos e
Pesquisas Educacionais – INEP, em 1998, para ser aplicado aos alunos concluintes e aos egressos deste
nível de ensino.
O exame é constituído de uma prova única contendo 63 (sessenta e três) questões objetivas de
múltipla escolha, abrangendo as várias áreas do conhecimento em que se organizam as atividades
pedagógicas da escolaridade básica no Brasil e de uma proposta de redação e tem duração de 5 horas. Tem
como referência norteadora a Lei de Diretrizes e Bases da Educação Nacional (LDB), os Parâmetros
Curriculares Nacionais (PCN), a Reforma do Ensino Médio, bem como os textos que sustentam sua
organização curricular em áreas de conhecimento e, ainda, as Matrizes Curriculares de Referência para o
SAEB.
Segundo a homepage: http://www.inep.gov.br/enem:
O ENEM será realizado anualmente, com o objetivo fundamental de avaliar o desempenho do aluno ao
término da escolaridade básica, para aferir o desenvolvimento de competências fundamentais ao exercício
da cidadania. Pretende, ainda, alcançar os seguintes objetivos específicos:
a) oferecer uma referência para que cada cidadão possa proceder à sua auto-avaliação com
vistas às suas escolhas futuras, tanto em relação ao mercado de trabalho quanto em relação
à continuidade de estudos;
b) estruturar uma avaliação da educação básica que sirva como modalidade alternativa ou
complementar aos processos de seleção nos diferentes setores do mundo do trabalho;
c) estruturar uma avaliação da educação básica que sirva como modalidade alternativa ou
complementar aos exames de acesso aos cursos profissionalizantes pós-médio e ao ensino
superior.
Este exame difere de outras avaliações já propostas pelo Ministério da Educação e sua realização
anual, junto aos alunos que completaram ou estão completando a escolaridade básica, poderá fornecer
uma imagem realista e sempre atualizada da educação no Brasil.
Diante do exposto e mesmo considerando de grande amplitude e competência os métodos ora
analisados, justifica-se a opção por aplicar a metodologia DEA, visto que ela permite analisar
comparativamente o desempenho das escolas e, de forma mais restritiva, identificando as unidades que
têm eficiência máxima, comparando-as com as demais. A metodologia DEA identifica, ainda, os pontos
fracos de cada DMU, apontando caminhos para otimizá-las, oportunizando que as DMUs tornem-se mais
eficientes.
6.1 O Uso de Indicadores na Avaliação da Qualidade em Ensino
A avaliação da qualidade, por se tratar de uma atividade por demais importante, deve ser efetuada
de forma correta e apresentar fidedignamente os fatos. Segundo Paladini (1994, p. 166), (...) “a Qualidade
Total requer bases objetivas para a sua avaliação efetiva”. Percebe-se, portanto, que a avaliação da
eficiência deve ter por base informações confiáveis.
A avaliação da eficiência depende principalmente de um conjunto de indicadores de d esempenho.
Esses indicadores da qualidade são ferramentas de tomada de decisão e devem garantir:
10
.2002
R. Cient. Fac. Lour. Filho - v.2,n.1,
−
−
−
−
não -ambigüidade (precisão);
facilidade de levantamento;
facilidade de compreensão;
facilidade de comparação.
A avaliação da eficiência permite que uma organização, através de indicadores, acompanhe o
desempenho de suas atividades.
Os indicadores de qualidade são elementos que medem os níveis de eficiência e eficácia de uma
organização. Um indicador de desempenho tem por finalidade fazer uma avaliação objetiva medindo a
situação real, levando em conta um padrão estabelecido previamente e extraído de um consenso.
Com relação aos indicadores educacionais, tem-se observado que, ao longo dos anos,
informações sobre o funcionamento dos sistemas de ensino têm sido coletadas e utilizados no
planejamento e tomada de decisões.
Segundo Queiroz et ali (1997, p. 16) “os indicadores não dizem tudo sobre os sistemas
educacionais, mas devem possibilitar um perfil sucinto da realidade”. Pode-se, pois, definir-se indicadores
educacionais como medidas estatísticas que refletem aspectos da realidade do sistema educacional.
Por serem os indicadores estatísticos relativamente simples, dificilmente um indicador isolado
abrangerá todos os aspectos dos fenômenos que acontecem dentro do sistema educacional. É necessária,
pois, a utilização de um conjunto de indicadores para obter informações mais abrangentes e completas da
realidade. A análise dessas informações contribui para orientar a tomada de decisão em educação. Os
indicadores, além de auxiliarem no entendimento do passado e do presente, são essenciais como
instrumentos para o desenvolvimento do planejamento.
Os indicadores educacionais possibilitam a aferição dos seguintes tipos de informações a
respeito do sistema educacional:
−
−
−
descrição de suas características fundamentais;
esclarecimento de problemas correntes ou potenciais do sistema;
avaliação dos resultados e do alcance das metas planejadas.
As taxas apresentadas a seguir compõem a bateria de indicadores educacionais ma is usados para
analisar o desempenho escolar (Fonte: MEC/Censo Educacional).
Taxa de Aprovação (TA) é a relação entre o número de alunos aprovados e o da matrícula final,
multiplicado por cem (100).
APk ,t
TA =
x 100
MFk ,t
onde:
AP k,t = número de alunos aprovados na série k no ano t
MF k,t = matrícula final na série k no ano t
Observação: Matrícula final = aprovados + reprovados
A taxa de aprovação indica a percentagem dos alunos matriculados no início do ano e que, no
final do ano, são aprovados.
Taxa de Reprovação (TRPV) é a relação entre o número de alunos reprovados e matrícula inicial
multiplicado por cem (100).
RPVk ,t
TRPV =
x 100
MI k ,t
onde: RPVk,t = número de alunos reprovados na série k no tempo t
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
11
MI k,t = matrícula inicial na série k no ano t
A taxa de reprovação indica a percentagem dos alunos matriculados no início do ano e que, no
final do ano, são reprovados.
Taxa de Repetência (TR) é a relação entre o número de alunos repetentes e a matrícula inicial
multiplicado por cem (100).
Rk,t
TR=
x 100
MI k,t
Onde:
Rk,t = número de alunos aprovados na série k no ano t
MI k,t = definido anteriormente
A taxa de repetência indica a percentagem dos alunos matriculados na série k, no início do ano t,
que, no ano seguinte (t+), matriculam-se na mesma série k.
Taxa de Evasão (TE) é a relação entre o número de alunos que se evadem e a matrícula inicial
multiplicado por cem (100).
TE =
onde:
AE k , t
x100
MI k , t
AEk,t = número dealunos evadidos na série k no ano t; MIk,t já definido
A taxa de evasão indica a percentagem dos alunos matriculados na série k, no início do ano t, que
no ano seguinte (t + 1), não constam da matrícula, nem como alunos promovidos, nem como alunos
repetentes.
Taxa de Escolarização na Faixa (TEF) - (Taxa de Atendimento) é a relação entre a matrícula inicial
na faixa etária, em qualquer modalidade de ensino, e a população na faixa etária multiplicado por cem (100).
TEF =
MI t ( 7 / 14anos )
PE t (7 / 14anos )
x100
Sendo: MI t(7/14anos) = matrícula inicial na faixa de 7 a 14 anos no ano t
PEt(7/14anos) = população na faixa de 7 a 14 anos no ano t
Déficit Real Absoluto (DRA) é traduzido pela diferença entre a população na faixa etária e a
matrícula inicial na faixa etária.
DRA = PE(7/14 anos) - MI (7/14 anos)
Déficit Real Percentual (DRP) é a relação entre o déficit real abso luto na faixa etária multiplicado
por cem (100).
DRP =
DRA
x 100
PFt
sendo: PFt = população no ano t na mesma faixa etária
Taxa de Analfabetismo (T analf) é a relação entre a população analfabeta na faixa etária e a
população total na faixa etária, multiplicado por cem (100).
12
.2002
R. Cient. Fac. Lour. Filho - v.2,n.1,
Tanalf =
p t analf ( 7 / 14 anos)
p
( 7 / 14anos )
t
x100
total
sendo: p tanalf(7/14anos) = população analfabeta de 7 a 14 anos no ano t
p ttotal(7/14anos) = população total de 7 a14 anos no ano t
Taxa Média de Crescimento da Matrícula (TMCM) fornece o crescimento da matrícula inicial, em
relação a um ano-base determinado.
TMCM =
MI t
x100
MI a. b
sendo: MIt = matrícula inicial no ano t
MIab = matrícula inicial no ano base
A taxa média de crescimento da matríc ula indica o percentual de alunos novos matriculados de um
ano (t) em relação ao ano anterior.
Taxa de Distorção Série - Idade (TDI) fornece a percentagem dos alunos matriculados com idade
inapropriada à série em relação à matrícula inicial.
onde:
 IA s ,t 
x 100
TDI =
 MI 
 s ,t 
IA s,t = número de alunos matriculados no início do ano t na série s com idade apropriada
MI s,t = matrícula inicial na série s no ano t
7 Modelos DEA – Data Envelopment Analisys
Pode-se conceituar a Análise Envoltória de Dados – DEA como sendo “uma operacionalização da
medida de eficiência técnica de Farrel (1957), através de programação matemática” (LOPES, 1998, p. 44).
Portanto, DEA é um conjunto de modelos matemáticos que são usados como ferramentas, com o objetivo
de analisar a eficiência técnica relativa de DMUs semelhantes.
Com a formulação de modelos de programação matemática linear, constrói-se uma fronteira a partir
de dados de entrada (inputs ) e de saída (outputs ) para uma dada tecnologia.
Para conceituar fronteira de produção, deve-se iniciar por definir o que seja produção, que
segundo LINS e MEZA (2000, p. 8), é um processo no qual os inputs (insumos ou recursos) são utilizados
para gerar outputs (produtos); a fronteira de produção (ou função fronteira de produção) pode ser definida
como a máxima quantidade de outputs (produtos) que podem ser obtidos dados os inputs (insumos ou
recursos) utilizados.
É necessário, ainda, definir que a DMU (Decision Making Unit) é “uma firma, um departamento,
divisão ou unidade administrativa, cuja eficiência está sendo avaliada” (LINS e MEZA, 2000, p. 8). No caso
desta pesquisa utiliza-se a escola como uma unidade administrativa, cuja eficiência se estará avaliando.
Faz-se necessário, ainda, enumerar algumas características do método DEA (LINS e MEZA, 2000):
§ difere dos métodos baseados em avaliação puramente econômica, que necessitam converter
todos os inputs e outputs em unidades monetárias;
§ os índices de eficiência são baseados em dados reais (e não em fórmulas teóricas);
§ generaliza o método de Farrel (Farrel, 1957), construindo um único output virtual e um único input
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
13
§
§
§
§
§
§
§
virtual;
é uma alternativa e um complemento aos métodos da análise da tendência central e análise custobenefício;
considera a possibilidade de que os “outlier” não representem apenas desvios em relação ao
comportamento “médio”, mas possíveis benchmarks a serem estudados pelas demais DMUs,
definindo como alternativa cuja eficiência está sendo avaliada;
conjunto de DMUs adotado em uma análise DEA deve ter em comum a mesma utilização de
inputs e outputs, ser homogêneo e ter autonomia na tomada de decisões;
otimiza cada observação individual com o objetivo de determinar uma fronteira linear por partes
(piece -wise linear), que compreende o conjunto de DMUs Pareto-Eficiente, ao contrário das
abordagens paramétricas tradicionais;
caracteriza cada DMU por um único escore de eficiência relativa;
realiza projeções de melhoria de eficiência baseada nas melhores práticas;
provê informações complementares sobre rendimento de escala (crescente e decrescente).
Com relação aos modelos DEA, pode-se afirmar que existem vários tipos, porém os mais utilizados
são os modelos denominados CCR e BCC. “Os diversos modelos usados em análise DEA determinam uma
fronteira ou um ‘envelope de dados’, que representa o subconjunto das DMUs eficientes. BIONDI NETO
(2001, p. 50)
Percebe-se, portanto, que a fronteira eficiente de produção será aquela que representa as
unidades avaliadas que conseguem maximizar o uso dos inputs na produção de outputs ou, ainda,
consegue produzir uma quantidade maior de outputs com uma quantidade menor de inputs.
Quando da aplicação dos modelos DEA, deve-se fazer uma opção: usar um modelo orientado a
outputs, no qual se obtém o máximo nível de outputs mantendo os inputs fixos, ou um modelo orientado a
inputs, que visa a obter um menor uso de inputs dado o nível dos outputs . A decisão de usar um ou outro
modelo deve ser previamente selecionada pelo pesquisador.
O núcleo das estruturas analíticas que constituem o DEA é formado pelo modelo original CCR
(Charnes, Cooper e Rhodes), junto com o modelo BCC (Banker, Charnes, Cooper), o modelo multiplicativo
(Charnes, Cooper, Seiford e Stutiz) e o modelo do envelope.
O modelo CCR foi apresentado por Charnes, Cooper e Rhodes em 1978. Este modelo define uma
superfície não paramétrica linear com relação aos dados. “Foi concebido inicialmente como um modelo
orientado a entrada (input ) e trabalha com retorno constante de escala (CRS), isto é, qualquer variação
nas entradas (inputs) produz variação proporcional nas saídas (outputs)”. BIONDI NETO (2001, p. 51)
“A característica essencial do modelo CCR é a redução de múltiplos produtos e múltiplos insumos
(para cada DMU) para um único produto ‘virtual’ e um único insumo ‘virtual’. Para uma DMU, a razão
entre esse produto virtual e o insumo virtual fornece uma medida de eficiência que é função dos
multiplicadores. Essa proporção, que será maximizada, forma a função-objetivo para a DMU “0” sendo
avaliada.” (CHARNES ET AL, l996, p. 40).
A eficiência técnica de uma DMU observada (DMU 0) será obtida através de um PPNL (Problema
de Programação Não-Linear), utilizando o seguinte modelo de programação fracionário:
s
∑u Y
Máx h o =
.2002
jo
i
Xio
r
∑v
i=1
14
j
j= 1
R. Cient. Fac. Lour. Filho - v.2,n.1,
s
∑u Y
s.a.:
j
j=1
jk
≤ 1, k = 1, 2,..., n
r
∑v X
i
i=1
ik
u i , v i ≥ ∀ j, i
onde:
h o = eficiência da DMU 0 (zero)
s = quantidade total de outputs
Yj k = quantidade de output j para a DMUk
u j = peso referente ao input j
r = quantidade total de inputs
n = quantidade total de DMU
Xik = quantidade de input i para a DMUk
v i = peso referente ao input i
Uma variação do modelo CCR originou o modelo de Programação Linear conhecido como modelo
dos multiplicadores, que surgiu da necessidade de determinar os valores dos pesos uj e vi de forma a
maximizar a soma ponderada dos outputs (output “virtual”) dividida pela soma ponderada dos inputs
(input “virtual”) da DMU em estudo (LINS, 2000, p. 11). Esse procedimento deverá ser repetido para cada
DMU analisada e através dos valores encontrados para os pesos (multiplicadores), determina-se o valor
das eficiências relativas de cada DMU. O modelo dos multiplicadores será apresentado a seguir:
s
Máx h 0 =
∑u
j =1
j
Yj 0
ik
=1
r
∑v X
s.a.:
i =1
s
r
j =1
i =1
i
∑ u j Y j k − ∑ v i X ik ≤ 0, k =1,2,...n
u j e v i > 0 ∀ j, i
“É possível derivar o dual do modelo dos multiplicadores (primal) Segundo BIONDI NETO (2001,
p. 58).
Assim, o dual apresentará uma menor quantidade de restrições (s + r < n + 1), pois o modelo DEA
exige que o número de DMUs seja maior que o número de variáveis. Pelas razões expostas e por ter
solução computacional mais simples, o modelo dual, denominado Envelope, tem preferência sobre o dos
Multiplicadores”. Assim o modelo do Envelope tem a seguinte formulação
Min θ
n
s.a.: -Yj 0 +
∑
Yj k λk > 0, j = 1, ... s
k =1
n
θXj 0 -
∑
Xik λk > 0, i = 1, ... r
k =1
λk > 0, ∀ k
O modelo BCC, elaborado por Banker, Charnes e Cooper em 1984, utiliza o retorno variável de
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
15
escala (VRS), procurando, assim, evitar problemas existentes em situações de competição imperfeita. O
BCC (VRS) é usado quando ocorrem Retornos Variáveis de Escala, sejam eles crescentes ou decrescentes
ou mesmo constantes, que foram explicados no capítulo 2, subtítulo 2.2. No modelo BCC (VRS), os
escores de eficiência dependem da orientação escolhida. Caso se pretenda maximizar h1, a formulação do
modelo BCC é a seguinte:
s
Maximize ho =
∑u
r=1
r
Yr o + w
m
s.a.:
∑
v i Xio < 1
i =1
s
∑u Y
r= 1
r
rj
−
m
∑v
i=1
i
Xio + w ≤ 0 , para todo j = 1, 2, ..., n
-u r < -e, r = 1, 2, ..., s
-v i < -e, i = 1, 2, ..., m
A forma dual do BCC visando minimizar h0, será dada pela formulação a seguir:
Minimize h0 = θ - ε
s
∑s
r =1
r
-ε
m
∑e
i
i =1
n
s.a.: Xi0 θ - ei -
∑
Xij λj = 0, para todo i = 1, 2, ..., m
j= 1
n
-s r + ε
∑
Yrj λj = Yr0, para todo r = 1, 2, ..., s
j= 1
n
∑
λj = 1
j= 1
λj > 0, para todo j = 1, 2, ..., n
ei > 0, para todo i = 1, 2, ..., m
s r > 0, para todo r = 1, 2, ..., s
Por meio da utilização desses modelos, é possível detectar a eficiência das DMUs, construindo
assim, a fronteira de produção com as unidades que atingirem o máximo de produtividade (benchmarks).
8 APLICAÇÃO DO MÉTODO PROPOSTO
Existem diversas medidas possíveis para avaliar a eficiência de uma escola. Segundo Moita (1995,
p.42), “uma análise do setor educacional pode ser de grande complexidade, pois são muitos os fatores que
tendem a influenciar na produtividade do aluno. Com isso, torna-se difícil estabelecer medidas de avaliação
que permitam avaliar objetivamente o aluno”.
16
.2002
R. Cient. Fac. Lour. Filho - v.2,n.1,
Para a aplicação da metodologia DEA, foram escolhidas 12 escolas pertencentes à rede municipal
de ensino, localizadas em diferentes bairros de Fortaleza, sendo 6 que estão participando do Plano de
Desenvolvimento da Escola – PDE e 6 que não estão participando do citado programa.
A intenção de escolher escolas que participam do Plano de Desenvolvimento da Escola – PDE e
de outras que não participam, teve como objetivo verificar se as primeiras, poderiam ter um melhor
desempenho, no que se refere à eficiência técnica relativa.
A administração municipal de Fortaleza desde 1997 utiliza um modelo descentralizado de gestão,
uma vez que foi dividida em 6 regionais, cada uma comandada por um Secretaria Executiva Regional. Em
conseqüência desta divisão optou-se por escolher, aleatoriamente, 2 escolas por regional, para se ter
representantes de cada região administrativa.
Algumas escolas estão inseridas em bairros carentes, outras em bairros mais favorecidos. A
alocação de professores nestas escolas constitui-se um problema, pois mesmo que o acesso se dê através
de um concurso público, as escolas mais distantes têm dificuldades na lotação de seu quadro de pessoal.
Muitas delas completaram os seus quadros com professores contratados temporariamente, e/ou
estagiários.
Esse problema afeta, consideravelmente, o rendimento escolar dos alunos oriundos das escolas
com insuficiência de professores, pois, professores que estão suprindo as referidas carências não têm o
mesmo nível dos concursados, prejudicando assim, o desempenho do processo de ensino-aprendizagem,
contribuindo para baixar o nível de eficiência técnica das escolas.
Pretende-se, com este trabalho, encontrar opções que permitam aos gestores escolares determinar
metas e ações que venham a contribuir para elevar o nível de eficiência técnica, tornando as DMUs
eficientes.
8.1 Uma Escola como uma DMU
Como se sabe, a sigla DMU (Decision Making Units ) significa unidade tomadora de decisão, uma
vez que tem a capacidade de transformar insumos em produtos, e neste trabalho é representada por cada
uma das escolas pesquisadas.
Portanto, pode-se considerar que uma escola utiliza como insumo os professores, funcionários,
recursos didáticos, recursos pedagógicos, bens de consumo, entre outros, para produzir o resultado
(produto) a que se propõe que, no caso, consiste na aprovação dos alunos, uma vez que a finalidade
principal de uma escola consiste em fazer com que os alunos aprendam.
INSUMOS
PRODUTOS
DOCENTES
FUNCIONÁRIOS
RECURSOS PEDAGÓGICOS
BENS DE CONSUMO
ESCOLA
ALUNOS APROVADOS
Figura 3: Representação de uma escola como uma DMU
Dentre os insumos listados pode-se considerar como o mais importante o que se refere ao
número de professores, visto que a maior parte dos parcos recursos destinados à educação são
consumidos com a folha de pagamento. E, nesta folha de pagamento, o contingente maior é formado pelos
docentes.
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
17
Sabe-se que o produto final de uma escola é o ensino produzido, que consiste na relação
existente entre os alunos que iniciam o ano letivo e os que o concluem com êxito. No entanto, deve-se
ressaltar que existe uma certa dificuldade para conseguir informações confiáveis, uma vez que o banco de
dados das escolas não permite captar, com precisão, os dados referentes aos funcionários, bens de
consumo, recursos didáticos e pedagógicos. Neste sentido, este trabalho será baseado, especialmente, na
produção do corpo docente.
O insumo considerado neste caso será a razão entre o número de alunos aprovados e o número
de professores, que se considera como o principal insumo.
8.2 Medidas Insumos e Produtos e Análise de Correlação
Tendo como a finalidade principal medir a eficiência técnica relativa das escolas, ora analisadas,
procedeu-se, inicialmente, à elaboração de uma listagem de fatores considerados como os que mais afetam
o processo de ensino-aprendizagem. Dentre estes fatores, selecionaram-se os mais pertinentes.
Passou -se, então, a classificá-los como “fatores-escola”, os fatores de nível gerencial, isto é, os
que possibilitam ao gestor fazer alguma interferência em seu curso, sendo considerados, portanto, como
fatores controláveis (por exemplo, o número de alunos em sala de aula). Já os “fatores socioeconômicos”,
por serem fatores externos, mesmo influenciando no nível de aprendizagem do aluno, não permitem a
interferência direta do gestor; são classificados como fatores não-controláveis (por exemplo, número de
pais analfabetos).
Para a coleta de dados necessários ao desenvolvimento da pesquisa, procedeu-se à aplicação de
um questionário às 12 (doze) escolas pertencentes à rede municipal de ensino. Com relação à obtenção
destes dados, foi necessária a superação de algumas dificuldades, tais como dados inexistentes e/ou
incompletos em algumas escolas. Esses problemas contribuíram para reduzir a lista de fatores, que estão
representados na tabela 1.
Entre os fatores tomados como referenciais para análise, foram destacados como mais relevantes,
por alunos, professores e diretores, os seguintes:
PRODUTOS:
P1 – número de alunos aprovados
P2 – número de alunos que renovaram a matrícula na escola
INSUMOS CONTROLÁVEIS:
I1 – número de alunos matriculados
I2 – média de alunos por sala de aula
I3 – número de professores
I4 – número de profissionais de educação
I5 – número de funcionários
INSUMOS NÃO-CONTROLÁVEIS:
I6 – número de pais com o ensino fundamental completo
I7 – número de mães com o ensino fundamental completo
I8 – número de alunos com renda familiar superior a um salário mínimo
I9 – número de alunos que dedicam no mínimo 1 hora de estudo por dia fora da escola
Tabela 1: Dados brutos obtidos nas escolas
18
.2002
R. Cient. Fac. Lour. Filho - v.2,n.1,
Escolas
(I)1
(I)2 (I)3 (I)4 (I)5
D Rocha 845,5 30 28,5
T Frota 881,5 35 38
2
791,5 27 44,5
4
4,5
A Cals
M Pinto 712,5 30 32
C Monte 1543,5 34,5 53
2
(I)6
(I)7
(I)8
13,5 405,5 439,5 152
15
343
(I)9
(P)1
(P)2
608,5
594
660
361
571,5
657
361
149
15,5 300,5
490
142
537,5 467,5 635,5
10 690,5
662
135
448,5
3,5 25,5 1110,5 1403,5 308,5 778
A Costa 1094,5 34 37,5
M Aguiar 1226,5 35 48,5
2
1098
2
14
450
535,5 625,5 680,5
2
14
250
204,5 773
C Pinto
P Neto
35
50
1137,5 34 33,5
5
A C Lima 1798,5 42,5 56,5 2,5
F Nunes
Z
Gondim
16
689
27,5 961
23 413,5
404,5 634,5 853,5
515
1025
502
759,5
591
1
9,5 636,5 579,5 207
1052
2
12 199,5 115,5 430,5 809,5
35
874
569
944,5
860 1056,5
814
912
811,5 861,5
917 1582,5 1215
716 33,5 29,5
32
515
1061,5 1372
407,5 500,5
800
1512
493
958
Após efetuar a seleção dos fatores considerados importantes para a análise da eficiência escolar,
e levando em consideração a necessidade de existir uma relação entre produto e insumo, procedeu-se a
uma análise de correlação com estes fatores.
Segundo Moita (1995, p. 45), “o estudo da correlação tem por objetivo medir e avaliar o grau de
relação existente entre duas variáveis. A correlação linear procura medir a relação entre variáveis x e y
através da disposição dos pontos (x, y) em torno de uma reta”.
A correlação linear é medida pelo coeficiente de correlação, r xy , de acordo com a seguinte equação:
rxy =
n Σ xy − ΣxΣ y
nΣ x 2 − ( Σ x ) 2 ynΣ y 2 − ( Σy ) 2
(4.1)
Fonte: Kazmier 1982
Segundo Kazmier (1982, p. 305), “esta fórmula é utilizada quando o propósito da análise é
determinar a extensão e o tipo do relacionamento entre duas variáveis, mas sem um interesse paralelo em
estimar y, dado x”.
Segundo Kume (apud Moita, 1995, p. 46),
O campo de variação do coeficiente r situa-se entre –1 e +1. Se o valor absoluto de r for maior
que 1, houve claramente um erro de cálculo, e deve-se refazê-lo. No caso de forte correlação positiva, ele
atinge um valor próximo de +1 e, de forma análoga, numa forte correlação negativa ele está próximo de –1.
Isto é, quando o módulo de r está próximo de 1, ele indica uma forte correlação entre x e y, e quando o
módulo de r está próximo de 0, uma correlação fraca.
Procedendo-se, pois, a uma análise de correlação de cada um dos insumos, que foram trabalhados
nesta pesquisa, com o produto y1, observou-se quais insumos estão melhor correlacionados com o
produto, conforme mostra a tabela 2. O objetivo desta estratégia é dar maior veracidade aos dados
informados pela direção da escola. Tal análise permite excluir insumos que não têm muita influência sobre
o produto.
Tabela 2: Coeficientes de Correlação Obtidos pelo SPSS
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
19
X1
X2
X3
X4
X5
X6
X7
X8
X9
Y1
Y2
X1 1,000 0,793 0,791 0,0907 0,7763 0,2678 0,5901 0,7248 0,8615 0,9751 0,8588
X2 0,7934 1,000 0,569 -0,2255 0,5019 0,1324 0,3804 0,7339 0,7229 0,7885 0,5111
X3 0,7913 0,569 1,000 0,3696 0,7932 0,3281 0,6320 0,4674 0,6407 0,7140 0,6663
X4 0,0907 -0,226 0,370 1,0000 0,5049 0,4852 0,3047 -0,1835 0,0145 0,0210 0,2046
X5 0,7763 0,502 0,793 0,5049 1,0000 0,5761 0,5777 0,3605 0,5525 0,7090 0,6503
X6 0,2678 0,132 0,328 0,4852 0,5761 1,0000 0,6612 -0,1069 0,0286 0,2824 0,3453
X7 0,5901 0,380 0,632 0,3047 0,5777 0,6612 1,0000 0,0354 0,4031 0,5034 0,5438
X8 0,7248 0,734 0,467 -0,1835 0,3605 -0,1069 0,0354 1,0000 0,7449 0,7872 0,6767
X9 0,8615 0,723 0,641 0,0145 0,5525 0,0286 0,4031 0,7449 1,0000 0,8581 0,8280
Y1 0,9751 0,789 0,714 0,0210 0,7090 0,2824 0,5034 0,7872 0,8581 1,0000 0,8816
Y2 0,8588 0,511 0,666 0,2046 0,6503 0,3453 0,5438 0,6767 0,8280 0,8816 1,0000
Após o procedimento anterior detectou-se os fatores que mais têm influência sobre o produto e
que deram origem a tabela 3, apresentada a seguir:
Tabela 3: Coeficientes de Correlação Obtidos a partir dos dados selecionados através do SPSS
X1
X1
X2
X3
Y1
1
0,79340168
5
0,79125544
9
0,97506900
2
X2
0,79340168
5
1
0,56909378
6
0,78853759
4
X3
0,79125544
9
0,56909378
6
Y1
0,975069002
0,788537594
1
0,713962585
0,71396258
5
1
Correlação de Pearson
Foram considerados como significativas as variáveis com coeficiente de correlação superior a 0,5,
extraindo-se três insumos que refletiam realmente as mudanças ocorridas no produto. Os fatores-insumo
tidos como mais significativos segundo essa análise foram: número de alunos matriculados, média de
alunos por sala de aula e número de professores.
Esse procedimento tanto pode ser realizado utilizando-se o SPSS - Statistical Pacage for Social
Science no seu módulo de correlação, como também pode ser realizado através do uso do próprio DEA
Solver, que gera também a matriz de correlação entre insumos e produtos.
20
.2002
R. Cient. Fac. Lour. Filho - v.2,n.1,
9 RESULTADOS DA PESQUISA
A finalidade principal desta pesquisa consiste em avaliar a eficiência técnica relativa de escolas
da Rede Municipal de Ensino. A multiplicidade de fatores que influenciam na produtividade do aluno gera
uma grande complexidade na análise do setor educacional, o que torna difícil analisar objetivamente o
aluno. As escolas escolhidas para a aplicação da metodologia DEA estão situadas na Região
Metropolitana de Fortaleza e, em sua totalidade, oferecem à comunidade o ensino fundamental completo.
Com uma administração municipal descentralizada, Fortaleza é dividida em seis regiões administrativas. De
cada região, foram escolhidas duas escolas, localizadas em diferentes bairros, cada um com suas
peculiaridades. São bairros localizados no perímetro central, na orla marítima, na periferia da cidade.
Em síntese, a presente pesquisa detectou alternativas viáveis que permitem aos gestores
determinar metas e ações que venham a contribuir para melhorar o desempenho dos alunos, contribuindo,
também, para otimizar a aplicação dos recursos destinados às escolas.
9.1 Análise dos Dados
Para a aplicação do software DEA Solver, foram escolhidas doze escolas, como já foi mencionado,
pertencentes à rede municipal de ensino, localizadas em diferentes bairros de Fortaleza - CE, sendo seis
que estão participando do Plano de Desenvolvimento da Escola – PDE e seis que não estão participando
do citado programa, conforme exposto no capítulo anterior. Entre os fatores tomados como referenciais
para análise, foram selecionados os seguintes:
VARIÁVEL DE DECISÃO:
y – número de alunos aprovados
VARIÁVEIS CONTROLÁVEIS:
x1 – número de alunos matriculados
x2 – média de alunos por sala de aula
x3 – número de professores
Após a definição das variáveis selecionadas para a análise, procedeu-se então à construção da
tabela 4, com dados anteriormente coletados nas escolas, e que servirão de base para a aplicação do DEA
Solver, no cálculo da eficiência técnica relativa. Informa -se, ainda, que estes dados apresentam-se na
maioria dos casos, na forma fracionária, em conseqüência de ser o resultado da média dos anos de 99 e
2000.
Tabela 4: Planilha de dados selecionados para a análise DEA.
Escolas
Demócrito Rocha
Tupinambá da
Frota
Antonieta Cals
Mozart Pinto
Casim.
Montenegro
Álvaro Costa
Martinz de Aguiar
Clodoaldo Pinto
Pontes Neto
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
Produto
s
y
594
Insumos
Controláveis
x1
x2
x3
845,5
30
28,5
571,5
881,5
35
38
467,5
515
791,5
712,5
27
30
44,5
32
1061,5
1543,5
34,5
53
874
860
814
811,5
1094,5
1226,5
1098
1137,5
34
35
35
34
37,5
48,5
50
33,5
21
Antonio C. Lima
Fco. Nunes
Zaíra Gondim
1215
500,5
800
1798,5
716
1052
42,5
33,5
32
56,5
29,5
35
Os resultados comentados a seguir referem-se ao modelo CCR-O do referido software, embora se
tenham executado todos os modelos, conforme apresentação nos Apêndices A, B, C e D deste trabalho.
Inicialmente, comenta-se a tabela 5 referente à participação de cada variável do modelo, denominado de
“WeightedData”, onde se têm os escores para cada uma das doze DMUs, bem como das variáveis
ponderadas VX(1), VX(2) e VX(3) correspondentes ao vetor de variáveis de entrada X e, a variável UY(1)
correspondente à variável de saída Y do modelo discutido no Capítulo 3.
Segundo esta tabela, a escola Demócrito Rocha (DRocha), indicada pelo modelo como nãoeficiente, apresentou os seguintes resultados: a variável ponderada VX(1), número de alunos, teve uma
representatividade de 27,38% em relação às demais variáveis, o que era previsível, enquanto a variável
VX(3), número de professores, teve uma importância de 84,88%. Já a variável de decisão UY(1) participou
com 100%.
Tabela 5: Escores de eficiência e índices de representatividade dos fatores.
N
o
1
2
3
4
5
6
7
8
9
10
11
12
DMU
DRocha
TFrota
ACals
MPinto
CMonte
ACosta
MAguiar
CPinto
PNeto
ACLima
FNunes
ZGondim
Nome
Pontuaçã
o
0,890727
0,811892
0,739665
0,905163
1
1
0,914921
0,928381
1
1
0,875378
0,978004
do modelo: CCR-O
VX(1)
0,273786
1,231691
1,351964
1,104774
0,586619
1
0,575358
1,077144
0
9,81E-02
1,142364
0
VX(2)
VX(3)
0
0,848893
0
0
0
0
0
0
0,413381
0
0
0
0,517632
0
0
0
0,354975 0,645025
0,447855 0,45405
0
0
0,338897 0,683594
UY(1)
1
1
1
1
1
1
1
1
1
1
1
1
Observa-se, no entanto, que as DMUs eficientes Casimiro Montenegro (CMonte), Pontes Neto
(PNeto) e Antonio Correia Lima (ACLima) apresentaram a variável x2 com relativa representatividade, isto
é: com percentuais de 41,33%, 35,49% e 44,78% respectivamente. Com relação à DMU Álvaro Costa
(ACosta), a variável x2 não foi representativa.
A análise da tabela 5 leva a concluir que entre as doze escolas avaliadas segundo esta
metodologia DEA, a Antonio Correia Lima (ACLima), com escore de eficiência máxima 1, é a única em que
as variáveis ponderadas VX(1), VX(2) e VX(3) têm representatividade, como pode ser observado a seguir:
§
§
§
§
22
.2002
A variável x1 = número de alunos matriculados, apresentou 9,8% de contribuição para sua
eficiência;
A variável x2 = média de alunos por sala de aula, participou com 44,78% na sua eficiência;
A Variável x3 = número de professores, contribuiu com 45,4% de sua eficiência;
A variável de decisão y1 = ín dice de aprovação, apresentou 100% de aprovação, o que
realmente é contestável.
R. Cient. Fac. Lour. Filho - v.2,n.1,
Convém observar ainda que, das doze DMUs analisadas, apenas quatro atingiram seu nível
máximo de eficiência, conforme mostrado no gráfico da: fronteira de eficiência.
ACLima
Fronteira de Eficiência
PNeto
ACosta
ZGondim
CPinto
MPinto
CMonte
MAguiar
DRocha
FNunes
TFrota
ACals
Figura 5: Fronteira de Eficiência das escolas analisadas
Percebe-se que as escolas que participam do programa PDE não tiveram o êxito esperado, uma vez
que das quatro escolas eficientes, duas participam do referido programa. São elas ACosta e PNeto e duas,
ainda, não foram contempladas, como é o caso da CMonte e da ACLima.
Contudo, observando -se o gráfico da figura 5, que é um recurso didático utilizado para melhor
visualização da tabela 7 conclui-se que as DMUs ZGondim, CPinto e MAguiar tiveram um desempenho
que ficou bem próximo da fronteira de eficiência e estas 3 escolas estão participando do PDE. A FNunes,
também integrante do programa, teve um desempenho bem abaixo da expectativa.
Levando-se em consideração as observações anteriores, pode-se inferir que, como este programa
foi implantado nas escolas em 1999 e os dados que serviram de base à pesquisa foram coletados em 1999 e
2000, não foi possível detectar ações de melhorias significativas nestas escolas, em decorrência de estarem
participando do mencionado programa há pouco tempo.
Portanto, a ampliação desta pesquisa, procurando captar melhor o uso dos recursos, seria
oportuna posto que não foi possível perceber as melhorias ocorridas nas escolas em conseqüência de uma
melhor aplicabilidade dos recursos, inclusive do PDE, no aspecto pedagógico, visto que a ocorrência de
um período de tempo maior possibilitaria perceber mudanças, uma vez que as escolas começaram a receber
o referido recurso no final de 2000.
Sugere -se, ainda, uma ampla divulgação da ferramenta DEA junto aos estabelecimento de ensino,
no sentido de que haja uma maior conscientização, por parte dos gestores e da comunidade escolar, de
como esta avaliação se processa em moldes confiáveis, visando a dar uma conotação fidedigna às
pesquisas de avaliação escolar.
A tabela 6 mostra as projeções de cada escola segundo cada fator estudado. A comparação é,
naturalmente, feita em relação às unidades eficientes, relacionando o potencial de otimização de cada fator
das unidades em relação às melhores práticas observadas. Desse modo, verifica-se em que aspectos as
escolas podem ser melhoradas a fim de se tornarem eficientes.
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
23
Tabela 6: Projeção dos Dados sobre a Fronteira de Eficiência.
No
1
2
3
No
4
5
6
7
24
.2002
DMU
I/O
DRocha
x1
x2
x3
y1
TFrota
x1
x2
x3
y1
ACals
x1
DMU
I/O
x2
x3
y1
MPinto
x1
x2
x3
y1
CMonte
x1
x2
x3
y1
ACosta
x1
x2
x3
y1
MAguiar
x1
x2
x3
Pontuaçã
o
do Dado
0,890727
845,5
30
28,5
594
0,811892
881,5
35
38
571,5
0,739665
791,5
Pontuaçã
o
do Dado
27
44,5
467,5
0,905163
712,5
30
32
515
1
1543,5
34,5
53
1061,5
1
1094,5
34
37,5
874
0,914921
1226,5
35
48,5
Projeção
Diferenç
a
%
845,5
26,15057
28,5
666,8713
0
-3,84943
0
72,8713
0,00%
-12,83%
0,00%
12,27%
881,5
27,38328
30,20215
703,9114
0
0,00%
-7,61672 -21,76%
-7,79785 -20,52%
132,4114 23,17%
791,5
0
0,00%
Projeção
Diferenç
a
%
24,58748
27,11855
632,0429
-2,41252 -8,94%
-17,3815 -39,06%
164,5429 35,20%
712,5
22,13339
24,41183
568,9584
0
0,00%
-7,86661 -26,22%
-7,58817 -23,71%
53,95843 10,48%
1543,5
34,5
53
1061,5
0
0
0
0
0,00%
0,00%
0,00%
0,00%
1094,5
34
37,5
874
0
0
0
0
0,00%
0,00%
0,00%
0,00%
1226,5
35
42,04942
0
0
-6,45058
0,00%
0,00%
-13,30%
R. Cient. Fac. Lour. Filho - v.2,n.1,
8
9
10
11
12
No
y1
CPinto
x1
x2
x3
y1
PNeto
x1
x2
x3
y1
ACLima
x1
x2
x3
y1
FNunes
x1
x2
x3
y1
ZGondim
x1
DMU
I/O
x2
x3
y1
860
0,928381
1098
35
50
814
1
1137,5
34
33,5
811,5
1
1798,5
42,5
56,5
1215
0,875378
716
33,5
29,5
500,5
0,978004
1052
939,9719
79,97186
9,30%
1098
34,10873
37,61992
876,7949
0
0,00%
-0,89127 -2,55%
-12,3801 -24,76%
62,79488 7,71%
1137,5
34
33,5
811,5
0
0
0
0
0,00%
0,00%
0,00%
0,00%
1798,5
42,5
56,5
1215
0
0
0
0
0,00%
0,00%
0,00%
0,00%
716
22,24212
24,53175
571,7533
0
0,00%
-11,2579 -33,61%
-4,96825 -16,84%
71,25331 14,24%
1033,279
-18,7206
Pontuaçã
o
Projeção
do Dado
32
32
35
35
800
817,9926
Diferenç
a
-1,78%
%
0
0,00%
0
0,00%
17,99265 2,25%
A seguir, será discutida a tabela 6, tendo como ponto de apoio a tabela 12: Folga, constante do
Apêndice A, que aponta os procedimentos necessários a serem efetuados pelos tomadores de decisão
para, assim, tornar as DMUs eficientes.
Observando-se a tabela 12, identificam-se as origens e quantidades de ineficiências relativas a
cada uma das DMUs analisadas. Com relação à Escola Demócrito Rocha (DRocha), focalizando-se a
variável x2 , média de alunos por sala de aula, percebe-se que existe um excesso de 3,849428. Isto significa
que, para torná-la eficiente, seria oportuno reduzir, aproximadamente, quatro alunos por sala de aula. Com
relação a DMU TFrota, seria significativo reduzir sete alunos por turma. Com referência à variável x3,
número de professores, sugere-se a diminuição de oito professores.
A DMU ACals apresenta o mais baixo índice de ineficiência, e para que ela pudesse atingir o nível
eficiência seria essencial que se diminuíssem dois alunos por turma e se reduzissem dezessete professores
de seu quadro.
Observando-se a DMU ACals na tabela 6: Projeção dos Dados sobre a Fronteira de Eficiência,
verifica-se que existe uma concordância de dados, visto que na coluna referente a “Diferença”, a variável
x2 apresenta-se com o mesmo resultado –2,41252, significando que deve ser retirado este valor para tornála
eficiente,
o
que
corresponde
a
um
percentual
de
–8,94%. Da mesma forma ocorre com relação à variável x3, que se mostra com resultado
–17,3815, gerando a necessidade de se extrair este valor para que a DMU atinja a eficiência, o que equivale
a um percentual de –39,06%.
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
25
Alguns valores da tabela 6 aparecem precedidos do sinal negativo, por representarem o excesso
que deve ser retirado para tornar a DMU eficiente. Raciocínio análogo deve seguir-se com relação aos
resultados das demais DMUs. A seguir, será discutida a tabela 7: Projeções dos Escores sobre Escolas
Eficientes, com suas interpretações quanto à envoltória convexa (fronteira de eficiência), gerada pelo
modelo CCR-O.
Tabela 7: Projeções dos Escores sobre Escolas Eficientes.
N
o
1
2
3
4
5
6
7
8
9
1
0
1
1
1
2
DRocha
TFrota
ACals
MPinto
CMonte
ACosta
MAguiar
CPinto
PNeto
Pontuaçã
o
0,890727
0,811892
0,739665
0,905163
1
1
0,914921
0,928381
1
Colocaçã
o
9
11
12
8
1
1
7
6
1
ACosta
ACosta
ACosta
ACosta
CMonte
ACosta
CMonte
ACosta
PNeto
ACLima
1
1
ACLima
1
FNunes
0,875378
10
ACosta
0,65418
ZGondim
0,978004
5
ACosta
0,867647 PNeto
DMU
Grupo Referência (Lambda)
0,683499 PNeto 8,56E-02
0,805391
0,723161
0,650982
1
1
0,230556 ACosta 0,795465
1,003198
1
7,35E-02
A DMU ineficiente DRocha, cuja pontuação foi 0,89072 na tabela 7, fornecida pelo DEA Solver,
pode ser interpretada no gráfico da figura 6 da seguinte forma: consideram-se todas as DMUS eficientes
correspondentes a esta linha ACosta e PNeto, que compõem o conjunto referência para DMU DRocha. A
cada uma destas DMUs está associado um fator (λ) que representa a distância da DMU DRocha a cada
uma das 2 DMUs desse conjunto referência, ou seja:
−
−
Distância da DRocha à PNeto = 0,0856, ou seja, DRocha está a 8,5% da eficiência de PNeto;
Distância da DRocha à ACosta = 0,6834, ou seja, DRocha está a 68,3% da eficiência de Acosta
Pelo gráfico, concluímos que a DMU DRocha está mais distante da DMU ACosta, o que pode
representar uma classificação por ordem de eficiência, quando as tomadas de decisões devem ser menos
onerosas caso se deseje que a DMU DRocha se aproxime da DMU PNeto e não da Acosta. O raciocínio é
análogo para as outras linhas da tabela 7.
Conjunto de Referência ( λ )
PNeto
8,5%
ACosta
DRocha
68,3%
26
.2002
R. Cient. Fac. Lour. Filho - v.2,n.1,
Figura 6: Gráfico de melhores práticas em relação à DMU DRocha.
A análise de correlação obtida pelo DEA Solver juntamente com a tabela 8 contém informações
adicionais e importantes, tais como o número de DMUs analisadas, variáveis de entrada e saída e ainda
valores máximo e mínimo, média e desvio-padrão para cada variável do modelo.
A seguir, na tabela 9 encontra-se a matriz de correlação entre as variáveis do modelo
onde se confrontou a mesma realidade quando se processou no SPSS a modelagem estatística da
Regressão StepWise apresentada na tabela 3 para eliminar variáveis não representativas no referido
modelo.
Apresenta-se, em seguida, a análise de correlação dos fatores, obtida através da aplicação do
DEA Solver.
Análise de Correlação Obtida pelo DEA Solver
Modelo DEA = CCR-O
No de DMUs = 12
No de itens Input = 3
Input (1) = x1
Input (2) = x2
Input (3) = x3
No de itens output = 1
Output (1) y1
Retorno de escala = constante (0 = < soma dos Lambdas < infinito)
Tabela 8: Estatísticas sobre os dados input / output.
x1
x2
x3
y1
Máximo
1798,5
42,5
56,5
1215
Mínimo
712,5
27
28,5
467,5
Média
Desvio
Padrão
1074,792 33,54167
40,54167 757,0417
316,4929 3,631221
9,193427 224,3502
Tabela 9: Matriz de correlação.
x1
x2
x1
1
x2
x3
y1
x3
y1
0,793402
0,791255
0,975069
0,793402
1
0,569094
0,788538
0,791255
0,569094
1
0,713963
0,975069
0,788538
0,713963
1
DMUs com dados impróprios no que diz respeito ao modelo escolhido
Número DMU
Número de DMUs
Média
nenhuma imprópria
12
0,920344
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
27
Desvio padrão
0,079758
Máximo
1
Mínimo
0,739665
Freqüência no conjunto referência
Conjunto de DMUs eficientes
Freqüência com outras DMUs
CMonte
1
ACosta
8
PNeto
2
ACLima
0
Número de DMUs nos dados =
12
Número de DMUs com dados impróprios = 0
Número de DMUs avaliados =
12
Média de pontuação
0,920344
Número de DMUs eficientes
4
Número de DMUS ineficientes
8
[CCR-0] LP iniciado em 26/12/2001 às 17:42:35 e finalizado em 26/12/2001 às 17:42:40.
Tempo de execução: 4 segundos
Número total de interações simplex: 42
Por fim, destaca-se ainda a inexistência de dados inapropriados ao modelo e ressalta-se o esforço
computacional exigido na solução onde o algoritmo Simplex foi executado em 42 interações, indicando um
tempo de processamento em torno de 4 segundos de execução, o que mostra ser o DEA uma ferramenta de
alta complexidade, fácil manuseio e de total credibilidade na sua forma algorítmica e tempo de resposta,
tornando esta metodologia indispensável no processo de tomadas de decisões em análise de avaliação de
desempenho de entidades de ensino.
10 CONCLUSÕES
Um dos mais importantes questionamentos da análise econômica se refere à eficiência das
unidades produtivas de bens e serviços. A maior parte da literatura existente aborda a teoria da produção,
considerando as unidades produtivas como plenamente eficientes a partir de pressupostos
comportamentais, como maximização dos lucros, minimização dos custos, minimização das perdas, entre
outros. Ao longo dos últimos anos, investigações empíricas têm mostrado a existência de diferenciais de
produtividade entre estas unidades produtivas, que utilizam a mesma tecnologia.
É neste sentido que a presente pesquisa foi desenvolvida, quando se tratou a questão da
eficiência como sendo a unidade produtiva plenamente eficiente, aquela que se situa num ponto da
fronteira de eficiência. As unidades produtivas (DMUs) tratadas neste trabalho são doze escolas de
Ensino Fundamental de Fortaleza, escolhidas para este fim.
Portanto, a proposta desta pesquisa, que consiste em avaliar a eficiência técnica relativa de
unidades de Ensino Fundamental, procurou identificar oportunidades de melhoria do desempenho de cada
uma delas, utilizando para tanto o conceito de meta-fronteira de produção, com o emprego de métodos
não-paramétricos, mais especificamente, através do uso do modelo DEA , foi alcançada, uma vez que
mostrou diferenças entre DMUs, conforme apresentado no capítulo anterior. Procurou-se dar um
tratamento, relativamente, rigoroso na apresentação dos modelos matemáticos de programação linear, nos
quais a análise está sedimentada, a fim de que se tornem claras as proposições de melhorias no setor de
Ensino Fundamental, ora estudado.
28
.2002
R. Cient. Fac. Lour. Filho - v.2,n.1,
No tocante à determinação dos critérios de escolha dos fatores de entrada (input) e saída
(output), considerou-se a opção feita bastante apropriada, uma vez que tal escolha possibilitou a
realização de uma pesquisa coerente com a realidade de cada DMU.
Com relação à definição dos critérios para a escolha das unidades a serem analisadas, procurouse contemplar unidades pertencentes a cada uma das seis regiões administrativas da cidade, uma vez que
de cada regional foram escolhidas duas escolas, visando, assim, a ter uma idéia da realidade vivida em
cada um dos seis recantos da urbe, como já foi explicitado no Capítulo 4.
A partir de metodologias estatísticas, estabeleceram-se critérios para a seleção das
oportunidades de melhorias das escolas municipais que participaram da pesquisa e apresentaram índices
de ineficiência. Dentre as doze escolas avaliadas, quatro aparecem como eficientes, o que representa um
percentual de 33%, enquanto oito surgem como ineficientes, e seu percentual eqüivale a 67%.
Considerando-se os critérios de melhorias das escolas identificadas como ineficientes, tomaramse como base os resultados da tabela 12: Folga, constante do Apêndice A, que apontam os procedimentos
necessários a serem efetuados pelos tomadores de decisões, para transformar as DMUs ineficientes em
eficientes.
A utilização da metodologia DEA foi considerada bastante útil, uma vez que permitiu avaliar a
eficiência técnica relativa de cada DMU. Permitiu, ainda, avaliar a eficiência das DMUs, mesmo que elas
estejam operando com uma grande diversidade de insumos e produtos.
Considera-se que, para obter uma maior eficiência das escolas analisadas, faz-se necessário que a
Secretaria de Educação e Assistência Social (SEDAS) garanta mais autonomia às escolas. Segundo Lima
(1999, p. 208), “A autonomia auxilia para que a escola se torne mais ágil em suas ações, pois seu
fortalecimento leva a uma diminuição significativa da burocracia”.
A autonomia permite que o gestor tenha maior motivação e criatividade para desempenhar suas
atividades, propiciando, assim, empregar os recursos de forma mais produtiva, o que contribuirá para a
melhoria das taxas de eficiência.
Em suma, a autonomia tende a influenciar sobremaneira na produtividade da escola. E, como diz
Paro (1997, p. 307):
Se a escola tem que responder por produtos, eles só podem ser o resultado da
apropriação do saber pelos alunos. Se os alunos não aprenderam, a escola não foi
produtiva. Dizer que a escola é produtiva porque deu boa aula, mas o aluno não
aprendeu, é o mesmo que dizer que a cirurgia foi um sucesso, mas o paciente morreu.
Na escola, o gestor deve ter autonomia financeira, pedagógica e de gestão. A autonomia
financeira lhe dará condição de decidir sobre como gastar os recursos destinados à escola: se na aquisição
de equipamentos ou na construção de uma sala de aula; se na contratação de assessoria para promover
cursos de formação continuada de professores; ou na aquisição de material didático para dar suporte às
atividades pedagógicas.
Com relação à autonomia pedagógica, o gestor deve ter alternativas de, juntamente com os
professores, alunos e a comunidade escolar, decidir sobre o currículo escolar mais interessant e e
adequado à realidade do aluno.
A autonomia na gestão escolar permite que a escola se organize, visando a atender aos interesses
da comunidade escolar, o que faz com que todos se envolvam no processo e atinjam com isso maiores
possibilidades de êxitos.
10.1 Sugestões para Trabalhos Futuros
Visando a dar prosseguimento à pesquisa iniciada aqui, sugere-se:
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
29
− que se explorem abordagens estocásticas para análise de eficiência entre DMUs, conforme
trabalhos propostos por AIGNER, LOVELL and SCHMIDT (1977, p. p. 21-37);
− que seja ampliado o espectro deste estudo a um universo mais representativo, envolvendo,
−
30
.2002
para tanto, mais escolas de Ensino Fundamental de Fortaleza e procurando dar um enfoque na
alocação dos recursos recebidos pela escola, visando a sua otimização;
que, pelo fato de a eficiência nem sempre estar associada à qualidade nos serviços ofertados,
seja feita uma extensão deste trabalho focalizando esta qualidade, para observar se as escolas
eficientes realmente oferecem à sociedade um trabalho que possa ser qualificado como de
excelente qualidade.
R. Cient. Fac. Lour. Filho - v.2,n.1,
11 Referências Bibliográficas
ABEL, Lecir. Avaliação Cruzada da Produtividade dos Departamentos Acadêmicos da UFSC utilizando DEA
(Data Envelopment Analysis). 2000. 62 p. Dissertação (Mestrado em Engenharia de Produção) – Engenharia de
Produção, Universidade Federal de Santa Catarina. Florianópolis.
ANDRADE, Eduardo L. Introdução à pesquisa operacional: métodos e modelos para a análise de decisão. Rio de
Janeiro: LTC – Livros Técnicos e Científicos Ed., 1989.
AIGNER, D.; LOVELL, C. A. K.; SCHMIDT. Formulation and Estimation of Estochstic Fontier Production Function
Models. Journal of Econometrics , 1977, 6, p. 21-37.
BARRETO, J. Anchieta Esmeraldo. Avaliação da Escola e do Sistema para uma Gestão Educacional de Qualidade. In:
SIMPÓSIO REGIONAL DE ADMINISTRAÇÃO DA EDUCAÇÃO DO NORDESTE, 1., 1996, Fortaleza. Anais...
Fortaleza: 1996.
BAZARAA, Moktar S.; JARVIS, John J.; SHERALI, Hanif D. Linear Programming and Network Flows. John Wiley &
Sons, USA, 1990.
BIONDI NETO, Luiz. Neuro – DEA: Nova Metodologia para Determinação da Eficiência Relativa de Unidades
Tomadoras de Decisão. 2001. Tese (Doutorado em Engenharia de Produção) – Engenharia de Produção, Universidade
Federal do Rio de Janeiro, Rio de janeiro.
BRASIL. MEC. INEP. ENEM – Exame Nacional do Ensino Médio. Brasília, DF, INEP/MEC 2000.
BRASIL. MEC. INEP. SAEB– Sistema Nacional de Avaliação da Educação Básica. Brasília, DF, 1990.
CASTRO, Maria Helena G. de. Palestra Inaugural do Seminário Internacional de Ava liação Educacional, Rio de
Janeiro – Brasil, 1997.
CHARNES, A. et al. Data Envelopment Analysis: Theory, Metodology and Applications. Kluwer Academic Publishers,
1984. 513 p.
CHARNES, A.; COOPER, W. W.; RHODES, E. Measuring the Efficiency of Decision Makin g Units. European Journal
of Operacional research , v.2, n.6, 1978: p.424 -444.
CHARNES, Abrahan. COOPER, W. W. LEWIN. A. SEIFORD, L. M. Data Envelopment Analysis: Theory,
Methodology, and Application. Kluwer Academic Publishers, 1996.
COOPER, William W.; SEIFORD, L. M.; TONE, Kaoru. A Comprehensive Text With Models, Applications,
References and DEA – Solver Software . Massachusetis: Kluwer Academic Publishers, 2000.
FARREL, M. J. The Measurement of Productive Efficiency. Journal of the Royal Statistical Soci ety , Séries A, Parte
III, p. 253-290, 1957.
GADOTT, Moacir. Escola Cidadã. Uma aula sobre autonomia da escola. São Paulo: Corteza, 1992.
LIMA, Sueli ª de S. da C. Gestão da Escola: Uma Construção Coletiva – Superando Conflitos e Rompendo com a Rotina
Burocrática. Revista Brasileira de Política e Administração da Educação, ANPAE, Porto Alegre, v. 1, n. 2, jul/dez.
1999.
LINS, M. P. E.; MEZA, L. A. Análise Envoltória de Dados e Perspectivas de Integração no ambiente de Apoio à
Decisão. Rio de Janeiro: COPP E / UFRJ, 2000.
LOPES, A. L. M.; LANZER, E. A.; LAPA, J. S. Análise por Envelopamento de Dados. Uma nova Ferramenta para
Avaliação de Produtividade Multidimensional no Setor de Serviços. ENANPAD, 1996.
PLOMP, Tjeed. O Potencial dos Estudos Comparativos Internacionais para o Controle de Qualidade da Educação. In:
SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL,1994, Rio de Janeiro. Anais... Rio de Janeiro:
1994.
QUEIROZ, Eunice Cabral de ; RODRIGUES, Luiz Carlos. Curso de Noções Bá sicas de Indicadores Estatísticos
Educacionais. Fortaleza, SEDUC - PROJETO NORDESTE, 1997.
SENGUPTA, Jati K. Efficiency Analysis by Production Frontiers : The Nonparametric Approach. Kluwe Academics
Publishers, 1989. 246 p.
TENNER, Arthur R.; DE T0R0, Irving J. Total Quality Managem e n t. Reading: Addison - Wesley, 1992.
STEERING Committee for the Review of Commonwealth / State Service Provision, 1997 – Disponível em:
<http://www.pc.gov.au/gsp/dea>. Acesso em: 25 set. 2001.
TUTORIAL IN DEA. Disponível em: < http://www.deazone.com/tutorial/2001>.
VARIAN, Hal R. Microeconomia: princípios básicos. Rio de Janeiro: Campus, 1999.
WERTHEIN, Jorge. Pronunciamento in Seminário Internacional de Avaliação Educacional, Rio de Janeiro –
Brasil, 1997
R. Cient. Fac. Lour.Filho - v.2, n.1, 2002
31