FUNDAÇÃO INSTITUTO CAPIXABA DE PESQUISAS EM
CONTABILIDADE, ECONOMIA E FINANÇAS – FUCAPE
SILVANA CRISTINA DOS SANTOS
A ABORDAGEM DO VALOR ADICIONADO NA AVALIAÇÃO DO
ENSINO: uma análise dos cursos de Ciências Contábeis
VITÓRIA
2013
SILVANA CRISTINA DOS SANTOS
A ABORDAGEM DO VALOR ADICIONADO NA AVALIAÇÃO DO
ENSINO: uma análise dos cursos de Ciências Contábeis
Dissertação apresentada ao Programa de PósGraduação em Ciências Contábeis, Fundação
Instituto
Capixaba
de
Pesquisas
em
Contabilidade,
Economia
e
Finanças
(FUCAPE), como requisito parcial para
obtenção do título de Mestre em Ciências
Contábeis- Nível Profissionalizante.
Orientador: Prof. Dr. Cristiano Machado Costa
VITÓRIA
2013
SILVANA CRISTINA DOS SANTOS
A ABORDAGEM DO VALOR ADICIONADO NA AVALIAÇÃO DO
ENSINO: uma análise dos cursos de Ciências Contábeis
Dissertação apresentada ao Programa de Pós-Graduação em Ciências Contábeis
da Fundação Instituto Capixaba de Pesquisas em Contabilidade, Economia e
Finanças (FUCAPE), como requisito parcial para obtenção do título de Mestre em
Ciências Contábeis na área de concentração Contabilidade Gerencial.
Aprovada em 09 de dezembro de 2013.
COMISSÃO EXAMINADORA
___________________________________________
Orientador: Prof. Dr. Cristiano Machado Costa
(Fundação Instituto Capixaba de Pesquisa em Contabilidade, Economia
e Finanças – FUCAPE)
___________________________________________
Convidado: Profa. Dra. Arilda Teixeira
(Fundação Instituto Capixaba de Pesquisa em Contabilidade, Economia
e Finanças – FUCAPE)
___________________________________________
Orientador: Prof. Dr. Fábio Moraes da Costa
(Fundação Instituto Capixaba de Pesquisa em Contabilidade, Economia
e Finanças – FUCAPE)
Dedico este trabalho a Deus e
à
minha
família,
alicerces
principais da minha vida.
AGRADECIMENTOS
A DEUS, meu grande Pai, Amigo e Ajudador. Aquele que acredita e realiza,
quando nós desacreditamos e que em meio a tantos impossíveis tem o poder de
fazer mais do que nós pensamos ou pedimos.
Aos meus pais, irmãs e sobrinho, que diante de um momento de realização e
simultaneamente de adversidade, foram compreensivos, ajudando-me de tantas
formas e de uma maneira muito especial. Sem esse apoio dificilmente eu teria
chegado até aqui.
Às amigas: Joana, Helenice e família, que desde o início deste curso, se
colocaram a disposição para me ajudar. Helenice, Flávio (in memoriam) e toda a
família que tão bondosamente me recebiam em seu lar durante o curso. E que com
tanto zelo, cuidado, preocupação não mediram esforços para me apoiar. Agradecer
é muito pouco e torna-se até difícil encontrar ações que recompensem tudo isso.
Que Deus possa retribuir a vocês tudo o que fizeram por mim.
A todas as amigas e amigos que me incentivaram e torceram por mim, e que
em suas orações sempre se lembraram de mim, em especial, amiga Raquel.
Ao meu orientador Prof. Dr. Cristiano M. Costa, por ter acreditado em mim,
pela sua disponibilidade e apoio de tantas formas. Prosseguir com esse tema, e,
chegar aos resultados, foi possível, principalmente pela sua competência e valiosas
contribuições. Muito obrigada pela dedicação junto comigo ao longo da realização
deste trabalho.
A todos os professores do curso e colegas pelo convívio. Em especial, não
poderia deixar de citar a amiga Vanessa, pelos auxílios durante o curso, por me
receber tão bem por diversas vezes em sua casa, assim como seu esposo
Anderson. Conhecer pessoas como vocês é um privilégio, pois com tanta humildade,
estão sempre dispostos a ajudar. Muito obrigada por tudo e também pela
contribuição de vocês na consecução deste trabalho.
Ao Prof. Dr. Valcemiro Nossa e Profa. Dra. Luciana de Andrade Costa pelas
considerações e sugestões na ocasião do exame de qualificação.
À Fucape e parceiros promotores do prêmio Excelência Acadêmica. Pois, em
uma situação rara e especial, pude ser contemplada com uma bolsa parcial, o que
viabilizou realizar o sonho do Mestrado em Contabilidade.
À secretaria de pesquisa, na pessoa da Lorene, pela compreensão na
realização das atividades de pesquisa e pelo esclarecimento de dúvidas ao longo
deste trabalho.
Por fim, a todos que direta ou indiretamente contribuíram para essa
realização, meus sinceros agradecimentos.
“Confie no Senhor de todo o seu coração, e
não se apoie em seu próprio entendimento.
Reconheça o Senhor em todos os seus
caminhos, e ele endireitará as suas veredas”.
(Provérbios 3:5-6)
RESUMO
Este trabalho investiga o valor adicionado nos cursos de ciências contábeis a partir
de uma análise do resultado do Exame Nacional de Desempenho dos Estudantes
(Enade) do ano de 2009. O objetivo foi identificar os fatores que explicam o valor
adicionado pelas Instituições de Ensino Superior (IES) aos alunos do curso de
ciências contábeis em relação aos conhecimentos específicos da área. Para tanto,
realizou-se uma pesquisa empírica, tendo como amostra o total de 251 cursos de
ciências contábeis da região Sudeste do Brasil. Os dados foram coletados por meio
de relatórios disponibilizados pelo Instituto Nacional de Estudos e Pesquisas
Educacionais Anísio Teixeira (Inep). Para análise dos dados foram utilizados os
procedimentos de estatística descritiva e regressão linear. Com base no método de
avaliação de ensino conhecido como valor adicionado (Value- Added), aplicou-se
uma das abordagens indicada, a da teoria da função de produção, controlando-se as
características individuais e socioeconômicas dos alunos. Os resultados sugerem
que os principais determinantes do valor adicionado foram: plano de ensino,
quantidade de alunos que utilizam bolsa de estudos e tamanho do corpo discente.
Desta forma, os achados indicam que enquanto variáveis relacionadas com o corpo
docente e infraestrutura pareceram não influenciar o desempenho da instituição,
ressalta-se a relevância e importância da organização didático-pedagógica que,
conforme verificado neste trabalho, pode motivar ganhos nos resultados da
instituição de ensino.
Palavras-chave: Valor adicionado; Ensino Superior; Ciências Contábeis; Brasil.
ABSTRACT
This dissertation uses the value-added approach to investigate the outcomes from
accounting sciences courses on the National Examination Performance of Students
(Enade) in 2009. The goal was to identify the determinants of the value added by
higher education institutions (HEIs) to students of accounting courses. The sample
consists of 251 accounting courses in the Southeast region of Brazil. The data was
obtained from different reports made available by the National Institute of Educational
Studies and Research Anísio Teixeira (Inep). The value-added model of evaluation
was applied to the data based on the theory of the production function, and controlled
for individual and socioeconomic characteristics of the students. The results suggest
that the main determinants of value added were: teaching planning, percentage of
students receiving scholarships and student body size. These findings indicate that
variables like teaching staff and infrastructure seemed to not influence the
performance of the institution and emphasize the relevance and importance of
didactic and pedagogic organization.
Key-words: Value-Added; Higher education; Accounting; Brazil.
LISTA DE TABELAS
Tabela 1: Evolução do Curso de Ciências Contábeis ............................................... 20
Tabela 2: Número de Cursos Participantes do Enade/2009 ..................................... 56
Tabela 3: Amostra da Pesquisa ................................................................................ 57
Tabela 4: Sumário Estatístico Descritivo das Variáveis ............................................ 63
Tabela 5: Sumário Estatístico Descritivo das Notas dos Alunos ............................... 64
Tabela 6: Sumário Estatístico da Regressão Linear ................................................. 67
Tabela 7: Sumário Estatístico da Regressão Linear ................................................. 68
Tabela 8: Sumário Estatístico da Regressão Linear ................................................. 69
Tabela 9: Sumário Estatístico Descritivo do Valor Adicionado Estimado .................. 71
Tabela 10: Sumário Estatístico da Regressão Linear ............................................... 73
Tabela 11: Sumário Estatístico da Regressão Linear ............................................... 73
Tabela 12: Classificação das IES pelo IDD e pelo Valor Adicionado ........................ 76
LISTA DE SIGLAS
ACT — American College Testing
CPC — Conceito Preliminar de Cursos
Enade — Exame Nacional de Desempenho dos Estudantes
ENC — Exame Nacional de Cursos
Enem — Exame Nacional do Ensino Médio
ES — Espírito Santo
HISD — Houston Independent School District
HLM — Modelagem Linear Hierárquica
IDD — Indicador de Diferença entre os Desempenhos Observado e Esperado
IES — Instituições de Ensino Superior
IFRS — International Financial Reporting Standards
IGC — Índice Geral de Cursos
Inep — Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira
LDB — Lei de Diretrizes e Bases da Educação Nacional
MEC — Ministério da Educação
MG — Minas Gerais
MQO — Mínimos Quadrados Ordinários
NIDD — Nota Padronizada do IDD
PISA — Programme for International Student Assessment
RJ — Rio de Janeiro
SAT — Scholastic Assessment Test
SINAES — Sistema Nacional de Avaliação da Educação Superior
SP — São Paulo
VAM — Modelos de valor adicionado
VSA —Voluntary System of Accountability
SUMÁRIO
Capítulo 1 ................................................................................................................. 13
1 INTRODUÇÃO ....................................................................................................... 13
Capítulo 2 ................................................................................................................. 19
2 REFERENCIAL TEÓRICO E EMPÍRICO............................................................... 19
2.1 A EVOLUÇÃO DO CURSO DE CIÊNCIAS CONTÁBEIS ................................ 19
2.2 AVALIAÇÃO DA EDUCAÇÃO SUPERIOR NO BRASIL .................................. 21
2.3 MÉTODO DO VALOR ADICIONADO .............................................................. 25
2.3.1 Contextualização ..................................................................................... 25
2.3.2 Modelos de valor adicionado .................................................................. 27
2.3.2.1 Alguns requisitos metodológicos ................................................... 28
2.3.2.2 Abordagens metodológicas ........................................................... 31
2.3.3 Aplicação prática ..................................................................................... 33
2.3.4 Críticas e Limitações ............................................................................... 37
2.4 INDICADOR DE DIFERENÇA DE DESEMPENHO- IDD ................................. 39
2.5 ESTUDOS ANTERIORES ............................................................................... 43
2.5.1 Estudos Internacionais ........................................................................... 43
2.5.2 Estudos Brasileiros relacionados com desempenho na área de
ciências contábeis ............................................................................................ 51
Capítulo 3 ................................................................................................................. 54
3 METODOLOGIA .................................................................................................... 54
3.1 COLETA DE DADOS ....................................................................................... 54
3.2 UNIVERSO E AMOSTRA DA PESQUISA ....................................................... 55
3.3 MÉTODO DE ESTIMAÇÃO ............................................................................. 57
3.4 ESTATÍSTICAS DESCRITIVAS ....................................................................... 62
Capítulo 4 ................................................................................................................. 67
4 ANÁLISE DOS RESULTADOS ............................................................................. 67
4.1 DETERMINANTES DO DESEMPENHO DOS ALUNOS ................................. 67
4.2 VALOR ADICIONADO E SEUS DETERMINANTES........................................ 70
4.3 ESTIMATIVA DO VALOR ADICIONADO E O IDD .......................................... 75
4.4 DISCUSSÃO DOS RESULTADOS .................................................................. 77
Capítulo 5 ................................................................................................................. 85
5 CONSIDERAÇÕES FINAIS ................................................................................... 85
5.1 CONCLUSÕES ................................................................................................ 85
5.2 SUGESTÕES PARA FUTURAS PESQUISAS E LIMITAÇÕES DO ESTUDO 89
REFERÊNCIAS ......................................................................................................... 91
13
Capítulo 1
1 INTRODUÇÃO
A profissão contábil vem evoluindo sob a influência de mudanças
econômicas, sociais e tecnológicas (DOMINGUES; SCHLINDWEIN, 2007, BYRNE;
FLOOD, 2008). Dentre elas, destacam-se: o avanço tecnológico e informacional, a
implantação do Sistema Público de Escrituração Digital e alterações na própria
estrutura contábil. Mudanças que, nacionalmente e internacionalmente têm sido
adotadas, sobretudo, para se alinhar aos padrões internacionais (MIRANDA; CASA
NOVA; CORNACCHIONE JÚNIOR, 2012) por meio da adoção das International
Financial Reporting Standards (IFRS) (CARDOSO et al., 2009).
Nesse cenário, a profissão contábil tem ocupado posição de destaque,
resultando em crescimento de oportunidades para o profissional da área (BYRNE;
FLOOD, 2008, PARISOTO; GRANDE; FERNANDES, 2006). Como consequência é
requerido desse profissional um perfil adequado à grandeza das mudanças do
mercado atual, que tem se mostrado cada vez mais dinâmico e competitivo
(DOMINGUES; SCHLINDWEIN, 2007, PARISOTO; GRANDE; FERNANDES, 2006).
Essas mudanças afetam de formas diversas o ensino da contabilidade no
Brasil (MIRANDA; CASA NOVA; CORNACCHIONE JÚNIOR, 2012). Como
responsáveis pela formação dos profissionais da área, as Instituições de Ensino
Superior (IES) desempenham o papel de ser o instrumento condutor da ciência
contábil a atender as novas expectativas da sociedade (PARISOTO; GRANDE;
FERNANDES, 2006). Dessa forma, espera-se por parte dessas IES a viabilização do
aprimoramento e desenvolvimento das competências, das habilidades e dos
14
conhecimentos requeridos para que esse profissional possa desempenhar suas
atividades
de
maneira
adequada
(PIRES;
OTT,
2008,
DOMINGUES;
SCHLINDWEIN, 2007).
Sabe-se que o ensino superior tem se destacado por uma grande expansão
em diversas áreas do conhecimento (SOUZA; MACHADO, 2011, DIAS SOBRINHO,
2010). Neste ambiente, o curso de ciências contábeis vem apresentando um
expressivo aumento da quantidade de cursos e de vagas tanto em IES públicas
quanto nas privadas (ARAÚJO; CAMARGOS; CAMARGOS, 2011). De acordo com o
Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), a
quantidade de cursos de ciências contábeis passou de 494 em 2000 para 1.074 em
2011, apresentando crescimento de 117,41%. Ademais, verificou-se um aumento de
40,5% no número de matrículas entre 2005 e 2011 que de 170.437 avançou para
239.488 (INEP, 2013a).
De acordo com Araújo, Camargos e Camargos (2011, p.1), um problema que
se acentuou com a expansão rápida do ensino superior foi “[...] a qualidade do
ensino e o resultado final do processo de aprendizagem, o desempenho discente,
que surge como uma questão crucial na pauta de discussão da educação brasileira.”
A preocupação com a qualidade do ensino superior é também expressa em outros
países, como Estados Unidos, Inglaterra, Arábia Saudita, Irlanda, Colômbia
(ZHANG, 2009, LIU, 2011a, LIU, 2011b, YUNKER, 2005, RODGERS, 2007, ALTWAIJRY, 2010, BYRNE; FLOOD, 2008, SAAVEDRA; SAAVEDRA, 2011), que
relatam a mesma necessidade crescente e iminente de se conhecer a qualidade do
ensino que tem sido ofertado e que tipo de profissional tem sido formado.
A fim de avaliar e aprimorar todo esse processo e traçar políticas que
objetivam melhorar o ensino, órgãos governamentais implantam diferentes
15
metodologias
de
avaliação
do
ensino
superior
(ARAÚJO;
CAMARGOS;
CAMARGOS, 2011). Uma delas, que vem sendo implantada e utilizada em vários
países, é a do valor adicionado (Value- Added). O termo Valor Adicionado origina-se
da economia e na educação, passou a ser compreendido, em termos gerais, como a
contribuição da escola, ao aluno (FINCHER, 1985). Assim, esse método busca medir
a contribuição pura da escola e o efeito de suas políticas e práticas para o
desempenho do aluno (DORAN, IZUMI, 2004, ASTIN, 1982). Ou seja, a contribuição
livre de todas as outras fontes de realização de um aluno (MEYER, 1997,
MCCAFFREY, 2010).
No Brasil, Soares, Ribeiro e Castro (2001) estimaram o valor adicionado de
IES em Minas Gerais para alunos dos cursos de direito, administração e engenharia
Civil. Contudo, tendo em vista a limitação de dados que existia na época, os
resultados do estudo foram inconclusivos.
Santos (2012) analisou o efeito de características individuais e institucionais
sobre o desempenho de estudantes de ciências contábeis que participaram do
Exame Nacional de Cursos (ENC), conhecido como Provão, de 2002 e 2003 e do
Exame Nacional de Desempenho dos Estudantes (Enade) de 2006. Entretanto, sua
análise limitou-se ao uso de microdados desses exames, além de utilizar somente
dados de alunos concluintes.
Outros trabalhos na área de ciências contábeis, relacionados com
desempenho têm se concentrado principalmente em analisar possíveis variáveis que
influenciam o desempenho da nota obtida pelos alunos concluintes no Enade
(CRUZ; TEIXEIRA, 2012, SOUZA; MACHADO, 2011, ARAÚJO; CAMARGOS;
CAMARGOS, 2011, SANTOS; CUNHA; CORNACHIONE JR., 2009).
16
Neste contexto surgiu o interesse pelo presente estudo, que foi orientado pela
seguinte questão de pesquisa: Quais os fatores determinantes do valor adicionado
pelas instituições de ensino superior aos alunos dos cursos de ciências contábeis,
em termos de conhecimentos específicos da área?
O tema valor adicionado na educação pode ser visto amplamente como
objeto de pesquisas e estudos em outros países. No Brasil, especialmente no ensino
superior, foram verificados poucos trabalhos relacionados com essa temática. Assim,
o presente trabalho buscou preencher essa lacuna, além de se estender às
contribuições anteriores de trabalhos internacionais, apresentando o resultado de
novas variáveis relacionadas com o desempenho do aluno e das IES. Isso foi
possível, principalmente, pela riqueza de dados disponibilizados atualmente pelo
sistema de avaliação da educação superior do Brasil. O que pode ser considerado
ainda, como uma vantagem que contribui para os resultados alcançados neste
trabalho, já que as dificuldades na obtenção de dados em pesquisas dessa área é
uma limitação comum relatada em outros estudos como Zhang (2009), Jakubowski
(2008), Liu (2011a) e Meyer (1997).
Nesta perspectiva foram utilizados os dados do Sistema Nacional de
Avaliação da Educação Superior (SINAES) mais especificamente do Enade, que é
um dos instrumentos do sistema, que avalia o desempenho acadêmico dos
estudantes em termos de conhecimentos gerais e específicos. Assim, a partir da
questão de pesquisa, o objetivo geral deste estudo foi investigar os fatores que
explicam o valor adicionado pelas IES aos alunos do curso de ciências contábeis em
relação aos conhecimentos específicos1 da área, que são avaliados no Enade.
1
O foco foi nos conhecimentos específicos, já que as questões do Enade de formação geral tratam de
temas extrínsecos ao âmbito específico da profissão, o que se torna irrelevante, de acordo com
intenção da pesquisa contextualizada nos parágrafos acima.
17
O perfil de estudantes ingressantes em uma instituição de ensino superior é
muito heterogêneo e as diferenças de desempenho são consequências não apenas
do efeito da instituição de ensino, mas também de outros fatores2. Assim sendo,
para se mensurar o efeito puro de uma instituição de ensino sobre o desempenho de
um aluno é necessário que se adote um método que considere todos esses fatores
(HANUSHEK; TAYLOR, 1990, MEYER, 1997, MCDONNELL et al., 2013).
A metodologia do valor adicionado tem sido considerada apropriada e
promissora para tal fim (HANUSHEK; TAYLOR, 1990, MEYER, 1997, DORAN,
IZUMI, 2004, MCDONNELL et al., 2013), já utilizada por vários países e vem sendo
tema de vários estudos. Nesse âmbito, justifica-se a importância e relevância deste
trabalho, haja vista ainda, ser voltado para educação e estar inserido no contexto da
avaliação da qualidade do sistema de ensino. Especificamente no ensino de nível
superior, em que a prestação de contas é cada vez mais necessária e requerida por
vários interessados (MIRANDA; CASA NOVA; CORNACCHIONE JÚNIOR, 2012,
DOMINGUES; SCHLINDWEIN, 2007, LIU, 2011a).
Os resultados deste estudo demonstraram que os principais determinantes do
valor adicionado em termos de conhecimentos específicos aos alunos do curso de
ciências no ano de 2009 foram: plano de ensino, quantidade de alunos que utilizam
bolsa de estudos e tamanho do corpo discente. Dessa maneira, enquanto variáveis
relacionadas com o corpo docente e infraestrutura pareceram não influenciar o
desempenho da instituição, ressalta-se a relevância e importância da organização
didático-pedagógica que, conforme verificado neste trabalho, pode motivar ganhos
2
Estudos sobre os fatores que influenciam o desempenho acadêmico mostram que, além da
instituição, o ambiente cultural oferecido aos estudantes por sua família, o envolvimento dos pais no
processo de aprendizagem, sua posição socioeconômica, seu desempenho prévio e as
características individuais dos alunos, são fatores explicativos importantes do desempenho
acadêmico (CLARK, 1983; LAREAU, 1987).
18
nos resultados da instituição de ensino. O conjunto de resultados encontrados
podem contribuir para despertar reflexões e ações por parte das instituições de
ensino. Em especial, concernente à implicação de políticas e práticas adotadas que
podem maximizar sua eficácia (independentemente de alterações ao longo do tempo
nas características dos alunos que servem), com o propósito de melhorar o
desempenho acadêmico do estudante. Como, por exemplo: investimento em
recursos didático-pedagógicos, maximizar programas de concessão de bolsas de
estudos, e elaborar planos para controle da quantidade de alunos admitidos.
Além das instituições, esses resultados podem ser úteis também para o Inep,
responsável pela avaliação das IES. Na elaboração deste estudo verificou-se que o
Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD), uma
das medidas de qualidade adotadas pelo Inep, apresenta semelhanças com os
indicadores de valor adicionado, e foram correlacionados. No entanto, diferenças
significativas entre eles também foram observadas. Logo, algumas reflexões são
levantadas, fundamentando-se na literatura, com a finalidade de contribuir para a
produção de medidas de avaliação da qualidade do ensino mais justas e adequadas,
que venham atender melhor a finalidade para a qual são empregadas.
Esta dissertação está estruturada da seguinte forma: além desta introdução,
há mais quatro capítulos. O segundo capítulo apresenta o referencial teórico,
abordando a evolução do curso de ciências contábeis, a avaliação da educação
superior no Brasil, o método do valor adicionado, o IDD e estudos anteriores. No
terceiro capítulo é apresentado o método de pesquisa. Os resultados são
apresentados e discutidos no quarto capítulo. Por fim, são evidenciadas as
considerações finais, com as conclusões, contribuições, limitações da pesquisa e
sugestões para novos estudos.
19
Capítulo 2
2 REFERENCIAL TEÓRICO E EMPÍRICO
2.1 A EVOLUÇÃO DO CURSO DE CIÊNCIAS CONTÁBEIS
A criação do curso de Ciências Contábeis no Brasil se deu por meio do
Decreto Lei nº 7.988, de 22/09/1945. Em seu processo histórico, o curso de ciências
contábeis passou por vários acontecimentos importantes.
De acordo com Silva e Moura (2002, p.2):
No decênio de 60, ocorreram profundas modificações no Ensino Superior
Brasileiro que repercutiram no Curso de Ciências Contábeis. Essas
mudanças foram em função da Lei 4.024/1961, que fixou as Diretrizes e
Bases da Educação Nacional e criou o CFE - Conselho Federal de
Educação, com atribuições de fixar os currículos mínimos e a duração dos
cursos superiores destinados à formação para as profissões
regulamentadas em lei.
Em 1992, o curso de ciências contábeis passou por outra reforma pela
Resolução nº3/1992, que fixou um currículo mínimo e tempo de duração dos cursos
(PELEIAS et al., 2007).
Ainda na década de 90, a Lei de Diretrizes e Bases da Educação Nacional
(LDB) de nº. 9.394, emitida em dezembro de 1996, trouxe profundas mudanças no
ensino superior para todas as áreas. De acordo com Peleias et al. (2007), as
mudanças estariam relacionadas com qualificação docente, a produção intelectual,
docentes com regime de tempo integral, dentre outras.
Atualmente as Diretrizes Curriculares Nacionais para o curso de ciências
contábeis estão definidas na Resolução CNE/CES n. 10, de 16 de dezembro de
2004. Seus princípios norteadores gerais tratam da formação do perfil profissional
desejado, relacionado principalmente a: habilidades e competências; conteúdos
curriculares dos cursos; sistema de avaliação do estudante e do curso; e demais
20
temas ligados ao estágio supervisionado, projetos e atividades complementares
(PIRES; OTT, 2008).
O curso de ciências contábeis se expandiu de forma rápida, conforme se
observa na Tabela 1, onde é apresentado esse crescimento em relação ao número
de cursos, alunos ingressantes e concluintes no âmbito das ciências contábeis nos
períodos de 2002, 2006, 2009 e 2011.
Tabela 1: EVOLUÇÃO DO CURSO DE CIÊNCIAS CONTÁBEIS
Períodos
Tipo
Curso:
2002
2006
Alunos
Quant
Quant
*Ing.
*Con.
641
46.759
20.886
*Dist.
-
-
Total
641
46.759
*Pres.
2009
Alunos
Quant
*Ing.
*Con.
879
56.867
28.931
-
11
6.381
-
20.886
890
63.248
28.931
2011
Alunos
Quant
Alunos
*Ing.
*Con.
*Ing.
*Con.
1.028
61.431
32.300
1.074
69.644
34.305
24
11.661
2.257
30
20.252
4.079
1.052
73.092
34.557
1.104
89.896
38.384
Fonte: INEP (2002, 2006, 2009, 2011).
*Legenda: Pres.= Presencial; Dist.=Distância; Ing. = Ingressantes; Con.= Concluintes.
Pode-se observar o crescimento contínuo da quantidade de cursos em cada
período analisado. Verifica-se, ainda, o crescimento do número de alunos
ingressantes e concluintes na mesma intensidade. Ressalta-se que em 2006 surge a
oferta dos cursos na modalidade à distância, e da mesma forma observa-se a
expansão de cursos e alunos.
Neste contexto Silva e Moura (2002, p.14) afirmam que: “esse crescimento
remete a uma constante reflexão da qualidade que deverá ser exigida nesses cursos
para que os mesmos possam atender a demanda atual dos profissionais de
contabilidade”.
21
2.2 AVALIAÇÃO DA EDUCAÇÃO SUPERIOR NO BRASIL
Vários países vêm adotando ao longo das últimas décadas metodologias
próprias de avaliação de seu sistema de ensino superior (MARCHELLI, 2007, LIU,
2011a). No Brasil existiram vários projetos e programas antes do atual sistema
nacional de avaliação do ensino superior.
Na década de 1980 algumas universidades já realizavam um tipo de
autoavaliação. No período de 1996 a 2003 utilizou-se do Exame Nacional de Cursos
(ENC) conhecido também como Provão e, em 2004 foi implantando o Sistema
Nacional de Avaliação da Educação Superior (SINAES) (POLIDORI; ARAÚJO;
BARREYRO, 2006).
O SINAES é operacionalizado pelo Instituto Nacional de Estudos e Pesquisas
Educacionais Anísio Teixeira (Inep), representante do Ministério da Educação
(MEC), e é formado por três componentes, chamados de principais: avaliação das
instituições, dos cursos e do desempenho dos estudantes. O processo de avaliação
envolve todos os aspectos que giram em torno desses componentes, como: o
ensino, a pesquisa, a extensão, a responsabilidade social, o desempenho dos
alunos, a gestão da instituição, o corpo docente, as instalações, dentre outros (INEP,
2013b). Todo esse processo de avaliação “[...] apresenta uma trajetória bastante rica
e, inclusive, inovadora no que diz respeito à sua proposta de considerar o processo
na sua totalidade” (POLIDORI, 2009, p. 439).
Através dos resultados das avaliações são gerados os indicadores de
qualidade dos cursos, sendo eles: Conceito Enade, Conceito Preliminar de Cursos
(CPC), Índice Geral de Cursos (IGC) e Indicador de Diferença de Desempenho (IDD)
(INEP, 2013c). Ressalta-se que neste trabalho será abordado nas páginas seguintes
22
somente sobre o IDD, o qual tem relação com a temática do presente estudo. E
ainda a expressão Enade que está sendo utilizada se difere do Conceito Enade,
esse é obtido a partir dos resultados dos exames aplicados. Ao longo do texto,
Enade se refere ao exame de desempenho dos estudantes.
A avaliação de desempenho do corpo discente de todos os cursos de
graduação é realizada por intermédio do Enade. Conforme Verhine, Dantas e
Soares (2006), o Brasil é o único país a aplicar um exame nacional escrito por área
de conhecimento no ensino superior. E ainda “[...] o único país a aplicar um exame
nacional de cunho obrigatório aos estudantes como um dos principais instrumentos
que compõem o sistema de avaliação da educação superior” (LEITÃO et al., 2010,
p.22).
Os objetivos do Enade estão definidos no parágrafo primeiro, artigo quinto da
Lei 10.861/04:
§ 1º O ENADE aferirá o desempenho dos estudantes em relação aos
conteúdos programáticos previstos nas diretrizes curriculares do respectivo
curso de graduação, suas habilidades para ajustamento às exigências
decorrentes da evolução do conhecimento e suas competências para
compreender temas exteriores ao âmbito específico de sua profissão,
ligados à realidade brasileira e mundial e a outras áreas do conhecimento.
Ainda de acordo com o artigo quinto, parágrafos terceiro e quinto da referida
lei, o Enade é componente curricular obrigatório dos cursos de graduação, aplicado
com periodicidade máxima trienal. No caso específico dos cursos de ciências
contábeis, estes foram avaliados no ciclo de 2006, 2009 e 2012.
O Enade é constituído de quatro instrumentos: a prova, o questionário de
impressões dos estudantes sobre a prova, o questionário do estudante e o
questionário do coordenador (a) do curso (INEP, 2013d).
23
A prova do Enade até o ano de 2009 era realizada por amostragem. O Inep
selecionava uma amostra de acordo com as informações fornecidas pela própria
instituição de ensino superior, através da inscrição dos alunos habilitados a fazer a
prova (LEITÃO et al. 2010, INEP, 2013j). A partir de 2010 foi extinto esse processo
de amostragem para realização do Enade, passando a ser caracterizado como de
realização obrigatória a todos os alunos habilitados que fazem parte dos cursos
avaliados pelo exame em seus respectivos períodos (INEP, 2013j). Compõem essa
prova questões referentes à formação geral e específica. Dez questões fazem parte
da formação geral, com peso de 25% e comum aos estudantes de todos os cursos
selecionados. Trinta questões fazendo parte da formação específica, com peso de
75% e diferenciada para cada um dos cursos de graduação. Ambas as provas
contêm questões discursivas e de múltipla escolha nas duas partes (INEP, 2013d).
O objetivo da inclusão de questões referente a conhecimentos gerais é
investigar competências, habilidades e conhecimentos gerais que os estudantes já
tenham desenvolvido e que possibilite a compreensão de temas extrínsecos ao
âmbito específico de sua profissão e à realidade brasileira e mundial. A parte dos
componentes específicos abrange a especificidade de cada curso no domínio dos
conhecimentos, das habilidades e competências esperadas para o perfil profissional,
que se baseiam nas diretrizes curriculares nacionais de cada curso avaliado
(POLIDORI; ARAÚJO; BARREYRO, 2006, SANTOS; AFONSO, 2012).
Até o ano de 2010 participavam da prova dois grupos de estudantes, os quais
se encontravam em momentos diferentes de sua graduação e eram submetidos à
mesma prova: um grupo, considerado ingressante, cursando o final do primeiro ano
e outro grupo tido como concluinte que se encontra no final do último ano do curso
(INEP, 2013e). A intenção do Inep ao aplicar as provas aos estudantes ingressantes
24
e concluintes é a possibilidade de reunir informações para comparação desses dois
grupos como forma de medir o conhecimento agregado durante a trajetória
acadêmica vivenciada durante o curso (VERHINE; DANTAS; SOARES, 2006,
SANTOS; AFONSO, 2012, POLIDORI; ARAUJO; BARREYRO, 2006, SANTOS;
CUNHA; CORNACHIONE JR, 2009).
Contudo, a partir de 2011, o Inep tomou a decisão de dispensar os estudantes
ingressantes de realizar a prova do Enade e em substituição3 utilizar o resultado do
desempenho dos estudantes no Exame Nacional do Ensino Médio (Enem). Desse
modo, a partir do ano de 2011, somente estudantes concluintes realizaram a prova
do Enade, e no cálculo dos indicadores de qualidade onde era utilizada a nota dos
estudantes ingressantes, passou-se a utilizar a nota dos estudantes no Enem.
O questionário do estudante, também conhecido como questionário
socioeconômico, permite o conhecimento e a análise do perfil socioeconômico dos
ingressantes e concluintes e dos fatores que podem estar relacionados ao
desempenho desses estudantes. E fornecem também dados de percepção dos
estudantes sobre o ambiente de ensino aprendizagem (INEP, 2009).
O questionário de impressões da prova tem o objetivo de colher informações
referente à opinião dos estudantes sobre a prova e, quanto ao questionário do
coordenador objetiva conhecer a posição do coordenador sobre a prova, projeto
pedagógico e as condições de ensino do seu curso (VERHINE; DANTAS; SOARES,
2006, POLIDORI; ARAUJO; BARREYRO, 2006).
3
Para maiores explicações sobre essa substituição ver nota técnica em Inep (2013i).
25
Os resultados do Enade são apresentados por meio dos seguintes relatórios:
boletim de desempenho do aluno, relatório do curso, relatório da área, relatório da
instituição, resumo técnico (INEP, 2013f).
As informações obtidas com esse sistema de avaliação são utilizadas:
Pelas IES, para orientação da sua eficácia institucional e efetividade
acadêmica e social; pelos órgãos governamentais para orientar políticas
públicas e pelos estudantes, pais de alunos, instituições acadêmicas e
público em geral, para orientar suas decisões quanto à realidade dos cursos
e das instituições. Deverão assim, contribuir para o aperfeiçoamento dos
processos de ensino-aprendizagem e das condições de ensino e do próprio
sistema de avaliação dos cursos de graduação (INEP, 2013b).
2.3 MÉTODO DO VALOR ADICIONADO
2.3.1 Contextualização
O termo Valor Adicionado (Value- Added) segundo Malach e Malčík (2010)
provavelmente surgiu no meio da década de 1970, no âmbito da idéia de
responsabilização das escolas. E sob a perspectiva de linha de tempo, “ [...] muitos
pesquisadores consideram o conceito de valor adicionado na educação como a
ferramenta analítica mais importante que surgiu em ciências pedagógicas nos
últimos 20 anos” [Tradução nossa] (MALACH; MALČÍK, 2010, p.125).
Goldstein e Thomas (1996) definiu valor adicionado como o quantitativo
acrescentado por uma instituição de ensino, por via de suas políticas, práticas e
processos internos, ao desempenho acadêmico dos alunos.
Astin (1982) é considerado como o proponente da prática da metodologia do
valor adicionado no ensino superior e quem descreveu pela primeira vez, na
literatura da educação, essa prática aplicada no ensino superior (CORNELL, 1985,
TAYLOR, 1985). Já em um contexto de preocupação com a qualidade da educação
superior, Astin (1982) expressou a necessidade imediata de uma nova concepção
26
para medir a qualidade do ensino e concluiu em seu estudo que, apesar de algumas
dificuldades, a metodologia do valor adicionado poderia ser aplicada na prática.
Outros
pesquisadores
da
área
começaram
a
expor
as
mesmas
preocupações, já que os indicadores de resultados educacionais passaram a ser
cada vez mais utilizados para avaliar a eficácia da educação (MEYER, 1997). Esse
uso progressivo deve-se em grande parte por uma demanda crescente interessada
em conhecer o resultado real do desempenho produzido pelas escolas (MEYER,
1997, RODGERS, 2007, LIU, 2011a, HANUSHEK; TAYLOR, 1990). Dessa forma,
muitos estudiosos e pesquisadores, sobretudo os americanos, passaram a
questionar os indicadores até então, comumente utilizados na educação americana.
Baseados apenas em resultados de avaliações, como médias e medianas de
testes padronizados, proporção de estudantes com pontuação acima ou abaixo de
um determinado limite, esses indicadores teriam deficiências graves, sendo
considerados fracos e improdutivos instrumentos de responsabilidade pública
(GOLDSTEIN; SPIEGELHALTER, 1996, MEYER, 1997, DORAN, IZUMI, 2004,
HANUSHEK; TAYLOR, 1990). Em outro estudo Meyer (1994), demonstrou que
mesmo que esses indicadores sejam originados de avaliações altamente válidas,
eles são grandemente falhos como medidas de desempenho escolar. Sobretudo, por
que tendem a favorecer instituições que admitem os alunos mais bem preparados.
Isso se deve a uma das grandes fraquezas deste tipo de indicador, já que
eles não levam em consideração a realização prévia do aluno (GOLDSTEIN;
THOMAS, 1996), ou seja, as características já existentes no perfil de um aluno, além
de fatores socioeconômicos de sua família, que exercem influências sobre o
desempenho (CLARK, 1983; LAREAU, 1987, TAYLOR; NGUYEN, 2006). Meyer
(1997) elenca as principais deficiências desse tipo de indicador: são incapazes de
27
identificar o desempenho escolar da sala de aula ou do nível de ensino;
acrescentam
informações
sobre
o
desempenho
escolar,
que
podem
ser
desatualizadas; é corrompido pela mobilidade estudantil; além de não diferenciar a
contribuição do valor adicionado das escolas (para crescimento no desempenho
estudantil) da contribuição de fatores próprios do estudante e de sua família.
Neste contexto, o método do valor adicionado ganhou ainda mais força como
objeto de investigação, sendo considerado um indicador apropriado para medir e
atribuir maior responsabilidade no que se refere ao ganho educacional (MEYER,
1997, LADD; WALSH, 2002, RODGERS, 2007, MEYER; DOKUMACI, 2009). .
2.3.2 Modelos de valor adicionado
Os modelos de valor adicionado, conhecidos internacionalmente pelo termo
VAM, são um conjunto de procedimentos estatísticos que utilizam dados
longitudinais, com a finalidade de medir a contribuição da escola e/ou professores
para o desempenho do estudante, separada de outras contribuições (DORAN;
IZUMI, 2004, MEYER; DOKUMACI, 2009, MCCAFFREY, 2010). Sanders, Saxton e
Horn (1997) consideram que o motivo pelo qual o interesse pelos VAM aumentou
está centrado na crença de que eles podem determinar de forma apropriada como
um estudante está progredindo ao longo do tempo e estatisticamente atribuir o
ganho às escolas e/ou professores.
Segundo Meyer (1997) uma particularidade comum dos VAM é que eles
medem o desempenho escolar ou o efeito das políticas e insumos escolares, através
de um modelo estatístico de regressão, que é composto de todos os fatores que
contribuem para o progresso no desempenho do aluno. A intenção principal é isolar
estatisticamente a contribuição das escolas, livre da influência de todas as outras
28
fontes de realização do estudante (MEYER, 1997). E um dos objetivos principais
“[...] é facilitar comparações válidas e justas dos resultados dos alunos entre
escolas, uma vez que as escolas podem servir populações estudantis muito
diferentes” [Tradução nossa] (MEYER; DOKUMACI, 2009, p.3). Para tanto, diversos
tratamentos tem sido adotados. Todavia, de uma forma consensual, alguns
requisitos metodológicos para a estimativa do valor adicionado são indicados pela
maioria da literatura, os quais serão descritos na seção seguinte.
2.3.2.1 Alguns requisitos metodológicos
Em geral, estudos têm incluído dados de dois resultados de realização
longitudinal para os estudantes, como um pré-teste e pós-teste (MEYER;
DOKUMACI, 2009). A medida de desempenho prévio busca verificar o nível de
conhecimento do aluno quando deu entrada na escola ou no início do período do
tempo em avaliação. Frequentemente na literatura, em estudos sobre o ensino
superior, tem sido utilizada a média de notas obtidas pelo resultado do grau de
ensino médio, através de testes padronizados (MCDONNELL et al., 2013).
Conforme Roderick, Coca e Nagaoka (2011) e Strayer (2002) qualidade do ensino
médio também mostrou- se ser significativamente associada com o desempenho
universitário dos alunos. Portanto, é uma das razões que fundamentam determinar
os níveis de competência dos alunos quando entram.
O pós-teste é um resultado dos alunos no final de um determinado período de
escolaridade e objetiva fazer uma comparação com o desempenho médio do aluno
alcançado no teste anterior (pré-teste) para verificar se houve crescimento do
29
desempenho ou ganhos alcançados4 (CUNHA; MILLER, 2009). Neste sentido,
Meyer e Dokumaci (2009) ressaltam a importância da correspondência dos alunos a
serem testados nas duas fases, ou seja, que o desempenho seja medido em relação
ao mesmo grupo de alunos. Quanto às métricas quantitativas usadas para avaliar o
desempenho, testes padronizados são verificados na maioria dos trabalhos.
Abordando sobre o assunto, Cunha e Miller (2009) afirmam que:
Embora à primeira vista os testes padronizados podem parecer ser a proxy
mais apropriada para realização, seu uso coloca barreiras práticas e
metodológicas significativas decorrentes da diferença entre habilidades
específicas e gerais [Tradução nossa] (CUNHA; MILLER, 2009, p.8).
Esses autores explicam que nenhum tipo de exame sozinho pode medir todos
os conhecimentos e habilidades (gerais e específicos) transmitidos para alunos.
Logo, se a intenção é medir conhecimentos e habilidades específicas, para que isso
ocorra com a maior exatidão possível, segundo Cunha e Miller (2009) é preciso que
se adote um exame para cada curso específico das instituições de ensino, que irão
avaliar disciplinas específicas. E esse procedimento normalmente requer grandes
investimentos de recursos (CUNHA; MILLER, 2009).
Outra proxy de realização que tem sido aplicada em alguns trabalhos trata-se
do salário. Um argumento teórico para a utilização dos salários como proxy para o
capital humano, segundo Cunha e Miller (2009) é que salário é sinal de
produtividade, e essa é o subproduto econômico do conhecimento e habilidades
adquiridas na escola. E, além disso, salários combinam os efeitos das habilidades
específicas e gerais de forma adequada e significativa, o que normalmente não
ocorrerá com os testes, segundo Cunha e Miller (2009). Todavia, salários podem
não refletir corretamente a produtividade e outros aspectos não acadêmicos de
4
Crescimento do desempenho ou realização de ganhos pode ser definido como o acréscimo em
algum componente de habilidades e conhecimentos acadêmicos (CUNHA; MILLER, 2009).
30
realização (CUNHA; MILLER, 2009). Os trabalhos de Zhang (2009), Wright et al.
(2012), Cunha e Miller (2012) incluíram salários como proxy de realização.
Dados de características particulares, familiares e socioeconômicas dos
estudantes também são requeridos. A relação dessas características com o
desempenho dos alunos está bem documentada na literatura (CLARK, 1983,
LAREAU, 1987, AITKIN; LONGFORD, 1986, GOLDSTEIN; SPIEGELHALTER, 1996,
MEYER, 1997). Estudos têm relatado a inclusão de diversas variáveis, como:
localização de moradia, nível de renda, gênero, raça, escolaridade dos pais, estado
civil, em meio a outras (TAYLOR; NGUYEN, 2006, BACOLOD; TOBIAS, 2006,
ZHANG, 2009, SAAVEDRA; SAAVEDRA, 2011).
Segundo Meyer e Dokumaci (2009) um dos propósitos da inclusão dessas
características em um modelo de valor adicionado é controlar as diferenças na
composição estudantil entre escolas, para que as estimativas de desempenho
educacional considerem diferenças na produtividade escolar, em vez de diferenças
na composição da escola. Assim essas características muitas vezes são usadas
nos modelos estatísticos para controlar os fatores de enviesamento, como relata
Doran e Izumi (2004). Ressaltam ainda Meyer e Dokumaci (2009) que modelos em
que não são incluídas variáveis no nível do aluno, certamente produzirão resultados
tendenciosos
contra
as
escolas
e
educadores
que
atendem
estudantes
desproporcionalmente em seus perfis.
A inclusão de variáveis de controle relacionadas com a escola também pode
ser observada em alguns trabalhos. Pesquisas anteriores, dentre outras, Bradley et
al. (2000) e Bradley e Taylor (1998), sugeriram que fatores relacionados com a
escola têm impacto na determinação do desempenho dos alunos de uma escola.
Variáveis representando: categoria administrativa, localização, especialização do
31
ensino, tamanho da classe, tamanho da escola, instalações, número de professores,
formação dos professores, experiência dos professores, salário dos professores,
despesas com alunos, foram incluídas nos trabalhos de Taylor e Nguyen (2006),
Bacolod e Tobias (2006), Zhang (2009), Jakubowski (2008), Yunker (2005),
Mcdonnell et al. (2013), Saavedra e Saavedra (2011). De acordo com Taylor e
Nguyen (2006, p. 211), essas variáveis são incluídas, inclusive para “[...] identificar
os determinantes do valor adicionado aos alunos, de modo que a influência da
própria escola possa ser verificada” [Tradução nossa].
Neste cenário ainda, Meyer (1997) ressalta que a qualidade das medidas de
valor adicionado é determinada por cinco fatores, sendo eles:
A frequência com que os alunos são testados; a qualidade e a adequação
dos testes que fundamentam os indicadores; a adequação das variáveis de
controle incluídas nos modelos estatísticos adequados; a validade técnica
dos modelos estatísticos utilizados para construir os indicadores e o número
de alunos e escolas disponíveis para estimar os parâmetros de inclinação
dos modelos de valor adicionado [Tradução nossa] (MEYER, 1997, p.298).
2.3.2.2 Abordagens metodológicas
As principais abordagens para VAM segundo Mccaffrey (2010) foram
desenvolvidas a partir de três perspectivas distintas: modelagem econométrica,
modelagem estatística e procedimentos ad hoc. E de acordo ainda com esse autor
não há consenso sobre qual VAM seria o melhor. Neste sentido autores orientam
que a escolha do modelo leva em consideração, principalmente: o tamanho da
amostra a ser analisada, o conjunto de variáveis contextuais disponíveis para serem
incluídas no modelo e a frequência em que os alunos foram avaliados (o número de
anos letivos entre a avaliação do desempenho prévio e da avaliação do resultado
escolar final do aluno) (MEYER, 1997, DORAN; IZUMI, 2004, MEYER; DOKUMACI,
32
2009). Dessa forma, várias abordagens metodológicas podem ser encontradas5,
sendo comum verificar na maioria dos trabalhos o uso de modelos de regressão por
Mínimos Quadrados Ordinários (MQO) ou Modelagem Linear Hierárquica (HLM).
Neste contexto uma abordagem comum que tem sido utilizada para medir o
valor adicionado trata-se da teoria da função de produção, em que a educação pode
ser tratada como um processo de produção em que o nível educacional
(desempenho) de um indivíduo é determinado pelas suas características pessoais,
antecedentes familiares e insumos escolares (HANUSHEK, 1979, 1986, 1992,
HANUSHEK; TAYLOR, 1990). Nessa fundamentação, é proposto um modelo de
regressão (TAYLOR; NGUYEN, 2006, MEYER, 1997) para explicar essa relação:
, , (1)
Em que:
A, é o resultado educacional dos alunos de uma escola no final de um determinado
período de escolaridade; B, é o resultado prévio de um determinado período de
escolaridade; X representa um conjunto de características individuais dos alunos,
familiares e socioeconômicas; N são variáveis relacionadas com a escola e ε é o
termo de erro estocástico do modelo.
A partir desse modelo, a estimativa do valor adicionado é realizada. Na
literatura verifica- se várias formas de estimação, já que dependerá, sobretudo, do
método adotado e das variáveis disponíveis para serem estimadas. Em muitos
casos, estima–se o resultado esperado da instituição através da Equação 1, e a
5
Para aprofundamento sobre modelagens e estimação do valor adicionado, consultar: SAUNDERS,
1999, DORAN; IZUMI, 2004, MCCAFFREY, 2004, TEKWE et al., 2004, THOMAS; MORTIMORE,
2006, CUNHA; MILLER, 2012, MCCAFFREY, 2010, MCDONNELL et al., 2013, LIU, 2011a,
RAUDENBUSH, 2004, MARTINEAU, 2006.
33
diferença entre o resultado previsto e o real, conhecido como resíduo, é a estimativa
do valor adicionado (MCDONNELL et al., 2013, YUNKER, 2005).
Meyer (1997) cita ainda que essa estimativa pode ser realizada a dois níveis
de modelos. O primeiro nível do modelo capta as influências do aluno (como
caracteristicas do seu perfil, características familiares e socioeconômicas) no
crescimento de seu desempenho. Já o segundo nível capta o efeito das
características a nível da escola no crescimento do desempenho do aluno (MEYER,
1997). Neste sentido, segundo Taylor e Nguyen (2006), essa é uma vantagem da
abordagem da função de produção para explicar valor adicionado, por permitir que a
influência de fatores relacionados com o aluno e com a escola, no valor adicionado,
sejam estimados separadamente.
2.3.3 Aplicação prática
Os benefícios do uso de modelos de valor adicionado, segundo Papay (2012),
Doran e Izumi (2004) e Meyer (1997), quando realizado corretamente, mesmo com
as limitações metodológicas, são muito superiores em relação às outras abordagens
que são utilizadas para avaliar o desempenho escolar.
Segundo Ladd e Walsh (2002), como instrumento de responsabilidade
educacional, a abordagem do valor adicionado é promissora para incentivar o
empenho por parte dos estados em se concentrar na produção de ganhos para o
desempenho dos alunos. E ainda motivam as escolas e suas equipes para focar sua
atenção na aprendizagem do aluno, estimulando assim, mudanças no sistema
escolar (LADD; WALSH, 2002). Abordando sobre esse assunto Meyer (1997) relata
que modelos de valor adicionado foram amplamente usados ao longo das últimas
três décadas por avaliadores e outros pesquisadores da área de ensino. E ainda
34
segundo Meyer (1997) distritos e estados nos EUA, incluindo Dallas, Carolina do Sul
e Tennessee têm implementado com sucesso sistemas de indicadores de valor
adicionado. Amrein-Beardsley e Collins (2012) relatam que no Texas, o Houston
Independent School District (HISD) utiliza um sistema de avaliação de valor
adicionado educacional que, com mais de 20 anos de desenvolvimento, tem sido
considerado pelos seus idealizadores como sendo o maior e mais completo pacote
de relatórios de métricas de valor adicionado disponíveis no mercado educacional e
mais utilizado no país. Esse sistema, altamente utilizado para avaliação de
desempenho dos professores, promete fornecer diagnóstico sobre práticas
instrucionais, ajudar os educadores a tornar-se mais pró-ativos e a usarem recursos
mais estrategicamente, para garantir que cada aluno tenha a chance de ter sucesso
(AMREIN-BEARDSLEY; COLLINS, 2012).
Para Papay (2012) uma das principais vantagens dessas medidas é se
concentrar diretamente nos resultados educacionais ao invés do processo em si, e
também uma de suas grandes contribuições foi despertar a atenção para eficácia do
professor.
Logo, escolas podem obter grandes benefícios se um sistema de valor
adicionado proporcionar análises próprias baseadas na metodologia de valor
adicionado e seus dados (JAKUBOWSKI, 2008). Neste sentido Meyer e Dokumaci
(2009) consideram que um sistema de valor adicionado, bem desenvolvido e
alinhado, pode ser utilizado para impulsionar a melhoria das escolas e instituições
de ensino de várias formas, inclusive quando ele pode:
Facilitar a triagem, identificando e prestando assistência às escolas ou
professores com baixo desempenho; ser incorporado dentro de um sistema
de gestão de desempenho; manter os intervenientes educacionais
responsáveis pelo desempenho e fornecer bônus para professores de alto
desempenho, as equipes de professores e escolas [Tradução nossa]
(MEYER; DOKUMACI, 2009, p.5).
35
Assim, vários países já adotaram esse método de avaliação de desempenho
educacional tanto em nível de ensino superior como em outros níveis. Experiências
práticas foram relatadas na Inglaterra, Polônia, República Checa, Filipinas, Austrália,
Taiwan e em destaque nos Estados Unidos, onde se encontra uma quantidade
crescente de estudos relacionados (TAYLOR; NGUYEN, 2006, RODGERS, 2007,
JAKUBOWSKI, 2008, BACOLOD; TOBIAS, 2006, KEEVES; HUNGI; AFRASSA,
2005, KONG; FU, 2012, YUNKER, 2005, LADD; WALSH, 2002, ZHANG, 2009, LIU,
2011a, LIU, 2011b, MALACH; MALČÍK, 2010).
De acordo com Everson, Feinauer e Sudweeks (2013) nos Estados Unidos
vinculam-se cada vez mais as avaliações dos professores com as notas dos alunos.
Políticos, economistas e teóricos da educação desse país argumentam que a
reforma do ensino e os esforços de aprimoramento devem incluir a identificação,
remoção ou remediação dos professores que motivam baixas pontuações aos
alunos e incentivar ou recompensar aqueles que produzem maiores resultados aos
alunos (EVERSON; FEINAUER; SUDWEEKS, 2013). Muitos estados, por exemplo,
passaram a exigir por meio de legislação,que uma parcela significativa, em torno de
30 ou 50 por cento da avaliação de um professor esteja associada com os
resultados dos alunos (EVERSON; FEINAUER; SUDWEEKS, 2013). Nesse
ambiente, as estimativas estatísticas se destacam como método para a avaliação
dos efeitos dos professores, e os modelos de valor adicionado cresceram em
popularidade, sendo amplamente utilizado para esse fim (EVERSON; FEINAUER;
SUDWEEKS, 2013, PAPAY, 2012, DORAN; IZUMI, 2004). Deste modo, estudos
relatam que escolas e instituições de ensino têm adotado políticas de incentivos
financeiros, pagamentos de bônus e aplicações de sanções para professores e
36
funcionários, de acordo com o ganho adicionado ao aluno (LADD; WALSH, 2002,
JAKUBOWSKI, 2008, MALACH; MALČÍK, 2010).
Outros estudos ainda têm demonstrado como as informações produzidas pelo
uso dos métodos de valor adicionado têm sido e podem ser utilizadas pelos
destinatários interessados. Como: pais e alunos fazem uso das informações de valor
adicionado na busca de uma escola apropriada (MEYER, 1997, CUNHA; MILLER,
2009, JAKUBOWSKI, 2008). Escolas e instituições de ensino podem adotar essa
metodologia para prestações de contas, para avaliarem seu desempenho,
monitorando seu próprio progresso e fazendo comparações com seus concorrentes
locais e com os seus próprios desempenhos do passado (CUNHA; MILLER, 2009,
LIU, 2011a, MALACH; MALČÍK, 2010). Isso facilita ainda a adoção de políticas
escolares destinadas a aumentar a realização dos alunos academicamente mais
desfavorecidos, bem como dos academicamente favorecidos (MEYER, 1997).
Governos, administradores e formuladores de políticas públicas têm sido
grandes adeptos e usuários dessa ferramenta (TAYLOR; NGUYEN, 2006,
RODGERS, 2007, MEYER; DOKUMACI, 2009). Em forma de feedback, as
informações são utilizadas para apresentação ao público e transparência do
investimento público no ensino (ZHANG, 2009). Além de servir de base para
intervenção no processo de ensino para melhorar a eficiência institucional. Fixação
de metas e recompensas, financiamento público e aplicações de penalidades têm
sido vinculados ao nível de realização de ganhos dentro de uma escola (CUNHA;
MILLER, 2009).
Meyer e Dokumaci (2009) orientam que é essencial utilizar informações de
valor adicionado juntamente com outras fontes de informação, tais como dados
37
observacionais ou ainda informações de valor adicionado baseadas em vários
resultados dos alunos.
Enfim, Jakubowski (2008) ressalta que o exercício estatístico do valor
adicionado não é uma execução completamente científica. “Deve ser conduzido com
uma ideia clara de como ele poderia ser usado e seu valor depende de como ele
interage com os seus principais destinatários finais: pais, professores e decisores
políticos” [Tradução nossa] (JAKUBOWSKI, 2008, p. 21).
2.3.4 Críticas e Limitações
Críticas, limitações e desafios são apontados para o método do valor
adicionado. Como mencionado por Meyer (1997), estimar o efeito das escolas sobre
os resultados educacionais não é uma tarefa fácil, devido a deficiências
metodológicas e falta de dados adequados. Neste sentido, um grande obstáculo, em
geral, para o desenvolvimento dessas medidas é a adequação das variáveis de
controle, sobretudo as características dos alunos e familiares usadas nos modelos,
principalmente devido à dificuldade de coleta desses dados (MEYER, 1997, ZHANG
2009, LIU 2011a, JAKUBOWSKI, 2008). Apontam esses autores que a falta dessas
características ou a limitação delas podem gerar indicadores tendenciosos que não
refletem a realidade das escolas.
Ladd e Walsh (2002) citam que medir o valor adicionado das escolas é um
esforço compensativo, porém traz muitos desafios, tais como: consentimento sobre
missão das escolas; encontrar medidas válidas e confiáveis do currículo do
estudante e garantir a segurança dos dados da pontuação dos testes dos alunos
que são acompanhados por aluno de um ano para o outro (LADD; WALSH, 2002).
Dessa forma, é preciso cuidado no desenvolvimento, na interpretação e utilização de
38
medidas de valor adicionado da eficácia da escola (HANUSHEK; RIVKIN, 2010,
LADD; WALSH, 2002, YUNKER, 2005, BACOLOD; TOBIAS, 2006).
Para Everson, Feinauer e Sudweeks (2013) medir a qualidade do professor
através das pontuações do aluno apresenta sérios desafios. Os autores consideram
que ainda existem muitas dúvidas sobre o uso dos modelos de valor adicionado para
avaliar e decidir sobre retenção e promoção de professores nos Estados Unidos.
Eles sugerem a não utilização de medidas de valor adicionado para a avaliação e
classificação de professores. Papay (2012) também contribuiu neste assunto,
afirmando que modelos de valor adicionado que incluem apenas pontuações dos
alunos em testes para medir desempenho, podem estar sujeitos a limitações, como:
possibilidades das pontuações dos testes não refletirem a real aprendizagem e não
capturarem outras aprendizagens que não são refletidas em testes padronizados.
Amrein-Beardsley e Collins (2012) ao analisarem criticamente o sistema de
avaliação de valor adicionado educacional utilizado pelo HISD sugerem problemas
de confiabilidade, viés, efeitos intencionais e não intencionais com o uso desse
sistema. E em acordo com outros autores, Amrein-Beardsley e Collins (2012)
consideram que na avaliação e responsabilização de professores, as decisões de
alto risco não devem ser feitas baseando-se apenas nos indicadores de valor
adicionado.
Kelly e Downey (2010), ao discutirem as proveniências e deficiências da
medição de valor adicionado relatam que na Inglaterra, cada vez mais, modelos
complexos tem sido desenvolvidos, e as complexidades não são totalmente
compreendidas pelos praticantes. E relatam ainda que apesar das métricas serem
importantes para investigações da eficiência escolar, elas não capturam a eficiência
diferencial de escolas em sua totalidade (KELLY; DOWNEY, 2010).
39
2.4 INDICADOR DE DIFERENÇA DE DESEMPENHO- IDD
O IDD faz parte dos indicadores de qualidade do Sistema Nacional de
Avaliação da Educação Superior. Também conhecido por Indicador de Diferença
entre os Desempenhos Observado e Esperado, o IDD:
É uma estimativa de “valor adicionado”, ou seja, de quanto o curso
contribuiu para o desenvolvimento das habilidades acadêmicas, das
competências profissionais e do conhecimento específico do aluno,
levando-se em consideração o perfil do estudante que ingressa no curso
(INEP, 2013g, p.1).
O IDD foi criado como uma resposta às críticas feitas por instituições privadas
quanto à igualdade de tratamento em relação às instituições públicas no processo
avaliativo do ensino superior. Isso por que principalmente as instituições federais
possuem maiores exigências no ingresso, logo, tenderia a receber alunos mais bem
preparados (BITTENCOURT et al., 2008).
Em nota técnica o Inep reconhece que as diferenças prévias em relação ao
perfil dos alunos ao ingressar no ensino superior também influenciam as diferenças
no desempenho, não dependendo este, somente da qualidade dos cursos (INEP,
2013c, 2009a). Desse modo, ainda de acordo com o Inep (2013c, 2013n, 2009a), o
IDD busca conceder às instituições informações dos resultados dos estudantes
concluintes em referência ao desempenho alcançado por concluintes de outras
instituições, em que o perfil dos estudantes ingressantes possa ser comparado entre
si. “Entende-se que essas informações são boas aproximações do que seria
considerado efeito do curso” (INEP, 2007, p.1).
Assim, considerando a obtenção das informações do perfil dos estudantes
ingressantes de um curso, o IDD “é resultante da diferença entre o desempenho
médio obtido no Enade pelos estudantes concluintes de um curso e o desempenho
40
médio que era esperado para esses mesmos estudantes” (INEP, 2013c, p.19,
2013n, p.18). Para isso, de acordo com Inep (2007), identifica-se o desempenho dos
estudantes ingressantes da instituição e compara-se o seu perfil com o dos
estudantes concluintes do mesmo curso. Pode-se obter assim uma estimação do
resultado que seria esperado dos estudantes na conclusão do curso, quando o seu
desempenho é avaliado.
Sendo assim,
O desempenho médio estimado do concluinte representa o resultado que
seria esperado ao final de um curso, para um perfil conhecido de
estudantes, caso eles frequentassem um curso hipotético de qualidade
média. O IDD é a diferença entre o desempenho médio do concluinte de um
curso e o desempenho médio estimado para os concluintes desse mesmo
curso e representa, portanto, quanto cada curso se destaca da média,
podendo ficar acima ou abaixo do que seria esperado para ele,
considerando o perfil de seus estudantes (INEP, 2007, p.2).
O IDD é calculado para cada instituição. Considerando a relação verificada
entre a sua aplicação e a abordagem do valor adicionado, entende-se ser importante
neste contexto, descrever a metodologia utilizada para cálculo do IDD.
Em nota técnica, o Inep relata os fatores que considera, hipoteticamente,
determinar o desempenho dos estudantes concluintes de um curso, quais sejam:
“características de ingresso destes estudantes concluintes em termos de
aprendizagem; [...] qualidade da formação oferecida pelo curso e, [...] um termo de
erro que capta os outros elementos que afetam o desempenho do estudante” (INEP,
2013c, p.19, 2013n, p.19, 2009a, p.6). Assim, para um determinado curso, considera
que:
(2)
As letras minúsculas mostram que as variáveis estão apresentadas em forma de
desvios da média, isto é:
41
A ‘variável original observada para cada curso i’ menos ‘a média da
respectiva variável observada para a área j a qual o curso pertence’. Assim,
é o desempenho dos alunos concluintes do curso i medido em desvios da
nota média de concluintes da área j; é o desempenho dos alunos
concluintes do curso i no momento de ingresso medido em desvios da
media da área j; é a qualidade do curso i medida em desvios da média da
área j (INEP, 2013n, p.20, 2009a, p.7).
Em relação ao desempenho dos alunos no momento de ingresso, o Inep
explica que:
Não é possível observar exatamente o desempenho dos concluintes no
momento do ingresso ( ). Isto porque não dá para garantir que todos
aqueles que tenham participado da prova como ingressantes, participem
como concluintes três anos depois, já que há cursos com mais ou menos de
quatro anos de duração, os alunos podem se atrasar, trancar o curso e
voltar, entre outras razões. Porém, podemos ter uma estimativa desta
6
variável – o desempenho dos concluintes no ingresso ( ), visto que o
Enade aplica provas para alunos ingressantes e concluintes do mesmo
curso. A ideia é, para cada curso i, utilizar o desempenho dos alunos
ingressantes como proxy para o desempenho dos alunos concluintes no
momento de ingresso (INEP, 2013c, p.20, 2013n, p.19, 2009a, p.7).
Desta forma de acordo com o Inep (2013c, 2013n, 2009a,) considera-se que:
idd=q=-cI
(3)
Onde cI é o desempenho previsto dos estudantes concluintes no seu momento de
ingresso. Logo, ainda de acordo com Inep (2013c, p. 21, 2013n, p.20, 2009a, pp.7,8)
para cálculo do IDD utiliza-se a seguinte especificação:
β. # γ. $ δ. % φ. &' λ. &( η. &) ρ. * υ. + ,
(4)
Em que:
: média ponderada das notas de conteúdo específico (0,75) e de formação
geral (0,25) no Enade dos concluintes do curso i; #: média ponderada das
notas de conteúdo específico (0,75) e de formação geral (0,25) no Enade
dos ingressantes do curso i; $: proporção de estudantes ingressantes do
curso i cujo pai e/ou a mãe tem nível superior de escolaridade; %: razão
entre o número de concluintes e o número de ingressantes no curso i; &': a
proporção de docentes no curso i com título mínimo de doutor; &(:
6
Salienta-se que essa estimativa foi substituída a partir de 2011 pelo desempenho médio dos
ingressantes no Enem, conforme substituição relatada e referenciada na seção 2.2. Todavia, no ano
de 2009 (ano base dos dados desse presente trabalho), bem como nos outros anos anteriores a
2011, esse era o procedimento adotado pelo Inep, conforme referências explicitadas.
42
proporção de docentes no curso i com título mínimo de mestre;
&): proporção de docentes no curso i com regime de trabalho integral ou
parcial; *: proporção de alunos do curso i que avaliaram positivamente um
aspecto da infraestrutura do curso; +: proporção de alunos do curso i que
avaliaram positivamente um aspecto da organização didático-pedagógica do
curso; β, γ, δ, φ, λ, η, ρ, υ: parâmetros a serem estimados (INEP, 2013c, p. 21,
2013n, p.20, 2009a, pp.7-8).
Cabe citar ainda a explicação do Inep para inclusão de algumas dessas
variáveis:
I
Para a estimativa de c – desempenho dos concluintes de um curso i no
momento de ingresso – são utilizadas as seguintes variáveis: a nota dos
ingressantes do curso, o nível de escolaridade dos pais dos estudantes
ingressantes e razão entre o numero de ingressantes e o de concluintes.
Esta ultima variável é incluída como forma de contornar possível viés de
estimação devido à evasão dos estudantes ao longo do curso. As variáveis
relativas à qualidade do curso i presentes na equação– especificamente,
qualidade do corpo docente e características da infraestrutura e
organização pedagógica do curso i – foram inseridas apenas para diminuir o
viés de estimativa dos coeficientes associados às variáveis características
dos ingressantes. Provavelmente, o desempenho dos ingressantes é
positivamente correlacionado com a qualidade dos cursos, já que alunos
com boa formação prévia têm maiores chances de ingressar em cursos de
melhor qualidade (INEP, 2013n, pp.20-21, 2009a, p.8).
Logo após a obtenção do IDD, é feita sua padronização para transformá-lo
em Nota Padronizada do IDD7 (NIDD), um índice entre 0 e 5. Como nessa
padronização é subtraída a média dos cursos e dividida pelo desvio padrão das
médias dos cursos por área, esse índice tem como unidade de medida o desvio
padrão (INEP, 2007). E é interpretado da seguinte maneira:
[...] se um curso possui IDD positivo como, por exemplo, IDD=+1,5, isso
significa que o desempenho médio dos concluintes desse curso está acima
(1,5 unidades de desvios padrão da escala do IDD) do valor médio
esperado para cursos cujos ingressantes tenham perfil de desempenho
similares. Valores negativos, por exemplo, IDD=- 1,7 indicam o contrário,
isto é, que o desempenho médio dos concluintes está abaixo do que seria
esperado para cursos com alunos com o mesmo perfil de desempenho dos
ingressantes. É importante enfatizar que valores negativos não significam
que o desempenho médio dos concluintes é menor do que o dos
ingressantes, isto é, não significam decréscimos na pontuação do
concluinte. Significam, somente, que o desempenho médio dos concluintes
está abaixo do desempenho médio esperado, tomando-se como base o
perfil dos ingressantes (INEP, 2007, p.2).
7
Para maiores detalhes, ver Nota Técnica em Inep (2013n, 2009a, 2007).
43
2.5 ESTUDOS ANTERIORES
2.5.1 Estudos Internacionais
Taylor e Nguyen (2006) fizeram uma análise do valor adicionado em escolas
secundárias na Inglaterra, contestando a confiabilidade dos indicadores de valor
adicionado publicado anualmente pelo país para todas as escolas públicas. Os
autores apontam que os resultados do exame aplicado têm deficiências graves,
principalmente por não levar em conta fatores fora do controle da escola, como
características dos alunos e de suas famílias. Incluindo tais fatores em modelos de
regressão, os autores concluem que as características dos alunos e familiares
contribuem substancialmente para explicar as diferenças observadas no valor
adicionado entre escolas. Dessa forma, sugerem que as pontuações de valor
adicionado publicadas anualmente para as escolas são insuficientes como
indicadores de desempenho. E ainda são apresentadas como principais conclusões:
As escolas especializadas em áreas específicas, como por exemplo, tecnologia,
ciências ou idiomas, possuem uma pontuação maior de valor adicionado; da mesma
forma, a proporção entre professores que trabalham meio expediente ou tempo
integral é positivamente associada com aumento do valor adicionado. Já em escolas
com maior quantidade de alunos de famílias pobres e maiores taxas de ausência
autorizada, encontram-se pontuações mais baixas do valor adicionado.
Com o propósito de fornecer um método alternativo para cálculo de valor
adicionado, Liu (2011a) calculou índices de valor adicionado para 23 instituições de
ensino superior nos Estados Unidos. Para tanto, foi utilizado um modelo de
regressão linear que inclui pontuações de 6.196 alunos do primeiro e do quarto ano
44
da faculdade, no exame ETS Proficiency Profile8, na área de escrita e pensamento
crítico. Como controle são utilizadas as pontuações dos alunos no exame Scholastic
Assessment Test9 (SAT). Os índices de valor adicionado obtidos são comparados
com os que são calculados e divulgados pelo Voluntary System of Accountability10
(VSA). A autora encontra diferenças significativas entre os dois rankings de valor
adicionado para algumas instituições, apontando que esses resultados devem ser
considerados para fins de prestação de contas. E ainda a autora enfatiza a
importância de se incluir fatores individuais dos alunos e fatores institucionais em
modelos de valor adicionado, para se determinar de forma mais precisa a eficiência
institucional.
Procurando avaliar o desempenho escolar nas Filipinas, Bacolod e Tobias
(2006), utilizaram dois modelos de regressão, usando as especificações tradicionais
encontradas na literatura sobre valor adicionado. Os dados foram obtidos através de
resultados de testes de matemática aplicados em Cebu (segunda maior cidade das
Filipinas), para crianças, inicialmente em 1994-1995, e posteriormente em 19961997, totalizando 2.136 crianças. Os resultados, para a amostra analisada, apontam
que a maioria da variação no desempenho decorre de características a nível
individual, sendo a educação dos pais e recursos familiares as variáveis que
apresentaram maiores coeficientes positivo. Os autores encontraram evidências de
que as escolas do estudo tem importância sobre o desempenho do aluno, embora
8
O ETS Proficiency Profile é um teste de proficiência que mede as habilidades acadêmicas gerais
desenvolvidas por meio do ensino superior em pensamento crítico, leitura, escrita e matemática (LIU,
2011a).
9
O SAT é um exame educacional padronizado nos Estados Unidos aplicado a estudantes do ensino
médio, que serve como um dos critérios para admissão nas universidades norte-americanas (LIU,
2011a).
10
VSA é conhecido como sistema voluntário de prestação de contas, iniciado por duas organizações
principais no ensino superior dos EUA, com o objetivo de medir os resultados educacionais
fundamentais na faculdade usando testes padronizados, como o ETS Proficiency Profile (LIU, 2011a).
45
apenas 4,4 % a 5,3% da variação no resultado das pontuações puderam ser
explicadas pela variação de desempenho entre escolas. A variável instalações
básicas mostrou-se mais importante do que o tamanho da classe ou programas de
formação de professores; já a idade média do professor, representando a
experiência do mesmo, revelou um efeito negativo sobre o desempenho.
Objetivando examinar a utilidade potencial do conceito de valor adicionado
em contabilidade no ensino superior, Yunker (2005) utilizou como fonte de dados
principais os resultados do exame para CPA, que habilita um contador público nos
EUA. Para uma amostra de 548 faculdades e universidades norte-americanas, foram
calculados índices de aprovação previstos, relacionando índices de aprovação
observados com variáveis institucionais que podem ter influência sobre as
aprovações, inclusive a pontuação do aluno ao ingressar na faculdade. A diferença
entre o índice de aprovação observado de cada instituição e seu índice de
aprovação previsto, dividido pelo desvio padrão do erro de previsão, é a medida de
valor adicionado do índice de aprovação ajustado. Devido ao baixo poder explicativo
das equações de regressão que vinculam os índices de aprovação no exame CPA
com o conjunto de características institucionais, os resultados da amostra
pesquisada sugeriram a utilidade duvidosa de medidas de valor adicionado para fins
de avaliação de desempenho das instituições de ensino superior em contabilidade.
Também nos EUA, Wright et al. (2012) apresentam um estudo baseado no
novo sistema de financiamento de instituições públicas de ensino superior no estado
de Tennessee11. Objetivando avaliar se a qualidade universitária é apenas uma
11
Por intermédio de lei, passou-se a adotar uma forma de remuneração por desempenho que
incentiva a progressão e a graduação e que leva em conta algumas características dos estudantes, a
missão e a classificação de instituições de ensino superior nos EUA, conhecida como Classificação
Carnegie (WRIGHT et al., 2012).
46
função do resultado da capacidade dos alunos ou se as instituições são importantes
também, os autores utilizaram funções de produção, que incluíram novas
características dos estudantes, bem como, as que já eram consideradas nas
fórmulas para o financiamento das instituições. A amostra incluiu todos os calouros
que entraram pela primeira vez no outono de 2002 em faculdades comunitárias
públicas de dois anos e em faculdades e universidades de quatro anos no
Tennessee. A análise considerou além dos resultados da graduação, a progressão,
a transferência e a participação no mercado de trabalho abrangendo desde 2002 a
2010. Os resultados mostraram que a eficiência das instituições foi individualmente
variada, o que segundo os autores justifica sistemas de incentivos baseados em
resultados que recompensa e incentiva a qualidade da faculdade. No entanto, os
autores chamam a atenção para os resultados encontrados no estudo e que se
considerados nos modelos para financiamento, poderiam contribuir para a melhora
dos mesmos. Como principais conclusões obtidas têm-se que: estudantes do sexo
feminino, aqueles com maiores pontuações nos exames de admissão na faculdade
— SAT e no American College Testing (ACT) — e os considerados adultos (que
tinham 25 anos ou mais no momento da inscrição na faculdade) foram associados
com a conclusão da graduação mais oportuna, enquanto os de condição de baixa
renda atrasaram a conclusão e também os estudantes negros atrasaram o
progresso na conclusão da faculdade de dois anos. Estudantes mulheres e os de
maior pontuação no exame de entrada foram também associados com maiores
salários nos anos imediatamente seguintes a faculdade, e uma significativa
diferença salarial entre negros e brancos, favoreceu estudantes brancos. E ainda
condicionado ao recebimento do diploma, semestres adicionais na faculdade reduziu
os ganhos do estudante mais tarde.
47
Malach e Malčík (2010) abordam sobre a fase de ensaios piloto e análises
teóricas na República Checa para inclusão de medidas de valor adicionado no
sistema nacional da educação. A fim de comparar os resultados educacionais de
três tipos de escolas secundárias, o valor adicionado foi determinado utilizando
dados do PISA12 e de um exame aplicado no final do período secundário estudantil,
para o total de 64 escolas em Praga, capital da República Checa. Os autores
ressaltam que é preciso levar em conta a baixa representatividade da amostra
pesquisada, não devendo os dados serem superestimados em termos de
significado. Entretanto, a conclusão obtida é de que é possível realizar
nacionalmente estimativas de valor adicionado na educação. E sua implementação e
seus resultados podem ser aceitos sob a condição de que, fazendo parte de um
sistema de reformas educacionais, deve-se observar a alta qualidade de educação e
a sua eficácia ao mesmo tempo.
Ladd e Walsh (2002) avaliaram as medidas de valor adicionado utilizadas
pelos estados da Carolina do Norte e Carolina do Sul nos EUA. Foi utilizado um
grande conjunto de dados longitudinalmente combinados de 37.000 estudantes,
acompanhando-os no terceiro, quarto e quinto grau na Carolina do Norte ao longo
do período de 1993 a 1995. Analisando as medidas de valor adicionado publicadas,
os autores apresentam que, na prática, elas tendem a favorecer escolas que
atendem alunos de origens mais favorecidas. Através de análises estatísticas eles
concluem que o principal problema é devido a um viés estatístico proveniente de um
erro de medida nas pontuações dos alunos que foram avaliados. Os autores citam
que prováveis fontes desse tipo de erro são fatores associados ao desempenho de
12
O Pisa- Programme for International Student Assessment- Programa Internacional de Avaliação de
Estudantes - é uma iniciativa internacional de avaliação comparada, aplicada a estudantes. Em cada
país participante há uma coordenação nacional. No Brasil, o Pisa é coordenado pelo Inep (INEP,
2013l).
48
um aluno em particular em um determinado dia, tais como flutuações no humor ou
no foco do aluno na data dos testes. Os autores utilizaram procedimentos
estatísticos para corrigirem o erro, e corrigindo, verificam mudanças significativas
nos rankings relativos das escolas. Concluem assim, que as medidas de
desempenho escolar, usadas pela Carolina do Norte e Carolina do Sul são
potencialmente problemáticas para a principal finalidade para a qual elas estão
sendo utilizadas, isto é, como a base de recompensas e sanções para funcionários
das escolas.
Cunha e Miller (2012), em seu trabalho empírico desenvolveram estimativas
de valor adicionado para cada uma das 30 universidades públicas tradicionais do
estado do Texas. Foram usados dados dos alunos que se formaram em qualquer
escola pública no Texas entre 1998 e 2002 e, posteriormente, se matricularam em
uma universidade pública em sistemas de cursos de quatro anos. Os modelos de
regressão incluíram: os resultados do ensino médio cursado, um resultado de préinscrição (pontuações no exame SAT), algumas características dos alunos (gênero,
raça, etnia, um indicador de pertencer a uma família de baixa renda, um indicador
para estar em risco de não graduar), e como medida de resultado final do aluno foi
incluído o logaritmo do salário do aluno em 2010, oito após se formar no ensino
médio e já graduado na faculdade. Os autores concluíram que é provável que exista
uma correlação entre a graduação e os salários, em que os anos na faculdade têm
um retorno positivo no mercado de trabalho, pelo menos marginalmente. Contudo,
verificou- se grandes diferenças de médias nos resultados em todas as
universidades públicas antes de incluir como controle as características préexistentes dos alunos. Quando essas caracteristicas são controladas, as diferenças
diminuem substancialmente.
49
Com o objetivo de estimar a qualidade média de faculdades públicas de
estados norte americanos, Zhang (2009) utiliza a abordagem do valor adicionado,
considerando como medida de resultado final do aluno o valor de seu salário após
se formar. A amostra utilizada para a análise inclui cerca de 4000 estudantes de
universidades públicas, que concluíram o bacharelado em 1992-1993, e trabalhou
nos 51 estados dos Estados Unidos, e tiveram rendimentos anuais superiores a $
5000. O modelo de regressão incluiu: logaritmo natural do salário anual do indivíduo
(variável dependente), e variáveis independentes: um vetor de características
individuais incluindo a pontuação do teste de admissão na faculdade (SAT),
antecedentes familiares, pontuações finais da faculdade e ainda variáveis dummy
para os estados onde o aluno se formou e variáveis dummy para as regiões onde o
aluno se encontrava no mercado de trabalho. Também foram acrescentadas
especificações que incluíam variáveis relacionadas com as faculdades. Como
principais conclusões obtidas, destaca-se: alunos com maiores pontuações no SAT
e maiores pontuações finais na faculdade, ser de famílias mais ricas e ter pais mais
educados, são fatores que pareceram estar associados com salários mais elevados;
diplomados do sexo feminino ganham significativamente menos; características da
escola como relação aluno-professor, a despesa por aluno, e salário médio dos
professores foram insignificantes; encontrou-se associação positiva entre qualidade
e percentual de professores Ph.D, e ainda os estados com melhor qualidade do
corpo docente tendem a produzir maior valor adicionado aos ganhos do estudante.
Saavedra e Saavedra (2011) utilizaram dados de testes padronizados
administrados a uma amostra de estudantes, para estimar o valor adicionado de
uma educação universitária na Colômbia. O teste avaliava o pensamento crítico dos
estudantes, resolução de problemas e habilidades interpessoais e capacidade
50
argumentativa e sintética. Os dados foram do ano de 2009, para 17 instituições e
2025 alunos das áreas de administração, economia e contabilidade; educação;
engenharia e arquitetura e especialidades de saúde. Os autores utilizaram um
modelo de regressão linear que incluiu: resultados de um teste aplicado para
estudantes no primeiro e último ano da faculdade, conjunto de características do
estudante incluindo o resultado do teste de admissão na faculdade e efeitos fixos da
universidade. Seus resultados sugerem que o ensino superior da Colômbia aumenta
novas competências essenciais para o estudante. E os maiores ganhos estão
relacionados com o aluno estudar em uma universidade privada, ser do sexo
feminino, ser de um fundo sócio- econômico mais alto, ter uma mãe mais educada,
estudar em tempo integral e que obtiveram maiores notas em seus testes de entrada
na faculdade. Concluiu-se ainda que: a pontuação de entrada dos estudantes na
faculdade é o mais forte preditor de seu resultado final; as métricas como: percentual
de professores credenciados com doutorado, percentual de professores trabalhando
em tempo integral, seletividade (vagas/candidatos) e gastos por aluno— não foram
correlacionadas com maiores ganhos em pensamento crítico, resolução de
problemas, habilidades interpessoais e de comunicação.
Medidas de valor adicionado também foram adotadas na Polônia. O estudo
de Jakubowski (2008) discute a implementação de estimativas de valor adicionado
para escolas no ensino secundário. Regressões foram estimadas para uma amostra
de 483.692 estudantes de 6.256 escolas. Os modelos incluíram: pontuação no
exame final do ensino secundário, uma pontuação no exame final do ensino
primário, características dos alunos (sexo, se estudou em escola pública ou privada,
logaritmo de renda), além de um logaritmo do tamanho da escola e despesas por
estudante. O autor conclui que apesar de alguns problemas metodológicos, modelos
51
de valor adicionado são confiáveis e pode trazer benefícios para vários destinatários.
E ainda pôde-se verificar que o aumento de despesas por estudante diminui a
qualidade do ensino e escolas não públicas adicionou mais valor ao estudante.
2.5.2 Estudos Brasileiros relacionados com desempenho na área de
ciências contábeis
Santos, Cunha e Cornachione Jr. (2009), investigaram possíveis variáveis que
influenciaram a nota obtida no Enade ano de 2006, nos cursos de Ciências
Contábeis das IES do estado de Minas Gerais. Os autores concluíram que a
qualidade técnica do professor (professores com titulação de especialização) e do
seu próprio esforço interfere no desempenho dos estudantes dos cursos analisados.
Seguindo a mesma abordagem Souza e Machado (2011), procuraram
identificar alguns fatores determinantes do desempenho dos cursos de ciências
contábeis no Enade 2006, tendo como base os 772 cursos que foram avaliados. Os
resultados apontaram as seguintes variáveis como mais influentes do modelo
econométrico desenvolvido: o nível de conhecimento do aluno anterior ao seu
ingresso em uma IES e em ordem decrescente, a escolaridade do pai, o esforço
pessoal no curso e a renda familiar.
Santos e Afonso (2012), buscaram verificar se as provas da área de ciências
contábeis do ENC- Provão de 2002/2003 e do Enade/2006 incluíram os itens que
representem de forma adequada o domínio de conteúdo da área. E desenvolveram
também uma análise crítica acerca desses testes. Dentre outras, destaca-se como
conclusões principais: os exames podem ser considerados uma aproximação do
nível de conhecimento cognitivo da área, porque os principais conteúdos foram
52
avaliados pelos testes; e medidas de qualidade do professor podem estar
associadas ao desempenho dos estudantes.
Baseando-se nos dados do Enade 2009, Cruz e Teixeira (2012) verificaram a
possível relação entre os conteúdos curriculares classificados em formação básica,
profissional e teórico- prática e o desempenho dos alunos dos cursos de ciências
contábeis no Enade do ano de 2009. Os resultados encontrados não permitiram
afirmar que há relação entre os conteúdos curriculares classificados como formação
básica, profissional e teórico- prática com as notas dos alunos no exame. O estudo
permitiu também concluir que: a qualidade da organização pedagógica, cursos com
maior número de docentes mestres e o tipo de instituição (pública ou privada)
podem ter potencial relação com o desempenho dos alunos.
Araújo, Camargos e Camargos (2011), objetivaram identificar se o
desempenho acadêmico (nota final na disciplina) dos alunos do curso de ciências
contábeis de uma IES privada de Belo Horizonte em Minas Gerais pode ser
explicado por variáveis como: frequência às aulas, sexo, idade, campus da IES, tipo
de disciplina (básica ou específica), natureza da disciplina (qualitativa ou
quantitativa), período letivo, situação ao final da disciplina. Os dados foram
coletados no período de 2001 a 2009, totalizando 7.878 observações. Utilizando-se
de um modelo de regressão múltipla, os resultados encontrados apontaram que em
média, os estudantes do curso de ciências contábeis da IES pesquisada que
obtiveram maiores notas finais nas disciplinas, apresentaram as seguintes
características: são alunas e de idades mais elevadas, cursando períodos letivos
mais avançados, com melhor desempenho nas disciplinas qualitativas e, também
nas específicas e, contraditoriamente, com um número de faltas maior.
53
Santos (2012) analisou o efeito de características individuais e institucionais
sobre o desempenho de estudantes de ciências contábeis por meio dos resultados
obtidos no ENC- Provão de 2002 e 2003 e do Enade de 2006. Usando microdados
desses exames, foram realizadas estimativas da função de produção educacional
com base nas especificações de um modelo hierárquico linear. Os principais
achados do estudo podem ser resumidos como: aspectos pessoais, como etnia,
gênero e idade dos estudantes foram relacionados ao seu desempenho acadêmico;
os coeficientes estimados de renda familiar foram positivos e significativos para
explicar desempenho, além do efeito de o estudante ter cursado o ensino médio na
escola pública, que foi positivo no seu desempenho em todos os anos analisados;
verificou-se relação negativa significativa entre o desempenho e o fato do estudante
ser solteiro; e IES com maior proporção de docentes com titulação de mestrado ou
de doutorado e com jornada integral, de 40 horas, ou com dedicação exclusiva ao
ensino, produziram impactos positivos no desempenho acadêmico dos estudantes.
54
Capítulo 3
3 METODOLOGIA
3.1 COLETA DE DADOS
Para se atingir os objetivos propostos foram utilizados os resultados do Enade
2009. Esses são os últimos resultados do curso de ciências contábeis, para os quais
o Inep já disponibilizou todos os relatórios13. Dessa forma, os dados foram coletados
por meio da base de dados disponível no portal do Inep, através dos seguintes
relatórios: Resultado do Enade 2009, Relatório do curso, Relatório da instituição,
Relatório síntese.
Salienta-se que de acordo com Santos (2012, p.17) exames como o Enade
servem como instrumento de medida de padrão educacional “[...] cujos objetos ou
fenômenos que se pretende medir são os conhecimentos, as aptidões e o
achievements14 individuais”.
Desta forma, presume-se que os resultados obtidos pelos estudantes no
Enade são medidas que representam os seus desempenhos. É preciso reconhecer,
todavia, que os resultados obtidos neste tipo de teste são apenas mensurações
aproximadas ou proxies desse fenômeno (SANTOS, 2012). Contudo, de acordo
com Hanushek (1979), testes semelhantes ao Enade são amplamente utilizados nas
pesquisas como medida representativa do resultado, especialmente em estudos
cujos princípios teóricos empregados são a função de produção educacional.
13
Há de se ressaltar também que, pelo fato do Enade de 2012, o mais recente da área, não ter
aplicação da prova para alunos ingressantes, torna-se inviável a utilização dos resultados de 2012.
Pois, um dos requisitos metodológicos mais importantes do método que se pretende aplicar neste
estudo, é ter uma medida que represente o desempenho inicial escolar e que tenha testado
conhecimentos específicos do curso.
14
O termo achievements tem sido traduzido como desempenho (SANTOS, 2012, SANTOS;
AFONSO, 2012) e pode ser definido segundo Helmke e Schrader (2001) como o resultado da
aprendizagem cognoscente produzida pelo processo de instrução.
55
3.2 UNIVERSO E AMOSTRA DA PESQUISA
Conforme Inep (2009) participaram da avaliação do Enade em 2009 o total de
902 cursos de Ciências Contábeis.
Inicialmente pretendia-se aplicar o estudo nos 902 cursos distribuídos nas
regiões brasileiras. Contudo, ao iniciar o processo de coleta dos dados, verificou-se
que os dados estavam organizados de forma desagregada. Parte dos dados
necessários estavam separados em dois relatórios (curso e instituição) na forma de
arquivo PDF, sendo necessário fazer downloads individuais de cada um deles para
cada instituição, e posteriormente extrair os dados desses relatórios para preparar a
tabulação dos mesmos. Como a quantidade de dados que se extraiu desses
relatórios é bem expressiva, esse processo por si só, exigiu meses de trabalho.
Assim, tornou-se inviável pesquisar o universo total, principalmente pelo tempo
aprazado para a realização da pesquisa, a qual, dada a sua natureza, possui tempo
regulamentar para a conclusão.
Dessa forma, foi selecionado como amostra dessa pesquisa o total de cursos
avaliados na região Sudeste. A justificativa para tal escolha se deve principalmente
por ser a região Sudeste a que concentra o maior número de instituições de ensino
superior na área contábil (E-MEC, 2013). Especificamente em 2009, dois estados da
região Sudeste se destacaram por ter o maior número de cursos de Ciências
Contábeis do Brasil: São Paulo, representando 22,8%, seguido de Minas Gerais com
10,5% (INEP, 2009). Assim, justifica-se ainda a seleção dessa amostra, pelo fato de
que a Região Sudeste foi a de maior representação no Enade 2009, concentrando
39,6% do total nacional, conforme detalhado na Tabela 2 abaixo:
56
Tabela 2: NÚMERO DE CURSOS PARTICIPANTES DO ENADE/2009
Número de Cursos
Região
Quantidade
%
Norte
67
7,4
Nordeste
168
18,6
Sudeste
357
39,6
Sul
197
21,9
Centro-Oeste
113
12,5
TOTAL
902
100
Fonte: INEP (2009)
Dados os objetivos da pesquisa, tornou-se necessário excluir da amostra
algumas instituições que não possuíam os dados necessários para composição da
base de dados deste estudo, assim foram excluídas no total 106 instituições,
conforme explicação a seguir: 03 instituições constavam nos relatórios como sendo
da região Sudeste, porém eram de outras regiões, possivelmente um erro na
divulgação; 95 instituições (03 do estado do Espírito Santo, 30 de Minas Gerais,10
do Rio de Janeiro e 52 de São Paulo) não possuíam dados dos alunos concluintes
ou ingressantes, pelo fato desses alunos não terem participado do Enade 2009; 01
do Espírito Santo e 06 de São Paulo constavam nos relatórios como tendo número
de participantes ingressantes e concluintes, porém os dados nos relatórios estavam
incompletos ora para ingressantes, ora para concluintes; e ainda 01 do Espírito
Santo estava com os dados dos docentes completamente zerados. Logo, a amostra
ficou constituída com 25115 cursos, conforme se apresenta na Tabela 3:
15
Nesse total de cursos estão incluídos 14.467 alunos ingressantes e 11.796 concluintes.
57
Tabela 3: AMOSTRA DA PESQUISA
Número de Cursos
Estado
Quantidade
%
Espírito Santo
19
7,6
Minas Gerais
65
25,9
Rio de Janeiro
38
15,1
São Paulo
129
51,4
TOTAL
251
100
Fonte: Elaboração Própria
Ressalta-se que na amostra estão incluídas instituições de ensino superior de
diferentes categorias administrativas (Federal, Estadual, Municipal e Particular) e
organizações acadêmicas (Universidade, Centro Universitário, Faculdade).
3.3 MÉTODO DE ESTIMAÇÃO
Para tratamento dos dados foi realizada uma análise econométrica, por meio
de regressão múltipla. A análise de regressão consiste em uma tentativa de explicar
os movimentos de uma variável como consequência dos movimentos de alguma(s)
outra(s) (GUJARATI, 2006, BROOKS, 2008).
Para descrever e melhor compreender o valor adicionado pelas instituições
aos alunos e seus determinantes, bem como estudar as relações entre o
desempenho do aluno e as demais variáveis explicativas, foi utilizada a abordagem
da teoria da função de produção, proposta por pesquisadores da área em estudo
(HANUSHEK, 1979, 1986, 1992, 1996, HANUSHEK; TAYLOR, 1990, TAYLOR;
NGUYEN, 2006, MEYER, 1997), já abordada no referencial teórico. As variáveis do
modelo de regressão foram estabelecidas apoiando-se na literatura apresentada.
58
Como variáveis dependentes têm-se: o desempenho dos alunos e o valor
adicionado. Já as independentes são: um grupo de características relacionadas com
o aluno e outro de características relacionadas com a instituição. O Quadro 1
descreve mais detalhadamente as variáveis utilizadas na análise dos dados:
Variáveis dependentes:
ME_CE_CONC
VALORADIC
Descrição
Nota média dos alunos concluintes na área de componentes
específicos.
Estimativa do valor adicionado pelas instituições aos alunos,
medido em pontos, com relação ao valor médio (centrado em
zero).
Variáveis independentes:
Relacionadas com o Aluno:
ME_CE_ING
SOLT_CONC
BRAN_CONC
NEG_CONC
ATREP_CONC
AC10SAL_CONC
TRABM40_CONC
Nota média dos alunos ingressantes na área de componentes
específicos.
Percentual de alunos concluintes solteiros.
Percentual de alunos concluintes brancos.
Percentual de alunos concluintes negros.
Percentual de alunos concluintes em cuja casa mora acima de
três pessoas.
Percentual de alunos concluintes que possuem renda familiar
acima de 10 salários mínimos.
Percentual de alunos concluintes que trabalham 40 horas
semanais ou mais.
Relacionadas com a Instituição:
PROP_DOCD
PROP_DOCM
PROP_REG_PARC
PROP_EQUIP_SUF
PROP_PLAN_ENSI
SIM_CONC
NUM_CONC
N_DOCENT
Proporção de docentes no mínimo doutores.
Proporção de docentes no mínimo mestres.
Proporção de docentes que trabalham regime parcial ou
integral.
Proporção de alunos que avaliaram positivamente os
equipamentos disponibilizados pela instituição.
Proporção de alunos que avaliaram positivamente os planos de
ensino dos professores
Percentual de alunos concluintes que possuiu algum tipo de
bolsa de estudos para custear o curso.
Número de alunos participantes como concluintes.
Número de docentes de cada instituição de ensino.
Quadro 1: Sumário das variáveis utilizadas na análise dos dados.
Fonte: Elaborado pela autora.
59
Ressalta-se que a fonte de dados para obter as variáveis foram os relatórios
disponibilizados pelo Inep, conforme já especificado no tópico 3.2. A partir da
abordagem adotada e das variáveis estabelecidas, os modelos empíricos foram
assim definidos:
Primeiro Estágio:
ME_CE_CONC¡ β4 β5 ME_CE_ING¡
β8 SOLT_CONC¡ β< BRAN_CONC¡ β> NEG_CONC¡ β? ATREP_CONC¡
βA AC10SAL_CONC¡ βD TRABM40_CONC¡
ε¡
(5)
Segundo Estágio:
VALORADIC¡ γ4 γ5 PROP_DOCD¡ γ8 PROP_DOCM¡ γ< PROP_REG_PARC¡
> PROP_EQUIP_SUF¡ γ? PROP_PLAN_ENSI¡ γA SIM_CON¡ γD NUM_CONC¡ γK N_DOCENT¡
u¡
(6)
Em um primeiro estágio, estima-se o nível educacional (desempenho) de um
indivíduo determinado pelo desempenho dos alunos ingressantes no Enade 2009
em conhecimentos específicos e as características pessoais e familiares dos alunos
concluintes. A variável dependente deste primeiro estágio trata-se da nota do aluno
concluinte no Enade 2009, em conhecimentos específicos.
Uma vez estimado o primeiro estágio, utiliza-se o resíduo como uma medida
de valor adicionado (VALORADIC). Ou seja, todo o desempenho do aluno concluinte
que não pode ser explicado por suas características individuais e desempenho dos
ingressantes pode ser considerado o valor adicionado pela instituição. Em seguida,
estima-se o efeito das características da instituição (corpo docente, regime de
60
trabalho, plano de ensino, infraestrutura e demais características) sobre o valor
adicionado.
Deve-se ressaltar que o termo de erro estocástico da primeira regressão Mε¡ N é
a medida de valor adicionado estimado levando-se em conta somente as
características dos alunos. No segundo estágio, é feita a regressão do valor
adicionado estimado nas características da instituição de ensino. Esta abordagem
permite verificar quanto do valor adicionado se deve às características da escola.
Conforme Bailey e Xu (2012) o método mais comum usado para estimar o
impacto de uma IES no desempenho dos alunos é calcular o resíduo a partir de um
modelo de regressão linear16 controlando fatores fora da influência da faculdade.
Assim essa abordagem se baseia em um modelo de regressão que inclui apenas
aquelas variáveis independentes referente aos fatores que estão expressamente
fora do alcance da faculdade, sem levar em conta toda a variação no resultado,
como é comum em análises de regressão (MCDONNELL et al., 2013). A respeito
disso, explica Bailey (2012):
Se o objetivo do estudo é comparar ou avaliar o desempenho institucional,
então algumas variáveis devem ser incluídas, enquanto os efeitos de
algumas variáveis devem ser deixados no resíduo. Por exemplo, se uma
faculdade usa uma estratégia pedagógica particular ou estratégia curricular,
não faz sentido ajustar os resultados para isso, visto que uma estratégia
pedagógica pode levar a melhores resultados. Controlando para uma
prática bem sucedida irá reduzir o resíduo e abaixar a classificação de uma
faculdade ainda que tenha encontrado uma estratégia bem sucedida. Mas
note que este é exatamente o tipo de prática que gostaríamos de incluir se o
objetivo é explicar variação nos resultados [Tradução nossa] (BAILEY,
2012, p. 10).
16
Para estimar o valor adicionado de instituições existem abordagens metodológicas alternativas que
podem ser usadas. A abordagem de Modelagem Linear Hierárquica (HLM) através da análise da
relação entre as variáveis explicativas e os resultados entre essas no nível do indivíduo e da
faculdade, permite melhor entendimento da influência que uma faculdade individual pode exercer
sobre os resultados, como também das características mais específicas do estudante (MCDONNELL
et al., 2013, BAILEY, 2012).
61
Neste contexto, Kelchen e Harris (2012) comentam que as instituições
podem, por exemplo, tomar decisões sobre alocação de recursos que irão refletir a
eficiência no que está se tentando medir. Assim se esses recursos são incluídos na
regressão poderia haver riscos de resultados tendenciosos serem obtidos, já que o
objetivo é medir o quão bem as instituições utilizam seus recursos (KELCHEN;
HARRIS, 2012). À vista disso e apoiando-se no entendimento relatado acima de
Bailey e Xu (2012), Bailey (2012) e Mcdonnell et al. (2013), os fatores sob o controle
da instituição foram propositadamente excluídos na estimação do valor adicionado.
(Equação 5).
Torna-se importante apresentar aqui algumas observações quanto à variável
independente do modelo que mede o resultado prévio de um determinado período
de escolaridade. A indicação apontada pela maioria dos autores que tratam sobre o
tema é a de que os alunos que irão compor a estimativa do valor adicionado (com
suas pontuações nos testes) sejam os mesmos que foram testados previamente. E
após um determinado período são avaliados novamente, em busca de uma medida
que expresse os resultados alcançados durante o período estudantil. Aplicar esse
procedimento neste trabalho, inicialmente, até seria possível diante do atual sistema
nacional de avaliação do ensino superior que realiza o teste de avaliação (Enade)
para alunos ingressantes e concluintes. Entretanto, a complexidade e os obstáculos
para esse procedimento se devem principalmente pelo fato de que o teste do Enade
até o ano de 2010 não era aplicado a todos os alunos. O processo se dava por
amostragem, e não havia nenhum critério que incluísse na seleção os mesmos
alunos avaliados como ingressantes e que após três anos eram avaliados como
concluintes, como explica o Inep:
Não é possível observar exatamente o desempenho dos concluintes no
momento do ingresso. Isto porque não dá para garantir que todos aqueles
62
que tenham participado da prova como ingressantes, participem como
concluintes três anos depois, já que há cursos com mais ou menos de
quatro anos de duração, os alunos podem se atrasar, trancar o curso e
voltar, entre outras razões (INEP, 2013c, p.20, INEP, 2009, p.7).
Posto isso, uma alternativa para que tal situação não prejudicasse os
resultados dessa pesquisa está fundamentada na prática da estimativa, conforme
era utilizado pelo Inep até 2011, com a seguinte explicação:
[...] podemos ter uma estimativa desta variável – o desempenho dos
concluintes no ingresso, visto que o Enade aplica provas para alunos
ingressantes e concluintes do mesmo curso. A ideia é, para cada curso,
utilizar o desempenho dos alunos ingressantes como proxy para o
desempenho dos alunos concluintes no momento de ingresso (INEP, 2013c,
p.20, 2009, p.7).
Como neste trabalho, a variável em questão — resultado prévio de um
determinado período de escolaridade — foi representada pela nota dos alunos
ingressantes no Enade, o tratamento dado para tal, foi o mesmo que era empregado
pelo Inep no cálculo do IDD. Utilizou-se a nota dos alunos ingressantes nos
conhecimentos específicos obtidas no Enade 2009, como proxy para o desempenho
dos alunos concluintes no momento de ingresso.
3.4 ESTATÍSTICAS DESCRITIVAS
O sumário estatístico descritivo das variáveis utilizadas é apresentado na
Tabela 4.
O número de ingressantes, ou seja, aqueles que tiveram suas notas incluídas
no modelo como uma medida de desempenho em fase inicial do curso de graduação
em contabilidade, foram em média 57 alunos. Caindo para a média de 46 alunos,
estão os concluintes, aqueles que valeram- se com suas notas para completar os
dados como medida de desempenho final, próximo ao fim de sua graduação. Desse
grupo, uma média de 65% são alunos solteiros, 68% (em média) são brancos e
63
6,1% são negros. Em termos de composição dos dados socioeconômicos, 30,2%
dos alunos concluintes (da amostra pesquisada) moram com mais de três pessoas
em casa, e ainda uma média de 12,9 % e 78%, respectivamente: tem renda familiar
acima de 10 salários mínimos e trabalham 40 horas semanais ou mais.
Tabela 4: SUMÁRIO ESTATÍSTICO DESCRITIVO DAS VARIÁVEIS
Variáveis
Observações
Média
Mínimo
Máximo
Desvio
Padrão
NUM_ING
251
57,637
2
850
80,079
NUM_CONC
251
46,996
3
279
39,891
SOLT_CONC
251
0,651
0
1
0,165
BRAN_CONC
251
0,681
0
1
0,173
NEG_CONC
251
0,061
0
0,5
0,067
ATREP_CONC
251
0,302
0
1
0,133
AC10SAL_CONC
251
0,129
0
1
0,143
TRABM40_CONC
251
0,780
0
1
0,130
SIM_CONC
251
0,414
0
1
0,241
PROP_DOCD
251
0,108
0
0,8
0,138
PROP_DOCM
251
0,512
0
1
0,213
PROP_REG_PARC
251
0,448
0
1
0,301
PROP_EQUIP_SUF
251
0,735
0,264
1
0,171
PROP_PLAN_ENSI
251
0,499
0
1
0,188
N_DOCENT
251
28,410
5
203
22,803
Fonte: dados da pesquisa
Variáveis: NUM_ING= número de alunos ingressantes; NUM_CONC= número de alunos concluintes;
SOLT_CONC= percentual de alunos concluintes solteiros; BRAN_CONC= percentual de alunos
concluintes brancos; NEG_CONC= percentual de alunos concluintes negros; ATREP_CONC=
percentual de alunos concluintes em cuja casa mora acima de três pessoas; AC10SAL_CONC=
percentual de alunos concluintes que possuem renda familiar acima de 10 salários mínimos;
TRABM40_CONC= percentual de alunos concluintes que trabalham 40 horas semanais ou mais;
SIM_CONC= percentual de alunos concluintes que possuiu algum tipo de bolsa de estudos para
custear o curso; PROP_DOCD= proporção de docentes no mínimo doutores; PROP_DOCM=
proporção de docentes no mínimo mestres; PROP_REG_PARC= proporção de docentes que
trabalham regime parcial ou integral; PROP_EQUIP_SUF= proporção de alunos que avaliaram
positivamente os equipamentos disponibilizados pela instituição; PROP_PLAN_ENSI= proporção de
alunos que avaliaram positivamente os planos de ensino dos professores; N_DOCENT= número de
docentes das instituições de ensino.
Ainda conforme indicado na Tabela 4, quanto aos insumos das instituições
que participam da amostra têm-se: (I) número médio de 28 docentes, dentre os
64
quais, 10,8% são doutores; (II) a proporção de docentes no mínimo mestres
representou 51,2% médio do total; (III) a proporção de docentes que trabalham em
regime parcial ou integral em média é de 44,8%; (IV) 41,4% dos alunos concluintes
possuíram bolsa de estudos para custear o curso; (V) 73,5% dos alunos avaliaram
positivamente os equipamentos disponibilizados pela instituição; (VI) 49,9% dos
alunos avaliaram positivamente os planos de ensino dos professores.
Apresenta-se a seguir o sumário estatístico descritivo das notas dos alunos
ingressantes e concluintes na avaliação do Enade 2009, em relação aos
conhecimentos específicos da área de contabilidade. Demonstra-se o total de cursos
pesquisados na região Sudeste e cada um de seus estados:
Tabela 5: SUMÁRIO ESTATÍSTICO DESCRITIVO DAS NOTAS DOS ALUNOS
REGIÃO
SUDESTE
ESPÍRITO
SANTO
MINAS
GERAIS
RIO DE
JANEIRO
SÃO
PAULO
Variáveis
Observações
Média
Mínimo
Máximo
Desvio
Padrão
ME_CE_ING
251
23,819
11,948
40,787
3,629
ME_CE_CONC
251
33,111
20,493
60,491
5,801
ME_CE_ING
19
24,167
18,067
28,575
2,811
ME_CE_CONC
19
32,965
24,425
46,900
6,721
ME_CE_ING
65
24,544
16,829
40,787
4,297
ME_CE_CONC
65
33,454
23,272
48,452
5,346
ME_CE_ING
38
24,364
16,950
33,861
4,347
ME_CE_CONC
38
34,371
22,133
60,491
7,153
ME_CE_ING
129
23,242
11,948
31,939
3,035
ME_CE_CONC
129
32,588
20,493
51,150
5,430
Fonte: dados da pesquisa
Variáveis: ME_CE_ING= nota média dos alunos ingressantes na área de componentes específicos;
ME_CE_CONC= nota média dos alunos concluintes na área de componentes específicos.
65
Como pode ser observado na Tabela 5, na região Sudeste os alunos
concluintes obtiveram desempenho superior, com uma média de 33,111 pontos, em
relação aos alunos ingressantes com uma média de 23,819 pontos. Os desviospadrão indicaram que a variabilidade entre os concluintes foi superior (5,801) do que
entre os ingressantes (3,629). Percebe-se que os alunos em fase final de curso
tiveram notas médias maiores do que na fase inicial do curso. Esses resultados
permitem inferir que os alunos do curso de ciências contábeis da região Sudeste
avaliados no Enade 2009, durante o período de sua formação, melhoraram seu
desempenho no que tange aos conhecimentos específicos da área, em média de
9,292 pontos.
Com relação a cada um dos estados, percebe-se que as médias dos alunos
ingressantes e concluintes, variaram em pequenas proporções, destacando-se
apenas o desvio-padrão do estado do Espírito Santo que indicaram uma
variabilidade bem maior entre os ingressantes (2,811) e concluintes (6,721). De
acordo com os resultados, os alunos dos cursos de ciências contábeis da região
Sudeste em seus estados: Espírito Santo (ES), Minas Gerais (MG), Rio de Janeiro
(RJ) e São Paulo (SP), ao concluírem o curso, obtiveram um desempenho melhor,
em relação aos conhecimentos da área contábil, do que quando ingressaram nas
instituições. O aumento estimado no desempenho foi em média: no estado do ES
em 8,8 pontos, em MG 8,91 pontos, 10 pontos no RJ e em SP foi de 9,34 pontos em
média.
Deve-se destacar que a diferença de nota média entre os ingressantes e
concluintes para a região Sudeste como um todo, bem como para cada um dos
estados estudados, é estatisticamente diferente a um nível de significância de 1%.
66
Os valores t- calculados foram -21,51, -5,26, -10,47 e -7,37, para Sudeste, ES, MG,
RJ e SP, respectivamente.
Para se compreender alguns dos fatores que determinam o aumento
verificado no desempenho dos alunos, foi realizada uma análise econométrica, por
meio da regressão múltipla e esses resultados, assim como os da estimativa do
valor adicionado, são apresentados na seção seguinte.
67
Capítulo 4
4 ANÁLISE DOS RESULTADOS
Neste capítulo são apresentados os resultados do estudo. Inicialmente serão
analisados os determinantes do desempenho dos alunos, onde são apresentadas
algumas das possíveis variáveis que explicam o desempenho dos alunos
alcançados nesta pesquisa. Posteriormente, analisa-se o valor adicionado estimado
das instituições e seus determinantes.
4.1 DETERMINANTES DO DESEMPENHO DOS ALUNOS
Os sumários estatísticos da regressão linear do primeiro estágio são
apresentados nas Tabelas 6 a 8:
me_ce_conc
Tabela 6: SUMÁRIO ESTATÍSTICO DA REGRESSÃO LINEAR
Desvio
Padrão
Coeficiente
t
P>|t|
[95% Intervalo de Confiança]
Robusto
me_ce_ing
0,690
0,094
7,36
0,000
0,506
0,875
_cons
16,669
2,175
7,67
0,000
12,387
20,952
Número de Observações = 251
R² = 0,1865
Estatística F (1,249) = 54,24 (0,0000)
Fonte: dados da pesquisa
Variável: me_ce_ing= nota média dos alunos ingressantes na área de componentes específicos.
Uma das variáveis do modelo de regressão aplicado nesta pesquisa trata-se
do resultado prévio de um determinado período de escolaridade, que foi
representada pela nota média dos alunos ingressantes que participaram do Enade
2009. Nota-se que relação positiva significativa é verificada entre a nota dos alunos
ingressantes e as notas dos alunos concluintes, quanto aos conhecimentos
específicos, uma vez que o valor-p apresentou-se menor que 0,05. Ressalta-se que
68
neste trabalho o desempenho dos alunos ingressantes está sendo utilizado como
proxy para o desempenho dos alunos concluintes no momento de ingresso. Logo, os
resultados indicam que os conhecimentos prévios já trazidos pelo aluno no momento
de ingresso em uma instituição de ensino, contribuem de forma significativa em seu
desempenho. Cabe ressaltar que a inclusão de apenas esta variável no modelo
resulta em um R2 de 0,186. Ou seja, as variações da nota média do aluno quando
ingressa conseguem explicar cerca de 18,6% da variabilidade das notas médias dos
concluintes, no término do curso.
Em seguida, foi incluído no modelo de regressão um conjunto de
características individuais do aluno, familiares e socioeconômicas, como variáveis de
controle. Na Tabela 7 demonstram-se os resultados de algumas dessas variáveis:
me_ce_conc
Tabela 7: SUMÁRIO ESTATÍSTICO DA REGRESSÃO LINEAR
Desvio
Padrão
Coeficiente
t
P>|t|
[95% Intervalo de Confiança]
Robusto
me_ce_ing
0,617
0,092
6,73
0,000
0,437
0,798
solt_conc
4,674
2,188
2,14
0,034
0,363
8,984
bran_conc
-4,276
2,519
-1,70
0,091
-9,238
0,687
neg_conc
-16,047
5,770
-2,78
0,006
-27,413
-4,682
atrep_conc
-5,250
2,362
-2,22
0,027
-9,903
-0,597
_cons
20,846
2,841
7,34
0,000
15,250
26,442
Número de Observações = 251
R² = 0,2410
Estatística F (5, 245) = 14,07 (0,0000)
Fonte: dados da pesquisa
Variáveis: me_ce_ing= nota média dos alunos ingressantes na área de componentes específicos;
solt_conc= percentual de alunos concluintes solteiros; bran_conc= percentual de alunos concluintes
brancos; neg_conc= percentual de alunos concluintes negros; atrep_conc= percentual de alunos
concluintes em cuja casa mora acima de três pessoas.
Ao serem inseridas essas variáveis de controle relacionadas com o aluno,
verifica-se na Tabela 7 que os coeficientes que se mostraram significativos para um
nível de significância de 5%, foram:
69
a) solt_conc (t=2,14; p-valor=0,034), indicando que um aumento de 10 pontos
percentuais
na
proporção
de
alunos
concluintes
solteiros
eleva
o
desempenho em média em 0,4674 pontos;
b) neg_conc (t=-2,78; p-valor=0,006), para esta variável observa-se relação
negativa com o desempenho do aluno, estimando-se que um aumento de 10
pontos percentuais na proporção de alunos concluintes negros reduz em
média 0,16047 pontos no desempenho de um aluno negro;
c) atrep_conc (t=-2,22; p-valor= 0,027), a relação negativa neste caso indica que
o aluno morar com mais de três pessoas em casa piora o seu desempenho.
Nessa primeira especificação nota-se que o percentual de alunos brancos
(bran_conc) não se mostrou significativo ao nível de 5% de significância.
Em uma nova especificação incluiu-se ainda duas novas variáveis de controle
relacionadas com o aluno: a renda familiar e a situação do trabalho, cujos resultados
são apresentados abaixo na Tabela 8:
me_ce_conc
Tabela 8: SUMÁRIO ESTATÍSTICO DA REGRESSÃO LINEAR
Desvio
Padrão
Coeficiente
t
P>|t|
[95% Intervalo de Confiança]
Robusto
me_ce_ing
0,450
0,092
4,90
0,000
0,269
0,631
solt_conc
5,592
2,164
2,58
0,010
1,329
9,855
bran_conc
-5,306
2,655
-2,00
0,047
-10,535
-0,077
neg_conc
-14,931
5,690
-2,62
0,009
-26,139
-3,722
atrep_conc
-9,288
2,631
-3,53
0,000
-14,470
-4,106
ac10sal_conc
13,646
2,990
4,56
0,000
7,757
19,536
trabm40_conc
_cons
-4,994
3,158
-1,58
0,115
-11,214
1,226
28,211
3,996
7,06
0,000
20,339
36,083
Número de Observações = 251
R² = 0,3396
Estatística F (7, 243) = 13,42 (0,0000)
Fonte: dados da pesquisa
Variáveis: me_ce_ing= nota média dos alunos ingressantes na área de componentes específicos;
solt_conc= percentual de alunos concluintes solteiros; bran_conc= percentual de alunos concluintes
brancos; neg_conc= percentual de alunos concluintes negros; atrep_conc= percentual de alunos
concluintes em cuja casa mora acima de três pessoas; ac10sal_conc= percentual de alunos
70
concluintes que possuem renda familiar acima de 10 salários mínimos; trabm40_conc= percentual de
alunos concluintes que trabalham 40 horas semanais ou mais;
A variável renda familiar mostrou-se significante a 5% e positivamente
correlacionada com o desempenho. De acordo com os resultados desta pesquisa,
estima-se que um aluno que tenha renda familiar acima de 10 salários mínimos
possui um melhor desempenho, em média de 13,646 pontos. Já o fato do aluno
trabalhar em tempo integral (40 horas semanais ou mais) não demonstrou relação
significativa (p-valor=0,115) com as notas obtidas pelo aluno, para os dados desta
pesquisa.
Ressalta-se que a adição de novas variáveis no modelo não acarretou
alterações relevantes nos coeficientes das outras variáveis, sendo que as que se
apresentaram significativas permaneceram significativas. Apenas a variável
bran_conc que passou a ser significativa a 5%, indicando uma possível relação
negativa entre percentual de alunos brancos e seu desempenho.
Em suma, nota-se que a inclusão das variáveis de características individuais
e familiares resultou em um R2 de 0,33, sugerindo que o modelo explica
aproximadamente um terço da variabilidade das notas médias dos concluintes.
4.2 VALOR ADICIONADO E SEUS DETERMINANTES
Nesta seção apresenta- se os resultados relacionados com a estimativa de
valor adicionado pelas instituições de nível superior aos alunos. Inicialmente
demonstra-se na Tabela 9 o sumário estatístico descritivo do valor adicionado
estimado:
71
Tabela 9: SUMÁRIO ESTATÍSTICO DESCRITIVO DO VALOR ADICIONADO ESTIMADO
Variáveis
Observações
Média
Mínimo
Máximo
Desvio Padrão
Valoradic
251
-9,17e-09
-9,523
16,513
4,714
Fonte: dados da pesquisa
Variável: Valoradic= Estimativa do valor adicionado pelas instituições aos alunos, medido em pontos,
com relação ao valor médio (centrado em zero).
Nota-se que como a variável VALORADIC é o resultado de um resíduo da
regressão anterior (Equação 5), ela tem uma média próximo de 0 por definição.
Observa-se que os valores se encontram entre -9,523 e máximo de 16,513 e essa
distribuição apresenta um desvio padrão de 4,714.
A partir dos resultados encontrados as instituições foram ordenadas de
acordo com seu valor adicionado, conforme pode ser visualizado no Gráfico 1:
Gráfico 1: Ranking de valor adicionado estimado das instituições
Fonte: Dados da pesquisa
O Gráfico 1 apresenta uma curva ascendente, demonstrando que as
instituições que adicionaram menor valor estão posicionadas no lado esquerdo e as
72
que adicionaram maior valor estão no lado direito. Existe também um conjunto de
instituições que se destacam relativamente às outras, que adicionaram valor acima
de 10 pontos. Para evidenciar essa distribuição o Gráfico 2 apresenta o histograma:
Gráfico 2: Histograma do valor adicionado estimado das instituições
Fonte: Dados da pesquisa
Observa-se que o histograma tem seus valores em uma distribuição que é
assimétrica à direita e existe uma concentração de instituições do lado direito com
valores acima de 15 pontos adicionados.
Uma vez estimado o valor adicionado pelas instituições de ensino superior,
torna-se importante conhecer alguns dos possíveis determinantes deste valor
adicionado. Para isso foi feita a regressão do valor adicionado estimado nas
características da instituição de ensino, o que permite verificar quanto do valor
73
adicionado se deve às características da escola. Os sumários estatísticos das
especificações são apresentados nas Tabelas 10 e 11:
valoradic
Tabela 10: SUMÁRIO ESTATÍSTICO DA REGRESSÃO LINEAR
Desvio
Padrão
Coeficiente
t
P>|t|
[95% Intervalo de Confiança]
Robusto
prop_docd
-4,669
2,554
-1,83
0,069
-9,699
0,360
prop_docm
2,968
1,548
1,92
0,056
-0,082
6,018
prop_reg_parc
3,141
1,126
2,79
0,006
0,924
5,358
_cons
-2,423
0,731
-3,31
0,001
-3,863
-0,982
Número de Observações = 251
R² = 0,0497
Estatística F (3, 247) = 5,17 (0,0018)
Fonte: dados da pesquisa
Variáveis: prop_docd= proporção de docentes no mínimo doutores; prop_docm= proporção de
docentes no mínimo mestres; prop_reg_parc= proporção de docentes que trabalham regime parcial
ou integral.
Pode-se notar que não foram significativos ao nível de significância de 5% os
resultados para inferências quanto à relação entre o valor adicionado e a proporção
de docentes no mínimo doutores (p-valor= 0,069) e proporção de docentes no
mínimo mestres (p-valor=0,056). Já o coeficiente da variável prop_reg_parc, que
corresponde à proporção média de docentes que trabalham regime parcial ou
integral, inicialmente se mostrou significativo para um nível de significância de 5%,
uma vez que o p-valor foi igual a 0,006.
Em outra especificação, foram incluídas no modelo novas variáveis que
também representam fatores relacionados com as instituições de ensino, que fazem
parte das políticas e insumos escolares e são prováveis determinadores do valor
adicionado. Os resultados dessa relação são demonstrados na Tabela 11:
valoradic
prop_docd
Tabela 11: SUMÁRIO ESTATÍSTICO DA REGRESSÃO LINEAR
Desvio
Padrão
Coeficiente
t
P>|t|
[95% Intervalo de Confiança]
Robusto
-2,957
2,745
-1,08
0,282
-8,363
2,449
74
prop_docm
2,067
1,624
1,27
0,204
-1,132
5,266
prop_reg_parc
1,794
1,097
1,64
0,103
-0,367
3,954
prop_equip_suf
1,644
2,435
0,68
0,500
-3,153
6,441
prop_plan_ensi
2,95
0,004
2,113
10,623
6,368
2,160
sim_conc
3,028
1,378
2,20
0,029
0,313
5,743
num_conc
-0,016
0,007
-2,10
0,036
-0,030
-0,001
n_docent
_cons
0,014
0,015
0,88
0,378
-0,017
0,044
-6,826
1,261
-5,41
0,000
-9,309
-4,343
Número de Observações = 251
R² = 0,1878
Estatística F (8, 242) = 6,70 (0,0000)
Fonte: dados da pesquisa
Variáveis: prop_docd= proporção de docentes no mínimo doutores; prop_docm= proporção de
docentes no mínimo mestres; prop_reg_parc= proporção de docentes que trabalham regime parcial
ou integral; prop_equip_suf= proporção de alunos que avaliaram positivamente os equipamentos
disponibilizados pela instituição; prop_plan_ensi= proporção de alunos que avaliaram positivamente
os planos de ensino dos professores; sim_conc= percentual de alunos concluintes que possuiu algum
tipo de bolsa de estudos para custear o curso; num_conc= número de alunos concluintes; n_docent=
número de docentes das instituições de ensino.
Nota-se na Tabela 11 que quando incluídas as novas variáveis, a variável
prop_reg_parc deixou de ser significativa ao nível de significância de 5%. Por outro
lado, com relação ao plano de ensino dos docentes, o coeficiente se mostrou
positivamente significativo, inclusive a 1% de significância (p-valor=0,004), indicando
que um bom plano de ensino (foi avaliado dessa forma pelo aluno) contribui de
forma significativa no incremento do valor adicionado. De igual modo, verificou-se
relação positiva significativa entre as proporções médias de alunos que possuíram
bolsa de estudos para custear o curso e o valor adicionado, uma vez que o p-valor
apresentou-se em 0,029 (< 0,05). Dessa forma, estima-se que o valor adicionado de
uma instituição é acrescentado em média de 0,3028 pontos quando a proporção de
alunos com bolsa é elevada em 10 pontos percentuais.
Outra variável ainda que se mostrou significativa, a um nível de 5% foi o
número de alunos (num_conc). Entretanto, verifica-se uma relação negativa,
mostrando que para o acréscimo de cada 1 aluno o valor agregado diminuiu em
0,016. Cabe destacar que o tamanho do corpo docente medido pela variável
75
n_docent não é significativo. Logo não se pode afirmar que o tamanho do corpo
docente de uma instituição influencia seu valor adicionado, ao passo que, existem
evidências de que o tamanho do corpo discente influencia negativamente o valor
adicionado, de acordo com os dados desse presente trabalho. Nota-se ainda que a
variável que representa a infraestrutura (prop_equip_suf) sendo a proporção de
alunos que consideraram que os equipamentos são suficientes, não se mostrou
significativa ao nível de significância de 5%. Por fim, nota-se para esse modelo um
R2 de 0,187 indicando que esse conjunto de características da instituição explica
aproximadamente 18,7% da variabilidade do valor adicionado da instituição de
ensino (medido em notas) aos alunos. Assim, existem outros fatores que influenciam
o valor adicionado das instituições e que não foram capturados pela regressão, e
novos estudos poderão identificá-los.
4.3 ESTIMATIVA DO VALOR ADICIONADO E O IDD
Como mencionado anteriormente, o Inep usa o IDD como uma medida
aproximada de valor adicionado. E conforme foi exposto também, o cálculo do IDD é
obtido por meio de um método que também apresenta semelhanças com os
modelos de valor adicionado. Ademais, apresentam finalidades bem semelhantes.
Diante disso, e a partir de algumas constatações na literatura apresentada, como
forma de validação do método proposto, foi calculada a correlação entre o valor
adicionado estimado e o NIDD (versão contínua do IDD) para as 251 IES
analisadas. A correlação encontrada foi de 0,653. Ou seja, as medidas são
positivamente correlacionadas, indicando que de fato as metodologias guardam
semelhanças.
76
Em seguida, buscou-se uma comparação de classificação entre as IES que
apresentaram as notas mais elevadas no IDD do ano de 2009 e as suas respectivas
notas no modelo de valor adicionado estimado. Cabe resaltar que das 251 IES
analisadas, 17 não possuíam IDD, pois de acordo com o Inep (2009a), o IDD só é
computado para cursos com mais de 10 participantes (que estão entre os
selecionados e com nota não nula) entre ingressantes e entre concluintes. A Tabela
12 abaixo apresenta a classificação das 20 primeiras IES de acordo com o IDD e no
método de valor adicionado:
Tabela 12: CLASSIFICAÇÃO DAS IES PELO IDD E PELO VALOR ADICIONADO
INSTITUIÇÃO
Notas - IDD
Notas - VA
A
1
1
B
2
9
C
3
20
D
4
4
E
5
6
F
6
16
G
7
61
H
8
17
I
9
11
J
10
8
K
11
45
L
12
7
M
13
13
N
14
12
O
15
18
P
16
34
Q
17
19
R
18
53
S
19
28
T
20
26
Fonte: dados da pesquisa
77
Pode-se notar que em muitos casos, IES que obtiveram um alto IDD
apresentaram um valor adicionado inferior, como é o caso das IES C, G e K. Além
de outras diferenças significativas que podem ser observadas nas IES: F, H, P, R, S.
4.4 DISCUSSÃO DOS RESULTADOS
Os resultados obtidos indicaram um progresso positivo no desempenho dos
alunos quanto aos conhecimentos específicos da área contábil.
Observou-se que o desempenho prévio do aluno ao ingressar em uma
instituição é um fator significativo que exerce influência positiva sobre o seu
desempenho final. Em conformidade com esse resultado têm-se os trabalhos
anteriores de Wright et al. (2012), Saavedra e Saavedra (2011), Zhang (2009),
Souza e Machado (2011). Outros estudos aplicados particularmente em cursos de
contabilidade também atestam esse achado em suas conclusões, como Eskew e
Faley (1988), Doran, Bouillon e Smith (1991), Koh e Koh (1999), Duff (2004), Byrne
e Flood (2008), Ingram e Petersen (1987).
Consistente com a teoria já existente na área, os resultados deste estudo
confirmam as evidências do poder explicativo que as características particulares,
familiares e socioeconômicas do aluno exercem sobre o seu desempenho.
Resultados semelhantes foram citados por Wright et al. (2012), Taylor e Nguyen
(2006), Bacolod e Tobias (2006), Cunha e Miller (2012), Zhang (2009), Saavedra e
Saavedra (2011), Souza e Machado (2011), Santos (2012).
Neste sentido, encontrou- se evidências de que há um incremento no
desempenho do aluno solteiro. Esse resultado pode ser reflexo do nível de
dedicação aos estudos. Pois normalmente o aluno solteiro possui mais facilidade
78
para maximizar o tempo dedicado às tarefas acadêmicas, o que influenciará
diretamente em seus resultados acadêmicos. Todavia, esse achado se desvia dos
resultados de Santos (2012) que encontrou relação negativa significativa entre
desempenho e o fato do aluno ser solteiro. Uma relação significativa negativa entre
o aluno negro e seu desempenho foi observada neste estudo. Esse resultado é
convergente com o trabalho de Wright et al. (2012) e divergente de Zhang (2009) e
de Dale e Krueger (2002) que em seus estudos não verificaram realização
prejudicada para alunos negros. Relação negativa e significativa também foi
verificada entre o aluno branco e seu desempenho, indicando que um aumento na
proporção de alunos brancos também reduziria pontos no seu desempenho. Essas
evidências sugerem a necessidade de uma investigação mais detalhada do motivo
para obtenção desses sinais. Especialmente por que se apresentam contrários às
expectativas advindas da literatura, e ainda, pela importância atual de questões
relacionadas à raça, como os sistemas de cotas e políticas de reservas de vagas.
Os resultados deste estudo ainda sugerem evidências de que o aluno que
mora com mais de três pessoas em casa tem seu desempenho afetado
negativamente. Corroborando com os trabalhos anteriores de Taylor e Nguyen
(2006), Bacolod e Tobias (2006), Zhang (2009), Souza e Machado (2011), Santos
(2012), Wright et al. (2012), Saavedra e Saavedra (2011) a variável renda familiar
apresentou coeficiente significativo e positivo, ratificando mais uma vez que alunos
que possuem maior renda familiar tendem a apresentar melhor desempenho. Já o
fato do aluno trabalhar em tempo integral (40 h semanais ou mais) não apresentou
efeito relevante para explicar o seu desempenho.
Analisando os resultados obtidos no segundo estágio de estimação, pode-se
inferir que as instituições de ensino superior da região Sudeste, exclusivamente por
79
via de suas políticas, práticas e processos internos, adicionaram valor ao
desempenho
acadêmico
dos
alunos
dos
cursos
de
ciências
contábeis,
particularmente aos conhecimentos específicos da área.
Quanto aos possíveis determinantes do valor adicionado, os resultados da
amostra analisada indicam que as variáveis representativas da qualidade do corpo
docente não se mostraram significantes para explicar o valor adicionado, conforme
se detalha a seguir. Há indicação de que a variável tamanho do corpo docente não
apresentou relação com o valor adicionado. Existem evidências também que
sugerem não haver relação significativa entre a proporção de docentes doutores e
mestres de uma instituição e seu valor adicionado. Quanto à variável proporção de
docentes que trabalham em regime parcial ou integral, há de se ressaltar que,
inicialmente essa se apresentou significativa e positiva para explicar o valor
adicionado, porém deixou de ser significativa em uma nova especificação em que
foram incluídas novas variáveis.
Esses resultados referentes ao corpo docente vão de encontro aos resultados
de Saavedra e Saavedra (2011) que não verificaram correlação entre: percentual de
professores credenciados com doutorado e percentual de professores trabalhando
em tempo integral, com um aumento no ganho adicionado. E ainda Bacolod e
Tobias (2006) citam que em seu estudo a formação dos professores praticamente
não exerceu nenhum papel na explicação da variação no desempenho ao nível da
escola, já a experiência média do professor pareceu afetá-lo negativamente. No
entanto, esses resultados divergem do estudo de Taylor e Nguyen (2006). Eles
verificaram que a proporção entre professores que trabalham meio expediente ou
tempo integral é positivamente associada com um aumento no valor adicionado.
Divergem também de Zhang (2009) que encontrou associação positiva entre o valor
80
adicionado da instituição e percentual de professores Ph.D e verificou ainda que
instituições com melhor qualidade do corpo docente propendiam a adicionar maior
valor para os estudantes.
Buscando verificar se a infraestrutura de uma instituição é importante para
determinar o seu valor adicionado, foi incluída na regressão a variável proporção de
alunos que avaliaram que os equipamentos da instituição são suficientes. Notou-se
que essa variável não se mostrou significante para explicar o valor adicionado. Em
outros trabalhos como de Bacolod e Tobias (2006) e de Hanushek e Harbison (1992)
os recursos da escola se mostraram significantes para explicar a variação do
desempenho da escola. É o que se espera tanto dos recursos da escola bem como
da qualidade do corpo docente, que produzam efeitos positivos no desempenho das
instituições. Portanto, seria interessante outras investigações do mesmo grupo de
instituições deste trabalho, para verificar, após serem controlados por outros fatores,
se os recursos da
infraestrutura e qualidade do corpo docente da instituição
permaneceriam não interferindo em seus resultados.
Um resultado encontrado que é digno de destaque trata-se da relação entre o
valor adicionado da instituição e sua organização didático-pedagógica, que neste
estudo foi representada pela variável plano de ensino bem avaliado pelo aluno. Os
resultados sugerem um impacto positivo dessa variável no valor adicionado da
instituição, indicando a importância do plano de ensino no efeito que será produzido
no resultado do aluno. De igual modo, cabe destacar que o percentual de alunos que
possuiu bolsa de estudos para custear o curso também mostrou- se significativo e
positivo para explicar o valor adicionado. Dessa forma estima-se que aumentandose o número de alunos com bolsa de estudos para custear o curso, o valor
adicionado pela instituição também aumentará. Uma possível causa para tal
81
resultado é que em muitos casos, os programas de bolsas de estudos exigem dos
estudantes aproveitamento especial nas disciplinas cursadas. Como ocorre com a
bolsa oferecida pelo Governo Federal, o Prouni, que exige que o bolsista tenha
aproveitamento acadêmico, de no mínimo, 75% nas disciplinas cursadas em cada
período letivo, sob pena de perda da bolsa. E também nas próprias IES, os
programas de bolsas também podem exigir aproveitamento especial, ou ainda
estabelecer outros requisitos, como exigir que o bolsista participe de programas de
monitoria para ajudar outros estudantes. Tudo isso demandará que o estudante se
dedique mais aos estudos e naturalmente obtenha melhores resultados, o que
impactará o valor adicionado da instituição.
E ainda encontrou-se que a variável quantidade de alunos da instituição é
significativamente negativa para explicar valor adicionado. Isso permite inferir que
quanto maior o tamanho do corpo discente, o valor adicionado tende a ser
decrescido. Esse resultado se alinha com Saavedra e Saavedra (2011) e com Taylor
e Nguyen (2006). E assemelha-se ainda com os resultados de Kokkelenberg, Dillon
e Christy (2008) que evidenciaram que o aumento da dimensão das turmas afetou
negativamente as notas em uma grande universidade pública dos EUA. Diverge,
porém, do resultado de Zhang (2009) que sugeriu que tamanho da classe parece
não ter afetado a qualidade da faculdade.
Buscando comparar o IDD e o método do valor adicionado, realizou-se uma
estimativa e verificou-se que apesar de existir uma correlação positiva entre os dois
indicadores, quando comparadas as classificações das instituições pelo método do
IDD em relação à classificação pelo método do valor adicionado, diferenças
significativas foram encontradas.
82
Neste sentido, voltando-se para a literatura, cabe descrever aqui algumas
considerações. Inicialmente, destaca-se que grande parte dos trabalhos anteriores
apresentados neste estudo que buscaram medir valor adicionado, ou seja, o efeito
da escola/instituição de ensino incluíram em seus modelos diversas variáveis
relacionadas às características do estudante. Isso por que já está bem documentado
o efeito significativo dessas características sobre o desempenho do estudante.
Assim, nesta perspectiva, procurou-se incluir no modelo utilizado neste estudo o
quanto fosse possível dessas características. No total foram sete, como pode ser
verificado no Quadro 1.
Conforme já bem exposto na seção 2.4, o Inep (2009a, 2013c, 2013n, 2007)
declara em notas técnicas que as diferenças em relação ao perfil dos estudantes ao
ingressar no ensino superior influenciam as diferenças nos resultados. Em seguida,
declara que, por hipótese, os fatores que determinam o desempenho médio dos
estudantes concluintes de um determinado curso/unidade são: características de
ingresso dos alunos concluintes em termos de aprendizagem; a qualidade da
formação oferecida pelo curso e, um termo de erro que capta os outros elementos
que afetam o desempenho do aluno. Entende-se que ao ser citado características de
ingresso em termos de aprendizagem, o Inep está se referindo somente ao nível de
conhecimento existente no perfil do estudante. E não a outras características e
fatores dos estudantes. E ainda em uma de suas notas técnicas sobre o IDD, o Inep
(2007, p.3) faz a seguinte afirmação:
Como forma de minimizar possíveis problemas de viés de estimação, alguns
procedimentos foram adotados: [...] (iii) com o objetivo de complementar a
informação de perfil dos estudantes que um determinado curso recebe, foi
incluído o nível de escolaridade do pai dos estudantes ingressantes e
concluintes do curso (proporção de estudantes cujo pai tem instrução
superior).
83
Deste modo, no cálculo do IDD em todos os anos, inclusive atualmente,
somente essa informação (nível de escolaridade dos pais) relacionada com as
características dos estudantes, é incluída. Nota-se que o Inep reconhece a influência
dessas características no desempenho. Porém entende- se que o nível de
importância que está sendo dado, diferentemente da literatura, talvez não seja o
adequado. O que, possivelmente, está influenciando a diferença entre as duas
classificações.
Além disso, outra consideração que entende- se ser pertinente, trata-se das
características relacionadas com a instituição. Conforme foi referenciado, alguns
estudos incluem na estimação do valor adicionado fatores e características
relacionadas à instituição. No entanto, neste presente estudo, optou-se por estimar o
valor adicionado sem a inclusão dessas características, apoiando-se em alguns
autores que defendem esse método. Isso por que como relatado, as instituições
podem tomar decisões sobre alocação de recursos que irão refletir a eficiência no
que está se tentando medir e incluindo essas características poderia haver riscos de
resultados tendenciosos serem obtidos. Essa questão está explicada e referenciada
na seção 3.3. Já o Inep inclui em sua regressão variáveis relativas ao corpo docente,
características da infraestrutura e organização didático-pedagógica. E justifica tal
inclusão, como sendo uma forma de diminuir o viés de estimativa dos coeficientes
associados às variáveis características dos ingressantes, conforme explicação mais
detalhada na seção 2.4. Encontra-se nesta questão mais um possível fator
explicativo das diferenças verificadas entre as classificações das notas IDD e do
valor adicionado.
Enfim, os possíveis fatores para diferenças encontradas podem estar
centrados nas variáveis que compõem os modelos de regressão. Pois, enquanto na
84
estimação
do
valor
adicionado
feita
nesse
trabalho,
procurou-se
incluir
características dos estudantes e excluiu- se fatores das instituições, o Inep no
cálculo do IDD praticamente faz o oposto.
Ressalta-se que outros estudos (TAYLOR; NGUYEN, 2006, LIU, 2011a,
LADD; WALSH, 2002) que fizeram comparações entre classificações já existentes
de valor adicionado de instituições de ensino, e que calcularam novas estimativas,
buscando verificar a compatibilidade entre as duas medidas, encontraram resultados
parecidos com esses aqui apresentados.
85
Capítulo 5
5 CONSIDERAÇÕES FINAIS
5.1 CONCLUSÕES
O presente trabalho buscou investigar os fatores que explicam o valor
adicionado pelas instituições de ensino superior aos alunos do curso de ciências
contábeis em relação aos conhecimentos específicos da área. Para tanto, utilizou-se
os dados do Enade 2009, empregando-se a metodologia do valor adicionado, que
vem sendo adotada em vários países e permite conhecer o efeito exclusivo das
instituições sobre o desempenho do estudante. Esse efeito é conhecido como valor
adicionado por que exclui outros determinantes do desempenho, como por exemplo,
características particulares e socioeconômicas dos estudantes. Assim sendo, é
possível obter uma estimativa de como a instituição de ensino está efetivamente
contribuindo para o progresso do estudante.
Dessa forma, pode-se concluir, de acordo com a amostra e os dados deste
estudo, que as instituições de ensino superior da região Sudeste adicionaram
ganhos específicos da área para o aluno do curso de ciências contábeis. E os
principais determinantes do valor adicionado foram: plano de ensino, quantidade de
alunos que utilizam bolsa de estudos e tamanho do corpo discente. Diante desses
resultados cabe destacar que: enquanto variáveis relacionadas com o corpo docente
e infraestrutura pareceram não influenciar o desempenho da instituição, ressalta-se
a relevância e importância da organização didático-pedagógica que, conforme
encontrado neste trabalho, pode motivar ganhos nos resultados da instituição de
ensino.
86
Como conclusões adicionais, verificou-se por um lado, que as variáveis
explicativas: ‘desempenho prévio do aluno’, ‘o aluno ser negro’, ‘o aluno ser branco’,
‘o aluno ser solteiro,’ ‘morar com mais de três pessoas em casa’, ‘renda familiar’,
mostraram-se significantes para explicar o desempenho. Por outro lado, ‘trabalhar
em tempo integral (40 horas semanais ou mais)’ aparentou não se relacionar com o
desempenho do estudante.
Várias
prescrições educacionais podem
emergir
desse
conjunto
de
resultados, podendo contribuir principalmente para: reflexões e ações por parte das
instituições de ensino, concernente à implicação de políticas e práticas adotadas que
podem maximizar sua eficácia (independentemente de alterações ao longo do tempo
nas características dos alunos que servem), com o propósito de melhorar o
desempenho acadêmico do estudante. Como, por exemplo: investimento em
recursos didático-pedagógicos, maximizar programas de concessão de bolsas de
estudos, e elaborar planos para controle da quantidade de alunos admitidos.
Além das instituições, esses resultados podem ser úteis também para os
responsáveis pela avaliação da qualidade das IES. Na elaboração do presente
trabalho, verificou-se que o IDD, uma das medidas de qualidade adotadas pelo Inep
é correlacionado com a metodologia do valor adicionado, além de possuírem
finalidades bem semelhantes. E considerando tudo que já foi abordado sobre esse
assunto neste trabalho, algumas reflexões podem ser levantadas:
De acordo com o Inep o IDD é uma estimativa de valor adicionado que busca
verificar o quanto o curso contribuiu para o conhecimento específico do aluno,
observando o perfil do estudante que ingressa no curso. E em recente nota técnica
(INEP, 2013n) o Inep declarou mais uma vez que o IDD tem o propósito de trazer às
instituições, informações comparativas dos desempenhos de seus estudantes
87
concluintes, em relação aos resultados médios obtidos pelos concluintes das demais
instituições que possuem estudantes ingressantes de perfil semelhante ao seu. Para
tanto no cálculo do IDD é incluído, uma estimação do desempenho esperado do
aluno concluinte considerando as informações de quando esse aluno ingressa, seu
perfil e inclusive em termos de aprendizagem conforme detalhado na seção 2.4
deste trabalho.
E ainda sabe-se que a partir de 2011 no cálculo do IDD a nota do aluno
ingressante passou a ser substituída pela nota do Enem, conforme já relatado
também na seção 2.4. Conhecendo-se ainda a existência de um estudo que
demonstrou que esta substituição era viável (ZOGHBI; MORICONI; OLIVA, 2010), e
que, entretanto, os seus resultados levou em conta somente 35,12% dos
ingressantes que prestaram o Enade em 2005 e 2006. E ainda foi sugerido neste
mesmo estudo que o MEC tornasse a realização do Enem obrigatória para qualquer
aluno que deseje se matricular em uma instituição superior. Tal iniciativa, ainda que
em longo prazo, permitiria incluir no cálculo do IDD notas iniciais e finais do mesmo
aluno, conforme foi orientado por Zoghbi, Moriconi e Oliva (2010). Contudo, o Enem
continua sendo de participação voluntária.
É digno de nota ainda que o IDD é um indicador de qualidade que, inclusive,
compõe o cálculo de outros indicadores de qualidade como: Conceito Preliminar de
Curso (CPC) e esse posteriormente irá compor o Índice Geral de Cursos (IGC).
Todos esses índices são publicados para o acesso em geral, e dentre outras
finalidades, são frequentemente utilizados pelas IES para divulgação de seu
desempenho. Feitas essas considerações e fundamentando-se na literatura
apresentada neste trabalho, passa-se a expor:
88
Em consonância com vários trabalhos anteriores, os resultados do presente
trabalho confirmaram novamente a hipótese de que as características pessoais e
socioeconômicas dos estudantes exercem importantes influências sobre o seu
desempenho. Como o IDD, em seu método de cálculo só inclui uma variável
relacionada com o aluno (proporção de estudantes ingressantes cujo pai e/ou a mãe
tem nível superior de escolaridade), estaria o IDD realmente captando as diferenças
em relação ao perfil dos estudantes? Considerando que o Inep, através do Sistema
de Avaliação do Ensino Superior, possuiu um rico banco de dados que inclusive se
destaca entre outros países, esses dados poderiam ser mais bem aproveitados no
cálculo do IDD, sobretudo com relação aos dados dos estudantes. Esses ajustes
poderão contribuir para produção de medidas de avaliação da qualidade do ensino
mais justas e adequadas, atendendo melhor a finalidade para a qual é empregada.
Diante da inclusão da nota do Enem no cálculo do IDD, suscita-se ainda outra
questão referente à efetividade do IDD: tendo em vista que em seu cálculo as
medidas de desempenho inicial (Enem) e final (Enade) do aluno estão sendo
representadas por exames diferentes17, do qual se obtêm notas que avaliaram
conhecimentos diferentes, estaria o IDD de acordo com o seu propósito refletindo e
fornecendo às IES realmente uma informação digna de credibilidade?
Enfim, os resultados deste estudo se adicionam à literatura ao explorar a
relevância de algumas variáveis no desempenho dos alunos e no valor adicionado
de instituição de ensino superior em cursos de ciências contábeis que não haviam
17
O Enem tem objetivo de avaliar o desempenho do aluno para aferir desenvolvimento de
competências fundamentais ao exercício pleno da cidadania. A prova é interdisciplinar e sua
realização é voluntária. O Enade objetiva avaliar o desempenho dos estudantes com relação aos
conteúdos programáticos previstos nas diretrizes curriculares dos cursos de graduação. Assim 75%
das questões se referem a conhecimentos específicos do curso que está sendo avaliado, e mesmo
sendo realizado por amostragem é obrigatório (ZOGHBI; MORICONI; OLIVA, 2010, INEP, 2013d,
INEP, 2013m).
89
sido encontradas em estudos anteriores. Espera-se assim que as evidências obtidas
a partir deste estudo possam contribuir para a realização de novos trabalhos,
inclusive na área em questão, orientados para melhoria da qualidade do ensino.
Nesta expectativa, cita-se na seção a seguir algumas sugestões para trabalhos
futuros e finaliza-se com as limitações deste estudo.
5.2 SUGESTÕES PARA FUTURAS PESQUISAS E LIMITAÇÕES DO
ESTUDO
A título de oportunidade para futuras pesquisas, estudos poderão investigar
outros fatores determinantes do valor adicionado das instituições que não foram
capturados pelo modelo de regressão deste trabalho. Sugere-se também a
realização de estudos para verificação de fatores determinantes do valor adicionado
nos cursos de ciências contábeis em outros estados, bem como ampliar a amostra
em nível nacional. Assim será possível verificar a existência de diferenças entre
estados quanto às contribuições efetivas das IES para os alunos. Novas
investigações poderão também pesquisar outros determinantes do desempenho dos
alunos de ciências contábeis e compará-los, por exemplo, entre estados. E ainda
pesquisar esses determinantes do desempenho através do resultado da prova do
exame de suficiência em contabilidade.
Também pode ser oportuno verificar fatores determinantes do valor
adicionado para outros cursos na mesma região e para as mesmas instituições, o
que permitirá comparações para verificar se o resultado encontrado nesta pesquisa
é específico do curso de ciências contábeis. Outra sugestão que pode ser
interessante seria aplicar a abordagem do valor adicionado, utilizando como medida
de desempenho final as pontuações obtidas pelos estudantes no exame de
90
suficiência em contabilidade. E ainda poderia ser feito uma análise das IES em
relação ao valor adicionado para o estudante e o desempenho que esses estudantes
obterão no exame de suficiência em contabilidade, buscando saber se esse valor
adicionado pelas instituições irá beneficiar o estudante no exame em questão. E por
fim, também pode ser pertinente em estudos futuros, medir o valor adicionado pelas
IES, utilizando como proxy de desempenho final o valor do salário do estudante,
quando estiver inserido no mercado de trabalho, após se formar.
Como limitação da presente pesquisa, cita-se a utilização de uma amostra
constituída pelo método de amostragem intencional, por meio de seleção, o que
impossibilita generalizações dos resultados alcançados. E ainda, quanto às variáveis
do modelo de regressão têm-se as seguintes limitações: o uso de notas médias dos
estudantes de cada instituição obtidas em um teste como o Enade, são apenas
medidas aproximadas ou proxy de desempenho acadêmico, conforme já ressaltado;
a utilização da nota dos alunos ingressantes obtidas no Enade 2009 como proxy
para o desempenho dos alunos concluintes no momento de ingresso,de acordo
coma explicação dada no tópico 3.5 -Tratamento dos dados.
Por fim, como as características individuais e socioeconômicas dos
estudantes são obtidas através de um questionário respondido pelos alunos, há de
se ressaltar que existe a possibilidade das questões respondidas pelos estudantes,
não terem captado a medida que se pretendia obter.
91
REFERÊNCIAS
AITKIN, M.; LONGFORD, N. Statistical modelling issues in school effectiveness
studies. Journal of the Royal Statistical Society. Series A, v.149, pp. 1-43, 1986.
AL-TWAIJRY, A. Student Academic Performance in Undergraduate ManagerialAccounting Courses. Journal of Education for Business, v.85, n.6, pp. 311–322,
2010.
AMREIN-BEARDSLEY, A.; COLLINS, C. The SAS Education Value-Added
Assessment System in the Houston Independent School District (HISD): Intended
and Unintended Consequences. Education policy analysis archives, v. 20, n. 12,
pp.1-31, 2012.
ARAÚJO, E.A.T; CAMARGOS, M.A; CAMARGOS, M.S.C. Desempenho Acadêmico
de Discentes do Curso de Ciências Contábeis: Uma Análise dos Seus Fatores
Determinantes em Uma IES Privada. In: XXXV ENCONTRO DA ANPAD-ENAMPAD,
2011, Rio de Janeiro. Anais eletrônicos... Rio de Janeiro: ANPAD, 2011. Disponível
em:<http:// www.anpad.org.br>. Acesso em: 20 fev. 2013.
ASTIN, A. Let's try a "value added" approach to testing. The Chronicle of Higher
Education, v.27, n.40, 1982.
BACOLOD, M.P.; TOBIAS, J.L. Schools, School Quality and Academic Achievement:
Evidence from the Philippines. Economics of Education Review, v, 25, pp. 619–
632, 2006.
BAILEY, T. Developing Input- Adjusted Metrics of Community College
Performance. Context for Success Working Paper, 2012. Disponível em:
<http://www.hcmstrategists.com/contextforsuccess/papers/BAILEY_PAPER.pdf>.
Acesso em: 20 out 2013.
_______; XU, D. Input-adjusted graduation rates and college accountability: What is
known from twenty years of research?. Context for Success Working Paper, 2012.
Disponível em:
<http://www.hcmstrategists.com/contextforsuccess/papers/LIT_REVIEW.pdf>.
Acesso em: 20 out 2013.
BITTENCOURT, H. R. et al. Uma análise da relação entre os conceitos Enade e
IDD. Estudos em Avaliação Educacional, São Paulo, v.19, n.40, pp. 247-262,
mai./ago., 2008.
BRADLEY, S. et al. Testing for quasi‐market forces in secondary education. Oxford
Bulletin of Economics and Statistics, v. 62, n. 3, pp. 357-390, 2000.
_______; TAYLOR, J. The effect of school size on exam performance in secondary
schools. Oxford bulletin of economics and statistics, v. 60, n. 3, pp. 291-324,
1998.
92
BRASIL. Lei nº. 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de
Avaliação da Educação Superior - SINAES e dá outras providências. Brasília, 14
abril. 2004.
BROOKS, Chris. Introductory econometrics for finance. 2. ed. Cambridge:
Cambridge University Press, 2008.
BYRNE, M.; FLOOD, B. Examining the relationships among background variables
and academic performance of first year accounting students at an Irish
University. Journal of Accounting Education, v. 26, n. 4, pp. 202-212, 2008.
CARDOSO, R.L et al.Regulação da Contabilidade: Teorias e análise da
Convergência dos Padrões Contábeis Brasileiros aos IFRS. Rev. Adm. Pública, Rio
de Janeiro, v.43, n.4, pp. 773-799, jul/ago, 2009.
CLARK, R. M. Family Life and School Achievement: Why Poor Black Children
Succeed or Fail .Chicago: The University of Chicago Press, 1983.
CORNELL, G. R. The Value-added Approach to the Measurement of Educational
Quality. Journal of Professional Nursing, v. 1, n. 6, pp. 356-363, 1985.
CRUZ, A.J; TEIXEIRA, A.M.C. Desempenho dos Alunos no Enade de 2009: um
estudo empírico a partir do conteúdo curricular dos cursos de Ciências Contábeis no
Brasil. In: XXXVI ENCONTRO DA ANPAD-ENAMPAD, 2012, Rio de Janeiro. Anais
eletrônicos... Rio de Janeiro: ANPAD, 2012. Disponível em:
<http://www.anpad.org.br>. Acesso em: 20 fev. 2013.
CUNHA, J. M.; MILLER, D.W. Quantitative Measures of Achievement Gains and
Value-Added in Higher Education: Possibilities and Limitations in the State of
Texas. 2009. Disponível em:
<http://faculty.nps.edu/jcunha/Cunha_Miller_College_Value_Added_Report.pdf>.
Acesso em: 20 fev. 2013.
_______; MILLER, T. Measuring Value-Added in Higher Education: Possibilities
and Limitations in the Use of Administrative Data. 2012. Disponível em:
<http://faculty.nps.edu/jcunha/College_Value_Added.pdf>. Acesso em: 20 fev. 2013.
DALE, S. B.; KRUEGER, A. B. Estimating the payoff to attending a more selective
college: An application of selection on observables and unobservables. Quarterly
Journal of Economics, v. 117, n. 4, pp. 1491-1527, 2002.
DIAS SOBRINHO, J. Avaliação e transformações da educação superior brasileira
(1995-2009): Do provão ao Sinaes. Avaliação, Campinas, Sorocaba, v. 15, n. 1, pp.
195-224, mar., 2010.
DOMINGUES, M.J.C.S; SCHLINDWEIN, A.C. O Ensino de Ciências Contábeis nas
Instituições de Ensino Superior (IES) da Mesorregião do Vale do Itajaí – S.C: uma
análise das contribuições curriculares da Resolução Cne/Ces n. 10/2004. In: I
ENCONTRO DE ENSINO E PESQUISA EM ADMINISTRAÇÃO E
93
CONTABILIDADE-ENEPQ, 2007, Recife. Anais eletrônicos... Recife: ANPAD,
2007. Disponível em:<http:// www.anpad.org.br>. Acesso em: 13 jan. 2013.
DORAN, B. M.; BOUILLON, M.; SMITH, C. G. Determinants of student performance
in accounting principles I and II. Issues in Accounting Education, v.6, n.1, pp. 74–
84, 1991.
DORAN, H.C.; IZUMI, L.T. Putting Education to the Test: A Value-Added Model for
California. San Francisco: Pacific Research Institute, 2004.
DUFF, A. Understanding academic performance and progression of first-year
accounting and business economics undergraduates: the role of approaches to
learning and prior academic achievement. Accounting Education, v. 13, n. 4, pp.
409- 430, 2004.
E-MEC. Ministério da Educação - Sistema e-MEC. Disponível em:
<http://emec.mec.gov.br>. Acesso em 16 jan. 2013.
ESKEW, R. K.; FALEY, R H. Some determinants of student performance in the first
college-level financial accounting course. Accounting Review, v. 63, n.1, pp. 137147, 1988.
EVERSON, K. C.; FEINAUER, E.; SUDWEEKS, R. R. Rethinking Teacher
Evaluation: A Conversation about Statistical Inferences and Value-Added Models.
Harvard Educational Review, v. 83, n. 2, pp. 349-370, 2013.
FINCHER, C. What is value-added education?. Research in Higher Education,
n.22, pp.395-398,1985.
GOLDSTEIN, H; SPIEGELHALTER, D. J. League tables and their limitations:
statistical issues in comparisons of institutional performance. Journal of the Royal
Statistical Society, vol. 159, n.3, pp. 385–443, 1996.
______; THOMAS, S. Using Examination Results as Indicators of School and
College Performance. Journal of the Royal Statistical Society A., v. 159, parte 1,
pp. 149-163, 1996.
GUJARATI, Damodar. Econometria Básica. Tradução de Maria José Cyhlar
Monteiro. 4. ed. Rio de Janeiro: Elsevier, 2006.
HANUSHEK, E. A. Conceptual and empirical issues in the estimation of educational
production functions. The Journal of Human Resources, vol. 14, pp.351–388,1979.
______.The economics of schooling: production and efficiency in public schools’.
Journal of Economic Literature, vol. 24, pp. 1141–1177, 1986.
______.The trade-off between child quantity and quality’. Journal of Political
Economy, vol. 100, pp. 84–117, 1992.
94
________; HARBISON, R W. Educational performance of the poor: lessons from
rural northeast Brazil. New York: Oxford University Press, 1992.
______; RIVKIN, S.G. Generalizations about using value-added measures of teacher
quality. American Economic Review, v. 100, n. 2, pp. 267-271, 2010.
______; TAYLOR, L. L. Alternative assessments of the performance of schools:
measurement of state variations in achievement. The Journal of Human
Resources, vol. 25, pp.179–201, 1990.
HELMKE, A; SCHRADER, F.W. School achievement, cognitive and motivational
determinants of. In N.J. Smelser & P.B. Baltes (Eds.). International Encyclopedia
of the Social and Behavioral Sciences, vol. 20, pp. 13552-13556, Amsterdam:
Elsevier Science, 2001.Disponível em:
<http://www.sciencedirect.com/science/referenceworks/9780080430768.pdf>.
Acesso em: 05 mai. 2013.
INGRAM, R. W.; PETERSEN, R. J. An evaluation of AICPA tests for predicting the
performance of accounting majors. Accounting Review, v.63, n.1, pp. 215-223,
1987.
INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO
TEIXEIRA. Informações estatísticas. Sinopses estatísticas. Sinopses educação
superior. 2002, 2006, 2009, 2011. Disponível em: <http://portal.inep.gov.br/superiorcensosuperior-sinopse>. Acesso em: 04 de fev. 2013.
______. Educação superior. Enade. Notas Técnicas. 2007. Resultado do indicador
de diferença entre os desempenhos observado e esperado – Idd. Disponível em:
<enadeies.inep.gov.br/enadeResultado/pdfs/nota_tecnica%20-%20IDD.pdf>. Acesso
em: 24 fev. 2013.
______. Educação superior. Enade. Relatório Síntese. 2009. Disponível em:
<http://portal.inep.gov.br/web/guest/relatorio-sintese-2009>. Acesso em: 24 fev.
2013.
______. Educação superior. Enade. Notas Técnicas. 2009. Nota técnica-Cálculo
do CPC. 2009a. Disponível em:
<download.inep.gov.br/download/enade/2009/Nota_Tecnica_CPC.pdf >. Acesso em:
01 jul. 2013
______. Educação superior. Censo da educação superior. 2013a. Disponível em:
<http://portal.inep.gov.br/web/censo-da-educacao-superior>. Acesso em: 04 fev.
2013.
______. Educação superior. Sinaes. 2013b. Disponível em:
<http://portal.inep.gov.br/superior-sinaes>. Acesso em: 04 fev. 2013.
______. Educação superior. Enade. Notas Técnicas. 2011. Manual dos
Indicadores de Qualidade 2011. 2013c. Disponível em:
95
<http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2011/manual
_indicadores_qualidade_edu_superior_2011.pdf>. Acesso em: 24 fev. 2013.
______. Educação superior. Enade. Perguntas Frequentes-Enade. 2013d.
Disponível em: <http://portal.inep.gov.br/perguntas-frequentes1>. Acesso em: 04 fev.
2013.
______. Educação superior. Enade. Perguntas Frequentes-Estudantes. 2013e.
Disponível em: <http://portal.inep.gov.br/perguntas-frequentes1>. Acesso em: 04 fev.
2013.
______. Educação superior. Enade. Perguntas Frequentes-Resultados. 2013f.
Disponível em: <http://portal.inep.gov.br/perguntas-frequentes1>. Acesso em: 04 fev.
2013.
______. Educação superior. Enade. Consulta aos Resultados. Notas Técnicas. O
conceito Preliminar de Curso na Avaliação da Educação Superior. 2013g.
Disponível em: <http://enadeies.inep.gov.br/enadeResultado/pdfs/nota_tecnica%20%20CPC.pdf>. Acesso em: 04 fev. 2013.
______. Educação superior. Enade. Notas Técnicas. 2011. Nota Técnica
MEC/INEP/DAES Nº 29/2012. 2013i. Disponível em:
<http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2011/nota_te
cnica_indicadores_2011_2.pdf>. Acesso em: 01 jul. 2013.
______. Educação superior. Enade. Manual do Enade. 2013j. Disponível em:
<http://portal.inep.gov.br/manual-do-enade>. Acesso em: 14 out. 2013.
______. Ações Internacionais. PISA. 2013l. Disponível em:
<http://portal.inep.gov.br/pisa-programa-internacional-de-avaliacao-de-alunos>.
Acesso em: 01 out. 2013.
______. Educação básica. Enem. 2013m. Disponível em:
<http://portal.inep.gov.br/web/enem/enem>. Acesso em: 18 nov. 2013.
______. Enade. Notas Técnicas. 2012. Nota Metodológica de Cálculo dos
Indicadores de Qualidade. 2013n. Disponível em:
<http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2012/nota_m
etodologica_indicadores_2012.pdf >. Acesso em: 18 nov. 2013.
JAKUBOWSKI, M. Implementing value-added models of school assessment,
EUI RSCAS Working Paper 2008/06). European University Institute, 2008.
Disponível em: <http://ideas.repec.org/p/rsc/rsceui/2008-06.html>. Acesso em: 04
fev. 2013.
KEEVES, J. P.; HUNGI, N. ; AFRASSA, T. Measuring value added effect across
schools: Should schools be compared in performance?. Studies in Educational
Evaluation, v.31, n.2, pp. 247–266, 2005.
96
KELCHEN, R.; HARRIS, D.N. Can “Value Added” Methods Improve the
Measurement of College Performance? Empirical Analyses and Policy
Implications. Context for Success Working Paper, 2012. Disponível em:
<http://www.hcmstrategists.com/contextforsuccess/papers/KELCHEN_HARRIS_PAP
ER.pdf>. Acesso em: 20 out 2013.
KELLY, A.; DOWNEY, C. Value-added measures for schools in England: looking
inside the ‘black box’of complex metrics. Educational Assessment, Evaluation and
Accountability, v. 22, n. 3, pp. 181-198, 2010.
KOH, M. Y; KOH, H. C.The determinants of performance in an accountancy degree
programme. Accounting Education, v. 8, n. 1, pp. 13-29, 1999.
KOKKELENBERG, E. C.; DILLON, M.; CHRISTY, S. M. The effects of class size on
student grades at a public university. Economics of Education Review, v. 27, n. 2,
pp. 221-233, 2008.
KONG, W; FU, T. Assessing the performance of business colleges in Taiwan using
data envelopment analysis and student based value-added performance indicators.
Omega, v 40, n.5, pp. 541-549, 2012.
LADD, H.F; WALSH, R.P. Implementing Value-Added Measures of School
Effectiveness: Getting the Incentives Right. Economics of Education Review, v.21,
n.1, pp.1-17, 2002.
LAREAU, A. Social Class Difference in Family-School Relationships: The Importance
of Cultural Capital. Sociology of Education, v. 60, n. 2, pp.73-85, 1987.
LEITÃO,T et al. Uma análise acerca do boicote dos estudantes aos exames de
avaliação da educação superior. Rev. Bras. Educ., Rio de Janeiro, v. 15, n. 43, pp.
21-44, jan./abr.2010.
LIU, O.L. Value-added assessment in higher education: a comparison of two
methods. Higher Education, v. 61, n.4, pp. 445–461, 2011a.
______. Measuring value-added in higher education: Conditions and caveats.
Results from using the Measure of Academic Proficiency and Progress (MAPPTM).
Assessment and Evaluation in Higher Education, v.34, n.6, pp.1–14, 2011b.
MALACH, J.; MALCÍK, M. Value–added assessment in postsecondary schools,
theoretical approaches and research results in the Czech Republic. Kultura i
Edukacja, v. 79, n.5, pp.123-153, 2010.
MARCHELLI, P. S. O Sistema de Avaliação Externa dos Padrões de Qualidade da
Educação Superior no Brasil: Considerações sobre os Indicadores. Ensaio: Aval.
Pol. Públ. Educ., Rio de Janeiro, v. 15, n. 56, pp. 351-372, jul./set. 2007.
MARTINEAU, J.A. Distorting value added: The use of longitudinal, vertically scaled
student achievement data for growth-based, value-added accountability. Journal of
Educational and Behavioral Statistics, v. 31, n. 1, pp. 35-62, 2006.
97
MCCAFFREY, D. F et al. Models for value-added modeling of teacher effects.
Journal of Educational and Behavioral Statistics, vol. 29, n. 1, pp. 67-101, 2004.
______. Value-Added Models, Pittsburgh, PA: Rand Corporation, 2010.
MCDONNELL, S.T. et al. Implementing Value-Added Accountability Measures at the
City University of New York. CUNY Office of Policy Research Working Paper,
2013. Disponível em:
<http://www.cuny.edu/about/administration/offices/ira/opr/papers/accountability_mea
sures.pdf>. Acesso em: 21 set. 2013.
MEYER, R. H. Educational Performance Indicators: A Critique. Institute for
Research on Poverty, Discussion Paper n. 1052- 94., University of WisconsinMadison, 1994.
______. Value-Added Indicators of School Performance: A Primer. Economics of
Education Review, v. 16, n. 3, pp. 283-301, 1997.
______; DOKUMACI, E. Value-added models and the next generation of
assessments. Paper at the Exploratory Seminar: Measurement Challenges with
the Race to the Top Agenda, December 2009. Disponível em:
<http://www.k12center.org/rsc/pdf/MeyerDokumaciPresenterSession4.pdf>. Acesso
em: 20 fev. 2013.
MIRANDA, G.J; CASA NOVA, S.P.C; CORNACCHIONE JÚNIOR,E.B. Os Saberes
dos Professores-Referência no Ensino de Contabilidade. Revista Contabilidade &
Finanças, São Paulo, v. 23, n.59, pp. 142-153, may/aug., 2012. Disponível em:
<http://www.scielo.br/pdf/rcf/v23n59/v23n59a06.pdf>. Acesso em: 21 jan. 2013.
PAPAY, J. P. Refocusing the debate: Assessing the purposes and tools of teacher
evaluation. Harvard Educational Review, v. 82, n. 1, pp.123-141, 2012.
PARISOTTO, I.R.S; GRANDE, J. F; FERNANDES, F. C. O processo ensino e
aprendizagem na formação do profissional contábil: uma visão acadêmica. In: 3º
CONGRESSO USP DE INICIAÇÃO CIENTÍFICA EM CONTABILIDADE, 2006, São
Paulo. Anais eletrônicos... São Paulo: USP, 2006. Disponível em:
<http://www.congressousp.fipecafi.org/>. Acesso em: 02 fev. 2013.
PELEIAS, I. R. et al. Evolução do ensino da contabilidade no Brasil: uma análise
histórica. Revista Contabilidade & Finanças, São Paulo, Ed. 30 anos de
doutorado, pp.19-32, jun, 2007.
PIRES, C.B; OTT, E. Estrutura curricular do curso de ciências contábeis no Brasil
versus estruturas curriculares propostas por organismos internacionais. In: 8o
CONGRESSO USP DE CONTROLADORIA E CONTABILIDADE, 2008, São Paulo.
Anais eletrônicos... São Paulo: USP, 2008. Disponível em:
<http://www.congressousp.fipecafi.org>. Acesso em: 04 fev. 2013.
98
POLIDORI, M. M. Políticas de Avaliação da Educação Superior Brasileira: Provão,
Sinaes, Idd, Cpc, Igc e...Outros Índices. Avaliação, Campinas, Sorocaba, v. 14, n. 2,
pp.351-383, jul., 2009.
______; ARAÚJO, C. M. M; BARREYRO, G.B. SINAES: perspectivas e desafios na
avaliação da educação superior brasileira. Ensaio: Aval. Pol. Públ. Educ., Rio de
Janeiro, v. 14, n. 53, pp. 425-436, out./dez., 2006.
RAUDENBUSH, S. What are value-added models estimating and what does this
imply for statistical practice? Journal of Educational and Behavioral Statistics,
vol.29, n.1, pp.121-129, 2004.
RODERICK, M.; COCA, V.; NAGAOKA, J. Potholes on the Road to College High
School Effects in Shaping Urban Students’ Participation in College Application, Fouryear College Enrollment, and College Match. Sociology of Education, v. 84, n. 3,
pp. 178-211, 2011.
RODGERS, T. Measuring Value Added in Higher Education: A Proposed
Methodology for Developing a Performance Indicator Based on the Economic Value
Added to Graduates, Education Economics, v. 15, n. 1, pp.55–74, 2007.
SANTOS, N.A. Determinantes do desempenho acadêmico dos alunos dos
cursos de ciências contábeis. 2012. 248 f. Tese (Doutorando em Controladoria e
Contabilidade)-Faculdade de Economia, Administração e Contabilidade,
Universidade de São Paulo, São Paulo, 2012. Disponível em:
<http://www.teses.usp.br/teses/disponiveis/12/12136/tde-11062012-164530/ptbr.php>. Acesso em: 20 fev. 2013.
______; AFONSO, L.E. Análise do Conteúdo das Provas da Área de Ciências
Contábeis: Edições do Provão2002/2003 e do Enade de 2006. In: XXXVI
ENCONTRO DA ANPAD-ENAMPAD, 2012, Rio de Janeiro. Anais eletrônicos... Rio
de Janeiro: ANPAD, 2012. Disponível em:<http:// www.anpad.org.br>. Acesso
em: 20 fev. 2013.
______; CUNHA, J. V. A.; CORNACHIONE JR., E. B. Análise do Desempenho dos
Cursos de Ciências Contábeis do Estado de Minas Gerais no ENADE/2006. In: III
CONGRESSO ANPCONT, 2009, São Paulo. Anais eletrônicos... São Paulo:
ANPCONT, 2009. Disponível em:<http://www.anpcont.com.br>. Acesso em: 20 fev.
2013.
SAAVEDRA, A. R.; SAAVEDRA, J. E. Do colleges cultivate critical thinking, problem
solving, writing and interpersonal skills?. Economics of Education Review, v.30,
n.6, pp. 1516-1526, 2011.
SANDERS, W. L.; SAXTON, A. M.; HORN, S. P. The Tennessee Value-Added
Assessment System: A quantitative outcomes-based approach to educational
assessment. Grading teachers, grading schools: Is student achievement a valid
evaluational measure. Thousand Oaks, CA: Corwin Press, 1997.
99
SAUNDERS, L. A brief history of educational 'value added': how did we get to where
we are?. School effectiveness and school improvement, v. 10, n. 2, p. 233-256,
1999.
SILVA, A.; MOURA, H. Retrospectiva Histórica do Ensino Superior de Contabilidade
no Brasil. In: IX Congresso de Contabilidade, 2002, Portugal. Anais... Portugal,
2002.
SOARES, J. F.; RIBEIRO, L. M.; CASTRO, C. M. Valor agregado de instituições de
ensino superior em Minas Gerais para os cursos de direito, administração e
engenharia civil. Dados, Rio de Janeiro, v. 44, n. 2, pp. 363-396, 2001.
SOUZA; E. S; MACHADO, L. S. Determinantes do Desempenho dos Cursos de
Ciências Contábeis. In: 11o CONGRESSO USP DE CONTROLADORIA E
CONTABILIDADE, 2011, São Paulo. Anais eletrônicos... São Paulo: USP, 2011.
Disponível em: <http://www.congressousp.fipecafi >. Acesso em: 20 fev. 2013.
STRAYER, W. The returns to school quality: College choice and earnings. Journal
of Labor Economics, v. 20, n. 3, pp. 475-503, 2002.
TAYLOR, J.; NGUYEN, A.N. An analysis of the value added by secondary schools in
England: is the value added indicator of any value?. Oxford bulletin of economics
and statistics, v.68, n.2, pp. 203-224, 2006.
TAYLOR, T. A Value-added Student Assessment Model: Northeast Missouri State
University. Economics of Education Review, v. 4, n. 4, pp. 341-350, 1985.
TEKWE, C. D. et al. An empirical comparison of statistical models for value-added
assessment of school performance. Journal of Educational and Behavioral
Statistics, v. 29, n. 1, pp. 11-36, 2004.
THOMAS, S.; MORTIMORE, P. Comparison of value‐added models for
secondary‐school effectiveness. Research papers in education, v. 11, n. 1, pp. 533, 1996.
VERHINE, R. E. ; DANTAS, L. M. V.; SOARES, J.F. Do Provão ao ENADE: uma
análise comparativa dos exames nacionais utilizados no Ensino superior brasileiro.
Ensaio: Aval. Pol. Públ. Educ., Rio de Janeiro, v.14, n.52, pp. 291-310, jul./set.,
2006.
WRIGHT, D. L. et al. College Participation, Persistence, Graduation and Labor
Market Outcome: An Input-Adjusted Framework for Assessing the Effectiveness of
Tennessee’s Higher Education Institutions. Context for Success Working Paper,
2012. Disponível em:
<http://www.hcmstrategists.com/contextforsuccess/papers/WRIGHT%20PAPER.pdf>
. Acesso em: 20 out. 2013.
YUNKER, J. A. The dubious utility of the value-added concept in higher education:
the case of accounting. Economics of Education Review, v.24, pp. 355–367, 2005.
100
ZHANG, L. A value-added estimate of higher education quality of US states.
Education Economics, v.17, n.4, pp.469-489, 2009.
ZOGHBI, A.C.P.; OLIVA, B. T.; MORICONI, G. M. Aumentando a eficácia e a
eficiência da avaliação do ensino superior: a relação entre o ENEM e o
ENADE. Estudos em Avaliação Educacional, v. 21, n. 45, pp. 45-66, jan./abr.,
2010.